CN115481256A - 基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统 - Google Patents
基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统 Download PDFInfo
- Publication number
- CN115481256A CN115481256A CN202211078094.5A CN202211078094A CN115481256A CN 115481256 A CN115481256 A CN 115481256A CN 202211078094 A CN202211078094 A CN 202211078094A CN 115481256 A CN115481256 A CN 115481256A
- Authority
- CN
- China
- Prior art keywords
- entity
- relation
- embedding
- entities
- triples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 90
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 31
- 230000006399 behavior Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000036541 health Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统，涉及知识图谱技术领域，该方法包括：将获取的知识图谱中三元组的实体和关系映射到复数向量空间，实体包括头实体和尾实体，每个关系定义为从头实体到尾实体的旋转；为头实体和尾实体生成嵌入向量，使得每个实体的嵌入具有两个向量，并利用逆关系嵌入函数，增强两个向量之间的相互依赖关系；引入超复数表示来建模实体和关系，并输入至预设的卷积神经网络中进行得分预测和损失修正，得到三元组的嵌入知识表示。通过该方式，可以使头实体与尾实体之间具有丰富的语义匹配，提高知识图谱链接预测的准确性。
Description
技术领域
本发明属于知识图谱技术领域，尤其涉及一种基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成已经成为本领域一般技术人员所公知的现有技术。
当前知识图谱已被广泛应用于多个领域，但是由于大多数知识图谱存在缺失的情况，所以需要基于多种关系模式进行推理从而完成图谱补全。知识图谱嵌入是将知识图谱中的实体和关系映射到低维、连续的向量空间，且学习到的实体和关系的向量表示不仅能够较好的保持它们初始的语义信息，还能利用它们预测缺失的链接，对知识图谱进行补全。
在现有的知识表示学习方法中，TransE模型是一个十分具有代表性的方法，该方法考虑词向量存在平移不变性，将知识库中的关系看作实体间的平移向量，也就是在知识表示空间中头实体向量经过关系向量的转换后与尾实体向量的欧氏距离。TransE模型参数较少，计算的复杂度低，能直接建立起实体与关系之间的复杂语义关系，但是它在处理一对多、多对一、多对多关系上存在局限性，因而无法有效区分具有相同关系的不同实体。基于TransE改进的TransR模型解决了上述问题，但是无法同时对反转、对称、反对称等关系模式进行建模和推理；RotatE可以对三种关系模式进行建模推理，但是在嵌入向量生成过程中模型使用相同的嵌入生成类，使得头实体向量与尾实体向量未建立足够的联系。同时RotatE模型只有一个复数旋转平面，实体与关系的旋转灵活度将会受到限制，使得头实体与尾实体之间无法实现丰富的语义匹配，因而很难准确地预测缺失的链接。
发明内容
为了解决上述问题，本发明提供一种基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统，通过引入一个逆关系向量，增强头实体和尾实体之间的相关性，并利用更有表现力的四元数表示来建模实体和关系，最后使用卷积神经网络对输入的嵌入向量进行处理，使头实体与尾实体之间具有丰富的语义匹配，从而提高知识图谱链接预测的准确性。
为了实现上述目的，本发明主要包括以下几个方面：
第一方面，本发明实施例提供一种基于卷积四元数的逆向关系旋转嵌入知识表示方法，包括：
将获取的知识图谱中三元组的实体和关系映射到复数向量空间，所述实体包括头实体和尾实体，每个关系定义为从头实体到尾实体的旋转；
为所述头实体和尾实体生成嵌入向量，使得每个实体的嵌入具有两个向量，两个向量分别用来捕捉实体作为关系的头部和关系的尾部的行为，并利用逆关系嵌入函数，增强两个向量之间的相互依赖关系；
引入超复数表示来建模实体和关系，并输入至预设的卷积神经网络中进行得分预测和损失修正，得到三元组的嵌入知识表示。
在一种可能的实施方式中，给定三元组(ei,r,ej)，其中，ei和ej为两个不同的实体，r为实体之间的关系；使用he,te分别用来捕捉实体e作为关系的头部和关系的尾部的行为，对于每个关系，引入一个逆关系向量r-1，通过逆关系嵌入函数的使用，得到在三元组(ei,r,ej)上的评分函数fr(h,t)：
其中，
为实体ei作为头实体，
为实体ei作为尾实体，
为实体ej作为头实体，
为实体ej作为尾实体，
表示Hadmard乘积。
在一种可能的实施方式中，将头实体和尾实体映射到超复数空间中，得到三元组的嵌入知识表示；将所述三元组的嵌入知识表示输入至卷积神经网络的卷积层，在所述卷积层中使用不同的过滤器提取三元组的相同维度条目之间的全局关系，生成特征映射，将多个特征映射连接成特征向量；根据所述特征向量确定三元组的得分。
在一种可能的实施方式中，将所述三元组的嵌入知识表示作为正例三元组，利用自对抗负采样生成负例三元组，将所述正例三元组和负例三元组输入至卷积神经网络进行得分预测和损失修正。
在一种可能的实施方式中，所述自对抗负采样从以下分布中抽取负三元组样本：
其中，α为采样程度，用于调整采样策略，(h′i,r,t′i)表示第i个负样本，p(·)为概率；
将所述概率作为负样本权重，所述自对抗负采样的损失函数定义为：
其中，γ是定值边缘超参数，σ是sigmoid激活函数，(h′j,r,t′j)表示第j个负例三元组，(h′i,r,t′i)表示第i个负例三元组，负例三元组是由正例三元组通过头实体或者尾实体被随机替换构成的。
在一种可能的实施方式中，使用四元数逆向关系嵌入过程中训练多次构成的三元组矩阵来初始化实体和关系的嵌入，并且通过卷积运算训练三元组矩阵，用于对抽取的三元组进行得分预测和损失修正。
在一种可能的实施方式中，三元组的得分函数定义为：
fr(h,r,t)＝concat(g([h,r,t]*Ω))·W；
其中，g表示ReLU激活函数，h表示头实体，t表示尾实体，r表示实体之间的关系，Ω与W为共享超参数，*表示卷积运算符，concat表示串联运算符；
使用Adam优化器不断更新参数，并通正则化最小化损失函数L对卷积神经网络进行训练：
其中，λ是
的权重，S与S′分别表示正例三元组与负例三元组的集合，正例三元组与负例三元组决定了l(h,r,t)的取值，其中：
第二方面，本发明实施例提供一种基于卷积四元数的逆向关系旋转嵌入知识表示系统，包括：
关系映射模块，用于将获取的知识图谱中三元组的实体和关系映射到复数向量空间，所述实体包括头实体和尾实体，每个关系定义为从头实体到尾实体的旋转；
向量生成模块，用于为所述头实体和尾实体生成嵌入向量，使得每个实体的嵌入具有两个向量，两个向量分别用来捕捉实体作为关系的头部和关系的尾部的行为，并利用逆关系嵌入函数，增强两个向量之间的相互依赖关系；
得分预测模块，用于引入超复数表示来建模实体和关系，并输入至预设的卷积神经网络中进行得分预测和损失修正，得到三元组的嵌入知识表示。
第三方面，本发明实施例提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面和第一方面任一种可能的实施方式中所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面和第一方面任一种可能的实施方式中所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法的步骤。
以上一个或多个技术方案存在以下有益效果：
本发明提供一种基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统，通过引入一个逆关系向量，增强头实体和尾实体之间的相关性，并利用更有表现力的四元数表示来建模实体和关系，最后使用卷积神经网络对输入的嵌入向量进行处理，使头实体与尾实体之间具有丰富的语义匹配，从而提高知识图谱链接预测的准确性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一所提供的基于卷积四元数的逆向关系旋转嵌入知识表示方法的流程示意图；
图2是本发明实施例一所提供的使用逆向关系处理并在复平面中的旋转的矢量图；
图3是本发明实施例一所提供的cQuaIE中利用四元数扩展复值空间与卷积神经网络处理流程示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
请参阅图1，本实施例提供一种基于卷积四元数的逆向关系旋转嵌入知识表示方法(cQuaIE)，具体包括以下步骤：
S101：将获取的知识图谱中三元组的实体和关系映射到复数向量空间，所述实体包括头实体和尾实体，每个关系定义为从头实体到尾实体的旋转。
在具体实施中，首先，构建知识图谱。以医疗健康数据为例，采用分布式网络爬虫技术从医疗专业网站上获取医疗数据；然后通过设置停用词库和最大前向/后向匹配算法对数据进行清洗；接着对其进行实体、关系及属性的抽取，抽取出结构化三元组知识；最后在Neo4j图数据库中存储医疗健康领域知识图谱，存储内容包括知识图谱中存在的大量实体与关系。
知识表示学习模型的推理能力很大程度上依赖于其对知识图谱中的各种关系模式的建模能力。在RotatE中将实体和关系映射到复数向量空间，并将每个关系定义为从头实体到尾实体的旋转，实现建模与推断对称/反对称、逆向以及组合关系模式。所以对于三元组(h,r,t)，期望是
其中，
是嵌入向量，h表示头实体，t表示尾实体，r表示实体之间的关系，
表示Hadmard乘积。根据以上定义，对于每个三元组(h,r,t)，将RotatE的评分函数fr(h,t)定义为如下公式：
然而RotatE模型使用相同的嵌入生成类，即头实体与尾实体通过同种方式嵌入生成，只将实体单一的考虑成头实体或者尾实体，两者相对独立，联系较少，使得头实体向量与尾实体向量未建立足够的联系。使用不同的嵌入生成类是指对于一个实体，使用将其嵌入成有关捕捉头实体的一个向量，和捕捉尾实体的一个向量。例如实体e，通过两种不同的嵌入将其嵌入为头实体he和尾实体te，这样，通过增加实体考虑的种类，以提高预测分数的准确性。
S102：为所述头实体和尾实体生成嵌入向量，使得每个实体的嵌入具有两个向量，两个向量分别用来捕捉实体作为关系的头部和关系的尾部的行为，并利用逆关系嵌入函数，增强两个向量之间的相互依赖关系。
在具体实施中，受到SimpIE模型的启发，在规范多元分解(CP)问题的基础上，使得每个实体e的嵌入具有两个向量he,te，使用he,te分别用来捕捉实体e作为关系的头部和关系的尾部的行为。其次在CP问题中，与实体相关的两个嵌入向量是相互独立的，假设给定三元组(ei,r,ej)，其中，ei和ej为两个不同的实体，r为实体之间的关系。这里，只有
与
得到更新，
与
无法得到更新。
因此，对于每个关系，除去关系向量本身，额外引入一个逆关系向量r-1，也即，对于每个关系r具有两个向量r,r-1，通过逆关系嵌入函数的使用，实现头部嵌入向量与尾部嵌入向量的相互依赖关系。所以在三元组(ei,r,ej)上的评分函数fr(h,t)定义为：
图2描绘了模型将r建模为复平面中的h到t的旋转与模型将r-1建模为复平面中的t到h的旋转。因此，三元组的评分函数定义为(ei,r,ej)和(ej,r,ei)得分的平均值。通过使用不同的嵌入生成类来为头部实体和尾部实体生成嵌入向量，使得模型能进行更加有效的学习，同时减少了训练步骤，提高计算效率。
S103：引入超复数表示来建模实体和关系，并输入至预设的卷积神经网络中进行得分预测和损失修正，得到三元组的嵌入知识表示。
在具体实施中，由于RotatE模型只有一个复数旋转平面，因此实体与关系的旋转灵活度将会受到限制。因此使用四元数扩展复值空间，引入更有表现力的超复数表示来建模实体和关系，在提供几何解释的同时满足对称/反对称、反转和组合等关系模式的建模需求。具体来说，利用四元数嵌入表示实体和关系，每个四元数嵌入是超复数向量空间H中的一个向量，它具有i,j,k三个虚部分量，即
Q＝a+bi+cj+dk；
其中，a、b、c、d分别表示各分量的系数，Q表示四元数。
将头实体和尾实体映射到超复数空间中，即h,t∈Hk，为超复数空间中的四元数嵌入向量，把每个关系r定义为头实体到尾实体的旋转，如图3所示。所以对于给定的三元组(h,r,t)，期望是：
其中
表示Hadmard乘积，对于超复数空间中的每个维度的向量元素，有ti＝hiri，下标i表示维度中的第几个向量元素。
利用四元数表示的优势，实现了头实体与尾实体之间富有表现力的语义匹配。与RotatE只有一个旋转平面不同，模型具有两个旋转平面，因此四元数空间中实体和关系的旋转灵活度高于复数平面。同时，四元数也比旋转矩阵更有效且数值更稳定。
证明：
通过引入更有表现力的超复数表示来建模实体和关系，该方法可以建模推理对称/反对称、逆、组合三种关系模式。
对称/反对称关系模式：
如果(ei,r,ej)和(ej,r,ei)成立，则有:
如果(ei,r,ej)和
(ej,r,ei)成立，则有:
逆关系模式：
如果(ei,r1,ej)和(ej,r2,ei)成立，则有:
组合关系模式：
如果(ei,r1,ek)、(ei,r2,ej)和(ej,r3,ek)成立，则有:
为了生成有效的嵌入向量并输入到卷积神经网络中，使用RotatE中提出的自对抗负采样生成负样本来训练上述过程。自对抗负采样根据模型从以下分布中抽取负三元组样本：
其中，α为采样程度，用于调整采样策略；p(·)为概率；将上述概率作为负样本权重，因此自对抗负采样的损失函数定义为：
其中，γ是定值边缘超参数，σ是sigmoid激活函数，(h′j,r,t′j)表示第j个负例三元组，(h′i,r,t′i)表示第i个负例三元组，负例三元组是由正例三元组通过头实体或者尾实体被随机替换构成的。
使用上述过程训练好的三元组嵌入作为cQuaIE模型中卷积神经网络部分的输入，其中嵌入三元组使用直观准确的四元数进行表示，如图3所示。定义知识图谱G，它是表示为(h,r,t)形式的有效三元组的集合，使h,t∈E，r∈R，其中E是实体集合，R是关系集合。
对于三元组中的实体和关系，用k表示它们的嵌入维度，对应的k维嵌入三元组(h,r,t)表示为一个矩阵
其中
表示矩阵的第i行。将该输入矩阵馈送到卷积层，在卷积层中使用不同的过滤器
提取嵌入三元组的相同维度条目之间的全局关系。这些过滤器ω在输入矩阵M的每一行上重复操作，从而产生特征映射
具体计算如下：
vi＝g(ω·Mi+b)；
其中，
是偏执项，g是ReLU激活函数。
设置τ和Ω分别表示过滤器的数目与过滤器的集合，即τ＝|Ω|。所以得到τ个特征映射连接成特征向量，通过点积计算该特征向量与权重向量
从而得到三元组(h,r,t)的得分。
具体地，在cQuaIE模型中，使用四元数逆向关系嵌入过程中训练多次构成的三元组矩阵来初始化实体和关系的嵌入，并且通过卷积运算训练矩阵。对于抽取的三元组进行得分预测和损失修正。定义cQuaIE的得分函数为：
fr(h,r,t)＝concat(g([h,r,t]*Ω))·W；
其中，Ω与W为共享超参数，*表示卷积运算符，concat表示串联运算符。
使用Adam优化器不断更新参数，并通正则化最小化损失函数来训练cQuaIE：
上式中，λ是
的权重，S与S′分别表示正例三元组与负例三元组的集合，负例三元组是由训练三元组通过头部实体或者尾部实体被随机替换而构成。正例三元组与负例三元组决定了l(h,r,t)的取值：
在具体应用中，利用基于卷积四元数的逆向关系旋转嵌入知识表示方法进行问答系统的设计。对于抽取的三元组知识，使用不同的嵌入生成类来为头部实体和尾部实体生成嵌入向量，使得每个实体的嵌入具有两个向量，分别用来捕捉实体作为关系的头部和关系的尾部的行为。并利用逆关系嵌入函数，增强两个向量之间的相互依赖关系，使用四元数扩展复值空间，引入超复数表示来建模实体和关系从而增强它们的旋转灵活度。最后将上述过程训练好的实体和关系的四元数嵌入向量输入到卷积神经网络处理，从而提升模型的表示能力。通过上述过程处理，在知识图谱中进行查询，得到问答结果。
通过对医疗健康领域数据进行知识抽取、知识融合、知识存储，构建面向医疗健康领域的知识图谱。采用Python语言、Neo4j图数据库、基于Python的Web框架Flask、Node.js+Vue前端技术，最终实现基于知识表示学习的医疗健康知识图谱的构建以及可视化系统。
通过在基准WN18、FB15K、WN18RR、FB15K-237采用链路预测任务对本实施例所提出的基于卷积四元数的逆向关系旋转嵌入知识表示方法(cQuaIE)进行评估，比较该方法和目前最先进的模型之间的差距，其评估结果如下表所示：
表1 cQuaIE与基线模型在WN18数据集与FB15K数据集上进行链路预测的实验结果
表2 cQuaIE与基线模型在WN18RR数据集与FB15K-237数据集上进行链路预测的实验结果
上表中的实验结果表明，相较于现有的模型与方法，cQuaIE体现出了很强的竞争力。使用不同的嵌入生成类来为头部实体和尾部实体生成嵌入向量，使得每个实体的嵌入具有两个向量。并利用逆关系嵌入函数，增强两个向量之间的相互依赖关系。使用四元数扩展复值空间，增强实体和关系的旋转灵活度。最后将上述过程训练好的实体和关系的四元数嵌入向量输入到卷积神经网络处理，从而提高模型链接预测准确性。所以cQuaIE模型在链路预测和三元组分类两个任务中的各项指标均取得了很大进步，体现了其优越性。
实施例二
本发明实施例还提供一种基于卷积四元数的逆向关系旋转嵌入知识表示系统，包括：
关系映射模块，用于将获取的知识图谱中三元组的实体和关系映射到复数向量空间，所述实体包括头实体和尾实体，每个关系定义为从头实体到尾实体的旋转；
向量生成模块，用于为所述头实体和尾实体生成嵌入向量，使得每个实体的嵌入具有两个向量，两个向量分别用来捕捉实体作为关系的头部和关系的尾部的行为，并利用逆关系嵌入函数，增强两个向量之间的相互依赖关系；
得分预测模块，用于引入超复数表示来建模实体和关系，并输入至预设的卷积神经网络中进行得分预测和损失修正，得到三元组的嵌入知识表示。
本实施例提供的基于卷积四元数的逆向关系旋转嵌入知识表示系统用于实现前述的基于卷积四元数的逆向关系旋转嵌入知识表示方法，因此基于卷积四元数的逆向关系旋转嵌入知识表示系统中的具体实施方式可见前文中的基于卷积四元数的逆向关系旋转嵌入知识表示方法的实施例部分，在此不再进行赘述。
实施例三
本发明实施例还提供一种计算机设备，所述计算机设备包括处理器、存储器和总线。
所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时，可以执行如上述图1所示方法实施例中的基于卷积四元数的逆向关系旋转嵌入知识表示方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
实施例四
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法实施例中所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于卷积四元数的逆向关系旋转嵌入知识表示方法，其特征在于，包括：
将获取的知识图谱中三元组的实体和关系映射到复数向量空间，所述实体包括头实体和尾实体，每个关系定义为从头实体到尾实体的旋转；
为所述头实体和尾实体生成嵌入向量，使得每个实体的嵌入具有两个向量，两个向量分别用来捕捉实体作为关系的头部和关系的尾部的行为，并利用逆关系嵌入函数，增强两个向量之间的相互依赖关系；
引入超复数表示来建模实体和关系，并输入至预设的卷积神经网络中进行得分预测和损失修正，得到三元组的嵌入知识表示。
2.如权利要求1所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法，其特征在于，给定三元组(ei,r,ej)，其中，ei和ej为两个不同的实体，r为实体之间的关系；使用he，te分别用来捕捉实体e作为关系的头部和关系的尾部的行为，对于每个关系，引入一个逆关系向量r-1，通过逆关系嵌入函数的使用，得到在三元组(ei,r,ej)上的评分函数fr(h,t)：
其中，
为实体ei作为头实体，
为实体ei作为尾实体，
为实体ej作为头实体，
为实体ej作为尾实体，
表示Hadmard乘积。
3.如权利要求2所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法，其特征在于，将头实体和尾实体映射到超复数空间中，得到三元组的嵌入知识表示；将所述三元组的嵌入知识表示输入至卷积神经网络的卷积层，在所述卷积层中使用不同的过滤器提取三元组的相同维度条目之间的全局关系，生成特征映射，将多个特征映射连接成特征向量；根据所述特征向量确定三元组的得分。
4.如权利要求3所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法，其特征在于，将所述三元组的嵌入知识表示作为正例三元组，利用自对抗负采样生成负例三元组，将所述正例三元组和负例三元组输入至卷积神经网络进行得分预测和损失修正。
5.如权利要求4所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法，其特征在于，所述自对抗负采样从以下分布中抽取负三元组样本：
其中，α为采样程度，用于调整采样策略，p(·)为概率；
将所述概率作为负样本权重，所述自对抗负采样的损失函数定义为：
其中，γ是定值边缘超参数，σ是sigmoid激活函数，(h′j,r,t′j)表示第j个负例三元组，(h′i,r,t′i)表示第i个负例三元组，负例三元组是由正例三元组通过头实体或者尾实体被随机替换构成的。
6.如权利要求3所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法，其特征在于，使用四元数逆向关系嵌入过程中训练多次构成的三元组矩阵来初始化实体和关系的嵌入，并且通过卷积运算训练三元组矩阵，用于对抽取的三元组进行得分预测和损失修正。
7.如权利要求3所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法，其特征在于，三元组的得分函数定义为：
fr(h,r,t)＝concat(g([h,r,t]*Ω))·W；
其中，g表示ReLU激活函数，h表示头实体，t表示尾实体，r表示实体之间的关系，Ω与W为共享超参数，*表示卷积运算符，concat表示串联运算符；
使用Adam优化器不断更新参数，并通正则化最小化损失函数L对卷积神经网络进行训练：
其中，λ是
的权重，S与S′分别表示正例三元组与负例三元组的集合，正例三元组与负例三元组决定了l(h,r,t)的取值，其中：
8.一种基于卷积四元数的逆向关系旋转嵌入知识表示系统，其特征在于，包括：
关系映射模块，用于将获取的知识图谱中三元组的实体和关系映射到复数向量空间，所述实体包括头实体和尾实体，每个关系定义为从头实体到尾实体的旋转；
向量生成模块，用于为所述头实体和尾实体生成嵌入向量，使得每个实体的嵌入具有两个向量，两个向量分别用来捕捉实体作为关系的头部和关系的尾部的行为，并利用逆关系嵌入函数，增强两个向量之间的相互依赖关系；
得分预测模块，用于引入超复数表示来建模实体和关系，并输入至预设的卷积神经网络中进行得分预测和损失修正，得到三元组的嵌入知识表示。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的基于卷积四元数的逆向关系旋转嵌入知识表示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211078094.5A CN115481256A (zh) | 2022-09-05 | 2022-09-05 | 基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211078094.5A CN115481256A (zh) | 2022-09-05 | 2022-09-05 | 基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115481256A true CN115481256A (zh) | 2022-12-16 |
Family
ID=84392776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211078094.5A Pending CN115481256A (zh) | 2022-09-05 | 2022-09-05 | 基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115481256A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117634599A (zh) * | 2023-10-17 | 2024-03-01 | 中国电子信息产业集团有限公司第六研究所 | 基于知识图谱的路径推理方法、装置、电子设备及介质 |
-
2022
- 2022-09-05 CN CN202211078094.5A patent/CN115481256A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117634599A (zh) * | 2023-10-17 | 2024-03-01 | 中国电子信息产业集团有限公司第六研究所 | 基于知识图谱的路径推理方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Self-paced balance learning for clinical skin disease recognition | |
| CN106934042B (zh) | 一种知识图谱表示系统及其实施方法 | |
| CN107122809B (zh) | 基于图像自编码的神经网络特征学习方法 | |
| WO2022001123A1 (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| CN110598022B (zh) | 一种基于鲁棒深度哈希网络的图像检索系统与方法 | |
| CN114780748A (zh) | 基于先验权重增强的知识图谱的补全方法 | |
| CN114639483A (zh) | 一种基于图神经网络的电子病历检索方法及装置 | |
| CN110136017A (zh) | 一种基于数据增强和非负矩阵稀疏分解的群组发现方法 | |
| CN114691886A (zh) | 一种关系增强的知识图谱嵌入方法及系统 | |
| CN112784921A (zh) | 任务注意力引导的小样本图像互补学习分类算法 | |
| CN116152554A (zh) | 基于知识引导的小样本图像识别系统 | |
| JP2015036939A (ja) | 特徴抽出プログラム及び情報処理装置 | |
| CN115481256A (zh) | 基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统 | |
| CN116128056A (zh) | 一种面向rpa的多模态交互实体对齐方法 | |
| CN118628736A (zh) | 基于聚类思想的弱监督室内点云语义分割方法、装置及介质 | |
| Zhou et al. | Overcoming topology agnosticism: Enhancing skeleton-based action recognition through redefined skeletal topology awareness | |
| Cho et al. | Genetic evolution processing of data structures for image classification | |
| Li et al. | Facial age estimation by deep residual decision making | |
| CN117150041A (zh) | 一种基于强化学习的小样本知识图谱补全方法 | |
| WO2021059527A1 (ja) | 学習装置、学習方法、及び、記録媒体 | |
| CN110993121A (zh) | 一种基于双协同线性流形的药物关联预测方法 | |
| Rao et al. | COVID-19 X-ray Image Detection using ResNet50 and VGG16 in Convolution Neural Network | |
| CN112836511B (zh) | 基于协同关系的知识图谱上下文嵌入方法 | |
| CN115392257A (zh) | 一种基于图聚合和推理的文本关系抽取方法 | |
| CN114741532A (zh) | 基于多尺度分散动态路由的知识图谱补全方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Applicant after: Qilu University of Technology (Shandong Academy of Sciences) Address before: 250353 University Road, Changqing District, Ji'nan, Shandong Province, No. 3501 Applicant before: Qilu University of Technology Country or region before: China |