CN113779219A - 一种结合文本双曲分段知识嵌入多重知识图谱的问答方法 - Google Patents

一种结合文本双曲分段知识嵌入多重知识图谱的问答方法 Download PDF

Info

Publication number
CN113779219A
CN113779219A CN202111069945.5A CN202111069945A CN113779219A CN 113779219 A CN113779219 A CN 113779219A CN 202111069945 A CN202111069945 A CN 202111069945A CN 113779219 A CN113779219 A CN 113779219A
Authority
CN
China
Prior art keywords
hyperbolic
embedding
knowledge
entity
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111069945.5A
Other languages
English (en)
Other versions
CN113779219B (zh
Inventor
苏依拉
吕苏艳
梁衍锋
崔少东
仁庆道尔吉
吉亚图
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN202111069945.5A priority Critical patent/CN113779219B/zh
Publication of CN113779219A publication Critical patent/CN113779219A/zh
Application granted granted Critical
Publication of CN113779219B publication Critical patent/CN113779219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

一种结合文本双曲分段知识嵌入多重知识图谱的问答方法，利用双曲分段嵌入模型，实现知识图谱中实体和关系的初始化，所述实体包括头实体和尾实体；针对自然语言提出的问题，利用RoBERTa模型进行问题嵌入，并构建异构图，融合与问题相关的知识图谱与文本；利用文本中的语义信息丰富知识图谱中实体嵌入的表示，并将文本作为超边，补充不完整知识图谱中的关系；将结合文本的实体嵌入、问题嵌入和候选答案构建新三元组，并采用评分函数进行打分，实现知识图谱问答。本发明可大大提升知识图谱问答的质量，获得更加精准的答案。

Description

一种结合文本双曲分段知识嵌入多重知识图谱的问答方法
技术领域
本发明属于人工智能技术领域，涉及知识图谱问答，特别涉及一种结合文本双曲分段知识嵌入多重知识图谱的问答方法。
背景技术
近年来，大规模知识图谱的发展为回答开放域问题提供了丰富的资源。基于知识图谱来回答自然语言问题已经成为的一种热门趋势。
大多数早期的知识图谱问答采用的是传统的基于语义分析的方法。该类方法使用字典、规则和机器学习，将自然语言问句映射成一种语义表示或逻辑表达式或查询图。基于语义解析的方法通常使用分类模型进行关系的预测，但由于知识图谱中包含数十万种关系，训练集难以覆盖如此庞大规模的关系，使得基于语义解析的方法在知识图谱问答上受到限制。再后来出现了基于信息检索的方法，该类方法首先根据问题得到若干个候选实体，从知识图谱中抽取与候选实体相连的关系作为候选查询路径，再使用文本匹配模型，选择出与问题相似度最高的候选查询路径，到知识图谱中检索答案。此方法需自定义构建特征且对复杂问题处理效果不好。
最近，越来越多的基于神经网络的方法已经被证明是有效的知识图谱问答任务。这些方法只需要简单地查询知识图谱，不需要额外的语法知识和词典，并且隐式地完成了候选答案的搜索和排序功能。然而怎样真正的理解问题并且缩小自然语言和知识图谱的结构化语义之间的差距仍然是非常具有挑战性的。
另外，基于神经网络的知识图谱问答中通常需要通过知识嵌入模型来学习三元组中实体和关系的表示，虽然近年来对知识图谱嵌入问题进行了大量的研究，但现有的研究并没有在模型复杂性(参数的数量)和模型表达性(语义信息捕获性能)之间做出适当的权衡，同时，也不容易保持知识图谱的多重层次结构。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种结合文本双曲分段知识嵌入多重知识图谱的问答方法。
为了实现上述目的，本发明采用的技术方案是：
一种结合文本双曲分段知识嵌入多重知识图谱的问答方法，包括如下步骤：
步骤1，利用双曲分段嵌入模型，实现知识图谱中实体和关系的初始化，所述实体包括头实体和尾实体；
步骤2，针对自然语言提出的问题，利用RoBERTa模型进行问题嵌入，并构建异构图，融合与问题相关的知识图谱与文本；
步骤3，利用文本中的语义信息丰富知识图谱中实体嵌入的表示，并将文本作为超边，补充不完整知识图谱中的关系；
步骤4，将结合文本的实体嵌入、问题嵌入和候选答案构建新三元组，并采用评分函数进行打分，实现知识图谱问答。
进一步地，所述步骤1中，先训练双曲几何嵌入模型，再训练双曲分段嵌入模型，所述双曲分段嵌入模型是将双曲实体或双曲关系嵌入分割成不同片段，并对其进行多线性点积。
进一步地，所述双曲几何嵌入模型的训练中，采用具有负曲率c的m维庞加莱球模型建模知识图谱，在庞加莱球模型上点X与点Y之间的距离d(X,Y)用双曲空间距离公式表示为：
Figure BDA0003259818460000021
其中，arccos h(.)表示反双曲余弦函数，‖.‖表示L2范数；
知识图谱用三元组(h,r,t)表示，其中h代表头实体，t代表尾实体，r代表头实体和尾实体之间的关系，(h,r,t)∈V×R×V，V,R均表示实体数据集，对头实体h运用Rotation与Reflection参数进行旋转和映射，公式表示如下：
Figure BDA0003259818460000031
其中，Rot表示旋转，Ref表示映射；P代表庞加莱求模型；
Figure BDA0003259818460000032
代表庞加莱球模型双曲实体嵌入的旋转值，
Figure BDA0003259818460000033
代表庞加莱球模型双曲关系嵌入的映射值；Θr,Φr均表示关系专用参数；
Figure BDA0003259818460000034
表示双曲头实体嵌入；
然后利用双曲注意力机制将
Figure BDA0003259818460000035
和
Figure BDA0003259818460000036
结合并应用于双曲变换公式，表示如下：
Figure BDA0003259818460000037
其中，Q(p,r)表示查询嵌入，即双曲头实体嵌入的旋转和反射逻辑编码模式与双曲关系嵌入进行逻辑运算的值，Att代表双曲注意力机制；
Figure BDA0003259818460000038
代表双曲关系嵌入，通过双曲嵌入模型获取，r∈R；ar表示有关关系的双曲注意力机制的载体；
Figure BDA0003259818460000039
是一个逻辑运算符号，它表示先进行异或运算，再取其补集；
最后通过双曲空间距离公式将查询嵌入与双曲尾实体嵌入进行比较，得到评分函数s(p,r,t)，如下式所示：
Figure BDA00032598184600000310
其中，
Figure BDA00032598184600000311
表示双曲尾实体嵌入，
Figure BDA00032598184600000312
表示Q(p,r)与
Figure BDA00032598184600000313
之间距离的补集；bh,bt表示在评分函数中作为边界值的实体偏差。
进一步地，所述双曲分段嵌入模型的训练中，是将双曲头实体嵌入和双曲尾实体嵌入的双曲关系嵌入
Figure BDA00032598184600000314
划分奇偶段：首先，假设双曲关系嵌入
Figure BDA00032598184600000315
为d维，将双曲关系嵌入
Figure BDA00032598184600000316
的d维嵌入均匀划分为k段；其次，将双曲关系嵌入
Figure BDA00032598184600000317
分为奇数段和偶数段来保持关系的对称性和反对称性质；最后，使用wx,y来确定候选答案所落的位置，当x为偶数时，wxy＝y，当x为奇数时，wx,y＝(x+y)％k。
进一步地，所述步骤2中，首先，使用RoBERTa模型将问题嵌入到多维向量中；其次，通过若干完全连接的线性层，并通过ReLU激活，最终将问题投射到固定的维向量空间中实现问题嵌入；然后，使用两个并行管道即知识图谱和文档，检索问题子图；最后将检索到的实体和文档与实体链接L结合起来，生成一个完全连接的图，即所述的异构图。
进一步地，所述步骤3中，以查询编码、文本编码和知识图谱编码为输入，在结合文本推理的知识图谱中，输入部分利用文本信息，通过丰富实体嵌入和添加超边来改进不完整知识库，并将图卷积网络(Graph Convolution Network，GCN)和异构图卷积网络(Heterogeneous Graph Convolution Network，HGCN)应用于推理。
进一步地，在结合文本推理的知识图谱中，运用GCN来丰富知识图谱中的实体，并采用HGCN对超图格式的文本进行编码，将纯文本视为连接文本之间实体的超边。
进一步地，所述步骤4中，将结合文本的实体，问题与候选答案嵌入再次运用双曲分段嵌入模型进行训练，该模型通过最小化分数的sigmoid函数与目标标签之间的二值交叉熵损失函数来学习，其中目标标签为1的是正确的回答，目标标签为0的是不正确的回答。训练完成后，模型根据所有可能的实体/问题对，对所有可能的候选答案运用步骤1中的分段评分函数进行打分，选择分数最高的候选答案为最终答案。
与现有技术相比，本发明利用双曲分段知识嵌入模型，在不牺牲模型复杂性的基础上，充分发挥模型的表达性，从而捕获更多语义信息，同时，保持知识图谱的多层层次结构。并加入文本做为额外信息来缩短自然语言和知识图谱的结构化语义之间的差距，从而提升知识图谱问答的质量。
附图说明
图1是本发明实施例的整体流程示意图。
图2是本发明实施例构建的异构图结构。
图3是本发明实施例结合文本的知识图谱问答模型。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
本发明为一种结合文本双曲分段知识嵌入多重知识图谱的问答方法，参考图1，在一个实施例中，其包含了如下的具体步骤：
步骤1，利用双曲分段嵌入模型，实现知识图谱中实体(头实体和尾实体)和关系的初始化。
具体地，先训练得到双曲几何嵌入模型，再训练得到双曲分段嵌入模型，步骤如下：
1、双曲几何嵌入模型训练。
双曲几何是一类具有常数负曲率的非欧几何，本发明采用具有负曲率c的m维庞加莱球模型建模知识图谱，庞加莱球模型公式表示为：
Figure BDA0003259818460000051
其中Pm,c表示采用具有负曲率c的m维的庞加莱球模型的数值，c<0；x表示庞加莱球模型上的点，
Figure BDA0003259818460000055
表示实体集合，
Figure BDA0003259818460000052
表示m维实体向量空间；‖.‖表示L2范数。
假设在庞加莱球模型上点X与点Y之间的距离用d(X,Y)表示，当其中某个点从原点方向向球边界移动时，d(X，Y)呈指数级增加，从而为嵌入学习提供了更大的空间，点X和点Y之间的距离可以用双曲空间距离公式表示为：
Figure BDA0003259818460000053
其中，arccos h(.)表示反双曲余弦函数。
知识图谱一般用三元组(h,r,t)表示，其中h代表头实体，t代表尾实体，r代表头实体和尾实体之间的关系，(h,r,t)∈V×R×V，V,R表示实体数据集。
首先，对头实体h运用Rotation与Reflection参数进行旋转和映射，公式表示如下：
Figure BDA0003259818460000054
其中，Rot表示旋转，Ref表示映射；p代表庞加莱求模型；
Figure BDA0003259818460000061
代表庞加莱球模型双曲实体嵌入的旋转值，
Figure BDA0003259818460000062
代表庞加莱球模型双曲关系嵌入的映射值；Θr,Φr均表示关系专用参数；
Figure BDA0003259818460000063
表示双曲头实体嵌入。
然后，利用双曲注意力机制将
Figure BDA0003259818460000064
和
Figure BDA0003259818460000065
结合起来并应用于双曲变换公式，此变换公式的目的在于能够在知识图谱多重层次结构的各个层次之间捕捉树形结构，以此来捕获更多的语义关系，公式表示如下：
Figure BDA0003259818460000066
其中，Q(p,r)表示查询嵌入，即双曲头实体嵌入的旋转和反射逻辑编码模式与双曲关系嵌入进行逻辑运算的值，Att代表双曲注意力机制；
Figure BDA0003259818460000067
代表双曲关系嵌入，通过双曲嵌入模型获取，r∈R；ar表示有关关系的双曲注意力机制的载体；
Figure BDA0003259818460000068
是一个逻辑运算符号，它表示先进行异或运算，再取其补集；
最后，通过双曲空间距离公式将查询嵌入与双曲尾实体嵌入进行比较，得到评分函数s(p,r,t)，如下式所示：
Figure BDA0003259818460000069
其中，
Figure BDA00032598184600000610
表示双曲尾实体嵌入，
Figure BDA00032598184600000611
表示Q(p,r)与
Figure BDA00032598184600000612
之间距离的补集；bh,bt表示在评分函数中作为边界值的实体偏差。
2、双曲分段嵌入模型训练。
双曲几何嵌入之后需要进行分段嵌入操作，分段嵌入是将双曲实体或双曲关系嵌入分割成不同片段，并对其进行多线性点积。这有利于语义特征向量的充分交互。多线性点积的公式如下所示：
Figure BDA00032598184600000613
Figure BDA00032598184600000614
表示多线性点积；
Figure BDA00032598184600000615
表示双曲关系嵌入的第x段；
Figure BDA00032598184600000616
表示双曲头实体嵌入第x段的；
Figure BDA00032598184600000617
表示双曲尾实体嵌入第x段。
分段嵌入的具体操作为将双曲头实体嵌入和双曲尾实体嵌入的双曲关系嵌入
Figure BDA00032598184600000618
划分奇偶段。
首先，假设双曲关系嵌入
Figure BDA0003259818460000071
为d维，将双曲关系嵌入
Figure BDA0003259818460000072
的d维嵌入均匀划分为k段，每个段的维数为d/k。此时双曲关系嵌入
Figure BDA0003259818460000073
可如下表示：
Figure BDA0003259818460000074
其中，
Figure BDA0003259818460000075
是双曲关系嵌入
Figure BDA0003259818460000076
的第x段，如果x是奇数，
Figure BDA0003259818460000077
就是奇数段，如果x是偶数，
Figure BDA0003259818460000078
就是关系嵌入的偶数段。
此时，包含分段的多线性点积公式
Figure BDA0003259818460000079
如下表示：
Figure BDA00032598184600000710
其中，x,y,w分别表示双曲关系嵌入
Figure BDA00032598184600000711
双曲头实体嵌入
Figure BDA00032598184600000712
双曲尾实体嵌入
Figure BDA00032598184600000713
的某一分段数。
其次，将双曲关系嵌入
Figure BDA00032598184600000714
分为奇数段和偶数段来保持关系的对称性和反对称性质。定义函数
Figure BDA00032598184600000715
sx,y如下所示：
Figure BDA00032598184600000716
Figure BDA00032598184600000717
Figure BDA00032598184600000718
表示sx,y的求和，
Figure BDA00032598184600000719
表示第y段双曲头实体嵌入，
Figure BDA00032598184600000720
表示第w段双曲尾实体嵌入；sx,y表示每个多线性点积项
Figure BDA00032598184600000721
的正负值，如果
Figure BDA00032598184600000722
是偶数段，sx,y为正，此时函数
Figure BDA00032598184600000723
中
Figure BDA00032598184600000724
的偶数和对应等于对应函数
Figure BDA00032598184600000725
中
Figure BDA00032598184600000726
的偶数和。因此，三元组可以通过双曲关系嵌入
Figure BDA00032598184600000727
的偶数段来模拟对称关系；如果
Figure BDA00032598184600000728
是奇数段，sx,y函数可以为正也可以为负，这取决于x+y是否≥k，如果
Figure BDA00032598184600000729
是奇数且x+y≥k，则函数sx,y为负，此时，函数
Figure BDA00032598184600000730
中
Figure BDA00032598184600000731
的奇数和不等于函数
Figure BDA00032598184600000732
中
Figure BDA0003259818460000081
的奇数和。因此，函数
Figure BDA0003259818460000082
支持双曲关系嵌入
Figure BDA0003259818460000083
奇数段的反对称关系。
最后，使用wx,y来确定候选答案所落的位置，当x为偶数时，wxy＝y，当x为奇数时，wx,y＝(x+y)％k。此方式使多线性点积的参数由以往的k3减少为k2，时间复杂度变为O(kd)，空间复杂度为0(d)，达到了降低时间、空间复杂度的目的。
双曲分段嵌入模型的评分函数如下所示：
Figure BDA0003259818460000084
其中，
Figure BDA0003259818460000085
Figure BDA0003259818460000086
其中，
Figure BDA0003259818460000087
为双曲尾实体嵌入，也即候选答案，k为总分段数，sx，y表示对称关系或非对称关系，当sx,y＝1表示对称关系，sx,y＝-1表示反对称关系，wx,y用来确定候选答案(尾实体)的段落数，
Figure BDA0003259818460000088
表示候选答案(尾实体)落在的段落数。运用此评分函数模型就能把候选答案选出。
综上所述，双曲分段嵌入模型就是利用双曲嵌入和分段嵌入的优势对实体和关系嵌入的初始化表示进行优化，使其在充分进行语义交互的同时，不增加模型的复杂性。
步骤2，针对自然语言提出的问题，利用RoBERTa模型进行问题嵌入，并构建异构图，融合与问题相关的知识图谱与文本。
构建异构图的目的是从同时包含相关知识图谱和文本的问题子图中提取答案。从而将知识图谱与文本融合，以利用两个信息源之间丰富的关系结构。
为了实现这种融合，本发明提出了一种异构图，如图2所示，针对提出的问题Q“谁在《恶搞之家》中为梅格配音？”。首先使用RoBERTa模型将问题Q嵌入到768维向量中。然后通过4个完全连接的线性层，并通过ReLU激活，最终将问题投射到固定的维向量空间中实现问题嵌入。其次，使用两个并行管道(知识图谱和文档)检索问题子图Gq：一个管道在知识图谱K上返回一组实体“梅格.格里芬”、“《居家男人》”、“莱西.沙伯特”、“米娜.古妮丝”，另一个管道在语料库D上返回两组文档D1，D2。然后，将检索到的实体和文档与实体链接L结合起来，生成一个完全连接的图。
在该异构图中：
1、针对知识图谱的检索。
为了从知识库中检索相关实体，首先在问题Q上执行实体链接，生成一组种子实体，记为Sq，图1中“梅格.格里芬”和“《居家男人》”就是问题Q执行实体链接后生成的种子实体。接下来，围绕这些种子实体运用个性化网页排名算法(Personalized PageRank，PPR)，以识别可能是问题答案的其他实体，经识别后又得到了“莱西.沙伯特”和“米娜.古妮丝”。Sq周围的边权重与所有相同类型的边是相等的，并且它们是被加权的，这使得与问题相关的边比那些不相关的边获得更高的权重。具体来说，对词向量进行平均，从关系的表面形式计算出关系向量v(r)，从问题中涉及到的实体计算出问题向量v(q)，并使用这些向量之间的余弦相似度作为边缘权重。在运行PPR算法之后，通过PPR得分保留排名最靠前的E实体v(1),…,v(E)，以及它们之间的任何边，并将它们添加到问题子图Gq里。
2、针对文本的检索。
本发明使用维基百科作为语料库，在句子级检索文本，具体分两步执行文本检索：首先，使用加权词袋模型检索前5篇最相关的维基百科文章；然后安装一个插件Lucene将这些文章中以句子形式出现的文本编入索引，根据问题中出现的实体向量，检索排名最靠前的文本D1,…,D4。本发明将检索到的文本D1,D2以及与之链接的任何实体添加到问题子图Gq中。
综上所述，步骤2中通过检索方式得到与问题相关的知识图谱和文本中的实体，以此来构建问题子图Gq，从而利用两个信息源之间丰富的关系结构，来提高回答问题的准确性。
步骤3，利用文本中的语义信息丰富知识图谱中实体嵌入的表示，并将文本作为超边，补充不完整知识图谱中的关系。
如图3所示，本发明实施例中，问答模型采用了编码器输入部分、图卷积网络(Graph Convolution Network，GCN)以及异构图卷积网络(Heterogeneous GraphConvolution Network，HGCN)的架构。其中，在编码器的输入部分分为查询编码、文本编码和知识图谱编码；在结合文本推理的知识图谱部分，利用文本信息，通过丰富实体嵌入和添加超边来改进不完整知识库，并将图卷积网络和异构图卷积网络应用于推理。具体说明如下：
1、查询和文本编码部分。
查询编码用来查询文本和知识图谱中所出现的与问题相关的实体，本发明令
Figure BDA0003259818460000101
作为查询q和文档d∈D的嵌入矩阵，其中n为嵌入维数。采用双-长短时记忆网络分别对查询和文档进行编码，并且获得隐藏层
Figure BDA0003259818460000102
和
Figure BDA0003259818460000103
其中h是双-长短时记忆网络中隐藏层的维数。然后利用注意机制计算查询hq和文档hd的表示，公式如下式所示。
Figure BDA0003259818460000104
Figure BDA0003259818460000105
其中，T表示矩阵转置，fq是将1维转化为n维的线性网络，fd是将|q|维转化为1维的线性网络。
2、知识图谱编码器部分。
在该部分，本发明通过步骤1训练的知识嵌入
Figure BDA0003259818460000106
来初始化每一个实体v∈V。并且通过语义向量和双曲分段知识嵌入对关系进行初始化。具体来说，对于关系r∈ε和关系嵌入
Figure BDA0003259818460000111
本发明将其标记为r＝(w1,w2,…w|r|)，然后输入到双-长短时记忆网络层进行词嵌入，从而得到隐藏层状态
Figure BDA0003259818460000112
然后计算表示层hr，公式如下式所示。
Figure BDA0003259818460000113
Figure BDA0003259818460000114
Figure BDA0003259818460000115
Figure BDA0003259818460000116
其中，[；]表示列连接，fr1表示一个线性网络,它将2h维转化为1维，fr2将2h+n维转化成n维。
3、结合文本推理的知识图谱部分。
首先，运用GCN来丰富知识图谱中的实体：本发明构造了一个二进制矩阵M，
Figure BDA0003259818460000117
表示实体文档d中实体v的跨度，并将信息从文档传递到实体，形成文本感知的实体嵌入x′v，然后连接xv作为初始节点状态hv (0)。
Figure BDA0003259818460000118
hv (0)＝fv([xv；x′v])∈Rh×1
其中，Dv是实体v的连接文档，
Figure BDA0003259818460000119
代表d维隐藏层向量的矩阵转置，fv将h+n维向量转换为h维向量。然后，该模型通过聚合连接实体特征来学习实体表示,公式如下式所示：
Figure BDA00032598184600001110
Figure BDA00032598184600001111
其中，W1，W2属于可学习参数；Nv表示实体v的相邻三元组集合；fa将2h维转化为h维；l1代表当前模型的层数；σ表示sigmoid函数。
其次，是用于超图格式文本的HGCN，HGCN模型将纯文本视为连接文本之间实体的超边，以弥补知识图谱中关系的不足。采用HGCN对超图格式的文本进行编码。更重要的是，双步骤注意力机制抓住了不同实体和文档的重要性。形式上，在第二层，模型首先将实体特征转移到连接的超边上，形成文档表示，公式如下式所示。
Figure BDA0003259818460000121
Figure BDA0003259818460000122
其中，W3和
Figure BDA0003259818460000123
是可学习参数，
Figure BDA0003259818460000124
和Nd表示文档d的连接实体集，然后，该模型收集文档信息，更新连接的实体状态。
Figure BDA0003259818460000125
Figure BDA0003259818460000126
其中，W5和
Figure BDA0003259818460000127
是可学习参数。
步骤4，将结合文本的实体嵌入、问题嵌入和候选答案构建新三元组，并采用评分函数进行打分，实现知识图谱问答。
具体地，在L1GCN层和L2HGCN层之后，进行挑选候选答案的操作，将结合文本的实体，问题，与候选答案嵌入再次运用双曲分段嵌入模型进行训练。该模型通过最小化分数的sigmoid函数与目标标签之间的二值交叉熵损失函数来学习，其中目标标签为1的是正确的回答，目标标签为0的是不正确的回答。训练完成后，模型根据所有可能的实体/问题对，对所有可能的候选答案运用步骤1中的分段评分函数进行打分，选择分数最高的候选答案为最终答案。
综上，再次结合图1，当提出问题“谁饰演了变形女上司的儿子”，将此问题送入问题嵌入模型中得到问题嵌入；针对此问题，从知识图谱和文本结合来构建问题子图，问题子图所涉及的实体和关系有“变形女”、“变形女”的“上司”“万磁王”、“万磁王”的“儿子”“快银”，以及“快银”的“饰演者”“伊万.彼得斯”。采用双曲分段知识嵌入模型初始化知识图谱；同时采用查询编码将文本中的实体与知识图谱中的进行实体链接。接着，运用图神经网络来丰富知识图谱中的实体；运用异构神经网络模型将纯文本视为连接文本之间实体的超边。最后，预测答案部分是将结合文本的实体嵌入，问题嵌入，候选答案嵌入构造的新三元组，采用分段评分函数进行打分，挑选出最高分的答案为最终答案，从图中可以看出候选答案伊万·彼得斯得分6.5，是最高的，所以最终答案是伊万·彼得斯。
由此可见，本发明大大提升了知识图谱问答的质量，能够获得更加精准的答案。

Claims (8)

1.一种结合文本双曲分段知识嵌入多重知识图谱的问答方法，其特征在于，包括如下步骤：
步骤1，利用双曲分段嵌入模型，实现知识图谱中实体和关系的初始化，所述实体包括头实体和尾实体；
步骤2，针对自然语言提出的问题，利用RoBERTa模型进行问题嵌入，并构建异构图，融合与问题相关的知识图谱与文本；
步骤3，利用文本中的语义信息丰富知识图谱中实体嵌入的表示，并将文本作为超边，补充不完整知识图谱中的关系；
步骤4，将结合文本的实体嵌入、问题嵌入和候选答案构建新三元组，并采用评分函数进行打分，实现知识图谱问答。
2.根据权利要求1所述结合文本双曲分段知识嵌入多重知识图谱的问答方法，其特征在于，所述步骤1中，先训练双曲几何嵌入模型，再训练双曲分段嵌入模型，所述双曲分段嵌入模型是将双曲实体或双曲关系嵌入分割成不同片段，并对其进行多线性点积。
3.根据权利要求2所述结合文本双曲分段知识嵌入多重知识图谱的问答方法，其特征在于，所述双曲几何嵌入模型的训练中，采用具有负曲率c的m维庞加莱球模型建模知识图谱，在庞加莱球模型上点X与点Y之间的距离d(X,Y)用双曲空间距离公式表示为：
Figure FDA0003259818450000011
其中，arccosh(.)表示反双曲余弦函数，‖.‖表示L2范数；
知识图谱用三元组(h,r,t)表示，其中h代表头实体，t代表尾实体，r代表头实体和尾实体之间的关系，(h,r,t)∈V×R×V，V,R均表示实体数据集，对头实体h运用Rotation与Reflection参数进行旋转和映射，公式表示如下：
Figure FDA0003259818450000021
其中，Rot表示旋转，Ref表示映射；P代表庞加莱求模型；
Figure FDA0003259818450000022
代表庞加莱球模型双曲实体嵌入的旋转值，
Figure FDA0003259818450000023
代表庞加莱球模型双曲关系嵌入的映射值；Θr,Φr均表示关系专用参数；
Figure FDA0003259818450000024
表示双曲头实体嵌入；
然后利用双曲注意力机制将
Figure FDA0003259818450000025
和
Figure FDA0003259818450000026
结合并应用于双曲变换公式，表示如下：
Figure FDA0003259818450000027
其中，Q(p,r)表示查询嵌入，即双曲头实体嵌入的旋转和反射逻辑编码模式与双曲关系嵌入进行逻辑运算的值，Att代表双曲注意力机制；
Figure FDA0003259818450000028
代表双曲关系嵌入，通过双曲嵌入模型获取，r∈R；ar表示有关关系的双曲注意力机制的载体；
Figure FDA0003259818450000029
是一个逻辑运算符号，它表示先进行异或运算，再取其补集；
最后通过双曲空间距离公式将查询嵌入与双曲尾实体嵌入进行比较，得到评分函数s(p,r,t)，如下式所示：
Figure FDA00032598184500000210
其中，
Figure FDA00032598184500000211
表示双曲尾实体嵌入，
Figure FDA00032598184500000212
表示Q(p,r)与
Figure FDA00032598184500000213
之间距离的补集；bh,bt表示在评分函数中作为边界值的实体偏差。
4.根据权利要求3所述结合文本双曲分段知识嵌入多重知识图谱的问答方法，其特征在于，所述双曲分段嵌入模型的训练中，是将双曲头实体嵌入和双曲尾实体嵌入的双曲关系嵌入
Figure FDA00032598184500000214
划分奇偶段：首先，假设双曲关系嵌入
Figure FDA00032598184500000215
为d维，将双曲关系嵌入
Figure FDA00032598184500000216
的d维嵌入均匀划分为k段；其次，将双曲关系嵌入
Figure FDA00032598184500000217
分为奇数段和偶数段来保持关系的对称性和反对称性质；最后，使用wx,y来确定候选答案所落的位置，当x为偶数时，wxy＝y，当x为奇数时，wx,y＝(x+y)％k。
5.根据权利要求1所述结合文本双曲分段知识嵌入多重知识图谱的问答方法，其特征在于，所述步骤2中，首先，使用RoBERTa模型将问题嵌入到多维向量中；其次，通过若干完全连接的线性层，并通过ReLU激活，最终将问题投射到固定的维向量空间中实现问题嵌入；然后，使用两个并行管道即知识图谱和文档，检索问题子图；最后将检索到的实体和文档与实体链接L结合起来，生成一个完全连接的图，即所述的异构图。
6.根据权利要求5所述结合文本双曲分段知识嵌入多重知识图谱的问答方法，其特征在于，所述步骤3中，以查询编码、文本编码和知识图谱编码为输入，在结合文本推理的知识图谱中，输入部分利用文本信息，通过丰富实体嵌入和添加超边来改进不完整知识库，并将图卷积网络(Graph Convolution Network，GCN)和异构图卷积网络(Heterogeneous GraphConvolution Network，HGCN)应用于推理。
7.根据权利要求6所述结合文本双曲分段知识嵌入多重知识图谱的问答方法，其特征在于，在结合文本推理的知识图谱中，运用GCN来丰富知识图谱中的实体，并采用HGCN对超图格式的文本进行编码，将纯文本视为连接文本之间实体的超边。
8.根据权利要求1所述结合文本双曲分段知识嵌入多重知识图谱的问答方法，其特征在于，所述步骤4中，将结合文本的实体，问题与候选答案嵌入再次运用双曲分段嵌入模型进行训练，该模型通过最小化分数的sigmoid函数与目标标签之间的二值交叉熵损失函数来学习，其中目标标签为1的是正确的回答，目标标签为0的是不正确的回答。训练完成后，模型根据所有可能的实体/问题对，对所有可能的候选答案运用步骤1中的分段评分函数进行打分，选择分数最高的候选答案为最终答案。
CN202111069945.5A 2021-09-13 2021-09-13 一种结合文本双曲分段知识嵌入多重知识图谱的问答方法 Active CN113779219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111069945.5A CN113779219B (zh) 2021-09-13 2021-09-13 一种结合文本双曲分段知识嵌入多重知识图谱的问答方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111069945.5A CN113779219B (zh) 2021-09-13 2021-09-13 一种结合文本双曲分段知识嵌入多重知识图谱的问答方法

Publications (2)

Publication Number Publication Date
CN113779219A true CN113779219A (zh) 2021-12-10
CN113779219B CN113779219B (zh) 2023-07-21

Family

ID=78843144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111069945.5A Active CN113779219B (zh) 2021-09-13 2021-09-13 一种结合文本双曲分段知识嵌入多重知识图谱的问答方法

Country Status (1)

Country Link
CN (1) CN113779219B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547325A (zh) * 2022-01-14 2022-05-27 北京帝测科技股份有限公司 一种概率超图驱动的地学知识图谱推理优化系统和方法
CN114880473A (zh) * 2022-04-29 2022-08-09 支付宝(杭州)信息技术有限公司 一种标签分类方法、装置、存储介质及电子设备
CN115438674A (zh) * 2022-11-08 2022-12-06 腾讯科技（深圳）有限公司 实体数据处理、实体链接方法、装置和计算机设备
CN117034954A (zh) * 2023-10-09 2023-11-10 华南师范大学 文本评分方法、装置、设备以及存储介质
CN117194682A (zh) * 2023-11-07 2023-12-08 国网浙江省电力有限公司营销服务中心 构建基于电网相关文件的知识图谱的方法、装置及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120280123A1 (en) * 2009-05-29 2012-11-08 Micromass Uk Limited Ion Tunnel Ion Guide
CN106991300A (zh) * 2017-03-03 2017-07-28 浙江工业大学 一种双曲线图形特征的数字指纹嵌入与检测方法
CN106991163A (zh) * 2017-03-31 2017-07-28 福州大学 一种基于演唱者声音特质的歌曲推荐方法
US20170352061A1 (en) * 2016-06-03 2017-12-07 University Of Maryland, College Park Optimal social network ad allocation using hyperbolic embedding
CN109113243A (zh) * 2018-09-20 2019-01-01 中亿丰建设集团股份有限公司 一种双曲线钢构造型穿孔铝板施工工法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120280123A1 (en) * 2009-05-29 2012-11-08 Micromass Uk Limited Ion Tunnel Ion Guide
US20170352061A1 (en) * 2016-06-03 2017-12-07 University Of Maryland, College Park Optimal social network ad allocation using hyperbolic embedding
CN106991300A (zh) * 2017-03-03 2017-07-28 浙江工业大学 一种双曲线图形特征的数字指纹嵌入与检测方法
CN106991163A (zh) * 2017-03-31 2017-07-28 福州大学 一种基于演唱者声音特质的歌曲推荐方法
CN109113243A (zh) * 2018-09-20 2019-01-01 中亿丰建设集团股份有限公司 一种双曲线钢构造型穿孔铝板施工工法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
NLP&KGER: "双曲图嵌入Low-Dimensional Hyperbolic Knowledge Graph Embeddings", pages 1 - 3 *
TOSHIHIRO TANUMA 等: "Revisiting Hyperbolic Voronoi Diagrams from Theoretical, Applied and Generalized Viewpoints", 《2010 INTERNATIONAL SYMPOSIUM ON VORONOI DIAGRAMS IN SCIENCE AND ENGINEERING》, pages 23 - 32 *
Y.SHU: "[论文介绍] 使用超边融合的文本增强的知识图谱开放域问答", pages 1 - 3 *
周礼全: "基于量子理论和双曲空间理论的知识表示学习研究", pages 138 - 2593 *
天才少女101: ""【论文阅读】Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings", pages 1 - 4 *
廉闻宇: "双曲守恒律系统的分段边界层函数方法", 《计算物理》, pages 197 - 210 *
张家玲: "离散情形下调和函数、调和映射的计算及工程应用研究", pages 005 - 1 *
李丽霞: "基于知识图谱的科研热点分析与演化研究 ————以瑞士国家科学基金为例基于知识图谱的科研热点分析与演化研究 ————以瑞士国家科学基金为例", pages 138 - 2756 *
王文广: "知识图谱推理：现代的方法与应用", pages 42 - 59 *
苏依拉 等: "Transformer-CRF词切分方法在蒙汉机器翻译中的应用", pages 38 - 46 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547325A (zh) * 2022-01-14 2022-05-27 北京帝测科技股份有限公司 一种概率超图驱动的地学知识图谱推理优化系统和方法
CN114880473A (zh) * 2022-04-29 2022-08-09 支付宝(杭州)信息技术有限公司 一种标签分类方法、装置、存储介质及电子设备
CN115438674A (zh) * 2022-11-08 2022-12-06 腾讯科技（深圳）有限公司 实体数据处理、实体链接方法、装置和计算机设备
CN117034954A (zh) * 2023-10-09 2023-11-10 华南师范大学 文本评分方法、装置、设备以及存储介质
CN117034954B (zh) * 2023-10-09 2024-02-06 华南师范大学 文本评分方法、装置、设备以及存储介质
CN117194682A (zh) * 2023-11-07 2023-12-08 国网浙江省电力有限公司营销服务中心 构建基于电网相关文件的知识图谱的方法、装置及介质
CN117194682B (zh) * 2023-11-07 2024-03-01 国网浙江省电力有限公司营销服务中心 构建基于电网相关文件的知识图谱的方法、装置及介质

Also Published As

Publication number Publication date
CN113779219B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111581405B (zh) 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法
CN113779219A (zh) 一种结合文本双曲分段知识嵌入多重知识图谱的问答方法
CN107748757A (zh) 一种基于知识图谱的问答方法
CN113297364B (zh) 一种面向对话系统中的自然语言理解方法及装置
CN113064959A (zh) 一种基于深度自监督排序哈希的跨模态检索方法
CN109446414B (zh) 一种基于神经网络分类的软件信息站点快速标签推荐方法
CN112256847B (zh) 融合事实文本的知识库问答方法
CN110598022B (zh) 一种基于鲁棒深度哈希网络的图像检索系统与方法
CN115438674B (zh) 实体数据处理、实体链接方法、装置和计算机设备
CN111428443A (zh) 一种基于实体上下文语义交互的实体链接方法
Siddiquie et al. Multi-modal image retrieval for complex queries using small codes
CN112766507A (zh) 基于嵌入式和候选子图剪枝的复杂问题知识库问答方法
CN115034208A (zh) 一种基于bert的中文asr输出文本修复方法及系统
CN116975350A (zh) 图文检索方法、装置、设备及存储介质
Perez-Martin et al. A comprehensive review of the video-to-text problem
CN113010690B (zh) 一种基于文本信息增强实体嵌入的方法
CN116010553A (zh) 一种基于双路编码和精确匹配信号的观点检索系统
CN115564049B (zh) 一种双向编码的知识图谱嵌入方法
CN116680407A (zh) 一种知识图谱的构建方法及装置
CN115599984A (zh) 一种检索方法
CN115730232A (zh) 基于主题相关的异构图神经网络跨语言文本分类方法
CN114780725A (zh) 一种基于深度聚类的文本分类算法
Huang et al. Pqsct: Pseudo-siamese bert for concept tagging with both questions and solutions
CN113590745A (zh) 一种可解释的文本推断方法
Liu et al. Entity representation learning with multimodal neighbors for link prediction in knowledge graph

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant