CN113255919A - 基于知识图谱与语言模型的联合推理方法 - Google Patents

基于知识图谱与语言模型的联合推理方法 Download PDF

Info

Publication number
CN113255919A
CN113255919A CN202110643305.4A CN202110643305A CN113255919A CN 113255919 A CN113255919 A CN 113255919A CN 202110643305 A CN202110643305 A CN 202110643305A CN 113255919 A CN113255919 A CN 113255919A
Authority
CN
China
Prior art keywords
node
graph
joint
knowledge
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110643305.4A
Other languages
English (en)
Inventor
黄鑫
陈毅波
向行
黄巍
张祖平
田建伟
蒋破荒
朱宏宇
方彬
祝视
杨芳僚
胡其辉
陈运生
孙毅臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Hunan Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110643305.4A priority Critical patent/CN113255919A/zh
Publication of CN113255919A publication Critical patent/CN113255919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于知识图谱与语言模型的联合推理方法，包括获取QA文档并构建知识图谱；对QA文档编码表示并在知识图谱中检索得到知识图谱子图；构建用于表示QA文档中上下文的节点并将该节点连接到知识图谱子图中得到联合图；计算每对QA的相关性评分；进行联合图上的消息传递；对QA文档的编码表示、QA上下文的节点表示和联合图进行操作并输入到最终的模型，完成知识图谱与语言模型的联合推理。本发明方法在工作图上的联合推理算法可以同时更新KG实体和QA上下文节点的向量表示，弥合了两种信息源之间的鸿沟，从而能够更好的识别有效信息和更好的进行联合推理，而且可靠性高，实用性好。

Description

基于知识图谱与语言模型的联合推理方法
技术领域
本发明属于自然语言处理领域，具体涉及一种基于知识图谱与语言模型的联合推理方法。
背景技术
随着经济技术的发展和人们生活水平的提高，自然语言处理技术已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。
知识问答系统早在20世纪60年代就已出现，伴随着人工智能的兴衰，问答系统也经历了半个多世纪的荣枯，直到今天仍然方兴未艾。近年来，对话系统不断发展，对话功能不断增多，对数据内容和数据结构也提出了更高的要求。在问答系统对话中，由于涉及的数据量及不同领域间的特征差异较大，基于问答对匹配的检索式回答系统无法有效回答海量且富含信息的问句。也就是说，一个好的问答系统必须能够理解问句并对其进行推理。
最近，经过预训练的语言模型(Language Models，LMs)在许多问答任务中都表现出惊人的成功。然而，尽管LM拥有广泛的知识覆盖面，但他们在结构化推理上变现不佳。另一方面，知识图(Knowledge Graph，KG)更适合结构化推理，并且可以通过提供推理路径来实现可解释的预测，但缺乏覆盖范围，适合垂直领域。有学者提出，利用两种结合来进行推理；但是，如何利用两种知识来源(LM+KG)进行有效推理，仍然具有两个挑战：(i)如何从大型KG中识别知识(有用信息)；(ii)如何捕捉问答(Question&Answer,QA)上下文的本质内容和知识图的结构，以便对这两种信息源进行联合推理。
现有的LM+KG推理方法，将QA上下文和KG视为两种单独的方式。该方法将LM分别应用于QA上下文，并将图神经网络(Graph Neural Network，GNN)应用于KG，并且不会相互更新或统一其表示。但是，这种分离可能会限制该方法执行结构化推理(例如处理否定)的能力。
发明内容
本发明的目的在于提供一种能够更好的识别有效信息和更好的进行联合推理，而且可靠性高，实用性好的基于知识图谱与语言模型的联合推理方法。
本发明提供的这种基于知识图谱与语言模型的联合推理方法，包括如下步骤：
S1.获取QA文档，并构建知识图谱；
S2.对步骤S1获取的QA文档进行编码表示，并在步骤S1构建的知识图谱中根据编码的QA文档进行检索，从而得到知识图谱子图；
S3.构建用于表示QA文档中上下文的节点，并将该节点连接到步骤S2得到的知识图谱子图中，从而构建得到联合图；
S4.计算每对QA的相关性评分，从而表示QA节点与联合图中其他节点之间的关系；
S5.进行联合图上的消息传递；
S6.对QA文档的编码表示、QA上下文的节点表示和联合图进行操作，并输入到最终的模型，从而完成知识图谱与语言模型的联合推理。
步骤S1所述的获取QA文档，并构建知识图谱，具体为利用语言模型对QA文档进行实体提取，从而得到问题实体和选择实体；然后根据实体名称和构建好的本体架构识别实体之间的关系，在实体之间建立边，从而构成知识图。
步骤S2所述的对步骤S1获取的QA文档进行编码表示，并在步骤S1构建的知识图谱中根据编码的QA文档进行检索，从而得到知识图谱子图，具体为采用语言模型对QA文档进行编码表示，同时采用Tri-gram来确保下一个单词的约束性和可靠性，最后从已构建好的知识图谱中根据QA上下文来检索，并得到知识图谱子图。
步骤S3所述的构建用于表示QA文档中上下文的节点，并将该节点连接到步骤S2得到的知识图谱子图中，从而构建得到联合图，具体为构建用于表示QA文档中上下文的节点m，并将节点m连接到知识图谱子集gsub中vq,a中的每个主题实体，并采用两个新的关系类型rm,q和rm,a构建对应的边；同时，在图gsub中每个节点都与下述四种类型之一相关联：上下文节点m、vq中的节点、va中的节点和其他节点；记上下文节点m的文本为test(m)，知识图谱中的节点v的文本为test(v)；使用QA文档中上下文的语言模型来表示对m初始化节点编码，并采用SMRR编码技术编码gsub中的每一个节点。
步骤S4所述的计算每对QA的相关性评分，从而表示QA节点与联合图中其他节点之间的关系，具体为采用语言模型对以QA上下文为条件的每个KG节点v的相关性进行评分；对于每个节点v，将test(v)与test(m)连接起来，并采用如下算式计算相关性得分ρv：
ρv＝fhead(fenc([text(m)；text(v)]))
式中test(v)为节点v实体，text(m)为上下文实体；fenc()为LM模型；fhead()为LM模型；相关性得分ρv用于捕获每个知识图谱节点相对于给定QA上下文的重要性。
步骤S5所述的进行联合图上的消息传递，具体包括如下步骤：
将GNN模块建立在图注意力框架上，通过在图上邻居之间传递的迭代消息来推导节点表示；在L层LK-GNN中，对于每一层，将每个节点t∈vw的表示
Figure BDA0003107975780000041
更新为
Figure BDA0003107975780000042
其中Nt为节点t的邻域；
Figure BDA0003107975780000043
记录从每个相邻节点s到t的消息；αst为一个关注权重，用于将每个消息ist从s缩放到t；然后将消息的综合通过批处理归一化后，通过2层MLP；对于每个节点t∈vs，采用线性变换fn来设置
Figure BDA0003107975780000044
所述线性变换用于将初始节点编码表示映射到
Figure BDA0003107975780000045
首先获得每个节点t的类型编码表示ut；从节点s到t的关系编码表示rst为rst＝fr(est,us,ut)，其中ut＝fu(ut)；us∈{0,1}|T|为one-hot向量，用于表示s的节点类型；ut∈{0,1}|T|为one-hot向量，用于表示t的节点类型；est∈{0,1}|R|为one-hot向量，用于边(s,t)的关系类型；fu:
Figure BDA0003107975780000046
为一个线性化，且fr:
Figure BDA0003107975780000047
为一个2层的MLP；然后计算从节点s到t的信息计算如下：
Figure BDA0003107975780000048
式中fm:
Figure BDA0003107975780000049
为一个线性变换；
将每个节点t的相关性得分通过下式编码：
ρt＝fρ(ρt)
其中fρ:
Figure BDA00031079757800000410
是一个MLP；采用如下等式获取query向量和key向量：
Figure BDA00031079757800000411
Figure BDA00031079757800000412
其中fq:
Figure BDA00031079757800000413
和fk:
Figure BDA00031079757800000414
均为线性变换函数；然后，注意力权重αst为
Figure BDA0003107975780000051
式中D为维度大小；γ'st为中间变量；t'为节点s的邻居节点。
步骤S6所述的对QA文档的编码表示、QA上下文的节点表示和联合图进行操作，并输入到最终的模型，从而完成知识图谱与语言模型的联合推理，具体为给定问题q和答案选择a，采用来自QA上下文和知识图谱的信息来计算答案的概率p(a|q)∝exp(MLP(mLM,mGNN,g))，其中
Figure BDA0003107975780000052
和g表示
Figure BDA0003107975780000053
的池化；同时采用交叉熵损失来进行模型优化。
本发明提供的这种基于知识图谱与语言模型的联合推理方法，首先设计了QA上下文和KG的联合图表示，其次设计了一个节点相关性评分函数扩充每个节点的特征，以及一个基于注意力机制的GNN模块进行推理；本发明通过这三个设计，在工作图上的联合推理算法可以同时更新KG实体和QA上下文节点的向量表示，弥合了两种信息源之间的鸿沟，从而能够更好的识别有效信息和更好的进行联合推理，而且可靠性高，实用性好。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法中QA文本到知识图KG构建的示意图。
图3为本发明方法中QA文本表征过程示意图。
图4为本发明方法中检索知识图的相关性评分流程结构示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于知识图谱与语言模型的联合推理方法，包括如下步骤：
S1.获取QA文档，并构建知识图谱；具体为利用语言模型对QA文档进行实体提取，从而得到问题实体和选择实体；然后根据实体名称和构建好的本体架构识别实体之间的关系，在实体之间建立边，从而构成知识图；具体如图2所示；
S2.对步骤S1获取的QA文档进行编码表示，并在步骤S1构建的知识图谱中根据编码的QA文档进行检索，从而得到知识图谱子图；具体为采用语言模型对QA文档进行编码表示，同时采用Tri-gram来确保下一个单词的约束性和可靠性，最后从已构建好的知识图谱中根据QA上下文来检索，并得到知识图谱子图；
具体如图3所示；每个单词的词向量等于前一个单词的词向量，当前单词的词向量和下一个单词的词向量的拼接。因为在语言建模的过程中，N-gram中的N越大对下一个词更具约束力；相反，较小的N则可以提现出下一个词的种类在语料库中越多，可靠性越高；因此，本发明方法采用Tri-gram来确保下一个单词的约束性和可靠性；
S3.构建用于表示QA文档中上下文的节点，并将该节点连接到步骤S2得到的知识图谱子图中，从而构建得到联合图；具体为构建用于表示QA文档中上下文的节点m，并将节点m连接到知识图谱子集gsub中vq,a中的每个主题实体，并采用两个新的关系类型rm,q和rm,a构建对应的边；同时，在图gsub中每个节点都与下述四种类型之一相关联：上下文节点m、vq中的节点、va中的节点和其他节点；记上下文节点m的文本为test(m)，知识图谱中的节点v的文本为test(v)；使用QA文档中上下文的语言模型来表示对m初始化节点编码，并采用SMRR编码技术编码gsub中的每一个节点；
S4.计算每对QA的相关性评分，从而表示QA节点与联合图中其他节点之间的关系；具体为采用语言模型对以QA上下文为条件的每个KG节点v的相关性进行评分；对于每个节点v，将test(v)与test(z)连接起来，并采用如下算式计算相关性得分ρv：
ρv＝fhead(fenc([text(m)；text(v)]))
式中test(v)为节点v实体，text(m)为上下文实体；fenc()为LM模型；fhead()为LM模型；相关性得分ρv用于捕获每个知识图谱节点相对于给定QA上下文的重要性；具体如图4所示；
S5.进行联合图上的消息传递；具体包括如下步骤：
将GNN模块建立在图注意力框架上，通过在图上邻居之间传递的迭代消息来推导节点表示；在L层LK-GNN中，对于每一层，将每个节点t∈vw的表示
Figure BDA0003107975780000071
更新为
Figure BDA0003107975780000072
其中Nt为节点t的邻域；
Figure BDA0003107975780000073
记录从每个相邻节点s到t的消息；αst为一个关注权重，用于将每个消息ist从s缩放到t；然后将消息的综合通过批处理归一化后，通过2层MLP；对于每个节点t∈vs，采用线性变换fn来设置
Figure BDA0003107975780000074
所述线性变换用于将初始节点编码表示映射到
Figure BDA0003107975780000075
首先获得每个节点t的类型编码表示ut；从节点s到t的关系编码表示rst为rst＝fr(est,us,ut)，其中ut＝fu(ut)；us∈{0,1}|T|为one-hot向量，用于表示s的节点类型；ut∈{0,1}|T|为one-hot向量，用于表示t的节点类型；est∈{0,1}|R|为one-hot向量，用于边(s,t)的关系类型；fu:
Figure BDA0003107975780000076
为一个线性化，且fr:
Figure BDA0003107975780000077
为一个2层的MLP；然后计算从节点s到t的信息计算如下：
Figure BDA0003107975780000078
式中fm:
Figure BDA0003107975780000081
为一个线性变换；
将每个节点t的相关性得分通过下式编码：
ρt＝fρ(ρt)
其中fρ:
Figure BDA0003107975780000082
是一个MLP；采用如下等式获取query向量和key向量：
Figure BDA0003107975780000083
Figure BDA0003107975780000084
其中fq:
Figure BDA0003107975780000085
和fk:
Figure BDA0003107975780000086
均为线性变换函数；然后，注意力权重αst为
Figure BDA0003107975780000087
式中D为维度大小；γ'st为中间变量；t'为节点s的邻居节点；
S6.对QA文档的编码表示、QA上下文的节点表示和联合图进行操作，并输入到最终的模型，从而完成知识图谱与语言模型的联合推理；具体为给定问题q和答案选择a，采用来自QA上下文和知识图谱的信息来计算答案的概率p(a|q)∝exp(MLP(mLM,mGNN,g))，其中
Figure BDA0003107975780000088
和g表示
Figure BDA0003107975780000089
的池化；同时采用交叉熵损失来进行模型优化。
以下结合一个实施例，对本发明方法进行进一步说明：
首先给出一段QA文本，如下所示：
Question:电容是一个一词多义词，但在什么情况下可以作为设备呢？
Answer：A.电压电容 B.超级电容* C.电容量 D.电容式 E.电容单位
在步骤1中，预处理数据时，本方法使用Kagnet构建知识图(Knowledge Graph,KG)。如图2所示，首先使用Kagnet对QA文本作实体提取，分别问问题实体和选择实体。随后，利用已构建好的本体架构来对实体之间建立关系。值得注意的是，对于公共领域，可以利用通用知识库作为基础图(例如ConceptNet)，然后根据QA文本数据集进行扩充和修缮，对于垂直领域，如电力领域，网上的知识库不够全面，需要自行和专家讨论构建本体库。最后，通过实体节点和关系可以组成知识图，知识图的跳数k＝2。
在步骤2中，使用语言模型(LM)对QA上下文进行编码表示，同时从已构建好的KG中根据QA上下文检索KG子图gsub，简称主题实体vq,a。具体而言，首先以QA上下文作为输入，使用语言模型(LM)对QA上下文进行编码，获取向量表示；然后在步骤1中已构建好的KG基础上，根据QA上下文检索与QA上下文有关的KG子图，简称KG子图gsub。
在步骤3中，本方法采引入一个表示QA上下文的节点m，并将该节点m连接到主题实体vq,a中去从而在两个知识源上构建一个联合图，简称状态图gs。具体步骤如下：首先根据步骤2-1，我们获取了QA上下文的编码表示，向量的维度为64维，然后根据该编码表示引入一个节点m；随后将该节点m连接到主题实体vq,a中，从而可以在两个知识源上构建一个联合图，简称状态图gs。
在步骤4中，本方法使用LM计算每对QA的相关性评分来表示QA节点与工作图其他节点之间的关系。如图4所示的例子，检索到的具有少跳邻居的KG子图gsub可以包含对于推理过程没有信息的节点，例如，节点“假日”和“河岸”是不合主题的；“研究”和“公司”是通用的。这些不相关的节点可能会导致过拟合或在推理中引入不必要的困难，尤其是当vq,a大时，这是一个问题。例如，根据经验，发现使用ConceptNet的KG，如果考虑3跳邻居，平均检索出来的一个KG具有|vsub|＞400个节点(正如步骤1中所述，本方法采用2跳邻居，平均检索出来的一个KG具有有|vsub|＞30)。因此，提出了节点相关性评分。具体而言，使用了预先训练的语言模型来对以QA上下文为条件的每个KG节点v∈vsub的相关性进行评分。对于每个节点v，我们将实体text(v)与QA上下文test(z)连接起来，并计算相关性得分ρv。以选择项超级电容为例，中间实体为[“电流”,“词”,“电压”,“电感”,“电子”,“物理量”,“词意”,“安全”,“电路”,“元器件”,“单位”,“超级”]，打分后结果为[0.102,0.336,0.096,0.125,0.867,0.538,0.315,0.761,0.353,0.819,0.552,0.747]。
在步骤5中，通过所提的基于注意力的GNN模块进行工作图上的消息传递，具体包括：为了对联合状态图gs进行推理，GNN模块建立在图注意力框架(GAT)上，该框架通过在图上邻居之间传递的迭代消息来推导节点表示。具体来说，在L层LK-GNN中，对于每一层，我们将每个节点t∈vw的表示
Figure BDA0003107975780000101
更新为
Figure BDA0003107975780000102
其中Nt代表节点t的邻域，
Figure BDA0003107975780000103
记录从每个相邻节点s到t的消息，αst是一个关注权重，它将每个消息ist从s缩放到t。然后将消息的总和通过批处理归一化后通过2层MLP。对于每个节点t∈vs，使用线性变换fn来设置
Figure BDA0003107975780000104
该线性变换将其初始节点编码表示映射到
Figure BDA0003107975780000105
至关重要的是，由于GNN消息传递在联合状态图上进行操作，因此它将联合利用和更新QA上下文和KG的表示形式。
在步骤6中，给定问题q和答案选择a，本方法concatenate LM表示、QA上下文节点表示和池化工作图表示，为(mLM,mGNN,g)，然后使用来自QA上下文和KG的信息来计算其为答案的概率p(a|q)∝exp(MLP(mLM,mGNN,g))，其中
Figure BDA0003107975780000106
和g表示
Figure BDA0003107975780000107
的池化。具体而言，选择项为[“电压电容”,“超级电容”,“电容量”,“电容式”,“单位电容”]，输出结果为[0.068,0.749,0.031,0.108,0.044]。可见超级电容的输出概率最大，回答正确。

Claims (7)

1.一种基于知识图谱与语言模型的联合推理方法，包括如下步骤：
S1.获取QA文档，并构建知识图谱；
S2.对步骤S1获取的QA文档进行编码表示，并在步骤S1构建的知识图谱中根据编码的QA文档进行检索，从而得到知识图谱子图；
S3.构建用于表示QA文档中上下文的节点，并将该节点连接到步骤S2得到的知识图谱子图中，从而构建得到联合图；
S4.计算每对QA的相关性评分，从而表示QA节点与联合图中其他节点之间的关系；
S5.进行联合图上的消息传递；
S6.对QA文档的编码表示、QA上下文的节点表示和联合图进行操作，并输入到最终的模型，从而完成知识图谱与语言模型的联合推理。
2.根据权利要求1所述的基于知识图谱与语言模型的联合推理方法，其特征在于步骤S1所述的获取QA文档，并构建知识图谱，具体为利用语言模型对QA文档进行实体提取，从而得到问题实体和选择实体；然后根据实体名称和构建好的本体架构识别实体之间的关系，在实体之间建立边，从而构成知识图。
3.根据权利要求2所述的基于知识图谱与语言模型的联合推理方法，其特征在于步骤S2所述的对步骤S1获取的QA文档进行编码表示，并在步骤S1构建的知识图谱中根据编码的QA文档进行检索，从而得到知识图谱子图，具体为采用语言模型对QA文档进行编码表示，同时采用Tri-gram来确保下一个单词的约束性和可靠性，最后从已构建好的知识图谱中根据QA上下文来检索，并得到知识图谱子图。
4.根据权利要求3所述的基于知识图谱与语言模型的联合推理方法，其特征在于步骤S3所述的构建用于表示QA文档中上下文的节点，并将该节点连接到步骤S2得到的知识图谱子图中，从而构建得到联合图，具体为构建用于表示QA文档中上下文的节点m，并将节点m连接到知识图谱子集gsub中vq,a中的每个主题实体，并采用两个新的关系类型rm,q和rm,a构建对应的边；同时，在图gsub中每个节点都与下述四种类型之一相关联：上下文节点m、vq中的节点、va中的节点和其他节点；记上下文节点m的文本为test(m)，知识图谱中的节点v的文本为test(v)；使用QA文档中上下文的语言模型来表示对m初始化节点编码，并采用SMRR编码技术编码gsub中的每一个节点。
5.根据权利要求4所述的基于知识图谱与语言模型的联合推理方法，其特征在于步骤S4所述的计算每对QA的相关性评分，从而表示QA节点与联合图中其他节点之间的关系，具体为采用语言模型对以QA上下文为条件的每个KG节点v的相关性进行评分；对于每个节点v，将test(v)与test(m)连接起来，并采用如下算式计算相关性得分ρv：
ρv＝fhead(fenc([text(m)；text(v)]))
式中test(v)为节点v实体，text(m)为上下文实体；fenc()为LM模型；fhead()为LM模型；相关性得分ρv用于捕获每个知识图谱节点相对于给定QA上下文的重要性。
6.根据权利要求5所述的基于知识图谱与语言模型的联合推理方法，其特征在于步骤S5所述的进行联合图上的消息传递，具体包括如下步骤：
将GNN模块建立在图注意力框架上，通过在图上邻居之间传递的迭代消息来推导节点表示；在L层LK-GNN中，对于每一层，将每个节点t∈vw的表示
Figure FDA0003107975770000021
更新为
Figure FDA0003107975770000022
其中Nt为节点t的邻域；
Figure FDA0003107975770000023
记录从每个相邻节点s到t的消息；αst为一个关注权重，用于将每个消息ist从s缩放到t；然后将消息的综合通过批处理归一化后，通过2层MLP；对于每个节点t∈vs，采用线性变换fn来设置
Figure FDA0003107975770000031
，所述线性变换用于将初始节点编码表示映射到
Figure FDA0003107975770000032
首先获得每个节点t的类型编码表示ut；从节点s到t的关系编码表示rst为rst＝fr(est,us,ut)，其中ut＝fu(ut)；us∈{0,1}|T|为one-hot向量，用于表示s的节点类型；ut∈{0,1}|T|为one-hot向量，用于表示t的节点类型；est∈{0,1}|R|为one-hot向量，用于边(s,t)的关系类型；
Figure FDA0003107975770000033
为一个线性化，且
Figure FDA0003107975770000034
为一个2层的MLP；然后计算从节点s到t的信息计算如下：
Figure FDA0003107975770000035
式中
Figure FDA0003107975770000036
为一个线性变换；
将每个节点t的相关性得分通过下式编码：
ρt＝fρ(ρt)
其中
Figure FDA0003107975770000037
是一个MLP；采用如下等式获取query向量和key向量：
Figure FDA0003107975770000038
Figure FDA0003107975770000039
其中
Figure FDA00031079757700000310
和
Figure FDA00031079757700000311
均为线性变换函数；然后，注意力权重αst为
Figure FDA00031079757700000312
式中D为维度大小；γ′st为中间变量；t'为节点s的邻居节点。
7.根据权利要求6所述的基于知识图谱与语言模型的联合推理方法，其特征在于步骤S6所述的对QA文档的编码表示、QA上下文的节点表示和联合图进行操作，并输入到最终的模型，从而完成知识图谱与语言模型的联合推理，具体为给定问题q和答案选择a，采用来自QA上下文和知识图谱的信息来计算答案的概率p(a|q)∝exp(MLP(mLM,mGNN,g))，其中
Figure FDA0003107975770000041
和g表示
Figure FDA0003107975770000042
的池化；同时采用交叉熵损失来进行模型优化。
CN202110643305.4A 2021-06-09 2021-06-09 基于知识图谱与语言模型的联合推理方法 Pending CN113255919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110643305.4A CN113255919A (zh) 2021-06-09 2021-06-09 基于知识图谱与语言模型的联合推理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110643305.4A CN113255919A (zh) 2021-06-09 2021-06-09 基于知识图谱与语言模型的联合推理方法

Publications (1)

Publication Number Publication Date
CN113255919A true CN113255919A (zh) 2021-08-13

Family

ID=77187395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110643305.4A Pending CN113255919A (zh) 2021-06-09 2021-06-09 基于知识图谱与语言模型的联合推理方法

Country Status (1)

Country Link
CN (1) CN113255919A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200410012A1 (en) * 2019-06-28 2020-12-31 Facebook Technologies, Llc Memory Grounded Conversational Reasoning and Question Answering for Assistant Systems
CN112214608A (zh) * 2020-09-21 2021-01-12 清华大学 基于知识推理的文本生成方法、介质、装置和计算设备
CN112527999A (zh) * 2020-12-22 2021-03-19 江苏省农业科学院 引入农业领域知识的抽取式智能问答方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200410012A1 (en) * 2019-06-28 2020-12-31 Facebook Technologies, Llc Memory Grounded Conversational Reasoning and Question Answering for Assistant Systems
CN112214608A (zh) * 2020-09-21 2021-01-12 清华大学 基于知识推理的文本生成方法、介质、装置和计算设备
CN112527999A (zh) * 2020-12-22 2021-03-19 江苏省农业科学院 引入农业领域知识的抽取式智能问答方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BILL YUCHEN LIN ET AL.: "KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning", 《ARXIV》 *
MICHIHIRO YASUNAGA ET AL.: "QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering", 《ARXIV》 *
YANLIN FENG ET AL.: "Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering", 《ARXIV》 *
王鑫雷等: "基于预训练语言模型的中文知识图谱问答系统", 《山西大学学报(自然科学版)》 *

Similar Documents

Publication Publication Date Title
CN109271505B (zh) 一种基于问题答案对的问答系统实现方法
CN111538819B (zh) 一种基于文档集多跳推理的问答系统的构建方法
CN112015868B (zh) 基于知识图谱补全的问答方法
CN112364150A (zh) 一种结合检索与生成的智能问答方法和系统
CN112507136A (zh) 一种知识驱动的业务操作图谱构建方法
CN110781319B (zh) 跨媒体大数据的公共语义表示、搜索方法和装置
CN110516145B (zh) 一种基于句向量编码的信息搜索方法
CN113806554B (zh) 面向海量会议文本的知识图谱构建方法
CN116204706A (zh) 一种文本内容结合图像分析的多模态内容检索方法与系统
CN113434782B (zh) 基于联合嵌入学习模型的跨社交网络用户身份识别方法
CN115269865A (zh) 一种面向辅助诊断的知识图谱构建方法
CN113065587A (zh) 一种基于超关系学习网络的场景图生成方法
CN113240046A (zh) 一种基于知识的视觉问答任务下的多模态信息融合方法
CN116796744A (zh) 一种基于深度学习的实体关系抽取方法及系统
CN115455226A (zh) 一种文本描述驱动的行人搜索方法
Pan et al. Conv-coa: Improving open-domain question answering in large language models via conversational chain-of-action
CN117235216A (zh) 一种基于异构知识融合的知识推理方法
CN117131933A (zh) 一种多模态知识图谱建立方法及应用
CN116401353A (zh) 一种结合内部与外部知识图谱的安全多跳问答方法及系统
CN116821291A (zh) 基于知识图谱嵌入与语言模型交替学习的问答方法及系统
CN113255919A (zh) 基于知识图谱与语言模型的联合推理方法
CN114840777B (zh) 多维度养老服务推荐方法、装置以及电子设备
CN115934944A (zh) 一种基于Graph-MLP与相邻对比损失的实体关系抽取方法
CN114065769B (zh) 情感原因对抽取模型的训练方法、装置、设备及介质
CN115564013B (zh) 提高网络表示学习表示能力的方法、模型训练方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813

RJ01 Rejection of invention patent application after publication