CN113779220A - 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法 - Google Patents

一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法 Download PDF

Info

Publication number
CN113779220A
CN113779220A CN202111069965.2A CN202111069965A CN113779220A CN 113779220 A CN113779220 A CN 113779220A CN 202111069965 A CN202111069965 A CN 202111069965A CN 113779220 A CN113779220 A CN 113779220A
Authority
CN
China
Prior art keywords
channel
question
graph
query
mongolian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111069965.2A
Other languages
English (en)
Other versions
CN113779220B (zh
Inventor
苏依拉
邱占杰
司赟
杨佩恒
仁庆道尔吉
吉亚图
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN202111069965.2A priority Critical patent/CN113779220B/zh
Publication of CN113779220A publication Critical patent/CN113779220A/zh
Application granted granted Critical
Publication of CN113779220B publication Critical patent/CN113779220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，利用机器翻译将蒙语查询问句翻译为汉语查询问句；将汉语查询问句分句和分词后进行词性标注；将词性标注后的汉语问题语句转换成汉语查询语句，输入认知图谱服务器；认知图谱服务器模拟认知学中人类的认知系统，使用三个通道进行并行计算，最后通过归一化、查询排序和查询选择，给出概率最大的答案，返回结果。本发明借助三个通道各自的优势进行不同需求的问答，对于自然语言处理中问答系统的精确性和速度有很大提升，同时使通道1、2、3在翻译和问答阶段都能复用，使得速度提高近一倍，整体改进了问答质量。

Description

一种基于三通道认知图谱和图注意力网络的蒙语多跳问答 方法
技术领域
本发明属于自然语言处理(NLP)中的问答系统和认知科学交叉技术领域，特别涉及一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法。
背景技术
机器阅读理解与问答系统一直以来被认为是自然语言理解(NLU)的核心问题之一，随着BERT等模型的兴起，单段落的简单阅读理解任务取得了重大突破；但在“多跳”、“复杂”情形下的准确率并没有达到人类的水平。
问答(Question Answering,QA)是自然语言处理(Natural LanguageProcessing,NLP)的一个重要研究领域。在该领域中，研究者旨在构建出这样一种系统：它可以针对人类以“自然语言形式”提出的问题自动地给出答案。
与传统的信息检索以及数据库检索不同，问答系统给出的不是非结构化的查询语言，而是以自然语言形式给出的问题，这更符合日常生活中的应用场景。
但自然语言的模糊性也为问题的准确理解带来了很大困难。同时，问答的数据源可能是多种多样的。在不同的场景下，结构化的知识图谱以及无结构的文本均有可能是潜在的数据源。因此，针对不同的数据源研究相应的推理算法也是当前问答领域的热门方向之一。
问答系统另一个很重要的一个问题是规模化。当语料不多时，面向单段阅读理解的NLP模型都可以直接处理但是真正的问答系统势必需要大规模语料并从中寻找答案。
另外，可解释性不足也是之前问答系统中多层黑盒模型的弊端之一。这些模型往往只需要输入问题和文本，然后输入答案在文本中的位置；在多跳阅读理解中，每一跳都是有原因的，如果不能给出合理答案解释，则无法证明机器真的“理解”了文本。
近年来，图结构和图神经网络在认知和智能中的地位不断上升。智能不能拘泥于统计，更应该注重因果与逻辑链条，而后者则与图结构密不可分。认知图谱(CognitiveGraph)是图结构在问答问题上的一次有意义的尝试。像BERT这样的预训练模型是否是认知理论中“系统一”的发展方向？图神经网络到底应该怎样融合在“系统二”的推理过程中？这些都是亟待要解决的问题。
因此，构建一个高质量问答系统的关键点在于：准确的问题理解技术；针对不同的数据源设计合适的推理算法。
由于蒙古族语料库、知识图谱和知识库的缺乏，导致在蒙语问答领域相关技术发展缓慢。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，以期解决目前蒙语问答场景中蒙语知识库和知识图谱缺乏的问题，实现简单问题的快速查询和复杂问题的推理查询的融合，提高蒙语问答的适应性和问答的准确率，提供更优质的问答系统方法。
为了实现上述目的，本发明采用的技术方案是：
一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，步骤如下：
步骤1，利用机器翻译将蒙语查询问句翻译为汉语查询问句；
步骤2，将汉语查询问句分句和分词后进行词性标注；
步骤3，将词性标注后的汉语问题语句转换成汉语查询语句，输入认知图谱服务器；
步骤4，所述认知图谱服务器模拟认知学中人类的认知系统，使用三个通道进行并行计算，其中通道1在百科文档(例如维基百科)中抽取与汉语查询语句中的每一个词对应的实体名称并扩展节点，汇总语义向量；通道2在百科文档中抽取与汉语查询语句中的每一个词对应的实体名称并扩展节点，同时将实体与知识图谱中实体的三元组信息进行链接，如果实体不是通用知识库中的实体，则与专业知识库中的实体进行链接，最后汇总语义向量；通道3利用图神经网络在认知图谱上进行推理计算；
步骤5，通过归一化、查询排序和查询选择，给出概率最大的答案，返回结果。
与现有技术相比，本发明主要是借助三个通道各自的优势进行不同需求的问答，对于自然语言处理中问答系统的精确性和速度有很大提升，同时使通道1、2、3在翻译和问答阶段都能复用，使得速度提高近一倍，整体改进了问答质量。
附图说明
图1是问答方法总体流程示意图。
图2是通道1：ALBERT示意图。
图3是通道2：K-BERT示意图。
图4是通道3：图注意力网络示意图。
图5是三通道融合示意图。
图6是实施例提供的3个具体问题多跳问答查询推理流程。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如图1所示，本发明为一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，流程从用户输入蒙语自然语言查询问句开始，步骤如下：
步骤1，利用机器翻译将蒙语查询问句翻译为汉语查询问句。
示例地，由于ALBERT模块和GAT模块具有一定通用性和可复用性，因此本步骤可以使用传统机器翻译模型，也可使用ALBERT模块和GAT优化后的机器翻译结合蒙汉双语语料将蒙古语翻译成汉语，提高机器翻译精度。ALBERT模块和GAT的具体结构将在后续步骤描述。
步骤2，将汉语查询问句分句和分词后进行词性标注。
示例地，可使用Jieba和LTP工具包进行分句和分词，使用LTP工具包进行词性标注。
步骤3，将词性标注后的汉语问题语句转换成汉语查询语句，输入认知图谱服务器。
示例地，可利用查询语句匹配模板，通过SPARQL查询将汉语查询语句输入认知图谱服务器。
步骤4，认知图谱服务器模拟认知学中人类的认知系统，使用三个通道进行并行计算，即三个通道可在翻译阶段和问答阶段复用。其中通道1在百科文档(例如维基百科)中抽取与汉语查询语句中的每一个词对应的实体名称并扩展节点，汇总语义向量。通道2在百科文档中抽取与汉语查询语句中的每一个词对应的实体名称并扩展节点，同时将实体与知识图谱中实体的三元组信息进行链接，如果实体不是通用知识库中的实体，则与专业知识库中的实体进行链接，最后汇总语义向量。通道3利用图神经网络在认知图谱(CognitiveGraph)上进行推理计算。
进一步地，如图2和图5所示，通道1的特点是速度快、基于直觉的，一般采用流行的NLP黑盒模型，例如BERT。本发明采用的是BERT的改进版，一种轻量级预训练模型：ALBERT，跨层参数共享由Transformer Block组成。传统BERT基本模型结构由多层Transformer构成，包含两个预训练子任务：MLM和NSP。BERT的输入表示由词向量、块向量、位置向量之和组成。
MLM模型为了真正实现文本的双向建模，即当前时刻的预测同时依赖于“历史”和“未来”，采用了一种类似完形填空的做法，直接将输入文本中的部分单词掩码Mask，并通过深层Transformer模型还原为原单词，从而避免了双向语言模型带来的信息泄露问题，迫使模型使用被掩码词周围的上下文信息还原掩码位置的词。
MLM任务建模分为：输入层、BERT编码层、输出层。
NSP任务训练样本分为：正样本和负样本。
NSP任务建模分为：输入层、BERT编码层、输出层。
ALBERT的主要作用是降低内存的消耗并且提高BERT的训练速度，具有以下三个特征：
1)词向量因式分解
在BERT中，词向量维度E和Transformer的隐含层维度H是一样的。引入词向量因式分解方法解耦合词向量维度E和Transformer隐含层维度H，从而使H≠E，当Transformer隐含层维度H远大于词向量维度E时，参数量的降幅尤为明显。
2)跨层参数共享
在BERT中，多层Transformer的参数是不共享的，即每一层Transformer都保留自己的参数。而在ALBERT中，引入了跨层参数共享机制，使得每一层Transformer的权重都是一样的。从参数量的角度实现了模型的压缩。
3)引入句子顺序预测(SOP)的预训练任务
引入句子顺序预测的预训练任务取代BERT中的NSP任务，正例的构成与NSP一致，而负例的构成是直接对调两个文本片段的位置。这样设计的目的是让模型能够学习到细微的语义差别及语篇连贯性，相比NSP任务难度更大。
在K-BERT模块中，对于一个可见矩阵M，相互可见的点取值为0，相互不可见的点取值为负无穷，将M加到计算self-attention的softmax函数里，公式如下：
Figure BDA0003259819620000051
hi+1＝Fi+1(hiWr)
其中，Wp，Wq，Wr是已训练的模型权重参数；
hi是第i个自注意力掩码块的隐状态；
Fi+1是中间变量；
如果两个词之间相互不可见，则它们之间的影响系数F[i,j]＝0，即这两个词的隐状态h相互独立，从而将句子树中的结构信息输入给BERT。
如图3和图5所示，通道2采用链接通用开源知识图谱的K-BERT模块。
当一个句子“蒙药中治疗感冒的药都有哪些？”输入时，首先会经过一个知识层(Knowledge Layer)，知识层将知识图谱中关联到的三元组信息(如：蒙药-成药-呼和嘎日迪、感冒-呼吸系统-疾病等)注入到句子中，形成一个富有背景知识的句子树(Sentencetree)。
通过知识层，一个句子序列被转换成了一个树结构或图结构，使得其中包含了句子中原本没有的背景知识，即我们知道“呼和嘎日迪是治疗呼吸系统的药”。
传统的BERT类模型，只能处理序列结构的句子输入，而图结构的句子树是无法直接输入到BERT模型中的。如果强行把句子树平铺成序列输入模型，必然造成结构信息的丢失。得到了句子树以后，K-BERT使用软位置(Soft-position)和可见矩阵(Visible Matrix)解决结构信息丢失问题。
在BERT中将句子序列输入到模型之前，会给句子序列中的每个标记token加上一个位置编码，即token在句子中的位次，例如“[CLS](0)蒙药(1)中(2)治疗(3)感冒(4)的(5)药(6)都有(7)哪些(8)”。如果没有位置编码，那BERT模型是没有顺序信息的，相当于一个词袋模型。
在K-BERT模块中，首先会将句子树平铺，例如：[CLS]蒙药成药呼和嘎日迪中治疗感冒呼吸系统疾病的药都有哪些。平铺以后的句子是杂乱不易读的，K-BERT通过软位置编码恢复句子树的顺序信息，即“[CLS](0)蒙药(1)成药(2)呼和嘎日迪(3)中(2)治疗(3)感冒(4)呼吸系统(5)疾病(6)的(5)药(6)都有(7)哪些(8)”,可以看到“成药(2)”和“中(2)”的位置编码都是2，因为它们都是跟在“蒙药(1)”之后。
只用软位置还是不够的，因为会让模型误认为“治疗(3)”是跟在“成药(2)”之后，这是错误的。K-BERT中的Mask-Transformer使用了可见矩阵(Visible Matrix)将图或树结构中的结构信息引入到模型中。
在传统BERT中Self-attention，一个词的词嵌入是来源于其上下文。Mask-Transformer核心思想就是让一个词的词嵌入只来源于其同一个枝干的上下文，而不同枝干的词之间相互不影响。这就是通过可见矩阵来实现的，示例句子树中一共有9个token，所以组成一个9*9的矩阵，红色表示对应位置的两个token相互可见，白色表示相互不可见。
有了可见矩阵以后，使用Mask-Transformer。对于一个可见矩阵M，相互可见的红色点取值为0，相互不可见的白色取值为负无穷，然后把M加到计算self-attention的softmax函数里，公式如下：
Figure BDA0003259819620000071
hi+1＝Fi+1(hiWr)
其中，Wp，Wq，Wr是已训练的模型权重参数；
hi是第i个自注意力掩码块的隐状态；
Fi+1是中间变量。
如果两个字之间相互不可见，它们之间的影响系数F[i,j]＝0，即这两个词的隐状态h相互独立，从而将句子树中的结构信息输入给BERT。
在通道2中，当问题输入时，首先会经过一个知识层，将知识图中的三元组信息链接后形成句树，通过Embedding Layer和Seeing Layer将图结构中的结构信息输入到BERT当中，送入下游任务进行处理。通道2专门处理在特定领域任务上的问题，这些特定领域任务对背景知识要求较高，但对于不需要背景知识的开放领域任务往往效果不是很显著。
如图4和图5所示，通道3采用图注意力网络(Graph Attention Networks,GAT)模块。
GAT的核心思想是：以注意力机制替代图卷积中对邻节点特征的标准化求和操作，用注意力机制对邻近节点特征
Figure BDA0003259819620000072
即被所有节点共享的权重矩阵和第i个节点第l层的特征
Figure BDA0003259819620000073
相乘，最后加权求和，该图描述了如何对第i层节点特征做更新得到第i+1层节点特征。其中邻近节点特征的权重完全取决于节点特征，独立于图结构。
在图注意力网络模块中，其图数据结构有两种特征：
对于任意一个顶点i，它在图上的邻居Ni，构成第一种特征，即图的结构关系；
除了图的结构关系之外，每个顶点还有自己的特征hi(通常是一个高维向量)；
图注意力网络模块中节点更新计算通常分为两个步骤：
1)计算注意力系数
对于顶点i，逐个计算i与其邻居j之间的相似系数：
Figure BDA0003259819620000081
Figure BDA0003259819620000082
W(l)是节点特征转换的权重矩阵；
Figure BDA0003259819620000083
是GAT输出的对于每个顶点i的特征；
Figure BDA0003259819620000084
是中间变量；
LeakyReLU是整流函数；
a(·)是一个映射；
Figure BDA0003259819620000085
是相似系数；
共享参数W的线性映射对顶点的特征进行了增维；
Figure BDA0003259819620000086
对顶点i,j变换后的特征进行了拼接；
随后将a(·)拼接后的高维特征映射到一个实数上；
即相似系数是通过可学习的参数W和映射a(·)实现学习顶点i,j之间的相关性；
最后用softmax函数进行归一化处理，即得到注意力系数，公式如下：
Figure BDA0003259819620000091
2)加权求和
根据计算好的注意力系数，将特征加权求和，公式如下：
Figure BDA0003259819620000092
Figure BDA0003259819620000093
是GAT输出的对于每个顶点i的新特征，其整合了邻域信息；
σ()是激活函数；
Figure BDA0003259819620000094
是与节点i距离为1的所有邻节点的集合；
最后引入多头注意力机制将
Figure BDA0003259819620000095
拼接在一起。
在本发明中，通道1和通道2的输入有三个来源：问题、线索、段落；
问题即查询语句本身，从问题中抽取出的与现实世界相对应含义的词向量为实体X，x表示一个实体或候选答案，在认知图谱中则被称为节点x；
线索是指来自于前一个节点x在百科文档中被提及到的相关句子。
段落是指在处理之前会先根据问题在语料(即百科文档)中检索出的少量相关段落，再将这些段落送入通道1和通道2进行处理；
通道2与通道1不同之处是，通道2的三个输入来源首先会经过一个知识层，将知识图谱中的三元组信息链接后形成句树，将图结构中的结构信息输入到BERT当中，送入下游任务进行处理；
通道1和通道2的目标是抽取百科文档中的下一跳实体名称和答案候选，例如，从“为煤炭储量第一”的段落中抽取“巴嘎诺尔”作为下一跳的实体名称，在“巴嘎诺尔”的段落中抽取“中央省”作为答案候选之一。这些抽取到的实体和答案候选将作为节点添加到认知图谱中；每一个抽取出的下一跳实体名称或答案候选将在认知图谱中建立一个新的点，并进行下一步迭代。
此外，本发明的通道1还将计算当前实体X的语义向量，并将计算结果在通道3中用作关系推理的初始值，如图5所示，每一个抽取出的下一跳实体名称或答案候选将在认知图谱中建立一个新的点，此时通道3在认知图谱上使用GAT进行隐式推理计算，计算过程如下：
每一步迭代，前续节点将变换过的信息传递(Graph Message Passing)给下一跳节点，并更新目前的隐表示(Hidden Representation)，最终所有的答案候选点的隐表示将通过一个带有softmax函数的全连接网络来判断哪个是最终答案；
在认知图谱扩展过程中，如果某被访问节点出现新的父节点(环状结构或汇集状结构)，表明此点获得新的线索信息(Clues)，需要重新扩展计算，最终借助前沿点(Frontier Nodes)队列形式实现。
步骤5，通过归一化、查询排序和查询选择，给出概率最大的答案，返回结果。
认知图谱是一种新型的、处理多跳问答的迭代框架，基核心思想主要借鉴认知心理学中关于人类大脑的运行原理，由多个通道处理问题、返回答案，不同通道用不同方式处理同一问题。知识图谱是揭示实体之间关系的语义网络，或者通俗理解成将人类目前知识用三元组信息表示的庞大知识库。认知图谱框架在构建、查询和计算过程中会从知识图谱抽取相关的三元组信息。
本发明中，知识图谱部分使用基于端到端神经网络模型进行查询和问答，这类模型主要被用来改进基于检索排序的问答方法。该模型的目的是将汉语查询语句中出现的单词、知识图谱中的候选实体和关系类型等均映射到低维的向量空间，使得问题和相应的答案在向量空间中彼此接近，其中，候选答案实体利用三种向量进行表示：答案实体本身，答案实体与主实体关系路径，与答案实体相关子图，然后，通过所述表示计算问题和候选答案的相关度，以选出正确答案。
问答旨在通过理解文档生成给定查询或问题的正确答案。图神经网络已经广泛地应用于提高问答任务模型的性能，特别是多跳问答任务，它通常需要跨文档推理来回答给定的查询。
为了捕获文档内和文档间实体之间的关系，从而提升跨文档的推理性能，可以将文档内和文档间对候选答案的提及进行连接，从而将多跳问答任务中的每个样本组织成图。然后使用Entity-GCN学习节点表示，这些节点表示随后被用来从给定查询的候选集中识别正确答案。
其中多跳问答任务使用Entity-GCN实现多步推理和跳转，以在构建的实体图上变换和传播节点表示。
Entity-GCN使用图滤波器处理第l层不同类型的边：
Figure BDA0003259819620000111
式中：
l代表第l个图滤波层。
R＝{MATCH,DOC-BASED,COREF,COMPLEMENT}表示边类型的集合；
Nr(vi)表示通过类型为r的边与节点vi相连的节点的集合；
mi表示第i个节点的特征；
Figure BDA0003259819620000112
表示类型为r的边共享的参数；
Figure BDA0003259819620000113
和
Figure BDA0003259819620000114
表示所有节点共享的参数；
Figure BDA0003259819620000115
的输出作为门控系统，控制隐藏状态
Figure BDA0003259819620000116
中信息更新部分的信息流，公式如下：
Figure BDA0003259819620000117
式中：
Figure BDA0003259819620000118
表示门控系统的输出；
σ是整流函数；
Fi表示第i个图滤波层的输出；
隐藏状态
Figure BDA0003259819620000119
更新公式如下：
Figure BDA0003259819620000121
式中：
hi表示第i个隐藏状态的输出，也即第i+1个隐藏状态的输入。
ρ是整流函数。
最后的节点表示
Figure BDA0003259819620000122
来自有L个图滤波层的Entity-GCN，其被用于从候选集中为给定查询选择答案。
WIKIHOP是专门为评估多跳问答模型而创建的，由一组问答样本组成。每个样本可以表示为元组(q,Sq,Cq,a*)，其中q是一个查询/问题，Sq是一组支持文档，Cq是一组候选答案(所有候选答案都是支持文档Sq集合中的实体)，a*∈Cq是给定查询的正确答案。查询q以元组(s,r,？)的形式给出，其中s表示主语，r表示关系，？表示宾语实体是未知的，需要从支持文件中推断出来。
如图6所示。假设其目标是从候选集合Cq＝{中央省，东戈壁省，中戈壁省，南戈壁省}中选择蒙古国各省中为煤炭储量第一的省。在这个示例中，要找到查询的正确答案，需要进行多跳推理；首先从第一个文档可以推理出煤炭储量第一位于巴嘎诺尔；然后从第二个文档可以发现巴嘎诺尔是蒙古国中央省的一个城市，这与第一个证据一起可以得出查询的正确答案。多跳问答的目标是学习一个模型，该模型可以通过理解支持文档Sq集合，从候选集合Cq中识别给定查询q的正确答案a*。

Claims (9)

1.一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，其特征在于，步骤如下：
步骤1，利用机器翻译将蒙语查询问句翻译为汉语查询问句；
步骤2，将汉语查询问句分句和分词后进行词性标注；
步骤3，将词性标注后的汉语问题语句转换成汉语查询语句，输入认知图谱服务器；
步骤4，所述认知图谱服务器模拟认知学中人类的认知系统，使用三个通道进行并行计算，其中通道1在百科文档中抽取与汉语查询语句中的每一个词对应的实体名称并扩展节点，汇总语义向量；通道2在百科文档中抽取与汉语查询语句中的每一个词对应的实体名称并扩展节点，同时将实体与知识图谱中实体的三元组信息进行链接，如果实体不是通用知识库中的实体，则与专业知识库中的实体进行链接，最后汇总语义向量；通道3利用图神经网络在认知图谱上进行推理计算；
步骤5，通过归一化、查询排序和查询选择，给出概率最大的答案，返回结果。
2.根据权利要求1所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，其特征在于，所述步骤2，使用Jieba和LTP工具包进行分句和分词，使用LTP工具包进行词性标注，所述步骤3，利用查询语句匹配模板，通过SPARQL查询将汉语查询语句输入认知图谱服务器。
3.根据权利要求1所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，其特征在于，所述知识图谱使用基于端到端神经网络模型进行查询和问答，将汉语查询语句中出现的单词、知识图谱中的候选实体和关系类型均映射到低维的向量空间，使得问题和相应的答案在向量空间中彼此接近，其中，候选答案实体利用三种向量进行表示：答案实体本身，答案实体与主实体关系路径，与答案实体相关子图，然后，通过所述表示计算问题和候选答案的相关度，以选出正确答案。
4.根据权利要求1所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，其特征在于，所述通道1采用ALBERT模块，所述ALBERT模块是在BERT基本模型结构的基础上：
引入词向量因式分解方法解耦合词向量维度E和Transformer隐含层维度H，从而使H≠E；
引入跨层参数共享机制，使得每一层Transformer的权重均相同；
引入句子顺序预测的预训练任务取代BERT基本模型结构中的NSP任务，正例的构成与NSP一致，而负例的构成是直接对调两个文本片段的位置，从而能够学习到细微的语义差别及语篇连贯性；
所述通道2采用链接通用开源知识图谱的K-BERT模块，在K-BERT模块中，先将句子树平铺，然后通过软位置编码恢复句子树的顺序信息，并使用可见矩阵将图或树结构中的结构信息引入到BERT模型中；
所述通道3采用图注意力网络模块，以注意力机制替代图卷积中对邻节点特征的标准化求和操作，用注意力机制对邻近节点特征
Figure FDA0003259819610000021
即被所有节点共享的权重矩阵和第i个节点第l层的特征
Figure FDA0003259819610000022
相乘，最后加权求和。
5.根据权利要求4所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，其特征在于，所述K-BERT模块中，对于一个可见矩阵M，相互可见的点取值为0，相互不可见的点取值为负无穷，将M加到计算self-attention的softmax函数里，公式如下：
Figure FDA0003259819610000023
hi+1＝Fi+1(hiWr)
其中，Wp，Wq，Wr是已训练的模型权重参数；
hi是第i个自注意力掩码块的隐状态；
Fi+1是中间变量；
如果两个词之间相互不可见，则它们之间的影响系数F[i,j]＝0，即这两个词的隐状态h相互独立，从而将句子树中的结构信息输入给BERT。
6.根据权利要求4所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，其特征在于，所述图注意力网络模块中，其图数据结构有两种特征：
对于任意一个顶点i，它在图上的邻居Ni，构成第一种特征，即图的结构关系；
除了图的结构关系之外，每个顶点还有自己的特征hi；
图注意力网络模块中节点更新计算通常分为两个步骤：
1)计算注意力系数
对于顶点i，逐个计算i与其邻居j之间的相似系数：
Figure FDA0003259819610000031
Figure FDA0003259819610000032
W(l)是节点特征转换的权重矩阵；
Figure FDA0003259819610000033
是GAT输出的对于每个顶点i的特征；
Figure FDA0003259819610000034
是中间变量；
LeakyReLU是整流函数；
a(·)是一个映射；
Figure FDA0003259819610000035
是相似系数；
共享参数W的线性映射对顶点的特征进行了增维；
Figure FDA0003259819610000036
对顶点i,j变换后的特征进行了拼接；
最后将a(·)拼接后的高维特征映射到一个实数上；
即相似系数是通过可学习的参数W和映射a(·)实现学习顶点i,j之间的相关性；
最后用softmax函数进行归一化处理，即得到注意力系数，公式如下：
Figure FDA0003259819610000041
2)加权求和
根据计算好的注意力系数，将特征加权求和，公式如下：
Figure FDA0003259819610000042
Figure FDA0003259819610000043
是GAT输出的对于每个顶点i的新特征，其整合了邻域信息；
σ()是激活函数；
Figure FDA0003259819610000044
是与节点i距离为1的所有邻节点的集合；
最后引入多头注意力机制将
Figure FDA0003259819610000045
拼接在一起。
7.根据权利要求4所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，其特征在于，所述步骤1使用ALBERT模块和GAT优化后的机器翻译结合蒙汉双语语料将蒙古语翻译成汉语。
8.根据权利要求4所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，其特征在于，通道1和通道2的输入有三个来源：问题、线索、段落；
问题即查询语句本身，从问题中抽取出的与现实世界相对应含义的词向量为实体X，x表示一个实体或候选答案，在认知图谱中则被称为节点x；
线索是指来自于前一个节点x在百科文档中被提及到的相关句子。
段落是指在处理之前会先根据问题在语料即百科文档中检索出的少量相关段落，再将这些段落送入通道1和通道2进行处理；
通道2的三个输入来源首先会经过一个知识层，将知识图谱中的三元组信息链接后形成句树，将图结构中的结构信息输入到BERT中，送入下游任务进行处理；
通道1和通道2的目标是抽取百科文档中的下一跳实体名称和答案候选，抽取到的实体和答案候选将作为节点添加到认知图谱中；每一个抽取出的下一跳实体名称或答案候选将在认知图谱中建立一个新的点，并进行下一步迭代。
9.根据权利要求8所述基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，其特征在于，所述通道1还计算当前实体X的语义向量，并将计算结果在通道3中用作关系推理的初始值，每一个抽取出的下一跳实体名称或答案候选将在认知图谱中建立一个新的点，此时通道3在认知图谱上使用GAT进行隐式推理计算，计算过程如下：
每一步迭代，前续节点将变换过的信息传递给下一跳节点，并更新目前的隐表示，最终所有的答案候选点的隐表示将通过一个带有softmax函数的全连接网络来判断哪个是最终答案；
在认知图谱扩展过程中，如果某被访问节点出现新的父节点，表明此点获得新的线索信息，需要重新扩展计算，最终借助前沿点队列形式实现。
CN202111069965.2A 2021-09-13 2021-09-13 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法 Active CN113779220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111069965.2A CN113779220B (zh) 2021-09-13 2021-09-13 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111069965.2A CN113779220B (zh) 2021-09-13 2021-09-13 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法

Publications (2)

Publication Number Publication Date
CN113779220A true CN113779220A (zh) 2021-12-10
CN113779220B CN113779220B (zh) 2023-06-23

Family

ID=78843164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111069965.2A Active CN113779220B (zh) 2021-09-13 2021-09-13 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法

Country Status (1)

Country Link
CN (1) CN113779220B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399051A (zh) * 2021-12-29 2022-04-26 北方工业大学 食品安全智能问答推理方法及装置
CN114496234A (zh) * 2022-04-18 2022-05-13 浙江大学 一种基于认知图谱的全科患者个性化诊疗方案推荐系统
CN114706983A (zh) * 2022-03-31 2022-07-05 浙江科技学院 一种基于图注意力机制的深度学习问答推理方法及装置
CN114881047A (zh) * 2022-07-12 2022-08-09 杭州远传新业科技股份有限公司 一种蔬菜病虫害图片问答方法及装置
CN115964459A (zh) * 2021-12-28 2023-04-14 北方工业大学 基于食品安全认知图谱的多跳推理问答方法及系统
CN117573849A (zh) * 2024-01-16 2024-02-20 之江实验室 一种知识图谱多跳问答方法、装置、设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062939A (zh) * 2018-06-20 2018-12-21 广东外语外贸大学 一种面向汉语国际教育的智能导学方法
CN109271506A (zh) * 2018-11-29 2019-01-25 武汉大学 一种基于深度学习的电力通信领域知识图谱问答系统的构建方法
CN109918489A (zh) * 2019-02-28 2019-06-21 上海乐言信息科技有限公司 一种多策略融合的知识问答方法和系统
CN110110043A (zh) * 2019-04-11 2019-08-09 中山大学 一种多跳视觉问题推理模型及其推理方法
CN111177383A (zh) * 2019-12-24 2020-05-19 上海大学 一种融合文本语法结构和语义信息的文本实体关系自动分类方法
CN111444316A (zh) * 2020-03-11 2020-07-24 浙江大学 一种面向知识图谱问答的复合问句解析方法
CN111538819A (zh) * 2020-03-27 2020-08-14 北京工商大学 一种基于文档集多跳推理的问答系统的构建方法
CN111581396A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于多维特征融合与依存句法的事件图谱构建系统及方法
CN111814982A (zh) * 2020-07-15 2020-10-23 四川大学 面向多跳问答的动态推理网络及方法
CN112507139A (zh) * 2020-12-28 2021-03-16 深圳力维智联技术有限公司 基于知识图谱的问答方法、系统、设备及存储介质
CN112527997A (zh) * 2020-12-18 2021-03-19 中国南方电网有限责任公司 一种基于电网领域调度场景知识图谱的智能问答方法及系统
CN112989005A (zh) * 2021-04-16 2021-06-18 重庆中国三峡博物馆 一种基于分阶段查询的知识图谱常识问答方法及系统
CN113010693A (zh) * 2021-04-09 2021-06-22 大连民族大学 融合指针生成网络的知识图谱智能问答方法
CN113010663A (zh) * 2021-04-26 2021-06-22 东华大学 一种基于工业认知图谱的自适应推理问答方法和系统
CN113239163A (zh) * 2021-05-12 2021-08-10 同方知网数字出版技术股份有限公司 一种基于交通大数据的智能问答方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062939A (zh) * 2018-06-20 2018-12-21 广东外语外贸大学 一种面向汉语国际教育的智能导学方法
CN109271506A (zh) * 2018-11-29 2019-01-25 武汉大学 一种基于深度学习的电力通信领域知识图谱问答系统的构建方法
CN109918489A (zh) * 2019-02-28 2019-06-21 上海乐言信息科技有限公司 一种多策略融合的知识问答方法和系统
CN110110043A (zh) * 2019-04-11 2019-08-09 中山大学 一种多跳视觉问题推理模型及其推理方法
CN111177383A (zh) * 2019-12-24 2020-05-19 上海大学 一种融合文本语法结构和语义信息的文本实体关系自动分类方法
CN111444316A (zh) * 2020-03-11 2020-07-24 浙江大学 一种面向知识图谱问答的复合问句解析方法
CN111538819A (zh) * 2020-03-27 2020-08-14 北京工商大学 一种基于文档集多跳推理的问答系统的构建方法
CN111581396A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于多维特征融合与依存句法的事件图谱构建系统及方法
CN111814982A (zh) * 2020-07-15 2020-10-23 四川大学 面向多跳问答的动态推理网络及方法
CN112527997A (zh) * 2020-12-18 2021-03-19 中国南方电网有限责任公司 一种基于电网领域调度场景知识图谱的智能问答方法及系统
CN112507139A (zh) * 2020-12-28 2021-03-16 深圳力维智联技术有限公司 基于知识图谱的问答方法、系统、设备及存储介质
CN113010693A (zh) * 2021-04-09 2021-06-22 大连民族大学 融合指针生成网络的知识图谱智能问答方法
CN112989005A (zh) * 2021-04-16 2021-06-18 重庆中国三峡博物馆 一种基于分阶段查询的知识图谱常识问答方法及系统
CN113010663A (zh) * 2021-04-26 2021-06-22 东华大学 一种基于工业认知图谱的自适应推理问答方法和系统
CN113239163A (zh) * 2021-05-12 2021-08-10 同方知网数字出版技术股份有限公司 一种基于交通大数据的智能问答方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115964459A (zh) * 2021-12-28 2023-04-14 北方工业大学 基于食品安全认知图谱的多跳推理问答方法及系统
CN115964459B (zh) * 2021-12-28 2023-09-12 北方工业大学 基于食品安全认知图谱的多跳推理问答方法及系统
CN114399051A (zh) * 2021-12-29 2022-04-26 北方工业大学 食品安全智能问答推理方法及装置
CN114706983A (zh) * 2022-03-31 2022-07-05 浙江科技学院 一种基于图注意力机制的深度学习问答推理方法及装置
CN114706983B (zh) * 2022-03-31 2024-04-19 浙江科技学院 一种基于图注意力机制的深度学习问答推理方法及装置
CN114496234A (zh) * 2022-04-18 2022-05-13 浙江大学 一种基于认知图谱的全科患者个性化诊疗方案推荐系统
CN114496234B (zh) * 2022-04-18 2022-07-19 浙江大学 一种基于认知图谱的全科患者个性化诊疗方案推荐系统
CN114881047A (zh) * 2022-07-12 2022-08-09 杭州远传新业科技股份有限公司 一种蔬菜病虫害图片问答方法及装置
CN114881047B (zh) * 2022-07-12 2022-10-25 杭州远传新业科技股份有限公司 一种蔬菜病虫害图片问答方法及装置
CN117573849A (zh) * 2024-01-16 2024-02-20 之江实验室 一种知识图谱多跳问答方法、装置、设备及存储介质
CN117573849B (zh) * 2024-01-16 2024-04-19 之江实验室 一种知识图谱多跳问答方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113779220B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Li et al. Know more say less: Image captioning based on scene graphs
CN113779220B (zh) 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法
CN106202010B (zh) 基于深度神经网络构建法律文本语法树的方法和装置
JP2023502827A (ja) 地理知識取得方法
WO2023225858A1 (zh) 一种基于常识推理的阅读型考题生成系统及方法
CN108197294A (zh) 一种基于深度学习的文本自动生成方法
CN112734881B (zh) 基于显著性场景图分析的文本合成图像方法及系统
CN114064918A (zh) 一种多模态事件知识图谱构建方法
Sharma et al. A survey of methods, datasets and evaluation metrics for visual question answering
CN111931506A (zh) 一种基于图信息增强的实体关系抽取方法
CN111639254A (zh) 一种医疗领域的sparql查询语句的生成系统和方法
CN115422939B (zh) 一种基于大数据的细粒度商品命名实体识别方法
CN115329088A (zh) 图神经网络事件检测模型的鲁棒性分析方法
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
Li et al. Multimodal fusion with co-attention mechanism
CN114373554A (zh) 利用药物知识和句法依存关系的药物相互作用关系抽取方法
CN113255918A (zh) 强化聚合知识指导的生成常识推理方法
CN110377753B (zh) 基于关系触发词与gru模型的关系抽取方法及装置
CN116414988A (zh) 基于依赖关系增强的图卷积方面级情感分类方法及系统
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及系统
Zhao et al. Fusion with GCN and SE-ResNeXt network for aspect based multimodal sentiment analysis
Boonpa et al. Relationship extraction from Thai children's tales for generating illustration
CN115658964B (zh) 预训练模型以及体感画风识别模型的训练方法及装置
Mohapatra Natural language driven image edits using a semantic image manipulation language
Gong Analysis and Application of the Business English Translation Query and Decision Model with Big Data Corpus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant