CN111078836B - 基于外部知识增强的机器阅读理解方法、系统、装置 - Google Patents

基于外部知识增强的机器阅读理解方法、系统、装置 Download PDF

Info

Publication number
CN111078836B
CN111078836B CN201911259849.XA CN201911259849A CN111078836B CN 111078836 B CN111078836 B CN 111078836B CN 201911259849 A CN201911259849 A CN 201911259849A CN 111078836 B CN111078836 B CN 111078836B
Authority
CN
China
Prior art keywords
knowledge
representation
text
entity
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911259849.XA
Other languages
English (en)
Other versions
CN111078836A (zh
Inventor
刘康
张元哲
赵军
丘德来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201911259849.XA priority Critical patent/CN111078836B/zh
Publication of CN111078836A publication Critical patent/CN111078836A/zh
Application granted granted Critical
Publication of CN111078836B publication Critical patent/CN111078836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明属于自然语言处理技术领域，具体涉及一种基于外部知识增强的机器阅读理解方法、系统、装置，旨在解决现有机器阅读理解方法未利用三元组间的图结构信息，导致答案预测准确率较低的问题。本系统方法包括生成问题及原文文本中各实体的上下文表示；基于外部知识库，获取问题及原文文本中各实体的三元组集合及原文文本中各实体相邻实体的三元组集合；并基于三元组集合，通过外部知识图谱获取各实体的知识子图；通过图注意力网络更新融合知识子图，获取知识表示；通过哨兵机制将上下文表示和知识表示进行拼接，通过多层感知器和softmax分类器获取待回答问题的答案。本发明通过利用三元组之间的图结构信息，提高了答案预测的准确率。

Description

基于外部知识增强的机器阅读理解方法、系统、装置
技术领域
本发明属于自然语言处理技术领域，具体涉及一种基于外部知识增强的机器阅读理解方法、系统、装置。
背景技术
机器阅读理解是在自然语言处理中非常重要的一个研究任务。机器阅读理解需要系统通过阅读一篇相关文章，来回答对应的问题。而在阅读理解任务中，利用外部知识是一个相当热门的研究方向。如何在阅读理解系统中使用外部知识也受到了广泛的关注。外部知识的来源主要分为两类，一类是非结构化的外部自然语言语料；另一类则是结构化的知识表示，比如说知识图谱。本发明主要关注如何利用结构化的知识表示。结构化的知识图谱中，通常将知识表示成若干个三元组，比如(shortage，related_to，lack)和(need，related_to，lack)。
以往利用这类结构化知识时，通常根据阅读理解原文和问题信息检索回相关的三元组集合作为外部知识，然而，在对三元组建模时，只针对单独的三元组建模，即无法捕捉三元组之间的信息，也就是多跳的信息，换句话说，则是未捕捉原有的三元组间的图结构信息。因此，本专利提出一种基于外部知识增强的机器阅读理解模型。
发明内容
为了解决现有技术中的上述问题，即为了解决现有机器阅读理解方法未利用外部知识中三元组间的图结构信息，导致答案预测准确率较低的问题，本发明第一方面，提出了一种基于外部知识增强的机器阅读理解的方法，该方法包括：
步骤S100，获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
步骤S200，基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
步骤S300，通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
步骤S400，通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。
在一些优选的实施方式中，步骤S100中“分别生成所述第一文本、所述第二文本中各实体的上下文表示”其方法为：通过BERT模型分别生成所述第一文本、所述第二文本中各实体的上下文表示。
在一些优选的实施方式中，所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，其包括以所述相邻实体为head实体或tail实体的三元组集合。
在一些优选的实施方式中，步骤S200中“基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱”，其方法为：通过Dismult模型初始化所述外部知识库，构建知识图谱。
在一些优选的实施方式中，步骤S300中“通过图注意力网络融合各实体的知识子图”，其方法为：通过图注意力网络更新融合各实体知识子图中的节点；更新融合方法如下：
其中，hj为知识子图中j节点的表示，αn为注意力机制算得的归一化的概率得分，tn为j节点邻居节点的表示，βn为与第n个邻居节点的逻辑得分，βj为与第j个邻居节点的逻辑得分，rn为边的表示，hn为知识子图中n节点的表示，wr、wh、wt为rn、hn、tn对应的可训练参数，Nj为知识子图中j节点的邻居节点个数，l为第l次迭代，T为转置，n、j为下标。
在一些优选的实施方式中，步骤S400中“通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示”，其方法为：
wi＝σ(W[tbi；tki])
其中，ti'为知识增强后的文本表示，wi为控制知识流入的计算阈值，σ(·)为sigmoid函数，W为可训练参数，tbi为文本上下文表示，tki为知识表示，i为下标。
本发明的第二方面，提出了一种基于外部知识增强的机器阅读理解的系统，该系统包括上下文表示模块、获取知识子图模块、知识表示模块、输出答案模块；
所述上下文表示模块，配置为获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
所述获取知识子图模块，配置为基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
所述知识表示模块，配置为通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
所述输出答案模块，配置为通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于外部知识增强的机器阅读理解方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于外部知识增强的机器阅读理解方法。
本发明的有益效果：
本发明通过利用三元组之间的图结构信息，提高了答案预测的准确率。本发明通过外部知识库获取阅读理解原文文本及待回答问题文本中各实体的三元组集合及阅读理解原文文本各实体三元组集合中对应相邻实体的三元组集合，即将相关的三元组集合及三元组之间的信息作为外部知识。基于Dismult模型初始化外部知识库构建知识图谱，将这些三元组集合恢复其在知识图谱中的图结构信息，使其保持知识图谱中的子图结构信息，并通过图注意力网络动态更新融合子图结构信息。可以克服传统无法有效利用结构化外部知识里的结构信息，即外部知识中三元组之间的信息，以此来提高机器进行答案预测的准确率。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于外部知识增强的机器阅读理解方法的流程示意图；
图2是本发明一种实施例的基于外部知识增强的机器阅读理解系统的框架示意图；
图3是本发明一种实施例的基于外部知识增强的机器阅读理解方法的详细系统架构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于外部知识增强的机器阅读理解方法，如图1所示，包括以下步骤：
步骤S100，获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
步骤S200，基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
步骤S300，通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
步骤S400，通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。
为了更清晰地对本发明基于外部知识增强的机器阅读理解方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S100，获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本。
自然语言处理的长期目标是让计算机能够阅读、处理文本，并且理解文本的内在含义。理解，意味着计算机在接受自然语言输入后能够给出正确的反馈。传统的自然语言处理任务，例如词性标注、句法分析以及文本分类，更多地聚焦于小范围层面(例如一个句子内)的上下文信息，更加注重于词法以及语法信息。然而更大范围、更深层次的上下文语义信息在人类理解文本的过程中起着非常重要的作用。正如对于人类的语言测试那样，一种测试机器更大范围内理解能力的方法是在给定一篇文本或相关内容(事实)的基础上，要求机器根据文本的内容，对相应的问题作出回答，类似于各类英语考试中的阅读题。这类任务通常被称作机器阅读理解。
在本实施例中，先获取阅读理解原文和待回答问题，使用编码器对阅读理解原文和待回答问题在不同层次上进行建模。即先对阅读理解原文和待回答问题分别独立编码，捕获阅读理解原文和待回答问题的上下文信息，再捕获阅读理解原文和待回答问题的交互信息。
在本发明中，我们使用预训练语言模型BERT作为编码器。BERT是一个多层双向的transformer编码器，是一个在超大规模语料上预训练的语言模型。我们将阅读理解原文和待回答问题通过式(1)进行编辑，作为BERT编码器的输入。
[CLS]Question[SEP]Paragraph[SEP](1)
其中，Question为待回答问题，Paragraph为阅读理解原文，[CLS]、[SEP]为分割符。如图3所示，Tok1……TokN为待回答问题序列分词过后的N个单词，Tok1……TokM为阅读理解原文序列分词过后的M个单词，E1…EN为待回答问题中每个单词的词嵌入和位置编码，E′1…E′M为阅读理解原文中每个单词的词嵌入和位置编码，T1…TN为经过编码器生成待回答问题的每个单词蕴含了上下文信息的表示，T1′…T′M为经过编码器生成阅读理解原文的每个单词蕴含了上下文信息的表示，Question and Paragraph Modeling为对阅读理解原文文本和待回答问题的文本进行建模的过程，Knowledge Sub-Graph Construction为知识子图构建，Knowledge Graph为知识图谱，sub-Graph为知识子图，Graph Attention为图注意力网络，Output Layer为输出层，…electricity needs and…(电力需求)Question(问题)，…electricity shortages(电力短缺)…Paragraph(相关阅读理解原文)。
利用BERT编码器(或BERT模型)生成阅读理解原文和待回答问题的上下文表示。即将阅读理解原文和待回答问题对应的文本序列的字符，利用BERT编码器生成对应的隐含表示。
步骤S200，基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱。
在人类阅读理解过程中，当有些问题不能根据给定文本进行回答时，人们会利用常识或积累的背景知识进行作答，而在机器阅读理解任务中却没有很好的利用外部知识，这是机器阅读理解和人类阅读理解存在的差距之一。
在本实施例中，根据阅读理解中给定的阅读理解原文和待回答问题，先从中识别出实体，利用实体从外部知识库中根据阅读理解原文和待回答问题信息检索回相关的三元组集合及三元组集合之间的信息作为外部知识，并且将这些三元组集合恢复其在知识图谱中的图结构信息，使其保持知识图谱中的子图结构信息。以此来提高机器进行答案预测的准确率。
三元组通常表示为(head，relation，tail)，head和tail通常是一个具有现实含义的实体，而relation则是表示前后相邻实体之间的一种关系。对于阅读理解原文中的第i个实体，我们检索相关的三元组集合，其中head或者tail包含这个token(单词)的主干。比如说，对于token为shortage，我们检索回三元组(shortage，related to，lack)。
然后检索阅读理解原文的各实体的相邻实体的三元组集合，即阅读理解原文文本中各实体的三元组集合中对应的相邻实体，以该相邻实体为head或tail的三元组集合。例如上述检索回的三元组(shortage，related to，lack)，检索到它的相邻实体的三元组为(need，related to，lack)。
上述外部知识库中的三元组集合通常为离散的，我们通过知识图谱嵌入表示方法初始化整个外部知识库的表示，将其中的三元组集合进行关联。即通过Dismult模型初始化外部知识库。其中，Dismult模型是基于能量函数的知识图谱表示方法。
基于上述获取的三元组集合，构建三元组集合集。即三元组集合集包括三部分：所述第一文本、所述第二文本中各实体的三元组集合、第二文本中各实体三元组集合中对应相邻实体的三元组集合。
基于获取的三元组集合集，通过相同的实体将其恢复成一个知识子图，这个知识子图包含了检索回来的三元组信息。所以，一个简单的知识子图实例为(shortage，relatedto，lack，related to，need)，而lack是其中的相同实体。这个知识子图设为g，而它的节点(实体)和边则被上述的知识图谱嵌入表示方法初始化其表示。使用知识图谱嵌入技术，基于整个知识图谱的信息获取实体和边的分布式向量表示，使得每个实体和边都有唯一的一个分布式向量表示。
步骤S300，通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示。
在本实施例中，利用图注意力网络迭代更新知识子图的节点和边表示，最终获得具有结构感知的图节点表示，即知识表示。对于子图gi＝{n1,n2,…,nk}，其中，k是节点的个数。我们假设Nj是第j个节点的邻居。图中的节点一共更新L次，第j个节点更新的方式如公式(2)(3)(4)所示：
其中，hj为知识子图中j节点的表示，αn为注意力机制算得的归一化的概率得分，tn为j节点邻居节点的表示，βn为与第n个邻居节点的逻辑得分，βj为与第j个邻居节点的逻辑得分，rn为边的表示，hn为知识子图中n节点的表示，wr、wh、wt为rn、hn、tn对应的可训练参数，Nj为知识子图中j节点的邻居节点个数，l为第l次迭代，T为转置，n、j为下标。
经过L次更新，每个节点(实体)能够得到其最终表示。
步骤S400，通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。
在本实施例中，通过哨兵机制将知识表示和上下文表示进行拼接，得到知识增强的文本表示。即将实体表示和文本中的实体一一对应，利用哨兵机制对知识进行选取，最终获得知识增强的文本表示。基于知识增强的文本表示，通过多层感知器和softmax分类器获取待回答问题的答案的起始位置、终止位置及对应的分布概率。具体处理如下：
将知识的表示和文本上下文表示利用哨兵机制进行拼接，因为对于推理来说，外部知识不总是会有所影响，哨兵机制如下，利用公式(5)计算当前知识选择的阈值：
wi＝σ(W[tbi；tki]) (5)
其中，wi为计算所得阈值，σ(·)为sigmoid函数，W为可训练参数，tbi为文本上下文表示，tki为知识表示，i为下标。
然后，使用这个阈值来控制知识的是否选取，如公式(6)所示：
其中，ti'为知识增强后的文本表示。
接着，我们利用这个表示生成最终的答案，设知识增强的文本表示，即最终的表示为T＝{t1',t'2,...,t'n}，其中，ti'∈RH(实数的向量空间)。接着，我们学习一个开始向量S∈RH和结束向量E∈RH，分别代表篇章当前位置是答案的起始得分。接着，答案片段的开始位置在某个位置上的概率值通过一个Softmax函数，Softmax函数的输入是Ti(第i个知识增强后的文本表示)和S点乘的结果，计算如公式(7)所示：
其中，为第i个字符在开始位置的概率值。
同理，答案片段的结束位置在篇章的某个位置的概率值也可以通过上述公式计算，第i个字符是结束位置的概率值可由公式(8)计算：
其中，为第i个字符是结束位置的概率值。
本发明使用的训练目标是答案正确起始位置的对数似然函数，可由公式(9)计算：
其中，是正确答案开始位置的预测概率值，/>是正确答案的结束位置的预测概率值，N是总样本数，L为对数似然函数。
为了说明系统的有效性，本发明通过数据集来验证本方法的性能。本发明使用ReCoRD数据集进行验证本方法在机器阅读理解任务上的性能。对比结果如表1所示：
表1
其中，表1中EM是精确匹配度指标，F1是模糊匹配度指标，QANet、SAN、DocQA w/oElMo、DocQA w/ELMo是四个基准阅读理解模型方法的名称，SKG-BERT-Large是本发明预读理解模型方法的英文名称。由表1可以看出，本方法取得了比基准阅读理解模型方法更好的结果。
本发明第二实施例的一种基于外部知识增强的机器阅读理解系统，如图2所示，包括：上下文表示模块100、获取知识子图模块200、知识表示模块300、输出答案模块400；
所述上下文表示模块100，配置为获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
所述获取知识子图模块200，配置为基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
所述知识表示模块300，配置为通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
所述输出答案模块400，配置为通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于外部知识增强的机器阅读理解系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于外部知识增强的机器阅读理解方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于外部知识增强的机器阅读理解方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的设定应用和设计约束条件。本领域技术人员可以对每个设定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示设定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于外部知识增强的机器阅读理解方法，其特征在于，该方法包括：
步骤S100，获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
步骤S200，基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
步骤S300，通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
步骤S400，通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案；
通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，其方法为：
t′i＝wi⊙tbi+(1-wi)⊙tki
wi＝σ(W[tbi；tki])
其中，t′i为知识增强后的文本表示，wi为控制知识流入的计算阈值，σ(·)为sigmoid函数，W为可训练参数，tbi为文本上下文表示，tki为知识表示，i为下标。
2.根据权利要求1所述的基于外部知识增强的机器阅读理解方法，其特征在于，步骤S100中“分别生成所述第一文本、所述第二文本中各实体的上下文表示”其方法为：通过BERT模型分别生成所述第一文本、所述第二文本中各实体的上下文表示。
3.根据权利要求1所述的基于外部知识增强的机器阅读理解方法，其特征在于，所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，其包括以所述相邻实体为head实体或tail实体的三元组集合。
4.根据权利要求1所述的基于外部知识增强的机器阅读理解方法，其特征在于，步骤S200中“基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱”，其方法为：通过Dismult模型初始化所述外部知识库，构建知识图谱。
5.根据权利要求1所述的基于外部知识增强的机器阅读理解方法，其特征在于，步骤S300中“通过图注意力网络融合各实体的知识子图”，其方法为：通过图注意力网络更新融合各实体知识子图中的节点；更新融合方法如下：
其中，hj为知识子图中j节点的表示，αn为注意力机制算得的归一化的概率得分，tn为j节点邻居节点的表示，βn为与第n个邻居节点的逻辑得分，βj为与第j个邻居节点的逻辑得分，rn为边的表示，hn为知识子图中n节点的表示，wr、wh、wt为rn、hn、tn对应的可训练参数，Nj为知识子图中节点的邻居节点个数，l为第l次迭代，T为转置，n、j为下标。
6.一种基于外部知识增强的机器阅读理解系统，其特征在于，该系统包括上下文表示模块、获取知识子图模块、知识表示模块、输出答案模块；
所述上下文表示模块，配置为获取第一文本、第二文本，并分别生成所述第一文本、所述第二文本中各实体的上下文表示，作为第一表示；所述第一文本为待回答问题的文本；所述第二文本为问题对应的阅读理解原文文本；
所述获取知识子图模块，配置为基于外部知识库，分别获取所述第一文本、所述第二文本中各实体的三元组集合，及所述第二文本中各实体三元组集合中对应相邻实体的三元组集合，构建三元组集合集；基于所述三元组集合集，通过外部知识图谱获取各实体的知识子图；所述外部知识库为存储实体对应的三元组集合的数据库；所述外部知识图谱为基于知识图谱嵌入表示方法初始化所述外部知识库构建的知识图谱；
所述知识表示模块，配置为通过图注意力网络融合各实体的知识子图，获取各实体的知识表示，作为第二表示；
所述输出答案模块，配置为通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，作为第三表示；基于所述第三表示，基于多层感知器和softmax分类器获取待回答问题对应的答案；
通过哨兵机制将所述第一表示和所述第二表示进行拼接，得到知识增强的文本表示，其方法为：
ti'＝wi⊙tbi+(1-wi)⊙tki
wi＝σ(W[tbi；tki])
其中，ti'为知识增强后的文本表示，wi为控制知识流入的计算阈值，σ(·)为sigmoid函数，W为可训练参数，tbi为文本上下文表示，tki为知识表示，i为下标。
7.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-5任一项所述的基于外部知识增强的机器阅读理解方法。
8.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-5任一项所述的基于外部知识增强的机器阅读理解方法。
CN201911259849.XA 2019-12-10 2019-12-10 基于外部知识增强的机器阅读理解方法、系统、装置 Active CN111078836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911259849.XA CN111078836B (zh) 2019-12-10 2019-12-10 基于外部知识增强的机器阅读理解方法、系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911259849.XA CN111078836B (zh) 2019-12-10 2019-12-10 基于外部知识增强的机器阅读理解方法、系统、装置

Publications (2)

Publication Number Publication Date
CN111078836A CN111078836A (zh) 2020-04-28
CN111078836B true CN111078836B (zh) 2023-08-08

Family

ID=70313560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911259849.XA Active CN111078836B (zh) 2019-12-10 2019-12-10 基于外部知识增强的机器阅读理解方法、系统、装置

Country Status (1)

Country Link
CN (1) CN111078836B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666393A (zh) * 2020-04-29 2020-09-15 平安科技（深圳）有限公司 智能问答系统的验证方法、装置、计算机设备及存储介质
CN111832282B (zh) * 2020-07-16 2023-04-14 平安科技（深圳）有限公司 融合外部知识的bert模型的微调方法、装置及计算机设备
CN111782961B (zh) * 2020-08-05 2022-04-22 中国人民解放军国防科技大学 一种面向机器阅读理解的答案推荐方法
CN111881688B (zh) * 2020-08-11 2021-09-14 中国科学院自动化研究所 基于屏蔽泛化机制的事件因果关系识别方法、系统、装置
CN112231455A (zh) * 2020-10-15 2021-01-15 北京工商大学 一种机器阅读理解方法及系统
CN112271001B (zh) * 2020-11-17 2022-08-16 中山大学 一种应用异构图神经网络的医疗咨询对话系统及方法
CN112507039A (zh) * 2020-12-15 2021-03-16 苏州元启创人工智能科技有限公司 基于外部知识嵌入的文本理解方法
CN112632250A (zh) * 2020-12-23 2021-04-09 南京航空航天大学 一种多文档场景下问答方法及系统
CN112541347B (zh) * 2020-12-29 2024-01-30 浙大城市学院 一种基于预训练模型的机器阅读理解方法
CN112818128B (zh) * 2021-01-21 2022-08-09 上海电力大学 一种基于知识图谱增益的机器阅读理解系统
CN112906662B (zh) * 2021-04-02 2022-07-19 海南长光卫星信息技术有限公司 一种遥感图像变化检测方法、装置、设备及存储介质
CN113282722B (zh) * 2021-05-07 2024-03-29 中国科学院深圳先进技术研究院 机器阅读理解方法、电子设备及存储介质
CN113240046B (zh) * 2021-06-02 2023-01-03 哈尔滨工程大学 一种基于知识的视觉问答任务下的多模态信息融合方法
CN113312912B (zh) * 2021-06-25 2023-03-31 重庆交通大学 一种用于交通基础设施检测文本的机器阅读理解方法
CN113961679A (zh) * 2021-09-18 2022-01-21 北京百度网讯科技有限公司 智能问答的处理方法、系统、电子设备及存储介质
WO2023225858A1 (zh) * 2022-05-24 2023-11-30 中山大学 一种基于常识推理的阅读型考题生成系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415977A (zh) * 2018-02-09 2018-08-17 华南理工大学 一个基于深度神经网络及强化学习的生成式机器阅读理解方法
CN108509519A (zh) * 2018-03-09 2018-09-07 北京邮电大学 基于深度学习的通用知识图谱增强问答交互系统及方法
CN108985370A (zh) * 2018-07-10 2018-12-11 中国人民解放军国防科技大学 图像标注语句自动生成方法
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628735B2 (en) * 2015-06-05 2020-04-21 Deepmind Technologies Limited Reading comprehension neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415977A (zh) * 2018-02-09 2018-08-17 华南理工大学 一个基于深度神经网络及强化学习的生成式机器阅读理解方法
CN108509519A (zh) * 2018-03-09 2018-09-07 北京邮电大学 基于深度学习的通用知识图谱增强问答交互系统及方法
CN108985370A (zh) * 2018-07-10 2018-12-11 中国人民解放军国防科技大学 图像标注语句自动生成方法
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于注意力机制的机器阅读理解技术研究;刘伟杰;《中国优秀硕士学位论文全文数据库 信息科技辑》(第08期);I138-1392 *

Also Published As

Publication number Publication date
CN111078836A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111078836B (zh) 基于外部知识增强的机器阅读理解方法、系统、装置
CN110334354B (zh) 一种中文关系抽取方法
Chemudugunta et al. Modeling documents by combining semantic concepts with unsupervised statistical learning
US11381651B2 (en) Interpretable user modeling from unstructured user data
Suissa et al. Text analysis using deep neural networks in digital humanities and information science
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
EP3940582A1 (en) Method for disambiguating between authors with same name on basis of network representation and semantic representation
Tang et al. Modelling student behavior using granular large scale action data from a MOOC
CN110019736A (zh) 基于语言模型的问答匹配方法、系统、设备及存储介质
CN113761868B (zh) 文本处理方法、装置、电子设备及可读存储介质
CN115309910B (zh) 语篇要素和要素关系联合抽取方法、知识图谱构建方法
CN111710428A (zh) 一种建模全局和局部上下文交互的生物医学文本表示方法
CN116385937A (zh) 一种基于多粒度的跨模态交互框架解决视频问答的方法及系统
Chen et al. A review and roadmap of deep learning causal discovery in different variable paradigms
Khan et al. Towards achieving machine comprehension using deep learning on non-GPU machines
Kassawat et al. Incorporating joint embeddings into goal-oriented dialogues with multi-task learning
CN116362242A (zh) 一种小样本槽值提取方法、装置、设备及存储介质
Wu Learning to memorize in neural task-oriented dialogue systems
Gupta et al. Deep learning methods for the extraction of relations in natural language text
Rao Are you asking the right questions? Teaching Machines to Ask Clarification Questions
Luo Automatic short answer grading using deep learning
CN113407704A (zh) 文本匹配方法、装置、设备及计算机可读存储介质
Windiatmoko et al. Mi-Botway: A deep learning-based intelligent university enquiries chatbot
Jiang et al. Spatial relational attention using fully convolutional networks for image caption generation
CN117453898B (zh) 基于思维链的跨模态问答的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant