CN109408680A - 自动问答方法、装置、设备和计算机可读存储介质 - Google Patents
自动问答方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN109408680A CN109408680A CN201811167590.1A CN201811167590A CN109408680A CN 109408680 A CN109408680 A CN 109408680A CN 201811167590 A CN201811167590 A CN 201811167590A CN 109408680 A CN109408680 A CN 109408680A
- Authority
- CN
- China
- Prior art keywords
- vector
- document
- indicates
- final
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种自动问答方法、自动问答装置、自动问答设备和计算机可读存储介质。所述自动问答方法包括：获取问题和来源文档的初始问题向量表示和初始文档向量表示；基于初始问题向量表示，确定初始文档向量表示的文档注意力权重，利用文档注意力权重更新初始文档向量表示，生成用于从中获取问题答案的最终文档向量表示；基于初始问题向量表示，确定初始问题向量表示的自身注意力权重，利用自身注意力权重更新初始问题向量表示，生成最终问题向量表示；以及根据最终问题向量表示与最终文档向量表示的相似度，从来源文档中确定问题答案。由于考虑了问题中其他位置的信息对于答案的影响，提高了最终确定答案的准确性。
Description
技术领域
本公开涉及自然语言处理领域，更具体地，本公开涉及一种自动问答方法、自动问答装置、自动问答设备和计算机可读存储介质。
背景技术
机器执行阅读理解是自然语言处理(NLP)中的核心任务之一。如果机器具备高水准的阅读理解能力，那么很多应用便会体现出真正的智能。例如搜索引擎会在真正理解文章内容基础上去回答用户的问题，而不是仅仅以关键词匹配的方式去响应用户。目前机器阅读理解形式包括完形填空、多项选择和文档中答案匹配等方式。
完形填空式(Cloze-style)的阅读理解任务是让机器阅读并理解一篇来源文档的内容后，对机器提出问题，问题往往是抽掉某个单词或者实体词的一个句子，而机器回答问题的过程就是将问题句子中被抽掉的单词或者实体词预测补全出来，一般要求这个被抽掉的单词或者实体词是在来源文档中出现过的。当前，在基于来源文档和问题的理解过程中，通常会利用注意力机制(Attention Mechanism)，根据来源文档中各个子部分与问题的相关性，让机器的阅读理解模型关注于来源文档中与问题有关的适当子部分，从而对于答案提供更高效和准确的预测。然而，仅依赖于来源文档和问题之间的注意力机制，而没有考虑问题自身对于答案的影响。
发明内容
鉴于上述问题而提出了本公开。本公开提供了一种自动问答方法、自动问答装置、自动问答设备和计算机可读存储介质。
根据本公开的一个方面，提供了一种自动问答方法，包括：获取问题和来源文档的初始问题向量表示和初始文档向量表示；基于所述初始问题向量表示，确定所述初始文档向量表示的文档注意力权重，利用所述文档注意力权重更新所述初始文档向量表示，生成用于从中获取问题答案的最终文档向量表示；基于所述初始问题向量表示，确定所述初始问题向量表示的自身注意力权重，利用所述自身注意力权重更新所述初始问题向量表示，生成最终问题向量表示；以及根据所述最终问题向量表示与所述最终文档向量表示的相似度，从所述来源文档中确定问题答案。
此外，根据本公开一个方面的自动问答方法，其中，所述问题和所述来源文档包括多个词，所述问题中存在待填入位置，所述从所述来源文档中确定问题答案包括：从所述来源文档中确定填入所述待填入位置的词作为所述问题答案。
此外，根据本公开一个方面的自动问答方法，其中，所述基于所述初始问题向量表示，确定所述初始问题向量表示的自身注意力权重，利用所述自身注意力权重更新所述初始问题向量表示，生成最终问题向量表示包括：基于所述待填入位置的初始问题向量表示与所述问题的所有位置的初始问题向量表示的向量内积的归一化概率值，确定所述待填入位置相对于所有位置的注意力权重；利用所述注意力权重加权求和所述初始问题向量表示，生成所述最终问题向量表示。
此外，根据本公开一个方面的自动问答方法，其中，所述根据所述最终问题向量表示与所述最终文档向量表示的相似度，从所述来源文档中确定问题答案包括：计算所述最终问题向量表示与所述最终文档向量表示的向量内积的归一化概率值作为所述相似度；确定所述来源文档中与最大所述相似度相对应的词作为所述问题答案。
此外，根据本公开一个方面的自动问答方法，其中，所述获取问题和来源文档的初始问题向量表示和初始文档向量表示包括：将所述问题和所述来源文档分别映射为预定维度的问题表示和初始文档表示；利用双向门控循环单元，将所述预定维度的问题表示和初始文档表示转换为所述初始问题向量表示和所述初始文档向量表示。
此外，根据本公开一个方面的自动问答方法，其中，所述基于所述初始问题向量表示，确定所述初始文档向量表示的文档注意力权重，利用所述文档注意力权重更新所述初始文档向量表示，生成用于从中获取问题答案的最终文档向量表示包括：基于所述初始问题向量表示与所述初始文档向量表示的向量内积的归一化概率值获得对齐权重向量；将所述对齐权重向量与所述初始问题向量表示的向量内积作为所述文档注意力权重；将所述文档注意力权重与所述初始文档向量表示点积，生成所述最终文档向量表示。
根据本公开的另一个方面，提供了一种自动问答装置，包括：初始向量表示获取单元，用于获取问题和来源文档的初始问题向量表示和初始文档向量表示；最终文档向量表示获取单元，用于基于所述初始问题向量表示，确定所述初始文档向量表示的文档注意力权重，利用所述文档注意力权重更新所述初始文档向量表示，生成用于从中获取问题答案的最终文档向量表示；最终问题向量表示获取单元，用于基于所述初始问题向量表示，确定所述初始问题向量表示的自身注意力权重，利用所述自身注意力权重更新所述初始问题向量表示，生成最终问题向量表示；以及问题答案确定单元，用于根据所述最终问题向量表示与所述最终文档向量表示的相似度，从所述来源文档中确定问题答案。
此外，根据本公开另一个方面的自动问答装置，其中，所述问题和所述来源文档包括多个词，所述问题中存在待填入位置，所述问题答案确定单元从所述来源文档中确定填入所述待填入位置的词作为所述问题答案。
此外，根据本公开另一个方面的自动问答装置，其中，所述最终问题向量表示获取单元：基于所述待填入位置的初始问题向量表示与所述问题的所有位置的初始问题向量表示的向量内积的归一化概率值，确定所述待填入位置相对于所有位置的注意力权重；利用所述注意力权重加权求和所述初始问题向量表示，生成所述最终问题向量表示。
此外，根据本公开另一个方面的自动问答装置，其中，所述问题答案确定单元：计算所述最终问题向量表示与所述最终文档向量表示的向量内积的归一化概率值作为所述相似度；确定所述来源文档中与最大所述相似度相对应的词作为所述问题答案。
此外，根据本公开另一个方面的自动问答装置，其中，所述初始向量表示获取单元：将所述问题和所述来源文档分别映射为预定维度的问题表示和初始文档表示；利用双向门控循环单元，将所述预定维度的问题表示和初始文档表示转换为所述初始问题向量表示和所述初始文档向量表示。
此外，根据本公开另一个方面的自动问答装置，其中，所述最终文档向量表示获取单元：基于所述初始问题向量表示与所述初始文档向量表示的向量内积的归一化概率值获得对齐权重向量；将所述对齐权重向量与所述初始问题向量表示的向量内积作为所述文档注意力权重；将所述文档注意力权重与所述初始文档向量表示点积，生成所述最终文档向量表示。
根据本公开的又一个方面，提供了一种自动问答设备，包括：处理器；以及存储器，用于存储计算机程序指令；其中，当所述计算机程序指令由所述处理器加载并运行时，所述处理器执行如上所述的自动问答方法。
根据本公开的又一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被处理器加载并运行时，所述处理器执行如上所述的自动问答方法。
如以下将详细描述的，根据本公开实施例的自动问答方法、自动问答装置、自动问答设备和计算机可读存储介质，一方面通过问题与来源文本之间的注意力机制，多轮迭代更新来源文本表示；另一方面引入问题与自身的注意力机制，得到问题中待填入位置的表示与问题其他位置的表示之间的注意力权重，更新问题表示；最终利用更新后的来源文本表示和问题表示之间的相似度确定待填入位置的答案。由于考虑了问题中其他位置的信息对于答案的影响，提高了最终确定答案的准确性。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是概述根据本公开实施例的自动问答方法的应用场景的示意图；
图2是图示根据本公开实施例的自动问答方法的应用示例的示意图；
图3是图示根据本公开实施例的自动问答方法的流程图；
图4是图示根据本公开实施例的自动问答方法实现的示意图；
图5是图示根据本公开实施例的自动问答方法中数据流的示意图；
图6是图示根据本公开实施例的自动问答装置的功能框图；
图7是图示根据本公开实施例的自动问答设备的硬件框图；以及
图8是图示根据本公开的实施例的计算机可读存储介质的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
首先，参照图1示意性地描述根据本公开实施例的自动问答方法的应用场景。
如图1所示，自动问答系统10配置有自动问答装置100。自动问答装置100经由通信网络103与用户101a-101c各自的用户设备102a-102c执行数据通信。
自动问答装置100包括但不限于配置有大数据处理能力和大容量数据存储能力的服务器装置，诸如搜索引擎服务器、内容提供服务器等。用户设备102a-102c包括但不限于笔记本计算机、台式计算机、智能电话、平板电脑等具有数据处理能力的移动终端或者固定终端。通信网络103包括但不限于遵循诸如传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)和/或文件传输协议(FTP)配置的互联网、IPTV网络、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)和/或城域网(MAN)等。
在本公开的一个实施例中，自动问答装置100为搜索引擎服务器。自动问答装置100接收由用户设备102a-102c通过通信网络103提出的问题，自动问答装置100基于对于问题与自身来源文档的理解，自动向用户101a-101c提供答案。
在自动问答装置100采用的机器阅读理解形式中，完形填空式是常用的一种。图2是图示根据本公开实施例的自动问答方法的应用示例的示意图，如图2所示的自动问答方法为通过完形填空式的机器阅读理解来实现。
如图2所示，来源文档201“复旦大学…”是自动问答装置100预先具有并且作为答案来源的文档。问题202“复旦大学坐落在中国<>市”，其中占位符“<>”表示需要填入答案的待填入位置。答案203是根据来源文档201与问题202两者确定的。在图2所示的示例中，答案203被确定为“上海”，并且“上海”是在来源文档201中出现的。
以上，描述了图示根据本公开实施例的自动问答方法的示意性应用场景和应用示例，以下将参照图3到图5详细描述根据本公开实施例的自动问答方法。
图3是图示根据本公开实施例的自动问答方法的流程图。图4是图示根据本公开实施例的自动问答方法实现的示意图。如图3所示，图示根据本公开实施例的自动问答方法包括以下步骤。
在步骤S301中，获取问题和来源文档的初始问题向量表示和初始文档向量表示。
具体地，为了对问题和来源文档实现自然语言处理，首先将所述问题和所述来源文档分别映射为预定维度的问题表示和初始文档表示。
参照图4，问题Q和来源文档D首先进行一次词向量映射，将作为自然语言的问题Q和来源文档D的词符号数学化，作为机器学习问题的输入。在本公开的一个实施例中，词向量映射将问题Q和来源文档D的词符号映射为50维或100维的向量，两个词的相似度可以用向量的欧几里得距离、余弦相似度等方法求得。
在图4中，来源文档D映射后的初始文档表示为问题Q映射后的问题表示为|D|和|Q|分别表示来源文档D和问题Q的表示的长度。
此后，对于利用双向门控循环单元(Bi-GRU)，将所述预定维度的问题表示和初始文档表示转换为初始问题向量表示和初始文档向量表示。双向门控循环单元对于问题表示和初始文档表示的转换可以表示为：
其中图4中示出了多层双向门控循环单元与注意力机制的迭代结构，在此k表示迭代结构的层数。
在步骤S302中，基于所述初始问题向量表示，确定所述初始文档向量表示的文档注意力权重，利用所述文档注意力权重更新所述初始文档向量表示，生成用于从中获取问题答案的最终文档向量表示。
参照图4，例如在第1层中，基于所述初始问题向量表示Q(1)，利用图4中示出的注意力机制GA，确定所述初始文档向量表示D(1)的文档注意力权重，利用所述文档注意力权重更新所述初始文档向量表示为X(2)。注意力机制GA因此可以表示为：
X(2)＝GA(D(1)，Q(1)) 表达式(2)
更具体地，基于所述初始问题向量表示与所述初始文档向量表示的向量内积的归一化概率值获得对齐权重向量αi：
αi＝softmax(QTdi) 表达式(3)
此后，将所述对齐权重向量与所述初始问题向量表示的向量内积作为所述文档注意力权重
将所述文档注意力权重与所述初始文档向量表示di点积，生成所述最终文档向量表示：
由第一层生成的初始文档向量表示X(2)进一步进入随后的迭代层，继续执行基于初始问题向量表示，确定所述初始文档向量表示的文档注意力权重，利用注意力机制GA更新初始文档向量表示，直到第K层后获得用于从中获取问题答案的最终文档向量表示X(K)。
经过步骤S302，基于问题与来源文本之间的注意力机制GA，多轮迭代更新来源文本表示，使得用于从中获取问题答案的最终文档向量表示更容易提供与问题相关的准确答案。
在步骤S303中，基于初始问题向量表示，确定初始问题向量表示的自身注意力权重，利用自身注意力权重更新初始问题向量表示，生成最终问题向量表示。
参照图4，示出了自信息聚合模块SBA。在自信息聚合模块SBA中，先利用双向门控循环单元获得问题的初始问题向量表示B＝[b1，b2，...，b|Q|]：
在此用B表示以便与之前用于与来源文档表示执行注意力机制GA的Q进行区分。
此后，基于所述待填入位置的初始问题向量表示与所述问题的所有位置的初始问题向量表示的向量内积的归一化概率值，确定所述待填入位置相对于所有位置的注意力权重：
λ＝softmαx(BTbl) 表达式(7)
其中，l表示待填入位置的索引。
最后，利用所述注意力权重加权求和所述初始问题向量表示，生成所述最终问题向量表示：
经过步骤S303，基于问题中待填入位置的表示与问题其他位置的表示之间的注意力权重，更新问题表示，使得最终问题向量表示考虑到问题中所有位置的信息。
在步骤S304中，根据最终问题向量表示与最终文档向量表示的相似度，从来源文档中确定问题答案。
参照图4，计算所述最终问题向量表示与所述最终文档向量表示D(k)的向量内积的归一化概率值作为所述相似度：
确定所述来源文档中与最大所述相似度相对应的词作为所述问题答案：
c*＝argmaxc∈CPr(c|d，q) 表达式(10)
其中，c是所有候选答案，c*是最终确定的答案A。
图5是图示根据本公开实施例的自动问答方法中数据流的示意图。类似于图4，图5也示出了利用问题Q与来源文档D之间的注意力机制更新来源文档的向量表示的K层。如图4所示，在第一层中，初始问题向量表示401和初始文档向量表示402通过注意力机制403生成第一层文档向量表示404。在第二层中，继续由初始问题向量表示401和第一层文档向量表示404通过注意力机制403生成第二层文档向量表示405。如此，直到第K层后，生成最终文档向量表示406。在第K层，初始问题向量表示401自身通过自信息聚合机制408生成最终问题向量表示407。最终问题向量表示407和最终文档向量表示406通过相似度计算确定答案A。
图6是图示根据本公开实施例的自动问答装置的功能框图。如图6所示，根据本公开实施例的自动问答装置100包括初始向量表示获取单元601、最终文档向量表示获取单元602、最终问题向量表示获取单元603以及问题答案确定单元604。上述各模块可以分别执行如上参照图3到图5描述的根据本公开的实施例的自动问答方法的各个步骤。本领域的技术人员理解：这些单元模块可以单独由硬件、单独由软件或者由其组合以各种方式实现，并且本公开不限于它们的任何一个。
初始向量表示获取单元601用于获取问题和来源文档的初始问题向量表示和初始文档向量表示。具体地，所述初始向量表示获取单元601用于：将所述问题和所述来源文档分别映射为预定维度的问题表示和初始文档表示；利用双向门控循环单元，将所述预定维度的问题表示和初始文档表示转换为所述初始问题向量表示和所述初始文档向量表示。
最终文档向量表示获取单元602用于基于所述初始问题向量表示，确定所述初始文档向量表示的文档注意力权重，利用所述文档注意力权重更新所述初始文档向量表示，生成用于从中获取问题答案的最终文档向量表示。具体地，最终文档向量表示获取单元602用于：基于所述初始问题向量表示与所述初始文档向量表示的向量内积的归一化概率值获得对齐权重向量；将所述对齐权重向量与所述初始问题向量表示的向量内积作为所述文档注意力权重；将所述文档注意力权重与所述初始文档向量表示点积，生成所述最终文档向量表示。
最终问题向量表示获取单元603用于基于所述初始问题向量表示，确定所述初始问题向量表示的自身注意力权重，利用所述自身注意力权重更新所述初始问题向量表示，生成最终问题向量表示。具体地，最终问题向量表示获取单元603用于：基于所述待填入位置的初始问题向量表示与所述问题的所有位置的初始问题向量表示的向量内积的归一化概率值，确定所述待填入位置相对于所有位置的注意力权重；利用所述注意力权重加权求和所述初始问题向量表示，生成所述最终问题向量表示。
问题答案确定单元604用于根据所述最终问题向量表示与所述最终文档向量表示的相似度，从所述来源文档中确定问题答案。具体地，问题答案确定单元604用于：计算所述最终问题向量表示与所述最终文档向量表示的向量内积的归一化概率值作为所述相似度；确定所述来源文档中与最大所述相似度相对应的词作为所述问题答案。
图7是图示根据本公开实施例的自动问答设备的硬件框图。根据本公开实施例的自动问答设备至少包括处理器；以及存储器，用于存储计算机程序指令。当计算机程序指令由处理器加载并运行时，所述处理器执行如上所述的自动问答方法。
图7所示的自动问答设备70具体地包括：中央处理单元(CPU)22、图形处理单元(GPU)24和主存储器26。这些单元通过总线30互相连接。中央处理单元(CPU)22和/或图形处理单元(GPU)24可以用作上述处理器，主存储器26可以用作上述存储计算机程序指令的存储器。此外，自动问答设备700还包括通信单元32、存储单元34、输出单元36、输入单元38和外部设备40，这些单元也连接到总线30。
图8是图示根据本公开的实施例的计算机可读存储介质的示意图。如图8所示，根据本公开实施例的计算机可读存储介质800其上存储有计算机可读指令801。当所述计算机可读指令801由处理器运行时，执行参照以上附图描述的根据本公开实施例的自动问答方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。
以上，参照附图描述了根据本公开实施例的自动问答方法、自动问答装置、自动问答设备和计算机可读存储介质，一方面通过问题与来源文本之间的注意力机制，多轮迭代更新来源文本表示；另一方面引入问题与自身的注意力机制，得到问题中待填入位置的表示与问题其他位置的表示之间的注意力权重，更新问题表示；最终利用更新后的来源文本表示和问题表示之间的相似度确定待填入位置的答案。由于考虑了问题中其他位置的信息对于答案的影响，提高了最终确定答案的准确性。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (14)
1.一种自动问答方法，包括：
获取问题和来源文档的初始问题向量表示和初始文档向量表示；
基于所述初始问题向量表示，确定所述初始文档向量表示的文档注意力权重，利用所述文档注意力权重更新所述初始文档向量表示，生成用于从中获取问题答案的最终文档向量表示；
基于所述初始问题向量表示，确定所述初始问题向量表示的自身注意力权重，利用所述自身注意力权重更新所述初始问题向量表示，生成最终问题向量表示；以及
根据所述最终问题向量表示与所述最终文档向量表示的相似度，从所述来源文档中确定问题答案。
2.如权利要求1所述的自动问答方法，其中，所述问题和所述来源文档包括多个词，所述问题中存在待填入位置，所述从所述来源文档中确定问题答案包括：
从所述来源文档中确定填入所述待填入位置的词作为所述问题答案。
3.如权利要求2所述的自动问答方法，其中，所述基于所述初始问题向量表示，确定所述初始问题向量表示的自身注意力权重，利用所述自身注意力权重更新所述初始问题向量表示，生成最终问题向量表示包括：
基于所述待填入位置的初始问题向量表示与所述问题的所有位置的初始问题向量表示的向量内积的归一化概率值，确定所述待填入位置相对于所有位置的注意力权重；
利用所述注意力权重加权求和所述初始问题向量表示，生成所述最终问题向量表示。
4.如权利要求3所述的自动问答方法，其中，所述根据所述最终问题向量表示与所述最终文档向量表示的相似度，从所述来源文档中确定问题答案包括：
计算所述最终问题向量表示与所述最终文档向量表示的向量内积的归一化概率值作为所述相似度；
确定所述来源文档中与最大所述相似度相对应的词作为所述问题答案。
5.如权利要求1到4的任一项所述的自动问答方法，其中，所述获取问题和来源文档的初始问题向量表示和初始文档向量表示包括：
将所述问题和所述来源文档分别映射为预定维度的问题表示和初始文档表示；
利用双向门控循环单元，将所述预定维度的问题表示和初始文档表示转换为所述初始问题向量表示和所述初始文档向量表示。
6.如权利要求5所述的自动问答方法，其中，所述基于所述初始问题向量表示，确定所述初始文档向量表示的文档注意力权重，利用所述文档注意力权重更新所述初始文档向量表示，生成用于从中获取问题答案的最终文档向量表示包括：
基于所述初始问题向量表示与所述初始文档向量表示的向量内积的归一化概率值获得对齐权重向量；
将所述对齐权重向量与所述初始问题向量表示的向量内积作为所述文档注意力权重；
将所述文档注意力权重与所述初始文档向量表示点积，生成所述最终文档向量表示。
7.一种自动问答装置，包括：
初始向量表示获取单元，用于获取问题和来源文档的初始问题向量表示和初始文档向量表示；
最终文档向量表示获取单元，用于基于所述初始问题向量表示，确定所述初始文档向量表示的文档注意力权重，利用所述文档注意力权重更新所述初始文档向量表示，生成用于从中获取问题答案的最终文档向量表示；
最终问题向量表示获取单元，用于基于所述初始问题向量表示，确定所述初始问题向量表示的自身注意力权重，利用所述自身注意力权重更新所述初始问题向量表示，生成最终问题向量表示；以及
问题答案确定单元，用于根据所述最终问题向量表示与所述最终文档向量表示的相似度，从所述来源文档中确定问题答案。
8.如权利要求7所述的自动问答装置，其中，所述问题和所述来源文档包括多个词，所述问题中存在待填入位置，
所述问题答案确定单元从所述来源文档中确定填入所述待填入位置的词作为所述问题答案。
9.如权利要求8所述的自动问答装置，其中，所述最终问题向量表示获取单元：
基于所述待填入位置的初始问题向量表示与所述问题的所有位置的初始问题向量表示的向量内积的归一化概率值，确定所述待填入位置相对于所有位置的注意力权重；
利用所述注意力权重加权求和所述初始问题向量表示，生成所述最终问题向量表示。
10.如权利要求9所述的自动问答装置，其中，所述问题答案确定单元：
计算所述最终问题向量表示与所述最终文档向量表示的向量内积的归一化概率值作为所述相似度；
确定所述来源文档中与最大所述相似度相对应的词作为所述问题答案。
11.如权利要求7到10的任一项所述的自动问答装置，其中，所述初始向量表示获取单元：
将所述问题和所述来源文档分别映射为预定维度的问题表示和初始文档表示；
利用双向门控循环单元，将所述预定维度的问题表示和初始文档表示转换为所述初始问题向量表示和所述初始文档向量表示。
12.如权利要求11所述的自动问答装置，其中，所述最终文档向量表示获取单元：
基于所述初始问题向量表示与所述初始文档向量表示的向量内积的归一化概率值获得对齐权重向量；
将所述对齐权重向量与所述初始问题向量表示的向量内积作为所述文档注意力权重；
将所述文档注意力权重与所述初始文档向量表示点积，生成所述最终文档向量表示。
13.一种自动问答设备，包括：
处理器；以及
存储器，用于存储计算机程序指令；
其中，当所述计算机程序指令由所述处理器加载并运行时，所述处理器执行如权利要求1到6的任一项所述的自动问答方法。
14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被处理器加载并运行时，所述处理器执行如权利要求1到6的任一项所述的自动问答方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811167590.1A CN109408680A (zh) | 2018-10-08 | 2018-10-08 | 自动问答方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811167590.1A CN109408680A (zh) | 2018-10-08 | 2018-10-08 | 自动问答方法、装置、设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109408680A true CN109408680A (zh) | 2019-03-01 |
Family
ID=65466002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811167590.1A Withdrawn CN109408680A (zh) | 2018-10-08 | 2018-10-08 | 自动问答方法、装置、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109408680A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232118A (zh) * | 2019-08-08 | 2019-09-13 | 中山大学 | 一种新型的基于gru注意力机制的答案选择模型 |
| CN110263321A (zh) * | 2019-05-06 | 2019-09-20 | 成都数联铭品科技有限公司 | 一种情感词典构建方法及系统 |
| CN110347813A (zh) * | 2019-06-26 | 2019-10-18 | 北京大米科技有限公司 | 一种语料处理方法、装置、存储介质及电子设备 |
| CN110597947A (zh) * | 2019-03-20 | 2019-12-20 | 桂林电子科技大学 | 一种基于全局和局部注意力交互的阅读理解系统及方法 |
| CN111241807A (zh) * | 2019-12-31 | 2020-06-05 | 浙江大学 | 一种基于知识引导注意力的机器阅读理解方法 |
| CN112084299A (zh) * | 2020-08-05 | 2020-12-15 | 山西大学 | 一种基于bert语义表示的阅读理解自动问答方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210634A1 (en) * | 2016-06-03 | 2017-12-07 | Maluuba Inc. | Iterative alternating neural attention for machine reading |
| CN107818306A (zh) * | 2017-10-31 | 2018-03-20 | 天津大学 | 一种基于注意力模型的视频问答方法 |
| CN108415977A (zh) * | 2018-02-09 | 2018-08-17 | 华南理工大学 | 一个基于深度神经网络及强化学习的生成式机器阅读理解方法 |
-
2018
- 2018-10-08 CN CN201811167590.1A patent/CN109408680A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210634A1 (en) * | 2016-06-03 | 2017-12-07 | Maluuba Inc. | Iterative alternating neural attention for machine reading |
| CN107818306A (zh) * | 2017-10-31 | 2018-03-20 | 天津大学 | 一种基于注意力模型的视频问答方法 |
| CN108415977A (zh) * | 2018-02-09 | 2018-08-17 | 华南理工大学 | 一个基于深度神经网络及强化学习的生成式机器阅读理解方法 |
Non-Patent Citations (2)
| Title |
|---|
| BHUWAN DHINGRA 等: "Gated-attention readers for text comprehension", 《PROCEEDINGS OF 55TH ANNUAL MEETING OF ASSOCIATION FOR COMPUTATIONAL LINGUISTICS》 * |
| HAOHUI DENG 等: "Read and Comprehend by Gated-Attention Reader with More Belief", 《PROCEEDINGS OF NAACL-HLT 2018: STUDENT RESEARCH WORKSHOP》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110597947A (zh) * | 2019-03-20 | 2019-12-20 | 桂林电子科技大学 | 一种基于全局和局部注意力交互的阅读理解系统及方法 |
| CN110597947B (zh) * | 2019-03-20 | 2023-03-28 | 桂林电子科技大学 | 一种基于全局和局部注意力交互的阅读理解系统及方法 |
| CN110263321A (zh) * | 2019-05-06 | 2019-09-20 | 成都数联铭品科技有限公司 | 一种情感词典构建方法及系统 |
| CN110263321B (zh) * | 2019-05-06 | 2023-06-09 | 成都数联铭品科技有限公司 | 一种情感词典构建方法及系统 |
| CN110347813A (zh) * | 2019-06-26 | 2019-10-18 | 北京大米科技有限公司 | 一种语料处理方法、装置、存储介质及电子设备 |
| CN110347813B (zh) * | 2019-06-26 | 2021-09-17 | 北京大米科技有限公司 | 一种语料处理方法、装置、存储介质及电子设备 |
| CN110232118A (zh) * | 2019-08-08 | 2019-09-13 | 中山大学 | 一种新型的基于gru注意力机制的答案选择模型 |
| CN111241807A (zh) * | 2019-12-31 | 2020-06-05 | 浙江大学 | 一种基于知识引导注意力的机器阅读理解方法 |
| CN112084299A (zh) * | 2020-08-05 | 2020-12-15 | 山西大学 | 一种基于bert语义表示的阅读理解自动问答方法 |
| CN112084299B (zh) * | 2020-08-05 | 2022-05-31 | 山西大学 | 一种基于bert语义表示的阅读理解自动问答方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109408680A (zh) | 自动问答方法、装置、设备和计算机可读存储介质 | |
| AU2018271931B2 (en) | Attention-based sequence transduction neural networks | |
| US11403288B2 (en) | Querying a data graph using natural language queries | |
| CN110162596A (zh) | 自然语言处理的训练方法、装置、自动问答方法和装置 | |
| CN110929532B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN111382619B (zh) | 图片推荐模型的生成、图片推荐方法、装置、设备及介质 | |
| Rei | Online representation learning in recurrent neural language models | |
| Sabharwal et al. | BERT algorithms explained | |
| US20240013769A1 (en) | Vocabulary selection for text processing tasks using power indices | |
| Ni et al. | Recurrent neural network based language model adaptation for accent mandarin speech | |
| US20240119261A1 (en) | Discrete token processing using diffusion models | |
| Zhou | Analysis of the influence of extracurricular knowledge on college students’ values based on knowledge mapping theory | |
| CN114298056A (zh) | 一种语义匹配模型设计方法 | |
| CN114218939A (zh) | 文本分词方法、装置、设备及存储介质 | |
| CN118133971A (zh) | 基于大语言模型的医疗问答方法和装置 | |
| CN117933236A (zh) | 一种用于多音字拼音预测的多任务训练方法与设备 | |
| CN117668173A (zh) | 科学文献信息抽取方法、装置、计算机设备和存储介质 | |
| CN110909530A (zh) | 用于生成文本的方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190301 |
|
| WW01 | Invention patent application withdrawn after publication |