CN108959396B - 机器阅读模型训练方法及装置、问答方法及装置 - Google Patents
机器阅读模型训练方法及装置、问答方法及装置 Download PDFInfo
- Publication number
- CN108959396B CN108959396B CN201810562789.8A CN201810562789A CN108959396B CN 108959396 B CN108959396 B CN 108959396B CN 201810562789 A CN201810562789 A CN 201810562789A CN 108959396 B CN108959396 B CN 108959396B
- Authority
- CN
- China
- Prior art keywords
- article
- word
- question
- sample
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000012549 training Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 212
- 230000004927 fusion Effects 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了机器阅读模型训练方法及装置、问答方法及装置，属于自然语言处理领域。该机器阅读模型训练方法包括：获取训练样本，训练样本包括样本问题及其对应的样本文章，以及样本文章中对应答案的真实初始位置和真实终止位置；提取出样本问题的问题特征向量和样本文章的文章特征向量，并使用神经网络结构将问题特征向量和文章特征向量进行融合并处理，形成融合结果；将融合结果输入到分类器中进行答案的初始位置和终止位置的预测；对预测出的初始位置和终止位置与答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化所述神经网络结构。本发明实施例通过端到端的深度学习，能够直接从关联整篇文章中抽取对应答案。
Description
技术领域
本发明涉及自然语言处理领域，尤其涉及机器阅读模型训练方法及装置、问答方法及装置。
背景技术
目前主流的问答系统的技术架构有多种实现方式，例如：基于纯关键词匹配的搜索引擎、基于自然语言处理抽取语义相似度特征的方法和基于深度学习实现序列到序列(seq2seq)的生成式对话方法。
然而，现有问答系统均存在着诸多问题，具体如下：
对于检索式问答系统，其基于检索的问答方法不能对用户输入的问题做到真正的语义匹配，会经常出现答非所问的情况。其中一些特殊情况可以通过人工加规则的方式来处理，但这种方式因为无自学能力，存在着很高的维护成本，可扩展性也较差。
对于监督学习式的问答系统，其通过引入learning-to-rank的方法是另一种比较好的解决方案，通过提取词句的空间特征，输入到分类器中判断备选答案和问题相似与否。该方法可将一个“相似度匹配”的问题转换成一个“监督学习”的问题，具有较高的扩展性。但该方法存在一定量的人工标注成本，且需要用户设定一定量的问答对来进行数据冷启动。
对于生成式问答系统，seq2seq生成式的对话方法是最近一种比较热门的问答解决方案，该方法会用深度学习模型对问句进行编码来得到其语义表征，再对其进行解码得到相应的回答。该方法实施难度大，需要极大量的语料进行训练，且目前因为生成式回答的可控度较低，目前很少用于落地项目中。
发明内容
为了解决上述背景技术中提到的至少一个问题，本发明提供了机器阅读模型训练方法及装置、问答方法及装置。
本发明实施例提供的具体技术方案如下：
第一方面，本发明提供一种机器阅读模型训练方法，所述方法包括：
获取训练样本，所述训练样本包括样本问题及其对应的样本文章，以及所述样本文章中对应答案的真实初始位置和真实终止位置；
提取出所述样本问题的问题特征向量和所述样本文章的文章特征向量，并使用神经网络结构将所述问题特征向量和所述文章特征向量进行融合并处理，形成融合结果；
将所述融合结果输入到分类器中进行答案的初始位置和终止位置的预测；
对预测出的所述初始位置和所述终止位置与所述答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化所述神经网络结构。
在一些实施例中，所述提取出所述样本问题的问题特征向量和所述样本文章的文章特征向量包括：
生成所述样本问题和所述样本文章各自的字向量和词向量；
对所述样本问题和所述样本文章各自的字向量和词向量分别进行对应拼接并通过第一预设网络，得到所述样本问题和所述样本文章各自的语义矩阵；
利用第二预设网络对所述样本问题的语义矩阵的正向和逆向分别进行对应拼接，得到所述样本问题的问题特征向量；以及
利用所述第二预设网络对所述样本文章的语义矩阵的正向和逆向分别进行对应拼接，得到所述样本文章的文章特征向量。
在一些实施例中，所述使用神经网络结构将所述问题特征向量和所述文章特征向量进行融合并处理，形成融合结果包括：
在所述神经网络结构中使用注意力机制对所述问题特征向量和所述文章特征向量进行融合，得到初始融合特征；
对所述初始融合特征进行编码，将所述初始融合特征与编码后的所述初始融合特征进行拼接得到所述融合结果。
在一些实施例中，所述在所述神经网络结构中使用注意力机制对所述问题特征向量和所述文章特征向量进行融合，得到初始融合特征包括：
计算表征所述样本问题的每个词与所述样本文章的每个词之间的相似度关系的相似度矩阵，并根据所述相似度矩阵分别计算文章-问题、问题-文章的注意力权重矩阵；
根据所述文章-问题的注意力权重矩阵和所述问题特征向量，获取经过所述样本文章的注意力权重值处理后的处理问题特征向量；以及
根据所述问题-文章的注意力权重矩阵和所述文章特征向量，获取经过所述样本问题的注意力权重值处理后的处理文章特征向量；
对所述处理问题特征向量、所述处理文章特征向量和所述文章特征向量进行拼接，得到所述初始融合特征。
在一些实施例中，所述将所述融合结果输入到分类器中进行答案的初始位置和终止位置的预测包括：
将所述融合结果分别输入到两个不同的分类器中，并经过归一化处理，得到第一概率向量和第二概率向量，所述第一概率向量和所述第二概率向量分别包含有预测所述样本文章的每个词是所述答案的起始词的概率和终止词的概率；
选取所述第一概率向量中概率值最大的词作为预测所述答案的起始词；以及
选取所述第二概率向量中概率值最大的词作为预测所述答案的终止词。
第二方面，提供了一种问答方法，所述方法包括：
根据用户输入的问题，从文章知识库中筛选出与所述问题对应的文章；
将所述问题和所述文章输入到机器阅读模型中，以使所述机器阅读模型预测对应所述答案的起始位置和终止位置；
基于所述机器阅读模型预测出的所述起始位置和所述终止位置，将所述答案从所述文章中抽出，并返回给所述用户；
其中，所述机器阅读模型基于如第一方面任一所述的方法训练。
在一些实施例中，所述根据用户输入的问题，从文章知识库中筛选出与所述问题对应的文章包括：
对所述问题和文章知识库中所有的文章采用词袋子模型进行表示，并基于问题-文章的词袋向量筛选出与所述问题对应的文章。
第三方面，提供了一种机器阅读模型训练装置，所述装置包括：
获取模块，用于获取训练样本，所述训练样本包括样本问题及其对应的样本文章，以及所述样本文章中对应答案的真实初始位置和真实终止位置；
提取模块，用于提取出所述样本问题的问题特征向量和所述样本文章的文章特征向量；
融合模块，用于使用神经网络结构将所述问题特征向量和所述文章特征向量进行融合并处理，形成融合结果；
预测模块，用于将所述融合结果输入到分类器中进行答案的初始位置和终止位置的预测；
优化模块，用于对预测出的所述初始位置和所述终止位置与所述答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化所述神经网络结构。
在一些实施例中，在一些实施例中，所述提取模块包括：
生成子模块，用于生成所述样本问题和所述样本文章各自的字向量和词向量；
第一拼接子模块，用于对所述样本问题和所述样本文章各自的字向量和词向量分别进行对应拼接并通过第一预设网络，得到所述样本问题和所述样本文章各自的语义矩阵；
第二拼接子模块，用于利用第二预设网络对所述样本问题的语义矩阵的正向和逆向分别进行对应拼接，得到所述样本问题的问题特征向量；以及
所述第二拼接子模块，还用于利用第二预设网络对所述样本文章的语义矩阵的正向和逆向分别进行对应拼接，得到所述样本文章的文章特征向量。
在一些实施例中，所述融合模块包括：
融合子模块，用于在所述神经网络结构中使用注意力机制对所述问题特征向量和所述文章特征向量进行融合，得到初始融合特征；
编码子模块，用于对所述初始融合特征进行编码；
第三拼接子模块，用于将所述初始融合特征与编码后的所述初始融合特征进行拼接得到所述融合结果。
在一些实施例中，所述融合子模块具体用于：
计算表征所述样本问题的每个词与所述样本文章的每个词之间的相似度关系的相似度矩阵，并根据所述相似度矩阵分别计算文章-问题、问题-文章的注意力权重矩阵；
根据所述文章-问题的注意力权重矩阵和所述问题特征向量，获取经过所述样本文章的注意力权重值处理后的处理问题特征向量；以及
根据所述问题-文章的注意力权重矩阵和所述文章特征向量，获取经过所述样本问题的注意力权重值处理后的处理文章特征向量；
对所述处理问题特征向量、所述处理文章特征向量和所述文章特征向量进行拼接，得到所述初始融合特征。
在一些实施例中，所述预测模块包括：
预测子模块，用于将所述融合结果分别输入到两个不同的分类器中，并经过归一化处理，得到第一概率向量和第二概率向量，所述第一概率向量和所述第二概率向量分别包含有预测所述样本文章的每个词是所述答案的起始词的概率和终止词的概率；
选取子模块，用于选取所述第一概率向量中概率值最大的词作为预测所述答案的起始词；
所述选取子模块，还用于选取所述第二概率向量中概率值最大的词作为预测所述答案的终止词。
第四方面，提供了一种问答装置，所述装置包括：
接收模块，用于接收用户输入的问题；
筛选模块，用于从文章知识库中筛选出与所述问题对应的文章；
处理模块，用于将所述问题和所述文章输入到机器阅读模型中，以使所述机器阅读模型预测对应所述答案的起始位置和终止位置；
抽取模块，用于基于所述机器阅读模型预测出的所述起始位置和所述终止位置，将所述答案从所述文章中抽出；
输出模块，用于将所述答案返回给用户。
其中，所述机器阅读模型基于如第一方面任一所述的方法训练。
在一些实施例中，所述筛选模块具体用于：
对所述问题和文章知识库中所有的文章采用词袋子模型进行表示，并基于问题-文章的词袋向量筛选出与所述问题对应的文章。
第五方面，提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面任一所述的方法。
第六方面，提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第二方面任一所述的方法。
第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面任一所述的方法。
第八方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如第二方面任一所述的方法。
本发明提供的机器阅读模型训练方法及装置，首先通过获取训练样本，训练样本包括样本问题及其对应的样本文章，以及样本文章中对应答案的真实初始位置和真实终止位置；然后，提取出样本问题的问题特征向量和样本文章的文章特征向量，并使用神经网络结构将问题特征向量和文章特征向量进行融合并处理，形成融合结果；之后，将融合结果输入到分类器中进行答案的初始位置和终止位置的预测；对预测出的初始位置和终止位置与答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化所述神经网络结构。本发明实施例抛开了传统的基于计算相似度的检索式方法，转而通过深度学习技术，有效融合多个句子的语义信息，直接以“端到端”的方式从关联整篇文章中抽取对应答案，并且无需对业务场景进行问答对的设计，大大降低人工维护成本，此外还能够实现对于纯文本数据的快速建模和部署，且具有较高的灵活性、准确性。
本发明提供的问答方法及装置，通过根据用户输入的问题，从文章知识库中筛选出与问题对应的文章；将问题和文章输入到机器阅读模型中，以使机器阅读模型预测对应答案的起始位置和终止位置；基于机器阅读模型预测出的起始位置和终止位置，将答案从文章中抽出，并返回给用户，其中，机器阅读模型基于机器阅读模型训练方法训练，由此，实现大幅提高了构建整个问答引擎的效率，并极大地降低了维护成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的机器阅读模型训练方法的一个实施例的流程示意图；
图2是本发明提供的问答方法的一个实施例的流程示意图；
图3是本发明提供的机器阅读模型训练装置的一个实施例的结构示意图；
图4是本发明提供的问答装置的一个实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的机器阅读模型训练方法，通过该方法训练得到的机器阅读模型，能够实现直接以“端到端”的方式从关联整篇文章中抽取对应答案，并且无需对业务场景进行问答对的设计，其中，该机器阅读模型训练方法的执行主体可以是服务器，服务器可以通过网络与至少一个客户端进行通信连接，其中，服务器可以是单个服务器，也可以是由多个服务器组成的服务器群，且该服务器群内，多个服务器之间可以进行通信连接；客户端能够通过与服务器进行数据交互，以向用户提供问答功能，其中，客户端可以为手机、笔记本电脑、台式电脑、平板电脑、智能电视机等电子设备。
实施例一
参照图1所示，本发明实施例提供的机器阅读模型训练方法，该方法包括步骤：
101、获取训练样本，训练样本包括样本问题及其对应的样本文章，以及样本文章中对应答案的真实初始位置和真实终止位置。
具体的，本发明对具体的获取过程不作限定。
102、提取出样本问题的问题特征向量和样本文章的文章特征向量。
其中，提取出样本问题的问题特征向量和样本文章的文章特征向量，该过程可以包括如下步骤：
(1)生成样本问题和样本文章各自的字向量和词向量。
具体来说，训练样本中的样本问题的特征和样本文章的特征各自可以分别用字向量和词向量来表示。其中，字维度的向量可以用一个1维的卷积神经网络(CNN)来得到，用{x1,...xT}表示文章的字向量一维矩阵，T代表文章的词语个数；用{q1,...qJ}来表示问题的字向量一维矩阵，J代表问题中词语的个数；问题的特征和样本文章的特征各自的词维度的向量可以直接借用GloVe模型中已训练好的词向量来表示。
(2)对样本问题和样本文章各自的字向量和词向量分别进行对应拼接并通过第一预设网络，得到样本问题和样本文章各自的语义矩阵。
具体的，对样本文章的字向量和词向量分别进行前后拼接，拼接之后，输入到一个第一预设网络中，得到
来表示文章的语义矩阵，其中d代表默认词向量的维度；
对样本问题的字向量和词向量分别进行前后拼接，拼接之后，输入到一个两层的第一预设网络中，得到
来表示问题的语义矩阵，其中d代表默认词向量的维度。
其中，上述的第一预设网络优选为highway网络，比如采用两层的highway网络，本发明对具体的第一预设网络不加以限定。
(3)利用第二预设网络对样本问题的语义矩阵的正向和逆向分别进行对应拼接，得到样本问题的问题特征向量，以及利用第二预设网络对样本文章的语义矩阵的正向和逆向分别进行对应拼接，得到样本文章的文章特征向量。
具体的，将从步骤(2)中得到的
的正向和逆向表征分别输入到一个第二预设网络中，并将正逆两者的结果拼接得到
即得到所述样本文章的文章特征向量；
将从步骤(2)中得到的
的正向和逆向表征会分别输入到一个第二预设网络中，并将正逆两者的结果拼接得到
即得到所述样本文章的文章特征向量。
其中，上述的第二预设网络优选为LSTM网络，上述过程中，维度由d变成2d体现了Bi-LSTM的输出特性，本发明对具体的第二预设网络不加以限定。
103、使用神经网络结构将问题特征向量和文章特征向量进行融合并处理，形成融合结果。
具体的，该过程可以包括如下步骤：
(1)在神经网络结构中使用注意力机制对问题特征向量和文章特征向量进行融合，得到初始融合特征。
更进一步地，在该步骤(1)中，可以包括：
a，计算表征样本问题的每个词与样本文章的每个词之间的相似度关系的相似度矩阵，并根据相似度矩阵分别计算文章-问题、问题-文章的注意力权重矩阵。
b，根据文章-问题的注意力权重矩阵和问题特征向量，获取经过样本文章的注意力权重值处理后的处理问题特征向量，以及根据问题-文章的注意力权重矩阵和文章特征向量，获取经过样本问题的注意力权重值处理后的处理文章特征向量；
c，对处理问题特征向量、处理文章特征向量和文章特征向量进行拼接，得到初始融合特征。
在具体实施过程中，首先计算问题的每个词和文章的每个词之间相似度关系的矩阵Stj。让
其中，t和j分别H和U中的第t个字和第j个字，α是一个用于衡量相似度的函数，可让Ht，Uj和它们各自的点积相互拼接，得到的结果
输入到一个可被训练的分类器中(分类器参数维度
)，进而得到问题和文章的相似度分数
上述的相似度矩阵将被用于计算文章-问题、以及问题-文章的注意力权重矩阵。让
表示文章中第t个词对于该问题的注意力权重，文章中所有词的对应问题中词j的权重和相加为1,即对于所有的t，
该权重的值可以从上述的相似度矩阵中获得，让at＝softmax(St)∈RJ,取出S中文章中词t对应的那一列，作为权重向量，并对于该向量做softmax归一化。此时atj即为从Stj相似度矩阵中取出的，经过softmax归一化后的、文章词t对应问题中词j的注意力权重值。让atjUj代表乘上t词注意力权值后的j词的语义表征,
代表经过文章中t词的注意力权值处理后的问题向量表征
那么，
即代表经过整篇文章注意力权值处理后的问题特征向量。
相应的，可以将上述过程颠倒，得到
即经过整段问题的注意力权值处理后的文章特征向量，此处不再赘述。
最后，将上述过程得到的
和未经注意力机制处理过的文章特征向量H乘积拼接，进一步融合问题和文章代表的语义得到初始融合特征向量G
(2)对初始融合特征进行编码，将初始融合特征与编码后的初始融合特征进行拼接得到融合结果。
具体的，该过程可以包括：
利用一个第三预设网络对得到的初始融合特征向量G进行编码得到
将G和M拼接得到最终的融合结果
其中，该第三预设网络优选为双向的LSTM网络
如此，通过直接对问句和备选文章进行编码与融合，并引入注意力机制，解决了长文章编码过程中因为篇幅过长导致的信息丢失问题，且便于实施。
104、将融合结果输入到分类器中进行答案的初始位置和终止位置的预测。
具体的，该过程可以包括步骤：
(1)将融合结果分别输入到两个不同的分类器中，并经过归一化处理，得到第一概率向量和第二概率向量，第一概率向量和第二概率向量分别包含有预测样本文章的每个词是答案的起始词的概率和终止词的概率。
具体的，将融合结果
分别输入到两个传统前馈神经网络中，经过softmax归一化输出得到第一概率向量
和第二概率向量
各概率向量中分别包含有预测样本文章的每个词是答案的起始词的概率和终止词的概率，也就是说，p1对应于预测答案起始位置的分类器，p2对应于预测答案终止位置的分类器。
(2)选取第一概率向量中概率值最大的词作为预测答案的起始词，以及选取第二概率向量中概率值最大的词作为预测答案的终止词。
示例性的，参见表1所示，p1、p2以概率向量形式分别预测了文章中的每个词是答案的起始位置以及终止位置的概率(这里仅以10个词为例说明)，p1中最大概率值对应的位置为B，那么将会以B作为答案的起始词的位置，而在p2中最大概率值对应的位置为E，且E位于B对应的位置之后，那么将以E作为答案的终止词的位置。
表1：文章词概率向量分布
105、对预测出的初始位置和终止位置与答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化神经网络结构。
具体的，基于预测出的标记位置与真实值进行误差计算,将误差反向传播回深度网络中对原始参数进行迭代更新。
需要说明的是，在将误差反向传播回深度网络中对原始参数进行迭代更新之后，重复步骤102-104，直至迭代更新结果满足预设条件。
本发明提供的机器阅读模型训练方法，该方法不同于传统的基于计算相似度的检索式方法，该方法通过深度学习技术，并引入注意力机制，解决长文章编码过程中因为篇幅过长导致的信息丢失问题，且能够有效融合多个句子的语义信息，直接以“端到端”的方式从关联整篇文章中抽取对应答案，并且无需对业务场景进行问答对的设计，大大降低人工维护成本，此外还能够实现对于纯文本数据的快速建模和部署，且具有较高的灵活性、准确性。
实施例二
基于实施例一中训练得到的机器阅读模型，本发明实施例还提供一种问答方法，在对机器阅读模型进行部署服务化后，通过该问答方法能够实现针对用户输入的问题快速调用线上的阅读理解模型进行答案抽取并返回给用户。
参照图2所示，本发明实施例提供一种问答方法，该方法包括步骤：
201、根据用户输入的问题，从文章知识库中筛选出与所述问题对应的文章。
具体的，对用户输入的问题和文章知识库中所有的文章采用词袋子模型进行表示，并基于问题-文章的词袋向量筛选出与问题对应的文章。
在具体实施过程中，用户可以在客户端通过语音或文本形式输入问题，客户端将用户输入的问题提交到服务器，并转化为可被服务器预设接口接受的参数形式，服务器从输入的问题中提取TF-IDF特征，用词袋子模型来表示，同样，文章知识库中的所有文章也用词袋模型的TF-IDF的形式来表示，问句-文章的词袋向量将被输入到相似文章初筛模型中，并抽取出一篇于所问问题最相似的文章，其中，在相似文章初筛模型中可以通过计算问句-文章的词袋向量的相似度来抽取出最相似的文章，较常用的是两个向量夹角的余弦函数。
202、将问题和文章输入到机器阅读模型中，以使机器阅读模型预测对应答案的起始位置和终止位置。
其中，机器阅读模型基于如实施例一中所述的方法训练，此处不再赘述。
203、基于机器阅读模型预测出的起始位置和终止位置，将答案从文章中抽出，并返回给用户。
本发明提供的问答方法，该方法通过基于机器阅读模型训练方法训练的机器阅读模型，无需人工主动设计问答对，可直接对于整篇文章进行建模分析，并直接从文章中抽出问题对应的潜在答案返回给用户；此外能够实现端到端的架构，无需人工指定过多的规则来覆盖尽可能多的情况，实现大幅提高了构建整个问答引擎的效率，并极大地降低了维护成本。
实施例三
作为对实施例一中的机器阅读模型训练方法的实现，本发明实施例还提供一种机器阅读模型训练装置，参照图3所示，该装置包括：
获取模块31，用于获取训练样本，训练样本包括样本问题及其对应的样本文章，以及样本文章中对应答案的真实初始位置和真实终止位置；
提取模块32，用于提取出样本问题的问题特征向量和样本文章的文章特征向量；
融合模块33，用于使用神经网络结构将问题特征向量和文章特征向量进行融合并处理，形成融合结果；
预测模块34，用于将融合结果输入到分类器中进行答案的初始位置和终止位置的预测；
优化模块35，用于对预测出的初始位置和终止位置与答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化神经网络结构。
进一步地，提取模块32包括：
生成子模块321，用于生成样本问题和样本文章各自的字向量和词向量；
第一拼接子模块322，用于对样本问题和样本文章各自的字向量和词向量分别进行对应拼接并通过第一预设网络，得到样本问题和样本文章各自的语义矩阵；
第二拼接子模块323，用于利用第二预设网络对样本问题的语义矩阵的正向和逆向分别进行对应拼接，得到样本问题的问题特征向量；以及
第二拼接子模块323，还用于利用第二预设网络对样本文章的语义矩阵的正向和逆向分别进行对应拼接，得到样本文章的文章特征向量。
进一步地，融合模块33包括：
融合子模块331，用于在神经网络结构中使用注意力机制对问题特征向量和文章特征向量进行融合，得到初始融合特征；
编码子模块332，用于对初始融合特征进行编码；
第三拼接子模块333，用于将初始融合特征与编码后的初始融合特征进行拼接得到融合结果。
进一步地，融合子模块331具体用于：
计算表征样本问题的每个词与样本文章的每个词之间的相似度关系的相似度矩阵，并根据相似度矩阵分别计算文章-问题、问题-文章的注意力权重矩阵；
根据文章-问题的注意力权重矩阵和问题特征向量，获取经过样本文章的注意力权重值处理后的处理问题特征向量；以及
根据问题-文章的注意力权重矩阵和文章特征向量，获取经过样本问题的注意力权重值处理后的处理文章特征向量；
对处理问题特征向量、处理文章特征向量和文章特征向量进行拼接，得到初始融合特征。
进一步地，预测模块34包括：
预测子模块341，用于将融合结果分别输入到两个不同的分类器中，并经过归一化处理，得到第一概率向量和第二概率向量，第一概率向量和第二概率向量分别包含有预测样本文章的每个词是答案的起始词的概率和终止词的概率；
选取子模块342，用于选取第一概率向量中概率值最大的词作为预测答案的起始词；
选取子模块342，还用于选取第二概率向量中概率值最大的词作为预测答案的终止词。
本发明提供的机器阅读模型训练装置，该装置通过深度学习技术，并引入注意力机制，解决长文章编码过程中因为篇幅过长导致的信息丢失问题，且能够有效融合多个句子的语义信息，直接以“端到端”的方式从关联整篇文章中抽取对应答案，并且无需对业务场景进行问答对的设计，大大降低人工维护成本，此外还能够实现对于纯文本数据的快速建模和部署，且具有较高的灵活性、准确性。
实施例四
作为对实施例二中的问答方法的实现，本发明实施例还提供一种问答装置，参照图4所示，该装置包括：
接收模块41，用于接收用户输入的问题；
筛选模块42，用于从文章知识库中筛选出与问题对应的文章；
处理模块43，用于将问题和文章输入到机器阅读模型中，以使机器阅读模型预测对应答案的起始位置和终止位置；
抽取模块44，用于基于机器阅读模型预测出的起始位置和终止位置，将答案从文章中抽出；
输出模块45，用于将答案返回给用户。
其中，机器阅读模型基于如实施例一所述的方法训练。
本发明提供的问答装置，该装置通过基于机器阅读模型训练方法训练的机器阅读模型，无需人工主动设计问答对，可直接对于整篇文章进行建模分析，并直接从文章中抽出问题对应的潜在答案返回给用户；此外能够实现端到端的架构，无需人工指定过多的规则来覆盖尽可能多的情况，实现大幅提高了构建整个问答引擎的效率，并极大地降低了维护成本。
此外，本发明另一实施例还提供一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如实施例一所述的方法。
此外，本发明另一实施例还提供一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如实施例二所述的方法。
此外，本发明另一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如实施例一所述的方法。
此外，本发明另一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如实施例二所述的方法。
本领域内的技术人员应明白，本发明实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例中是参照根据本发明实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例中范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种机器阅读模型训练方法，其特征在于，所述方法包括：
获取训练样本，所述训练样本包括样本问题及其对应的样本文章，以及所述样本文章中对应答案的真实初始位置和真实终止位置；
提取出所述样本问题的问题特征向量和所述样本文章的文章特征向量，并在神经网络结构中使用注意力机制对所述问题特征向量和所述文章特征向量进行融合，得到初始融合特征；
对所述初始融合特征进行编码，将所述初始融合特征与编码后的所述初始融合特征进行拼接，形成融合结果；
将所述融合结果输入到分类器中进行答案的初始位置和终止位置的预测；
对预测出的所述初始位置和所述终止位置与所述答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化所述神经网络结构；
所述提取出所述样本问题的问题特征向量和所述样本文章的文章特征向量包括：
生成所述样本问题和所述样本文章各自的字向量和词向量；
对所述样本问题的字向量和词向量进行拼接并通过第一预设网络得到所述样本问题的语义矩阵，将所述样本文章的字向量和词向量分别进行对应拼接并通过第一预设网络，得到所述样本文章的语义矩阵；
将所述样本问题的语义矩阵的正向和逆向表征分别输入到第二预设网络中，将正逆两者的结果拼接得到所述样本问题的问题特征向量；以及
将所述样本文章的语义矩阵的正向和逆向表征分别输入到第二预设网络中，将正逆两者的结果拼接得到所述样本文章的文章特征向量；
所述在神经网络结构中使用注意力机制对所述问题特征向量和所述文章特征向量进行融合，得到初始融合特征包括：
计算问题的每个词和文章的每个词之间的相似度矩阵
，令
，其中，t和j分别是H和U中的第t个字和第j个字，
是一个用于衡量相似度的函数，令
，
，
和
的点积，三者相互拼接，得到的结果输入到一个可被训练的分类器中，进而得到问题和文章的相似度分数，其中得到的结果以及分类器参数均
，相似度分数
，其中d表示默认词向量的维度；
上述的相似度矩阵Sij将被用于计算文章-问题、以及问题-文章的注意力权重矩阵，令
表示文章中第t个词对于该问题的注意力权重，文章中所有词的对于该问题中词j的权重和为1，该权重的值可以从上述的相似度矩阵中获得，令
，J表示问题中词语的个数，取出S中问题词t对应的那一列，作为权重向量，并对于该向量做softmax归一化，此时
为从相似度矩阵
中取出的，经过softmax归一化后的、文章词t对应问题词j的注意力权重值，令
代表乘上t词注意力权值后的j词的语义表征，
代表经过文章中t词的注意力权值处理后的问题向量表征，那么，
即代表经过整篇文章注意力权值处理后的问题特征向量，其中问题向量表征
，T表示文章的词语个数；
相应的，可以将上述过程颠倒，得到
，即经过整段问题的注意力权值处理后的文章特征向量；
最后，将上述过程得到的
, 
和未经注意力机制处理过的文章特征向量
乘积拼接，进一步融合问题和文章代表的语义得到初始融合特征向量
2.根据权利要求1所述的方法，其特征在于，所述将所述融合结果输入到分类器中进行答案的初始位置和终止位置的预测包括：
将所述融合结果分别输入到两个不同的分类器中，并经过归一化处理，得到第一概率向量和第二概率向量，所述第一概率向量和所述第二概率向量分别包含有预测所述样本文章的每个词是所述答案的起始词的概率和终止词的概率；
选取所述第一概率向量中概率值最大的词作为预测所述答案的起始词；以及
选取所述第二概率向量中概率值最大的词作为预测所述答案的终止词。
3.一种问答方法，其特征在于，所述方法包括：
根据用户输入的问题，从文章知识库中筛选出与所述问题对应的文章；
将所述问题和所述文章输入到机器阅读模型中，以使所述机器阅读模型预测对应所述答案的起始位置和终止位置；
基于所述机器阅读模型预测出的所述起始位置和所述终止位置，将所述答案从所述文章中抽出，并返回给所述用户；
其中，所述机器阅读模型基于如权利要求1~2任意一项所述的方法训练。
4.根据权利要求3所述的方法，其特征在于，所述根据用户输入的问题，从文章知识库中筛选出与所述问题对应的文章包括：
对所述问题和文章知识库中所有的文章采用词袋子模型进行表示，并基于问题-文章的词袋向量筛选出与所述问题对应的文章。
5.一种机器阅读模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取训练样本，所述训练样本包括样本问题及其对应的样本文章，以及所述样本文章中对应答案的真实初始位置和真实终止位置；
提取模块，用于提取出所述样本问题的问题特征向量和所述样本文章的文章特征向量；
融合模块，用于在神经网络结构中使用注意力机制对所述问题特征向量和所述文章特征向量进行融合，得到初始融合特征，对所述初始融合特征进行编码，将所述初始融合特征与编码后的所述初始融合特征进行拼接，形成融合结果；
预测模块，用于将所述融合结果输入到分类器中进行答案的初始位置和终止位置的预测；
优化模块，用于对预测出的所述初始位置和所述终止位置与所述答案的真实初始位置和真实终止位置进行误差计算，并根据误差计算结果优化所述神经网络结构；
所述提取模块包括：
生成子模块，用于生成所述样本问题和所述样本文章各自的字向量和词向量；
第一拼接子模块，用于对所述样本问题的字向量和词向量进行拼接并通过第一预设网络得到所述样本问题的语义矩阵，将所述样本文章的字向量和词向量分别进行对应拼接并通过第一预设网络，得到所述样本文章的语义矩阵；
第二拼接子模块，用于将所述样本问题的语义矩阵的正向和逆向表征分别输入到第二预设网络中，将正逆两者的结果拼接得到所述样本问题的问题特征向量；以及
将所述样本文章的语义矩阵的正向和逆向表征分别输入到第二预设网络中，将正逆两者的结果拼接得到所述样本文章的文章特征向量；
所述融合模块具体用于：
计算问题的每个词和文章的每个词之间的相似度矩阵
，令
，其中，t和j分别是H和U中的第t个字和第j个字，
是一个用于衡量相似度的函数，令 
，
， 
和
的点积，三者相互拼接，得到的结果输入到一个可被训练的分类器中，进而得到问题和文章的相似度分数，其中得到的结果以及分类器参数均
，相似度分数
，其中d表示默认词向量的维度；
上述的相似度矩阵Sij将被用于计算文章-问题、以及问题-文章的注意力权重矩阵，令
表示文章中第t个词对于该问题的注意力权重，文章中所有词的对于该问题中词j的权重和为1，该权重的值可以从上述的相似度矩阵中获得，令
，J表示问题中词语的个数，取出S中问题词t对应的那一列，作为权重向量，并对于该向量做softmax归一化，此时 
为从相似度矩阵
中取出的，经过softmax归一化后的、文章词t对应问题词j的注意力权重值，令
代表乘上t词注意力权值后的j词的语义表征，
代表经过文章中t词的注意力权值处理后的问题向量表征，那么，
即代表经过整篇文章注意力权值处理后的问题特征向量，其中问题向量表征
，T表示文章的词语个数；
相应的，可以将上述过程颠倒，得到
，即经过整段问题的注意力权值处理后的文章特征向量；
最后，将上述过程得到的
, 
和未经注意力机制处理过的文章特征向量
乘积拼接，进一步融合问题和文章代表的语义得到初始融合特征向量
6.根据权利要求5所述的装置，其特征在于，所述预测模块包括：
预测子模块，用于将所述融合结果分别输入到两个不同的分类器中，并经过归一化处理，得到第一概率向量和第二概率向量，所述第一概率向量和所述第二概率向量分别包含有预测所述样本文章的每个词是所述答案的起始词的概率和终止词的概率；
选取子模块，用于选取所述第一概率向量中概率值最大的词作为预测所述答案的起始词；
所述选取子模块，还用于选取所述第二概率向量中概率值最大的词作为预测所述答案的终止词。
7.一种问答装置，其特征在于，所述装置包括：
接收模块，用于接收用户输入的问题；
筛选模块，用于从文章知识库中筛选出与所述问题对应的文章；
处理模块，用于将所述问题和所述文章输入到机器阅读模型中，以使所述机器阅读模型预测对应所述答案的起始位置和终止位置；
抽取模块，用于基于所述机器阅读模型预测出的所述起始位置和所述终止位置，将所述答案从所述文章中抽出；
输出模块，用于将所述答案返回给所述用户；
其中，所述机器阅读模型基于如权利要求1~2任意一项所述的方法训练。
8.根据权利要求7所述的装置，其特征在于，所述筛选模块具体用于：
对所述问题和文章知识库中所有的文章采用词袋子模型进行表示，并基于问题-文章的词袋向量筛选出与所述问题对应的文章。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1~2任意一项所述的方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求3~4任意一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1~2任意一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求3~4任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810562789.8A CN108959396B (zh) | 2018-06-04 | 2018-06-04 | 机器阅读模型训练方法及装置、问答方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810562789.8A CN108959396B (zh) | 2018-06-04 | 2018-06-04 | 机器阅读模型训练方法及装置、问答方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108959396A CN108959396A (zh) | 2018-12-07 |
| CN108959396B true CN108959396B (zh) | 2021-08-17 |
Family
ID=64492687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810562789.8A Active CN108959396B (zh) | 2018-06-04 | 2018-06-04 | 机器阅读模型训练方法及装置、问答方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108959396B (zh) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658270A (zh) * | 2018-12-19 | 2019-04-19 | 前海企保科技（深圳）有限公司 | 一种基于保险产品阅读理解的核赔系统及方法 |
| CN109657246B (zh) * | 2018-12-19 | 2020-10-16 | 中山大学 | 一种基于深度学习的抽取式机器阅读理解模型的建立方法 |
| CN110059152A (zh) * | 2018-12-25 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 一种文本信息预测模型的训练方法、装置及设备 |
| CN109766424B (zh) * | 2018-12-29 | 2021-11-19 | 安徽省泰岳祥升软件有限公司 | 一种阅读理解模型训练数据的过滤方法及装置 |
| CN111382243A (zh) * | 2018-12-29 | 2020-07-07 | 深圳市优必选科技有限公司 | 文本的类别匹配方法、类别匹配装置及终端 |
| CN109766423A (zh) * | 2018-12-29 | 2019-05-17 | 上海智臻智能网络科技股份有限公司 | 基于神经网络的问答方法及装置、存储介质、终端 |
| CN109815325B (zh) * | 2019-01-18 | 2021-12-10 | 北京百度网讯科技有限公司 | 答案抽取方法、装置、服务器及存储介质 |
| CN114298310A (zh) * | 2019-01-29 | 2022-04-08 | 北京金山数字娱乐科技有限公司 | 长度损失确定方法以及装置 |
| CN109670486A (zh) * | 2019-01-30 | 2019-04-23 | 深圳前海达闼云端智能科技有限公司 | 一种基于视频的人脸识别方法、装置及计算设备 |
| CN111611355A (zh) * | 2019-02-25 | 2020-09-01 | 北京嘀嘀无限科技发展有限公司 | 一种对话回复方法、装置、服务器及存储介质 |
| CN110096699B (zh) * | 2019-03-20 | 2023-06-09 | 华南师范大学 | 基于语义的机器阅读理解的候选答案筛选方法和系统 |
| CN110134774B (zh) * | 2019-04-29 | 2021-02-09 | 华中科技大学 | 一种基于注意力决策的图像视觉问答模型、方法和系统 |
| CN110110330B (zh) * | 2019-04-30 | 2023-08-11 | 腾讯科技（深圳）有限公司 | 基于文本的关键词提取方法和计算机设备 |
| CN110309305B (zh) * | 2019-06-14 | 2021-05-11 | 中国电子科技集团公司第二十八研究所 | 基于多任务联合训练的机器阅读理解方法及计算机存储介质 |
| CN110348535B (zh) * | 2019-07-17 | 2022-05-31 | 北京金山数字娱乐科技有限公司 | 一种视觉问答模型训练方法及装置 |
| CN110457710B (zh) * | 2019-08-19 | 2022-08-02 | 电子科技大学 | 一种基于动态路由机制的机器阅读理解网络模型的建立方法、方法、存储介质及终端 |
| CN110543631B (zh) * | 2019-08-23 | 2023-04-28 | 深思考人工智能科技(上海)有限公司 | 机器阅读理解的实现方法、装置、存储介质及电子设备 |
| CN110516059B (zh) * | 2019-08-30 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 基于机器学习的问题答复方法、问答模型训练方法及装置 |
| CN110750630A (zh) * | 2019-09-25 | 2020-02-04 | 北京捷通华声科技股份有限公司 | 一种生成式机器阅读理解方法、装置、设备及存储介质 |
| CN110796178B (zh) * | 2019-10-10 | 2022-05-20 | 支付宝(杭州)信息技术有限公司 | 决策模型训练方法及样本特征选择方法、装置和电子设备 |
| CN110750998B (zh) * | 2019-10-14 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 一种文本输出方法、装置、计算机设备和存储介质 |
| CN110765254A (zh) * | 2019-10-21 | 2020-02-07 | 北京理工大学 | 一种融合多视角答案重排序的多文档问答系统模型 |
| CN111027327B (zh) * | 2019-10-29 | 2022-09-06 | 平安科技（深圳）有限公司 | 机器阅读理解方法、设备、存储介质及装置 |
| CN111309854B (zh) * | 2019-11-20 | 2023-05-26 | 武汉烽火信息集成技术有限公司 | 一种基于文章结构树的文章评价方法及系统 |
| CN110929515B (zh) * | 2019-11-21 | 2023-04-18 | 中国民航大学 | 基于协同注意力和自适应调整的阅读理解方法及系统 |
| CN110956018B (zh) * | 2019-11-22 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 文本处理模型的训练方法、文本处理方法、装置及存储介质 |
| CN111079938B (zh) * | 2019-11-28 | 2020-11-03 | 百度在线网络技术（北京）有限公司 | 问答阅读理解模型获取方法、装置、电子设备及存储介质 |
| CN111046158B (zh) * | 2019-12-13 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 问答匹配方法及模型训练方法、装置、设备、存储介质 |
| CN111160568B (zh) | 2019-12-27 | 2021-04-06 | 北京百度网讯科技有限公司 | 机器阅读理解模型训练方法、装置、电子设备和存储介质 |
| CN111199430A (zh) * | 2020-01-08 | 2020-05-26 | 中信银行股份有限公司 | 业务解决方案生成方法、装置及电子设备 |
| CN111259115B (zh) * | 2020-01-15 | 2023-06-02 | 车智互联（北京）科技有限公司 | 内容真实性检测模型的训练方法、装置和计算设备 |
| CN111309887B (zh) * | 2020-02-24 | 2023-04-14 | 支付宝(杭州)信息技术有限公司 | 一种训练文本关键内容提取模型的方法和系统 |
| CN111460176B (zh) * | 2020-05-11 | 2023-11-07 | 南京大学 | 一种基于哈希学习的多文档机器阅读理解方法 |
| TWI762103B (zh) * | 2020-12-23 | 2022-04-21 | 財團法人工業技術研究院 | 機器閱讀理解方法及系統 |
| US20220198149A1 (en) * | 2020-12-23 | 2022-06-23 | Industrial Technology Research Institute | Method and system for machine reading comprehension |
| CN112685548B (zh) * | 2020-12-31 | 2023-09-08 | 科大讯飞(北京)有限公司 | 问题回答方法以及电子设备、存储装置 |
| CN113792120B (zh) * | 2021-04-08 | 2023-09-15 | 北京金山数字娱乐科技有限公司 | 图网络的构建方法及装置、阅读理解方法及装置 |
| CN113010662B (zh) * | 2021-04-23 | 2022-09-27 | 中国科学院深圳先进技术研究院 | 一种层次化会话式机器阅读理解系统和方法 |
| CN113239165B (zh) * | 2021-05-17 | 2023-04-18 | 山东新一代信息产业技术研究院有限公司 | 基于云化机器人的阅读理解方法、系统及存储介质 |
| CN113505219A (zh) * | 2021-06-15 | 2021-10-15 | 北京三快在线科技有限公司 | 文本处理方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11087199B2 (en) * | 2016-11-03 | 2021-08-10 | Nec Corporation | Context-aware attention-based neural network for interactive question answering |
| CN106649561B (zh) * | 2016-11-10 | 2020-05-26 | 复旦大学 | 面向税务咨询业务的智能问答系统 |
| CN107748757B (zh) * | 2017-09-21 | 2021-05-07 | 北京航空航天大学 | 一种基于知识图谱的问答方法 |
| CN107885721A (zh) * | 2017-10-12 | 2018-04-06 | 北京知道未来信息技术有限公司 | 一种基于lstm的命名实体识别方法 |
| CN107679224B (zh) * | 2017-10-20 | 2020-09-08 | 竹间智能科技（上海）有限公司 | 一种面向无结构文本智能问答的方法和系统 |
| CN108052577B (zh) * | 2017-12-08 | 2022-06-14 | 北京百度网讯科技有限公司 | 一种通用文本内容挖掘方法、装置、服务器及存储介质 |
-
2018
- 2018-06-04 CN CN201810562789.8A patent/CN108959396B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108959396A (zh) | 2018-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108959396B (zh) | 机器阅读模型训练方法及装置、问答方法及装置 | |
| CN110309283B (zh) | 一种智能问答的答案确定方法及装置 | |
| CN110263324B (zh) | 文本处理方法、模型训练方法和装置 | |
| CN110309427B (zh) | 一种对象推荐方法、装置及存储介质 | |
| CN110234018B (zh) | 多媒体内容描述生成方法、训练方法、装置、设备及介质 | |
| CN113297370B (zh) | 基于多交互注意力的端到端多模态问答方法及系统 | |
| CN110795944A (zh) | 推荐内容处理方法及装置、情感属性确定方法及装置 | |
| CN112434142B (zh) | 一种标记训练样本的方法、服务器、计算设备及存储介质 | |
| CN112733043B (zh) | 评论推荐方法及装置 | |
| CN113239169A (zh) | 基于人工智能的回答生成方法、装置、设备及存储介质 | |
| CN111046178A (zh) | 一种文本序列生成方法及其系统 | |
| WO2019244803A1 (ja) | 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム | |
| CN114490926A (zh) | 一种相似问题的确定方法、装置、存储介质及终端 | |
| CN114491258A (zh) | 基于多模态内容的关键词推荐系统及方法 | |
| CN108984475A (zh) | 基于全息神经网络的答案选择方法、装置和电子设备 | |
| CN117271745A (zh) | 一种信息处理方法、装置及计算设备、存储介质 | |
| CN116955591A (zh) | 用于内容推荐的推荐语生成方法、相关装置和介质 | |
| US20230029590A1 (en) | Evaluating output sequences using an auto-regressive language model neural network | |
| CN110851629A (zh) | 一种图像检索的方法 | |
| CN116127060A (zh) | 一种基于提示词的文本分类方法及系统 | |
| CN110852066A (zh) | 一种基于对抗训练机制的多语言实体关系抽取方法及系统 | |
| CN115269961A (zh) | 内容搜索方法以及相关设备 | |
| CN114282528A (zh) | 一种关键词提取方法、装置、设备及存储介质 | |
| CN110969187B (zh) | 一种图谱迁移的语义分析方法 | |
| CN111428005A (zh) | 标准问答对确定方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240306 Address after: Room 1179, W Zone, 11th Floor, Building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai, 201702 Patentee after: Shanghai Zhongan Information Technology Service Co.,Ltd. Country or region after: China Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Patentee before: ZHONGAN INFORMATION TECHNOLOGY SERVICE Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240415 Address after: Room 1179, W Zone, 11th Floor, Building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai, 201702 Patentee after: Shanghai Zhongan Information Technology Service Co.,Ltd. Country or region after: China Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Patentee before: ZHONGAN INFORMATION TECHNOLOGY SERVICE Co.,Ltd. Country or region before: China |