CN112632265A

CN112632265A - 智能机器阅读理解方法、装置、电子设备及存储介质

Info

Publication number: CN112632265A
Application number: CN202110257925.4A
Authority: CN
Inventors: 刘磊
Original assignee: Beijing Wofeng Times Data Technology Co ltd
Current assignee: Beijing Wofeng Times Data Technology Co ltd
Priority date: 2021-03-10
Filing date: 2021-03-10
Publication date: 2021-04-09

Abstract

本发明实施例提供了一种智能机器阅读理解方法、装置、电子设备及存储介质。其中，智能机器阅读理解方法，包括：获取待检问题；通过深度语义匹配的方式，从预设的问题答案优选集中匹配所述待检问题的答案；如果匹配到所述答案，则将所述答案作为最终答案，否则通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，其中，所述预先训练好的阅读理解模型包括BERT模型和QANet模型。本发明的实施例，可以有效地提升智能机器阅读理解结果的准确性和可靠性。

Description

智能机器阅读理解方法、装置、电子设备及存储介质

技术领域

本发明涉及智能机器阅读理解技术领域，尤其涉及一种智能机器阅读理解方法、装置、电子设备及存储介质。

背景技术

现有的机器阅读理解技术都是基于特定数据集的处理方法，主要有三种代表方法：一种是基于传统特征的方法，通过选取不同的特征，然后基于选取的特征构造并学习一个三元打分函数，将得分最高的候选答案a作为问题q在文档d中的答案；第二种是基于神经网络的方法；第三种是基于深层语义的图匹配方法。其中，基于传统特征的方法由于特征本身所具有的局限性，很难处理复述以及远距离依赖问题。基于神经网络的方法对于某些需要引入外部知识进行更深层次推理、几乎不可能仅仅通过相似度匹配得到结果的任务则无能为力。基于深层语义的图匹配方法由于对于外部知识的依赖性较强，因此适用范围较窄，可拓展性较弱。

发明内容

针对现有技术中的问题，本发明实施例提供一种智能机器阅读理解方法、装置、电子设备及存储介质。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明实施例提供了一种智能机器阅读理解方法，包括：

获取待检问题；

通过深度语义匹配的方式，从预设的问题答案优选集中匹配所述待检问题的答案；

如果匹配到所述答案，则将所述答案作为最终答案，否则通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，其中，所述预先训练好的阅读理解模型包括BERT模型和QANet模型。

进一步地，所述如果匹配到所述答案，则将所述答案作为最终答案，包括：

从所述问题答案优选集和所述待检问题进行深度语义匹配，并判断匹配结果中是否存在匹配度超过预设阈值的结果；

如果有，则将匹配度超过预设阈值的结果作为所述最终答案。

进一步地，在通过预先训练好的阅读理解模型，获得所述待检问题的最终答案之前，包括：对所述阅读理解模型进行训练。

进一步地，所述对所述阅读理解模型进行训练，包括：

对文档集以及问答对集进行切分，得到问题集以及候选答案片段集；

通过BERT模型预测答案起始位置和终止位置，并预测答案与真实答案的评测差异；

基于所述评测差异对所述BERT模型进行二次训练，得到训练好的BERT模型。

进一步地，通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，包括：

获得所述BERT模型的预测答案，获得所述QANet模型的预测答案；

对所述BERT模型的预测答案和所述QANet模型的预测答案进行加权求和，得到所述最终答案。

进一步地，还包括：

获取最终答案的反馈信息，并根据反馈信息对所述阅读理解模型进行模型优化。

第二方面，本发明实施例还提供了一种智能机器阅读理解装置，包括：

获取模块，用于获取待检问题；

答案确定模块，用于通过深度语义匹配的方式，从预设的问题答案优选集中匹配所述待检问题的答案，如果匹配到所述答案，则将所述答案作为最终答案，否则通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，其中，所述预先训练好的阅读理解模型包括BERT模型和QANet模型。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的智能机器阅读理解方法的步骤。

第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的智能机器阅读理解方法的步骤。

第五方面，本发明实施例还提供了一种计算机程序产品，所计算机程序产品包括有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的智能机器阅读理解方法的步骤。

由上面技术方案可知，本发明实施例提供的智能机器阅读理解方法、装置、电子设备及存储介质，通过在多文档，长短文本中结合信息检索，多任务深度模型训练，多模型效果融合的方式，有效地提高阅读理解获取准确答案的准确率，降低对外部知识的依赖性。且灵活增加自定义的辅助纠正特殊场景中特定的答案，从而，能够更加灵活地适用于多种场景中数据，提升了获得的答案的准确性和可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的智能机器阅读理解方法的流程图之一；

图2为本发明一实施例提供的智能机器阅读理解方法的流程图之二；

图3为本发明一实施例提供的智能机器阅读理解方法的模型训练流程图；

图4为本发明一实施例提供的智能机器阅读理解装置的结构示意图；

图5为本发明一实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例提供的智能机器阅读理解方法的流程图。如图1所示，并结合图2，本发明实施例提供的智能机器阅读理解方法，包括如下步骤：

步骤101：获取待检问题。

步骤102：通过深度语义匹配的方式，从预设的问题答案优选集中匹配所述待检问题的答案。

其中，预设的问题答案优选集可以是一个自定义优选集，通过深度语义匹配的方式，从预设的问题答案优选集中匹配所述待检问题的答案，包括：如果匹配到所述答案，则将所述答案作为最终答案，包括：从所述问题答案优选集和所述待检问题进行深度语义匹配，并判断匹配结果中是否存在匹配度超过预设阈值（简称阈值）的结果；如果有，则将匹配度超过预设阈值的结果作为所述最终答案。

深度语义匹配可使用如DSSM，Matchpyramid，Bert等等深度学习方法进行筛选语义相似结果。

步骤103：如果匹配到所述答案，则将所述答案作为最终答案，否则通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，其中，所述预先训练好的阅读理解模型包括BERT模型和QANet模型。

具体来说，不管多么优秀的模型训练策略也会受到训练数据集本身的影响，数据集中如果出现数据较为单一、特殊词频较高、必要性的专业术语重复率较高等情况，会极大影响模型的训练和预测准确性。因此，该示例中，通过深度语义匹配的方式，从预设的问题答案优选集中匹配所述待检问题的答案的方式，可以减少或者避免上述这种特殊的数据存在的场景对最终答案寻找的准确性的影响，即：增加可自定义优选集中设定优选答案，从而优选或纠正模型预测不准确。

上述示例中，自定义优选集来源包括但不限于以下两个方面，其一：人为根据场景及数据进行设定；其二：模型训练预测使用后期收集的人工更正bad case集。

自定义优选集的作用是在预测问题的答案中，优先将问题对自定义优选集进行深度语义匹配，筛选超过设定阈值的候选结果排序后选择最优结果作为最终问题答案。如果在对自定义优选集进行深度语义匹配中没有找到超过设定阈值的候选结果，则会继续选择模型预测方法寻找问题的答案。

如图3所示，在通过预先训练好的阅读理解模型，获得所述待检问题的最终答案之前，包括：对所述阅读理解模型进行训练。

具体地，对所述阅读理解模型进行训练，包括：对文档集以及问答对集进行切分，得到问题集以及候选答案片段集；通过BERT模型预测答案起始位置和终止位置，并预测答案与真实答案的评测差异；基于所述评测差异对所述BERT模型进行二次训练，得到训练好的BERT模型。

进而，通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，包括：获得所述BERT模型的预测答案，获得所述QANet模型的预测答案；对所述BERT模型的预测答案和所述QANet模型的预测答案进行加权求和，得到所述最终答案。

结合图3所示，候选段落检索：该阶段使用基于BM25初筛及BERT精选的模式检索系统进行筛选候选答案片段。该阶段切分段落采用滑动切分，冗余部分重复，以提高答案筛选的正确率。其中，筛选过程中可以增加一些专有名词（例如：地名，机构名等名词），特定长词的召回权重，该阶段可自定义化，最大灵活性的适用各类场景。

抽取式阅读理解训练：首先使用基于注意力机制（Transformer）的BERT模型及其衍生优化模型进行大规模无监督语料预训练，之后在阅读理解模型训练任务上进一步训练以便获得更好的效果。当然，采用基于预训练BERT模型完成阅读理解任务时，可以进行不对样本进行挑选。例如进行数据增强。

正样本增强：训练数据中每个正样本一般都会只对应一个文档且只对应文档的一个部分作为答案，但实际上，正样本的答案除了在已标注的文档中，也有可能出现在其他文档中；一个文档中也可能会有多个位置的内容可以作为答案。因此把所有文档的所有出现答案的位置作为正样本，以此对正样本进行增强。

负样本采样：机器不仅要学习问题的答案，也要学习不是问题的答案，因此在训练集中加入更多的负例。具体地址，首先使用信息检索得到和问题最相关的如前30篇文档，但其中只有前几个是正样本，其他大部分都是负样本，如果将前30篇文档都放进模型进行训练势必会造成正负样本的不均衡问题，因此需要对样本进行采样。所以采用随机采样的方式对负样本进行采样，与正样本可按照1：1的比例混合成初始数据集，在此数据集上训练得到一个初级模型；然后用此模型对筛选的前30篇文档进行推理得分从而得到每个负样本的重要程度。可见，推理分数越高的负样本对于模型来说是越难判断，所以根据推理分数作为权重对负样本再次进行采样，得到质量更高的负样本，和正样本组成负样本1：1比例的数据集，对模型进行第二次训练。

重新预训练模型：参考常规预训练方法，使用BERT对已有数据集进行掩码语言模型任务和句子顺序预测任务的重新训练，得到与已有语料及其相关的预训练模型。

多任务辅助训练：主任务，训练预测答案片段的起始位置；辅助任务一：采用回归方法，预测模型抽取的答案和真实答案的Rouge-L的值；辅助任务二：对文本内容中的每个字进行二分类，若属于答案片段标注labl为1，否则答案为0。

多模型融合：除了使用Bert及其衍生模型进行训练外，QANet是预训练模型发布之前的一个常用的阅读理解模型，其与之前模型明显的不同就是，抛弃了RNN，只使用 CNN 和Self-Attention 完成编码工作，使得速度与准确率大大增强。使用区别于Bert的QANet可以弥补Bert类模型融合后部分缺陷，增加模型训练效果的多样性。

模型融合的主要方法包括：对多个模型的输出结果进行加权平均。即各模型结果*权值再求和，其中权值可通过交叉验证确定，权值之和为1。

计算所有答案的正确性：预测答案文本为A，真实答案文本为A*，本发明的实施例，采用ROUGE-L评价答案正确性，其考察候选答案和参考答案的最长公共子序列上的准确和召回情况。

。

根据本发明的一个实施例中，还包括：获取最终答案的反馈信息，并根据反馈信息对所述阅读理解模型进行模型优化。具体来说，为持续不断提高预测的准确率，采用自动化效果反馈机制持续不断收集错误并更正的结果作为更正集，更正或直接汇入训练集中，定期或定量进行模型优化训练。可以选择使用自定义优选集数据作为更正集，也可选择自定义优选集中人工更正的结果，可依据场景进行自定义选择。

根据本发明实施例的智能机器阅读理解方法，通过在多文档，长短文本中结合信息检索，多任务深度模型训练，多模型效果融合的方式，有效地提高阅读理解获取准确答案的准确率，降低对外部知识的依赖性。且灵活增加自定义的辅助纠正特殊场景中特定的答案，从而，能够更加灵活地适用于多种场景中数据，提升了获得的答案的准确性和可靠性。

图4示出了本发明实施例提供的智能机器阅读理解装置的结构示意图。如图4所示，本实施例提供的智能机器阅读理解装置，包括：获取模块410和答案确定模块420，其中：

获取模块410，用于获取待检问题；

答案确定模块420，用于通过深度语义匹配的方式，从预设的问题答案优选集中匹配所述待检问题的答案，如果匹配到所述答案，则将所述答案作为最终答案，否则通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，其中，所述预先训练好的阅读理解模型包括BERT模型和QANet模型。

根据本发明实施例的智能机器阅读理解装置，通过在多文档，长短文本中结合信息检索，多任务深度模型训练，多模型效果融合的方式，有效地提高阅读理解获取准确答案的准确率，降低对外部知识的依赖性。且灵活增加自定义的辅助纠正特殊场景中特定的答案，从而，能够更加灵活地适用于多种场景中数据，提升了获得的答案的准确性和可靠性。

由于本发明实施例提供的智能机器阅读理解装置，可以用于执行上述实施例所述的智能机器阅读理解方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。

在本实施例中，需要说明的是，本发明实施例的装置中的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。

基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图5，所述电子设备具体包括如下内容：处理器401、存储器402、通信接口403和通信总线404；

其中，所述处理器401、存储器402、通信接口403通过所述通信总线404完成相互间的通信；

所述处理器401用于调用所述存储器402中的计算机程序，所述处理器执行所述计算机程序时实现上述智能机器阅读理解方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：获取待检问题；通过深度语义匹配的方式，从预设的问题答案优选集中匹配所述待检问题的答案；如果匹配到所述答案，则将所述答案作为最终答案，否则通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，其中，所述预先训练好的阅读理解模型包括BERT模型和QANet模型。

可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。

基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述智能机器阅读理解方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：获取待检问题；通过深度语义匹配的方式，从预设的问题答案优选集中匹配所述待检问题的答案；如果匹配到所述答案，则将所述答案作为最终答案，否则通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，其中，所述预先训练好的阅读理解模型包括BERT模型和QANet模型。

基于相同的发明构思，本发明又一实施例提供了一种计算机程序产品，所计算机程序产品包括有计算机程序，该计算机程序被处理器执行时实现上述智能机器阅读理解方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：获取待检问题；通过深度语义匹配的方式，从预设的问题答案优选集中匹配所述待检问题的答案；如果匹配到所述答案，则将所述答案作为最终答案，否则通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，其中，所述预先训练好的阅读理解模型包括BERT模型和QANet模型。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的流量审计方法。

此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

此外，在本发明中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种智能机器阅读理解方法，其特征在于，包括：

获取待检问题；

2.根据权利要求1所述的智能机器阅读理解方法，其特征在于，所述如果匹配到所述答案，则将所述答案作为最终答案，包括：

3.根据权利要求1或2所述的智能机器阅读理解方法，其特征在于，在通过预先训练好的阅读理解模型，获得所述待检问题的最终答案之前，包括：对所述阅读理解模型进行训练。

4.根据权利要求3所述的智能机器阅读理解方法，其特征在于，所述对所述阅读理解模型进行训练，包括：

5.根据权利要求1所述的智能机器阅读理解方法，其特征在于，通过预先训练好的阅读理解模型，获得所述待检问题的最终答案，包括：

6.根据权利要求1所述的智能机器阅读理解方法，其特征在于，还包括：

7.一种智能机器阅读理解装置，其特征在于，包括：

获取模块，用于获取待检问题；

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据权利要求1~6任一项所述的智能机器阅读理解方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1~6任一项所述的智能机器阅读理解方法的步骤。

10.一种计算机程序产品，所计算机程序产品包括有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1~6任一项所述的智能机器阅读理解方法的步骤。