CN112464641B

CN112464641B - 基于bert的机器阅读理解方法、装置、设备及存储介质

Info

Publication number: CN112464641B
Application number: CN202011187381.0A
Authority: CN
Inventors: 侯丽; 刘翔
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2020-10-29
Filing date: 2020-10-29
Publication date: 2023-01-03
Anticipated expiration: 2040-10-29
Also published as: WO2022088672A1; CN112464641A

Abstract

本发明涉及人工智能技术领域，公开了一种基于BERT的机器阅读理解方法、装置、计算机设备及计算机可读存储介质，该方法包括：根据待训练问题文档对训练第一预置预训练语言模型，生成文档排序模型；根据所述待训练问题文档对训练预置多文档答案预测模型，生成阅读理解模型；根据待预测问题文档对和文档排序模型，输出所述第二问题对应的目标文档；基于所述阅读理解模型，根据所述第二问题和所述目标文档，获取所述阅读理解模型输出所述目标文档中的目标文本，并将所述目标文本作为所述第二问题的阅读理解答案，实现将多文档阅读理解问题转换为单文档阅读理解问题，降低阅读理解时抽取答案的干扰，从而提高多文档阅读理解答案的准确性。

Description

基于BERT的机器阅读理解方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于BERT的机器阅读理解方法、装置、计算机设备及计算机可读存储介质。

背景技术

机器阅读理解是人工智能技术的重要组成部分，过去几年里，随着深度学习的出现，机器阅读理解(其要求机器基于给定的上下文回答问题)已经赢得了越来越广泛的关注，尤其是随着以BERT(Bidirectional Encoder Representations from Transformers预训练语言模型)为代表的预训练语言模型的发展，机器阅读理解任务都有着飞速的发展，主要体现为从关注限定文本到结合外部知识，从关注特定片段到对上下文的全面理解。然而在实际的应用场景中，常常会面临单个问题对应多个搜索引擎检索获得的文档，即需要整合多个文档的信息来预测答案。

目前对于多文档阅读理解，多采用多个文档进行拼接成一个长文档，再采用文档滑动窗口，将长文档拆分为固定长度的多个段文本，每个文本段均与问题进行拼接后进行阅读理解，对同一个问题选择多个文本段中得分最高的答案作为该问题的阅读理解答案。例如，MS MARCO(Microsoft MAchine Reading Comprehension微软机器阅读理解)的Question Answering(智能问答)数据集是一个国际上权威的阅读理解数据集，其每条记录包含一个问题，十个候选文档，这十个候选答案有一个或者两个是包含问题答案文档。使用基于bert预训练语言模型在测试集上进行对比测试，直接使用十个候选文档拼接的长文本进行阅读理解的答案ROUGEL值大概为0.48，而比直接在含有答案的单个文档中进行阅读理解的答案ROUGEL值大概为0.56，两者相差约0.08分。其中，ROUGEL包括ROUGE(Recall-Oriented Understudy for Gisting Evaluation评估自动文摘以及机器翻译的一组指标)和L(longest common subsequence，最长公共子序列)，ROUGEL值是机器阅读理解领域通用的答案质量评价指标，ROUGEL值越大，代表预测答案质量越好。使用基于bert预训练语言模型在一定程度上解决了现有模型对于多文档场景的输入长度受限的缺点，但其准确率与对单个文档进行阅读理解的准确率较低。

发明内容

本申请的主要目的在于提供一种基于BERT的机器阅读理解方法、装置、计算机设备及计算机可读存储介质，旨在解决现有使用基于bert预训练语言模型在一定程度上解决了现有模型对于多文档场景的输入长度受限的缺点，但其准确率与对单个文档进行阅读理解的准确率较低的技术问题。

第一方面，本申请提供一种基于BERT的机器阅读理解方法，所述基于BERT的机器阅读理解方法包括以下步骤：

获取待训练的第一问题和多个候选文档，将所述第一问题分别与各个候选文档组合，生成待训练问题文档对；

根据所述待训练问题文档对训练第一预置预训练语言模型，生成文档排序模型；

根据所述待训练问题文档对训练预置多文档答案预测模型，生成阅读理解模型；

获取待预测问题文档对，其中，所述待预测问题文档对包括第二问题和所述第二问题对应的多个候选文档；

基于所述文档排序模型，根据所述待预测问题文档对，输出所述第二问题对应的目标文档；

基于所述阅读理解模型，根据所述第二问题和所述目标文档，获取所述阅读理解模型输出所述目标文档中的目标文本，并将所述目标文本作为所述第二问题的阅读理解答案；

其中，所述第一预置预训练语言模型包括字典文件、自注意力网络模型、结巴工具和中文分词工具；所述根据所述待训练问题文档对训练第一预置预训练语言模型，生成文档排序模型，包括：

根据所述字典文件和所述待训练问题文档对，确定所述待训练问题文档对的第一文本向量信息；

根据所述自注意力网络模型和所述第一文本向量信息，获取所述第一文本向量信息对应的第一文本语义向量信息；

基于结巴工具，获取所述待训练问题文档对中第一问题和所述各个候选文档的位置特征向量信息；

确定所述待训练问题文档对中所述第一问题与所述各个候选文档的相同字词特征和非共同字词特征，得到对应的字词特征向量信息；

根据所述中文分词工具和所述待训练问题文档对，获取所述待训练问题文档对的命名实体特征向量信息；

根据所述第一文本语义向量信息、所述位置特征向量信息、所述相同字词特征向量信息和所述命名实体特征向量信息，得到所述待训练问题文档对的第一文本语义特征向量信息；

根据所述第一文本语义特征向量信息，得到对应的第一损失函数；

根据所述第一损失函数更新所述第一预置预训练语言模型的模型参数，生成文档排序模型。

第二方面，本申请还提供一种基于BERT的机器阅读理解装置，所述基于BERT的机器阅读理解装置包括：

第一生成模块，用于获取待训练的第一问题和多个候选文档，将所述第一问题分别与各个候选文档组合，生成待训练问题文档对；

第二生成模块，用于根据所述待训练问题文档对训练第一预置预训练语言模型，生成文档排序模型，其中，所述第一预置预训练语言模型包括字典文件、自注意力网络模型、结巴工具和中文分词工具，所述第二生成模块具体还用于：

根据所述第一损失函数更新所述第一预置预训练语言模型的模型参数，生成文档排序模型；

第三生成模块，用于根据所述待训练问题文档对训练预置多文档答案预测模型，生成阅读理解模型；

第一获取模块，用于获取待预测问题文档对，其中，所述待预测问题文档对包括第二问题和所述第二问题对应的多个候选文档；

输出模块，用于基于所述文档排序模型，根据所述待预测问题文档对，输出所述第二问题对应的目标文档；

第二获取模块，用于基于所述阅读理解模型，根据所述第二问题和所述目标文档，获取所述阅读理解模型输出所述目标文档中的目标文本，并将所述目标文本作为所述第二问题的阅读理解答案。

第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的基于BERT的机器阅读理解方法的步骤。

第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的基于BERT的机器阅读理解方法的步骤。

本申请提供一种基于BERT的机器阅读理解方法、装置、计算机设备及计算机可读存储介质，通过获取待训练的第一问题和多个候选文档，将所述第一问题分别与各个候选文档组合，生成待训练问题文档对；根据所述待训练问题文档对训练第一预置预训练语言模型，生成文档排序模型；根据所述待训练问题文档对训练预置多文档答案预测模型，生成阅读理解模型；获取待预测问题文档对，其中，所述待预测问题文档对包括第二问题和所述第二问题对应的多个候选文档；基于所述文档排序模型，根据所述待预测问题文档对，输出所述第二问题对应的目标文档；基于所述阅读理解模型，根据所述第二问题和所述目标文档，获取所述阅读理解模型输出所述目标文档中的目标文本，并将所述目标文本作为所述第二问题的阅读理解答案，实现在文档排序模型中，加入词性标注信息、文档中的字符是否在问题中出现的信息，以及命名实体识别信息，来捕捉问题与多个候选文档之间的相关性，从而先对候选文档进行得分排序，输出得分最高的一个文档，作为阅读理解模型的输入文档。以此来把多文档阅读理解问题转换为单文档阅读理解问题，降低阅读理解时抽取答案的干扰，从而提高多文档阅读理解答案的准确性。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于BERT的机器阅读理解方法的流程示意图；

图2为图1中的基于BERT的机器阅读理解方法的子步骤流程示意图；

图3为图1中的基于BERT的机器阅读理解方法的子步骤流程示意图；

图4为图1中的基于BERT的机器阅读理解方法的子步骤流程示意图；

图5为本申请实施例提供的一种基于BERT的机器阅读理解装置的示意性框图；

图6为本申请一实施例涉及的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本申请实施例提供一种基于BERT的机器阅读理解方法、装置、计算机设备及计算机可读存储介质。其中，该基于BERT的机器阅读理解方法可应用于计算机设备中，该计算机设备可以是笔记本电脑、台式电脑等电子设备。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请的实施例提供的一种基于BERT的机器阅读理解方法的流程示意图。

如图1所示，该基于BERT的机器阅读理解方法包括步骤S101至步骤S106。

步骤S101、获取待训练的第一问题和多个候选文档，将所述第一问题分别与各个候选文档组合，生成待训练问题文档对。

示范例的，获取待训练的第一问题和多个候选文档，将该第一问题与各个候选文档进行组合。例如，待训练的多个候选文档为10个文档时，将这10个中任意一个候选文档分别与第一问题进行组合，得到对应的问题文档对，将得到的多个问题问题文档对作为待训练问题文档对。其中，待训练问题问题文档对包括多个问题文档对，候选文档的数量与问题文档对的数量相同。例如，候选文档的数量为10，则问题文档对的数量为10。

步骤S102、根据所述待训练问题文档对训练第一预置预训练语言模型，生成文档排序模型。

示范例的，通过生成的待训练问题文档对，将该待训练问题文档对输入到第一预置预训练语言模型中，通过该待训练问题文档对中每一对问题文档对的共同字词特征，得到每一对问题文档对的概率值，通过每一对问题文档对的概率值得到对应的损失函数，并通过该损失函数更新第一预置预训练语言模型的模型参数，生成文档排序模型。

在一实施例中，具体地，参照图2，步骤S102包括：子步骤S1021至子步骤S1028。

子步骤S1021、根据所述字典文件和所述待训练问题文档对，确定所述待训练问题文档对的第一文本向量信息。

示范例的，第一预置预训练语言模型包括字典文件vocab.txt，通过该字典文件vocab.txt将待训练问题文档对中的第一问题和各个候选文档进行切分，将切分后的第一问题和各个候选文档进行拼接，得到对应的第一文本序列。其中，第一文本序列中包括第一文本序列的标识类型，以及第一问题和各个候选文档的分割位置符号。将得到的第一文本序列进行向量化表示，得到对应的文本向量信息。

在一实施例中，所述根据所述字典文件和所述待训练问题文档对，确定所述待训练问题文档对的第一文本向量信息，包括：根据所述字典对所述待训练问题文档对进行字词切分，得到所述待训练问题文档对中第一问题的第一问题序列以及所述各个文档的文档序列；将所述第一问题序列和所述文档序列进行拼接，生成对应的第一文本序列；将所述第一文本序列进行特征向量转换，得到对应的第一文本向量信息。

示范例的，通过该字典文件vocab.txt对待训练问题文档对中的第一问题和各个候选文档按照字词进行切分，得到第一问题的第一问题序列和各个候选文档的候选文档序列，例如，第一问题序列包括多个单词tokens_a，各个候选文档序列包括多个单词tokens_b。将得到的第一问题序列和各个候选文档序列进行拼接，得到对应的第一文本序列。例如，将得到的第一问题序列和各个候选文档序列进行拼接，对该拼接的位置进行标记，将第一问题序列的开始位置用[CLS]进行标记，该[CLS]作为第一文本序列的语义符号。将[SEP]作为第一问题序列与候选文档序列或各个候选文档序列之间的分割符号。例如，多个候选文档序列包括第一候选文档序列和第二候选文档序列，拼接得到的第一文本序列为[CLS]第一问题序列[SEP]第一候选文档序列[SEP]第二文档候选序列[SEP]等。

在得到第一文本序列时，将第一文本序列中每个单词用预训练的单词特征向量信息转换，得到对应的第一文本向量信息，其中第一文本向量信息包括文本序列中每个单词的语义向量信息、位置向量信息、分段表示的加和向量信息。示范性的，该预训练的单词特征向量信息转换为将第一文本序列表示成一系列能够表达文本语义的向量。例如，候选文档序列为“你帮我”或“我帮你”，“你帮我”的二元语法依次为：“你，你帮，帮，帮我，我”；“我帮你”的二元语法依次为：“我，我帮，帮，帮你，你”，从而可以构造一个字典{“你”：1，“你帮”：2，“帮”：3，“帮我”：4，“我”：5，“我帮”：6，“帮你”：7}，通过字典将“你帮我”向量化结果表示为[1，1，1，1，1，0，0]；将“我帮你”向量化结果表示为[1，0，1，0，1，1，1]。

子步骤S1022、根据所述自注意力网络模型和所述第一文本向量信息，获取所述第一文本向量信息对应的第一文本语义向量信息。

示范例的，该第一预置预训练语言模型包括多头注意力网络模型，将获取到的文本向量信息输入到多头注意力网络模型中，该多头注意力网络模型获取输入文本向量中融合上下文信息的每个单词所对应的向量表示，获取多头注意力网络模型输出的第一文本语义向量信息。

在一实施例中，所述根据所述自注意力网络模型和所述第一文本向量信息，获取所述第一文本向量信息对应的第一文本语义向量信息，包括：将所述第一文本向量信息输入所述自注意力网络模型，得到所述第一文本向量信息的各个语义空间的文本语义向量信息；根据所述各个语义空间的文本语义向量信息，获取所述自注意力网络模型输出的第一文本语义向量信息。

示范性的，将获取到的第一文本向量信息输入到多头注意力网络模型中，该多头注意力网络模型包括第一线性映射层，通该第一线性映射层将该文本向量信息映射到不同语义空间的语义向量，捕捉不同维度的语义信息。例如，第一线性映射层中的线性项公式为Q′_i＝QW_i ^Q，K′_i＝KW_t ^k，V_i'＝VW_i ^V，其中Q为查询值、K为键值、V为值向量，i为映射到i个语义空间的线性项，Q′，i，K′i，V′j为第i个语义空间的语义向量。

通过在不同语义空间语义向量上进行self-attention操作，输出不同语义空间的文本语义向量。例如，self-attention操作公式为

其中，softmax为归一化函数，T为向量转置操作，d_k为键向量的维度，hend_i为第i个语义空间的输入文本序列的文本语义向量。在得到不同语义空间的文本语义向量时，将不同语义空间的文本语义向量进行拼接，例如c＝Concat(hend₁,......,hend_i)W,其中，Concat为向量拼接操作，W为不同语义空间映射回初始语义空间的线性项，C为多头自注意力网络模型输出的文本语义向量。将拼接后的向量信息通过第一线性映射层映射回原语义空间，得到输出的第一文本语义向量信息。

子步骤S1023、基于结巴工具，获取所述待训练问题文档对中第一问题和所述各个候选文档的位置特征向量信息。

示范例的，该第一预置预训练语言模型包括jieba(结巴工具)，结巴工具比如为结巴分词,通过结巴分词把待训练问题文档对的第一文本序列中所有字词的词语都提取出来，通过该结巴工具提取待训练问题文档对的第一文本序列中第一问题和各个候选文档的位置特征。例如，第一文本序列中包括第一问题序列的语义符号和各个候选文档序列的分割位置符号，其中，将语义符号作为第一问题序列的开始位置符号。通过结巴工具识别第一问题序列中的第一问题序列的语义符号和各个候选文档序列的分割位置符号，得到第一问题的位置特征和各个候选文档的位置特征。将得到的第一问题的位置特征和各个候选文档的位置特征进行one-hot编码处理，得到对应的位置特征向量信息。其中，one-hot编码为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效，且one-hot编码是分类变量作为二进制向量的表示。首先将分类值映射到整数值，然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

子步骤S1024、确定所述待训练问题文档对中所述第一问题与所述各个候选文档的相同字词特征和非共同字词特征，得到对应的字词特征向量信息。

示范例的，确定待训练问题文档对中第一问题和各个候选文档的相同字词特征，例如，在得到待训练问题文档对的第一文本序列，该第一文本序列包括第一问题的各个单词tokens_a和各个候选文档的各个单词tokens_b，各个候选文档中的任意一个单词tokens_b与第一问题的各个单词tokens_a进行匹配，从而得到第一问题与各个候选文档的共同字词特征和非共同字词特征。在获取到共同字词特征和非共同字词特征时，对该共同字词特征和非共同字词特征进行二值化处理，得到共同字词特征和非共同字词特征对应的字词向量特征信息。例如，将获取到的共同字词特征的字词标记为1，将非共同字词特征的字词标记为0。

子步骤S1025、根据所述中文分词工具和所述待训练问题文档对，获取所述待训练问题文档对的命名实体特征向量信息。

实施例的，第一预置预训练语言模型中包括中文分词工具(stanford corenlp)，通过该中文分词工具确定待训练文本对中的命名实体。命名实体为人名、机构名、地名以及其他所有以名称为标识的实体，如，数字、日期、货币、地址等。例如，获取待训练文本对的第一文本序列，第一文本序列中包括第一问题的单词tokens_a和各个候选文档的各个单词tokens_b。根据中文分词工具确定第一问题的各个单词tokens_a中命名实体对应的字词，以及各个候选文档的各个单词tokens_b中命名实体对应的字词，将命名实体对应的字词进行one-hot编码处理，得到对应的命名实体特征向量信息。其中，one-hot编码为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效，且one-hot编码是分类变量作为二进制向量的表示。首先将分类值映射到整数值，然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

子步骤S1026、根据所述第一文本语义向量信息、所述位置特征向量信息、所述相同字词特征向量信息和所述命名实体特征向量信息，得到所述待训练问题文档对的第一文本语义特征向量信息。

实施例的，在获取到待训练数据的第一文本语义向量信息、位置特征向量信息、字词特征向量信息和命名实体特征向量信息时，将待训练数据的第一文本语义向量信息、位置特征向量信息、字词特征向量信息和命名实体特征向量信息进行叠加，得到待训练问题文档对的文本语义特征向量信息，语义特征向量信息包括第一问题与各个候选文档对关联的语义特征向量信息。例如，将待训练数据的第一文本语义向量信息、位置特征向量信息、字词特征向量信息和命名实体特征向量信息追加特征向量存储在统一的文件中，得到对应的第一文本语义特征向量信息。

子步骤S1027、根据所述第一文本语义特征向量信息，得到对应的第一损失函数。

实施例的，从文本语义特征向量信息中获取各个候选文档与第一问题的关联向量信息，其中，关联向量信息为各个候选文档中包含第一问题的答案则对应的位置的元素为1，否则为0。在获取到第一文本语义向量信息时，从该文本语义向量信息中获取各个候选文档的语义向量。基于该第一预置预训练语言模型的第一线性映射层对各个候选文档的语义向量做线性变换，得到各个候选文档的概率得分值，将得到的多个候选文档的概率得分值组成多维向量信息。根据计算该多维向量信息得到log_softmax值。通过log_softmax值与关联向量信息，得到对应的第一损失函数。

子步骤S1028、根据所述第一损失函数更新所述第一预置预训练语言模型的模型参数，生成文档排序模型。

实施例的，在得到第一损失函数时，通过反向传播机制，得到对应的模型参数，通过该模型参数更新第一预置预训练语言模型的模型参数，生成对应的文档排序模型。

步骤S103、根据所述待训练问题文档对训练预置多文档答案预测模型，生成阅读理解模型。

示范例的，获取待训练问题文档对，该待训练问题文档对包括第一问题和多个候选文档，确定该多个候选文档中包含第一问题的答案的目标候选文档，将该目标候选文档与第一问题组成新的问题文档对。将新的问题文档对输入到第二预置预训练语言模型中，通过该第二预置预训练语言模型对新的问题文档对进行语义映射，得到新的问题文档对的第二文本语义向量信息。根据该第二文本语义向量信息训练预置多文档答案预测模型，生成对应的阅读理解模型。

在一实施例中，具体地，参照图3，步骤S103包括：子步骤S1031至子步骤S1033。

子步骤S1031、确定所述待训练问题文档对的多个候选文档中与所述第一问题的答案最相似的目标候选文档，并将所述第一问题与所述目标候选文档组成新的问题文档对。

示范例的，获取到待训练问题文档对，该待待训练问题文档对包括第一问题和多个候选文档对，获取多个候选文档对中带标记的候选文档对，将该带标记的候选文档对作为目标候选文档对，将该目标候选文档对与第一问题组成新的问题文档对。

子步骤S1032、根据第二预置预训练语言模型，得到所述新的问题文档对的第二文本语义向量信息。

示范例的，第二预置预训练语言模型包括字典文件vocab.txt，通过该字典文件vocab.txt将新的问题文档对中的第一问题和目标候选文档进行切分，将切分后的第一问题和目标候选文档进行拼接，得到对应的第二文本序列。其中，第二文本序列中包括第二文本序列的标识类型，以及第一问题和目标候选文档的分割位置符号。将得到的第二文本序列进行向量化表示，得到对应的第二文本向量信息。

例如，通过该字典文件vocab.txt对待训练问题文档对中的第一问题和目标候选文档按照字词进行切分，得到第一问题的第一问题序列和目标候选文档的目标候选文档序列，例如，第一问题序列包括多个单词tokens_a，目标候选文档序列包括多个单词tokens_b。将得到的第一问题序列和目标候选文档序列进行拼接，得到对应的第二文本序列。例如，将得到的第一问题序列和目标候选文档序列进行拼接，对该拼接的位置进行标记，将第一问题序列的开始位置用[CLS]进行标记，该[CLS]作为第二文本序列的语义符号。将[SEP]作为第一问题序列与目标候选文档序列之间的分割符号。例如，拼接得到的第二文本序列为[CLS]第一问题序列[SEP]目标候选文档序列[SEP]。

在得到第二文本序列时，将第二文本序列中每个单词用预训练的单词特征向量信息转换，得到对应的第二文本向量信息，其中第二文本向量信息包括第二文本序列中每个单词的语义向量信息、位置向量信息、分段表示的加和向量信息。示范性的，该预训练的单词特征向量信息转换为将第二文本序列表示成一系列能够表达第二文本语义的向量。例如，目标候选文档序列为“你帮我”或“我帮你”，“你帮我”的二元语法依次为：“你，你帮，帮，帮我，我”；“我帮你”的二元语法依次为：“我，我帮，帮，帮你，你”，从而可以构造一个字典{“你”：1，“你帮”：2，“帮”：3，“帮我”：4，“我”：5，“我帮”：6，“帮你”：7}，“你帮我”向量化结果表示为[1，1，1，1，1，0，0]；“我帮你”向量化结果表示为[1，0，1，0，1，1，1]。

该第二预置预训练语言模型包括多头注意力网络模型，将获取到的第二文本向量信息输入到多头注意力网络模型中，该多头注意力网络模型获取输入第二文本向量信息中融合上下文信息的每个单词所对应的向量表示，获取多头注意力网络模型输出的第二文本语义向量信息。

例如，将获取到的第二文本向量信息输入到多头注意力网络模型中，该多头注意力网络模型包括第一线性映射层，通该第一线性映射层将该第二文本向量信息映射到不同语义空间的语义向量，捕捉不同维度的语义信息。例如，第一线性映射层中的线性项公式为Q_i'＝QW_i ^Q，K_i'＝KW_t ^k，V_i'＝VW_i ^V，其中Q为查询值、K为键值、V为值向量，i为映射到i个语义空间的线性项，Q′，i，K′i，V′j为第i个语义空间的语义向量。

其中，softmax为归一化函数，T为向量转置操作，d_k为键向量的维度，hend_i为第i个语义空间的输入文本序列的文本语义向量。在得到不同语义空间的文本语义向量时，将不同语义空间的文本语义向量进行拼接，例如c＝Concat(hend₁,......,hend_i)W,其中，Concat为向量拼接操作，W为不同语义空间映射回初始语义空间的线性项，C为多头自注意力网络模型输出的第二文本语义向量。将拼接后的向量信息通过第一线性映射层映射回原语义空间，得到输出的第二文本语义向量信息。

子步骤S1033、根据所述第二文本语义向量信息和预置带标签答案文档训练预置多文档答案预测模型，生成对应的阅读理解模型。

示范例的，在获取到第二文本语句向量信息时，将该第二文本语义向量和预置带标签答案文档训练预置多问文档答案预测模型。该预置多问文档答案预测模型为预置多文档机器阅读理解答案预测模型，通过该第二文本语义向量信息和预置带标签答案文档训练预置多文档机器阅读理解答案预测模型，得到该第二文本语义向量信息对应的目标候选文档的多个答案起始位置概率和多个答案结束位置概率概率，以及预置带标签答案文档的起始位置概率和答案结束位置概率。根据目标候选文档的多个答案起始位置概率和多个答案结束位置概率概率，以及预置带标签答案文档的答案起始位置概率和答案结束位置概率更新预置多文档机器阅读理解答案预测模型，生成对应的阅读理解模型。

在一实施例中，所述根据所述第二文本语义向量信息和预置带标签答案文档训练预置多文档答案预测模型，生成对应的阅读理解模型，包括：将所述第二文本语义向量信息和预置带标签答案文档输入预置多文档机器答案预测模型，得到所述第二文本语义向量信息中目标文档的答案起始位置概率和答案结尾位置概率，以及所述预置带标签答案文档的答案起始位置概率和答案结尾位置概率；根据所述目标文档的答案起始位置概率和答案结尾位置概率，以及预置带标签答案文档的答案起始位置概率和答案结尾位置概率，得到对应的第二损失函数；根据所述损第二失函数和反向传播机制，更新所述预置多文档答案预测模型的模型参数，生成对应的阅读理解模型。

实施例的，将第二文本语义向量信息和与预置带标签答案文档输入预置多文档机器答案预测模型中，通过预置多文档机器答案预测模型计算第二文本语义向量信息中目标候选文档的各个单词的答案起始位置概率和答案结尾位置概率，以及预置带标签答案文档的答案起始位置概率和答案结尾位置概率，其中，答案起始位置概率和答案结尾位置概率为1。例如，基于预置多文档机器答案预测模型中的答案起始位置概率公式和答案结束位置概率公式，计算得到第二文本语义向量信息中目标候选文档的各个单词的答案起始位置概率和答案结尾位置概率。在获取到预置带标签答案文档的答案起始位置概率和结尾位置概率时，基于答案起始位置概率公式Ps＝softmax(WsC)和答案结束位置概率公式Pe＝softmax(WeC)，得到第二文本语义向量信息中目标候选文档的各个单词的答案起始位置概率和答案结尾位置概率，其中，Ps为目标候选文档的各个单词为第一问题的答案起始位置概率，Pe为目标候选文档的各个单词为第一问题的答案结束位置概率，Ws为预置带标签答案文档为第一问题的答案起始位置概率，We为为预置带标签答案文档为为第一问题的答案结束位置概率，其中，C为常量。

获取预置带标签答案文档中为第一问题的答案起始位置和为第一问题的答案结束位置，根据预置带标签答案文档中为第一问题的答案起始位置和为第一问题的答案结束位置，以及第二文本语义向量信息中目标候选文档的各个单词的答案起始位置概率和答案结尾位置概率，得到对应的损失函数。例如，基于损失公式

其中，LANS为损失函数，log为对数，

为预置带标签答案文档中为第一问题的答案起始位置，

为预置带标签答案文档中为第一问题的答案结束位置，N为样本数量。在得到损函数时，通过对该损失函数进行反向传播机制，得到对应的模型参数，将该模型参数更新预置多文档答案预测模型的模型参数，生成对应的阅读理解模型。

步骤S104、获取待预测问题文档对，其中，所述待预测问题文档对包括第二问题和所述第二问题对应的多个选档文候。

示范例的，获取待预测问题文档对，该待预测问题文档对包括第二问题和第二问题对应的多个候选文档，将第二问题与各个第二问题的候选文档进行组合，得到对应的第二问题文档对，其中，待预测问题文档对包括多个问题文档对。

步骤S105、基于所述文档排序模型，根据所述待预测问题文档对，输出所述第二问题对应的目标文档。

示范例的，文档排序模型包括字典文件vocab.txt，通过该字典文件vocab.txt对待预测问题文档对中的第二问题和第二问题对应的各个候选文档按照字词进行切分，得到第二问题的第二问题序列和各个候选文档的候选文档序列，例如，第二问题序列包括多个单词tokens_a，各个候选文档序列包括多个单词tokens_b。将得到的第二问题序列和各个候选文档序列进行拼接，得到对应的第二文本序列。例如，将得到的第二问题序列和各个候选文档序列进行拼接，对该拼接的位置进行标记，将第二问题序列的开始位置用[CLS]进行标记，该[CLS]作为第二文本序列的语义符号。将[SEP]作为第二问题序列与候选文档序列或各个候选文档序列之间的分割符号。例如，多个候选文档序列包括第一候选文档序列和第二候选文档序列，拼接得到的第二文本序列为[CLS]第二问题序列[SEP]第一候选文档序列[SEP]第二文档候选序列[SEP]等。

在得到第二文本序列时，将第二文本序列中每个单词用预训练的单词特征向量信息转换，得到对应的第二文本向量信息，其中第二文本向量信息包括文本序列中每个单词的语义向量信息、位置向量信息、分段表示的加和向量信息。示范性的，该预训练的单词特征向量信息转换为将第二文本序列表示成一系列能够表达文本语义的向量。例如，候选文档序列为“你帮我”或“我帮你”，“你帮我”的二元语法依次为：“你，你帮，帮，帮我，我”；“我帮你”的二元语法依次为：“我，我帮，帮，帮你，你”，从而可以构造一个字典{“你”：1，“你帮”：2，“帮”：3，“帮我”：4，“我”：5，“我帮”：6，“帮你”：7}，通过字典将“你帮我”向量化结果表示为[1，1，1，1，1，0，0]；将“我帮你”向量化结果表示为[1，0，1，0，1，1，1]。

该文档排序模型包括多头注意力网络模型，将获取到的第二文本向量信息输入到多头注意力网络模型中，该多头注意力网络模型包括第一线性映射层，通该第一线性映射层将该文本向量信息映射到不同语义空间的语义向量，捕捉不同维度的语义信息。例如，第一线性映射层中的线性项公式为Q′_i＝QW_i ^Q，K′_i＝KW_t ^k，V_i'＝VW_i ^V，其中Q为查询值、K为键值、V为值向量，i为映射到i个语义空间的线性项，Q′，i，K′i，V′j为第i个语义空间的语义向量。

其中，softmax为归一化函数，T为向量转置操作，d_k为键向量的维度，hend_i为第i个语义空间的输入文本序列的文本语义向量。在得到不同语义空间的文本语义向量时，将不同语义空间的文本语义向量进行拼接，例如c＝Concat(hend₁,......,hend_i)W,其中，Concat为向量拼接操作，W为不同语义空间映射回初始语义空间的线性项，C为多头自注意力网络模型输出的文本语义向量。将拼接后的向量信息通过第一线性映射层映射回原语义空间，得到输出的第二文本语义向量信息。

该文档排序模型包括jieba(结巴工具)，通过该结巴工具提取第二文本序列中第二问题和各个候选文档的位置特征。例如，第二文本序列中包括第二问题序列的语义符号和各个候选文档序列的分割位置符号，其中，将语义符号作为第二问题序列的开始位置符号。通过结巴工具识别第二问题序列中的第二问题序列的语义符号和各个候选文档序列的分割位置符号，得到第二问题的位置特征和各个候选文档的位置特征。将得到的第二问题的位置特征和各个候选文档的位置特征进行one-hot编码处理，得到对应的位置特征向量信息。其中，one-hot编码为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效，且one-hot编码是分类变量作为二进制向量的表示。首先将分类值映射到整数值，然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

确定待预测问题文档对中第二问题和各个候选文档的相同字词特征，例如，在得到待预测问题文档对的第二文本序列，该第二文本序列包括第二问题的各个单词tokens_a和各个候选文档的各个单词tokens_b，各个候选文档中的任意一个单词tokens_b与第一问题的各个单词tokens_a进行匹配，从而得到第二问题与各个候选文档的共同字词特征和非共同字词特征。在获取到共同字词特征和非共同字词特征时，对该共同字词特征和非共同字词特征进行二值化处理，得到共同字词特征和非共同字词特征对应的字词向量特征信息。例如，将获取到的共同字词特征的字词标记为1，将非共同字词特征的字词标记为0。

文档排序模型中包括中文分词工具(stanford corenlp)，通过该中文分词工具确定待预测问题文档对中的命名实体。命名实体为人名、机构名、地名以及其他所有以名称为标识的实体，如，数字、日期、货币、地址等。例如，获取待预测问题文档对的第二文本序列，第二文本序列中包括第二问题的单词tokens_a和各个候选文档的各个单词tokens_b。根据文分词工具确定第二问题的各个单词tokens_a中命名实体对应的字词，以及各个候选文档的各个单词tokens_b中命名实体对应的字词，将命名实体对应的字词进行one-hot编码处理，得到对应的命名实体特征向量信息。其中，one-hot编码为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效，且one-hot编码是分类变量作为二进制向量的表示。首先将分类值映射到整数值，然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

在获取到待预测问题文档对的第二文本语义向量信息、位置特征向量信息、字词特征向量信息和命名实体特征向量信息时，将待预测问题文档对的第二文本语义向量信息、位置特征向量信息、字词特征向量信息和命名实体特征向量信息进行叠加，得到待预测问题文档对的文本语义特征向量信息，语义特征向量信息包括第二问题与各个候选文档对关联的语义特征向量信息。例如，将待预测问题文档对的第二文本语义向量信息、位置特征向量信息、字词特征向量信息和命名实体特征向量信息追加特征向量存储在统一的文件中，得到对应的第二文本语义特征向量信息。根据文档排序模型的模型参数计算第二文本语义特征向量信息，预测第二问题对应的各个候选文档对的得分值，确定得分值最高的二问题对应的候选文档，将该得分值最高的二问题对应的候选文档作为目标文档，获取文档排序模型输出的目标文档。

步骤S106、基于所述阅读理解模型，根据所述第二问题和所述目标文档，获取所述阅读理解模型输出所述目标文档中的目标文本，并将所述目标文本作为所述第二问题的阅读理解答案。

示范例的，在获取到第二问题的目标文档时，将该目标文档与第二问题生成第二问题文档对，将第二问题文档对输入到预置阅读理解模型中，将通过该预置阅读理解模型确定该目标文档中各个单词为第二问题的答案起始位置和该答案结束位置概率，根据该目标文档中各个单词为第二问题的答案结束位置概率和该目标文档中各个单词为第二问题的答案起始位置概率，得到目标文档中为第二问题的答案起始位置和答案结束位置。根据第二问题的答案起始位置和答案结束位置，确定目标文档中的目标文本，从而获取阅读理解模型输出的目标文本，将该目标文本作为第二问题的阅读理解答案。

在一实施例中，具体地，参照图4，步骤S106包括：子步骤S1061至子步骤S1064。

子步骤S1061、将所述第二问题和所述目标文档组成对应的第二问题文档对，并输入到所述阅读理解模型的输入层中。

示范例的，阅读理解模型包括输入层，将获取到的第二问题的目标文档对和第二问题组成第二问题文档对，并将第二问题文档对输入到阅读理解模型的输入层中，通过该输入层提取第二问题和目标文档的特征信息。例如，将第二问题和目标文档进行字词切分，得到对应的第二问题序列和目标文档序列，并将第二问题序列和目标文档序列进行拼接，得到对应的目标文本序列。

子步骤S1062、基于所述阅读理解模型的概率预测层，预测所述目标文档中所述第二问题对应的多个答案起始位置概率和答案结束位置概率。

示范例为，通过阅读理解模型的概率预测层，预测目标文当中第二问题对应答案的起始位置概率和就结束位置概率。示范性的，概率预测层获取目标文本序列中目标文档的各个单词为第二问题的答案起始位置概率和各个单词为第二问题的答案结束位置概率，例如，通过答案开始位置概率公式Ps＝softmax(WsC)和答案结束位置概率公式Pe＝softmax(WeC)，分别得到各个单词为第二问题的答案起始位置概率和各个单词为第二问题的答案结束位置概率。

子步骤S1063、基于所述阅读理解模型的概率比对层，比对多个所述答案起始位置概率和所述答案结束位置概率，确定概率最高的目标起始位置和概率最高的目标结束位置。

示范例的，通过阅读理解模型的概率比对层，比对各个单词为第二问题的答案起始位置概率和各个单词为第二问题的答案结束位置概率，确定答案起始位置概率最高的第一单词，确定该第一单词在目标文档中的位置，并将第一单词在目标文档中的位置作为目标起始位置；确定答案结束位置概率最高的第二单词，确定第二单词在目标文档中的位置，并将第二单词在目标文档中的位置作为目标结束位置。

子步骤S1064、基于所述阅读理解模型的输出层，获取所述输出层输出的所述目标文档中所述目标起始位置和所述目标结束位置对应的目标文本。

示范例的，在确定目标文档中的目标起始位置和目标结束位置时，确定对应的目标文本。例如，将目标文档中的目标起始位置至目标结束位置中间的部分作为目标文本。在确定目标文档中的目标文本时，通过阅读理解模型的输出层将目标文本输出，从而获取阅读理解模型的输出的目标文本。

在本发明实施例中，实现在文档排序模型中，加入词性标注信息、文档中的字符是否在问题中出现的信息，以及命名实体识别信息，来捕捉问题与多个候选文档之间的相关性，从而先对候选文档进行得分排序，输出得分最高的一个文档，作为阅读理解模型的输入文档。以此来把多文档阅读理解问题转换为单文档阅读理解问题，降低阅读理解时抽取答案的干扰，从而提高多文档阅读理解答案的准确性。

请参照图5，图5为本申请实施例提供的一种基于BERT的机器阅读理解装置的示意性框图。

如图5所示，该基于BERT的机器阅读理解装置400，包括：第一生成模块401、第二生成模块402、第三生成模块403、第一获取模块404、输出模块405、第二获取模块406。

第一生成模块401，用于获取待训练的第一问题和多个候选文档，将所述第一问题分别与各个候选文档组合，生成待训练问题文档对；

第二生成模块402，用于根据所述待训练问题文档对训练第一预置预训练语言模型，生成文档排序模型；

第三生成模块403，用于根据所述待训练问题文档对训练预置多文档答案预测模型，生成阅读理解模型；

第一获取模块404，用于获取待预测问题文档对，其中，所述待预测问题文档对包括第二问题和所述第二问题对应的多个候选文档；

输出模块405，用于基于所述文档排序模型，根据所述待预测问题文档对，输出所述第二问题对应的目标文档；

第二获取模块406，用于基于所述阅读理解模型，根据所述第二问题和所述目标文档，获取所述阅读理解模型输出所述目标文档中的目标文本，并将所述目标文本作为所述第二问题的阅读理解答案。

其中，第二生成模块402具体还用于：

根据所述字典对所述待训练问题文档对进行字词切分，得到所述待训练问题文档对中第一问题的第一问题序列以及所述各个文档的文档序列；

将所述第一问题序列和所述文档序列进行拼接，生成对应的第一文本序列；

将所述第一文本序列进行特征向量转换，得到对应的第一文本向量信息。其中，第二生成模块402具体还用于：

将所述第一文本向量信息输入所述自注意力网络模型，得到所述第一文本向量信息的各个语义空间的文本语义向量信息；

根据所述各个语义空间的文本语义向量信息，获取所述自注意力网络模型输出的第一文本语义向量信息。

其中，确第三生成模块403具体还用于：

确定所述待训练问题文档对的多个候选文档中与所述第一问题的答案最相似的目标候选文档，并将所述第一问题与所述目标候选文档组成新的问题文档对；

根据第二预置预训练语言模型，得到所述新的问题文档对的第二文本语义向量信息；

根据所述第二文本语义向量信息和预置带标签答案文档训练预置多文档答案预测模型，生成对应的阅读理解模型。

其中，确第三生成模块403具体还用于：

将所述第二文本语义向量信息和预置带标签答案文档输入预置多文档机器答案预测模型，得到所述第二文本语义向量信息中目标文档的答案起始位置概率和答案结尾位置概率，以及所述预置带标签答案文档的答案起始位置概率和答案结尾位置概率；

根据所述目标文档的答案起始位置概率和答案结尾位置概率，以及预置带标签答案文档的答案起始位置概率和答案结尾位置概率，得到对应的第二损失函数；

根据所述损第二失函数和反向传播机制，更新所述预置多文档答案预测模型的模型参数，生成对应的阅读理解模型。

其中，第二获取模块406具体还用于：

将所述第二问题和所述目标文档组成对应的第二问题文档对，并输入到所述阅读理解模型的输入层中；

基于所述阅读理解模型的概率预测层，预测所述目标文档中所述第二问题对应的多个答案起始位置概率和答案结束位置概率；

基于所述阅读理解模型的概率比对层，比对多个所述答案起始位置概率和所述答案结束位置概率，确定概率最高的目标起始位置和概率最高的目标结束位置；

基于所述阅读理解模型的输出层，获取所述输出层输出的所述目标文档中所述目标起始位置和所述目标结束位置对应的目标文本。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述基于BERT的机器阅读理解方法实施例中的对应过程，在此不再赘述。

上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。

请参阅图6，图6为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为终端。

如图6所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于BERT的机器阅读理解方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于BERT的机器阅读理解方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

基于所述阅读理解模型，根据所述第二问题和所述目标文档，获取所述阅读理解模型输出所述目标文档中的目标文本，并将所述目标文本作为所述第二问题的阅读理解答案。

在一个实施例中，所述处理器根据所述待训练问题文档对训练第一预置预训练语言模型，生成文档排序模型实现时，用于实现：

在一个实施例中，所述处理器根据所述字典文件和所述待训练问题文档对，确定所述待训练问题文档对的第一文本向量信息实现时，用于实现：

将所述第一文本序列进行特征向量转换，得到对应的第一文本向量信息。

在一个实施例中，所述处理器根据所述自注意力网络模型和所述第一文本向量信息，获取所述第一文本向量信息对应的第一文本语义向量信息实现时，用于实现：

在一个实施例中，所述处理器根据所述待训练问题文档对训练预置多文档答案预测模型，生成阅读理解模型实现时，用于实现：

在一个实施例中，所述处理器所述根据所述第二文本语义向量信息和预置带标签答案文档训练预置多文档答案预测模型，生成对应的阅读理解模型实现时，用于实现：

在一个实施例中，所述处理器基于所述阅读理解模型，根据所述第二问题和所述目标文档，获取所述阅读理解模型输出所述目标文档中的目标文本实现时，用于实现：

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请基于BERT的机器阅读理解方法的各个实施例。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链为文本排序模型和阅读理解模型的存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于BERT的机器阅读理解方法，其特征在于，包括：

2.如权利要求1所述的基于BERT的机器阅读理解方法，其特征在于，所述根据所述字典文件和所述待训练问题文档对，确定所述待训练问题文档对的第一文本向量信息，包括：

根据所述字典对所述待训练问题文档对进行字词切分，得到所述待训练问题文档对中第一问题的第一问题序列以及所述各个候选文档的文档序列；

3.如权利要求1所述的基于BERT的机器阅读理解方法，其特征在于，所述根据所述自注意力网络模型和所述第一文本向量信息，获取所述第一文本向量信息对应的第一文本语义向量信息，包括：

4.如权利要求1所述的基于BERT的机器阅读理解方法，其特征在于，所述根据所述待训练问题文档对训练预置多文档答案预测模型，生成阅读理解模型，包括：

5.如权利要求4所述的基于BERT的机器阅读理解方法，其特征在于，所述根据所述第二文本语义向量信息和预置带标签答案文档训练预置多文档答案预测模型，生成对应的阅读理解模型，包括：

将所述第二文本语义向量信息和预置带标签答案文档输入预置多文档答案预测模型，得到所述第二文本语义向量信息中目标文档的答案起始位置概率和答案结尾位置概率，以及所述预置带标签答案文档的答案起始位置概率和答案结尾位置概率；

根据所述第二损失函数和反向传播机制，更新所述预置多文档答案预测模型的模型参数，生成对应的阅读理解模型。

6.如权利要求1所述的基于BERT的机器阅读理解方法，其特征在于，基于所述阅读理解模型，根据所述第二问题和所述目标文档，获取所述阅读理解模型输出所述目标文档中的目标文本，包括：

7.一种基于BERT的机器阅读理解装置，其特征在于，包括：

8.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至6中任一项所述的基于BERT的机器阅读理解方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至6中任一项所述的基于BERT的机器阅读理解方法的步骤。