CN116089586B - 基于文本的问题生成方法及问题生成模型的训练方法 - Google Patents

Abstract

本公开提供了基于文本的问题生成方法及问题生成模型的训练方法，涉及人工智能中的自然语言处理、深度学习等技术领域，包括：获取待提取文本；并对待提取文本进行意图识别处理，确定待提取文本的第一分类信息；其中，第一分类信息用于指示待提取文本是否具有疑问意图；若确定待提取文本具有疑问意图，则确定待提取文本的局部语义特征；其中，局部语义特征用于指示待提取文本包含的词语在待提取文本的局部上下文中所表征的语义；局部上下文为待提取文本中与词语相邻的其余词语；根据局部语义特征，确定待提取文本包含的问题词语；确定问题词语为待提取文本对应的问题信息，并推送问题信息，通过上述方法，以提高问题信息的获取的准确度。

Description

基于文本的问题生成方法及问题生成模型的训练方法

技术领域

本公开涉及人工智能中的自然语言处理、深度学习等技术领域，尤其涉及一种基于文本的问题生成方法及问题生成模型的训练方法。

背景技术

目前，随着人工智能技术的不断发展，问题生成的应用也变得十分广泛，例如，在智能问答系统，可以通过对文本进行识别，以便生成更多的问题，以提供给提问者更加合理的答案反馈；在工作中，可以通过对员工的工作日志或者工作总结进行处理，以便识别出员工在工作中所得到的问题。

因此，亟需一种问题生成方法以便准确的得到文本中所对应的问题。

发明内容

本公开提供了一种用于准确获取文本所对应的问题信息的基于文本的问题生成方法及问题生成模型的训练方法。

根据本公开的第一方面，提供了一种基于文本的问题生成方法，包括：

获取待提取文本；并对所述待提取文本进行意图识别处理，确定所述待提取文本的第一分类信息；其中，所述第一分类信息用于指示所述待提取文本是否具有疑问意图；

若确定所述待提取文本具有疑问意图，则确定所述待提取文本的局部语义特征；其中，所述局部语义特征用于指示所述待提取文本包含的词语在所述待提取文本的局部上下文中所表征的语义；所述局部上下文为所述待提取文本中与所述词语相邻的其余词语；

根据所述局部语义特征，确定所述待提取文本包含的问题词语；

确定所述问题词语为待提取文本对应的问题信息，并推送所述问题信息。

根据本公开的第二方面，提供了一种基于文本的问题生成模型的训练方法，包括：

获取待训练文本；其中，所述待训练文本具有第一标识信息和第二标识信息，所述第一标识信息用于指示所述待训练文本是否具有疑问意图，所述第二标识信息用于指示所述待训练文本所包含的词语是否为问题词语；

根据所述待训练文本，对初始模型进行训练，得到问题生成模型，其中，所述问题生成模型用于对待提取文本进行意图识别，若确定所述待提取文本具有疑问意图，则确定所述待提取文本的局部语义特征，并根据所述局部语义特征，确定所述待提取文本包含的问题词语；所述局部语义特征用于指示所述待提取文本包含的词语在所述待提取文本的局部上下文中所表征的语义；所述局部上下文为所述待提取文本中与所述词语相邻的其余词语。

根据本公开的第三方面，提供了一种基于文本的问题生成装置，包括：

第一获取单元，用于获取待提取文本；

第一处理单元，用于对所述待提取文本进行意图识别处理，确定所述待提取文本的第一分类信息；其中，所述第一分类信息用于指示所述待提取文本是否具有疑问意图；

第一确定单元，用于若确定所述待提取文本具有疑问意图，则确定所述待提取文本的局部语义特征；其中，所述局部语义特征用于指示所述待提取文本包含的词语在所述待提取文本的局部上下文中所表征的语义；所述局部上下文为所述待提取文本中与所述词语相邻的其余词语；

第二确定单元，用于根据所述局部语义特征，确定所述待提取文本包含的问题词语；

第三确定单元，用于确定所述问题词语为待提取文本对应的问题信息；

推送单元，用于推送所述问题信息。

根据本公开的第四方面，提供了一种基于文本的问题生成模型的训练装置，包括：

第二获取单元，用于获取待训练文本；其中，所述待训练文本具有第一标识信息和第二标识信息，所述第一标识信息用于指示所述待训练文本是否具有疑问意图，所述第二标识信息用于指示所述待训练文本所包含的词语是否为问题词语；

训练单元，用于根据所述待训练文本，对初始模型进行训练，得到问题生成模型，其中，所述问题生成模型用于对待提取文本进行意图识别，若确定所述待提取文本具有疑问意图，则确定所述待提取文本的局部语义特征，并根据所述局部语义特征，确定所述待提取文本包含的问题词语；所述局部语义特征用于指示所述待提取文本包含的词语在所述待提取文本的局部上下文中所表征的语义；所述局部上下文为所述待提取文本中与所述词语相邻的其余词语。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法；或者，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第二方面所述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法；或者，所述计算机指令用于使所述计算机执行第二方面所述的方法。

根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法，或者，所述至少一个处理器执行所述计算机程序使得电子设备执行第二方面所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是本公开提供的一种问题生成模型的示意图；

图4是根据本公开第三实施例的示意图；

图5是本公开提供的一种应用场景的示意图；

图6是根据本公开第四实施例的示意图；

图7是根据本公开第五实施例的示意图；

图8是根据本公开第六实施例的示意图；

图9是根据本公开第七实施例的示意图

图10是根据本公开第八实施例的示意图；

图11是根据本公开第九实施例的示意图；

图12是根据本公开第十实施例的示意图；

图13是用来实现本公开实施例的基于文本的问题生成方法，或者，基于文本的问题生成模型的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前，随着人工智能技术的不断发展，在各个领域中，问题生成的应用所涉及的领域也变得十分广泛。问题生成旨在根据输入的文本，生成与输入文本相关的问题。随着智能问答系统和机器阅读理解的不断发展，问题生成也受到了广泛的关注。在一些应用中，问题生成也可以应用于识别员工的工作日报等文本，以便识别出用户记录在文本中的所遇到的问题。

在一种可能的实现方式中，可以采用有答案的问题生成方法，即通过输入文本以及文本中问题所对应的答案，进一步确定与文本相关的问题。然而，上述方法需要提前确定出文本相关问题所对应的答案，无法适用于无答案的问题生成场景。

在一种可能的实现方式中，可以根据预设的提取规则，在文本中提取所包含的问题，进而作为文本相关的问题。然而，上述根据预设提取规则的方法只能适用于一种样式规格的文本，进而导致无法准确提取其余文本所对应的问题。

为了避免上述技术问题中的至少一种，本公开的发明人经过创造性地劳动，得到了本公开的发明构思：在获取到待提取文本后，对待提取文本进行意图识别处理，以便确定待提取文本是否具有疑问意图，即待提取文本中是否包含问题。若确定待提取文本中包含疑问意图时，此时，可以进一步提取待训练文本所对应的局部语义特征，以便根据所得到的局部语义特征，进一步确定待提取文本中所对应的问题信息。

根据上述发明构思，本公开提供一种基于文本的问题生成方法及问题生成模型的训练方法，应用于人工智能中的自然语言处理、深度学习等技术领域，以便可以准确的确定出待提取文本相关的问题信息。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图1是根据本公开第一实施例的示意图。如图1所示，本公开实施例的基于文本的问题生成方法，包括：

S101、获取待提取文本。

示例性地，本实施例的执行主体可以为基于文本的问题生成装置，该问题生成装置可以为服务器(如云端服务器，或者，本地服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。

本实施例中的待提取文本在实际应用中可以为员工提交的工作日志、论文等文本，本实施例中对于问题生成方法的应用场景不做具体限制。且待提取文本的获取方式本实施例中不做具体限制，例如，待提取文本可以为根据文本识别技术从文本图像信息中所提取得到的。

S102、对待提取文本进行意图识别处理，确定待提取文本的第一分类信息；其中，第一分类信息用于指示待提取文本是否具有疑问意图。

示例性地，本实施例中的第一分类信息用于指示待提取文本是否具有疑问意图，即待提取文本中是否包含问题信息，若第一分类信息指示待提取文本具有疑问意图，则表明待提取文本中包含有问题信息；若第一分类信息指示待提取文本不具有疑问意图，则确定待提取文本中不包含问题信息，此时，无需在对待提取文本进行进一步处理。

在确定待提取文本所对应的第一分类信息时，可以采用相关技术中所提到的意图识别处理方法，本实施例中不做具体限制。

S103、若确定待提取文本具有疑问意图，则确定待提取文本的局部语义特征；其中，局部语义特征用于指示待提取文本包含的词语在待提取文本的局部上下文中所表征的语义；局部上下文为待提取文本中与词语相邻的其余词语。

示例性地，若确定出待提取文本中存在问题信息，即待提取文本具有疑问意图时，此时，可以进一步提取待提取文本所对应的局部语义特征。其中，待提取文本所对应的局部语义特征可用于指示待提取文本中的每一个词语所表征的语义，并且，每一词语所表征的语义为基于与该词语相邻的词语(即，该词语在待提取文本中所对应的局部上下文)的特征得到的。即，在待提取文本的局部语义特征时，每一词语都仅考虑与该词语相邻的其余词语的特征，进而得到整个待提取文本所对应的局部语义特征。

S104、根据局部语义特征，确定待提取文本包含的问题词语。

示例性地，在获取到待提取文本所对应的局部语义特征之后，可以根据所得到的局部语义特征，确定待提取文本中所包含的问题词语。

一个示例中，在根据待提取文本所对应的局部语义特征，确定所包含的问题词语时，可以采用相关技术中所提供的分类方式，以根据局部语义特征，确定待提取文本中的词语是否为问题词语。

S105、确定问题词语为待提取文本对应的问题信息，并推送问题信息。

示例性地，在得到待提取文本所包含的问题词语时，此时可以将问题词语与待提取文本所包含的问题信息，并推送所得到的问题。

可以理解的是，本实施例中为了提取待提取文本所对应的问题信息，首先会对待提取文本进行意图识别处理，根据意图识别处理后所得到的第一分类信息确定是否包含疑问意图，以便确定是否需要进一步对待提取文本进行处理。当确定待提取文本不具备疑问意图时，此时则无需进一步进行问题信息的确定，以便减少设备的处理资源占用量。若确定待提取文本具备疑问意图时，此时可以获取待提取文本所对应的局部语义特征，以便能够准确的指示出每一词语在其所处的局部上下文的语义，以便后续可以根据局部语义特征准确的确定出待提取文本中所包含的问题词语，进而提高生成的问题的准确性。

图2是根据本公开第二实施例的示意图。如图2所示，本公开实施例的基于文本的问题生成方法，包括：

S201、获取待提取文本。

示例性地，本实施例的执行主体可以为基于文本的问题生成装置，该问题生成装置可以为服务器(如云端服务器，或者，本地服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。

步骤S201的具体原理可以参见步骤S101，此处不再赘述。

S202、基于问题生成模型中的预设编码器，对待提取文本进行特征提取处理，得到待提取文本的全局语义特征，其中，全局语义特征为根据待提取文本所包含的全部词语所得到的。

示例性地，本实施例中的问题生成模型为预先训练好的用于确定待提取文本所对应的问题信息的模型。其中，该问题生成模型中包括有预设编码器。当获取到待提取文本之后，首先会基于问题生成模型中的预设编码器对待提取文本进行全局语义特征的提取，本实施例中所提供的全局语义特征为根据待提取文本中所包含的全部词语所学习得到的，可以用于指示出待提取文本所对应的整体的语义特征。

一个示例中，步骤S202包括以下步骤：

步骤S202的第一步骤：对待提取文本进行向量化处理，得到待提取文本所对应的初始向量集合，其中，待提取文本具有第一标签和第二标签；第一标签为待提取文本中所包含的语句的句首处添加的标签；第二标签为待提取文本中所包含的语句的句尾处添加的标签；初始向量集合中包括待提取文本中包含的词语的向量化表示信息、第一标签的向量化表示信息以及第二标签的向量化表示信息。

示例性地，本实施例中，在提取待提取文本所对应的全局语义特征时，首先需要对待提取文本进行向量化处理，即将待处理文本中的词语转换为向量化表示方式，以便设备可以准确识别待提取文本所对应的信息。并且，在对待提取文本进行向量化处理时，不仅会对待提取文本中所包含的词语进行向量化处理，得到词语所对应的向量化表示信息。此外，还会对待处理文本中的句首处所设置的第一标签，以及待处理文本中的句尾处所设置的第二标签进行向量化处理，得到第一标签所对应的向量化表示信息和第二标签所对应的向量化表示信息。进而，得到了待提取文本所对应的初始向量集合。

举例来说，实际处理过程中，在获取到待提取文本时，首先会对待提取文本进行分词处理，得到确定出待提取文本所包含的词语。并且还会对待提取文本中所包含的句子的首尾处添加标签，例如，常用的CLS标签和SEP标签，其中，CLS标签可添加在待提取文本的句首位置处，SEP标签可添加在待提取文本的句尾位置处。

其中，初始向量集可以用如下公式表示：

s＝{cls，w₁，w₂，…，w_n，sep}

s用于表征初始向量集合，cls表征第一标签所对应的向量化表示信息，sep表征第二标签所对应的向量化表示信息；w_i表征待提取文本中所包含的第i个词语所对应的向量化表示信息，其中，i为正整数；n为待提取文本中所包含的词语的数量。

步骤S202的第二步骤：将初始向量集合输入至预设编码器中，得到初始向量集合中包含的向量化表示信息所对应的语义特征；预设编码器用于确定输入的向量化表示信息所对应的语义特征。

示例性地，在得到初始向量集合之后，可以将初始向量集合输入至预设编码器中，进而得到预设编码器输出的初始向量集合中各向量化表示信息所对应的语义特征。即，初始向量集合中所包含的每一向量化表示信息在经过预设编码器处理之后，都会得到与其一一对应的语义特征。

步骤S202的第三步骤：确定第一标签的向量化表示信息所对应的语义特征为待提取文本的全局语义特征。

示例性地，在处理之后，可以将第一标签的向量化表示信息所对应的语义特征作为待提取文本的全局语义特征，以便后续确定待提取文本的第一分类信息。

可以理解的是，本实施例中，通过对待提取文本进行向量化处理，确定待提取文本所对应的初始向量集合，以便设备可以准确识别待提取文本所对应的词语，并且，提高待提取文本所对应的全局语义特征提取的准确性。

S203、基于问题生成模型中的第一预设全连接层，对全局语义特征进行分类预测处理，确定第一分类信息，其中，第一分类信息用于指示待提取文本是否具有疑问意图。

示例性地，在获取到待提取文本所对应的全局语义特征时，此时，将所得到的全局语义特征输入至问题生成模型所包含的第一预设全连接层中，以便在第一预设全连接层对全局语义特征的处理下，得到待提取文本所对应的第一分类信息。

可以理解的是，通过预设编码器提取待提取文本所对应的全局语义特征，并且还可以进一步基于问题生成模型中的第一预设全连接层与得到的全局语义特征，确定待提取文本是否具有疑问意图，以便提高所确定的第一分类信息的准确性。

一个示例中，步骤S203包括以下步骤：

步骤S203的第一步骤：基于第一预设全连接层，对全局语义特征进行处理，得到第一概率信息，第一概率信息表征待训练文本在具有疑问意图下的概率信息和待训练文本在不具有疑问意图下的概率信息。

步骤S203的第二步骤：根据第一概率信息，确定待提取文本的第一分类信息。

示例性地，本实施例中，在第一预设全连接层对全局语义特征进行处理时，第一预设全连接层首先可以预测待提取文本在疑问意图下所对应的概率信息和待提取文本不具备疑问意图的概率信息，即第一概率信息。

并且，在获取到第一概率信息之后，可以通过直接比较第一概率信息中所包含的待提取文本具有疑问意图的概率信息和待提取文本不具备疑问意图的概率信息，进而得到待提取文本的第一分类信息。

可以理解的是，本实施例中，第一预设全连接层可用于根据全局语义特征，预测待提取文本在具备疑问信息下的概率信息和不具备疑问信息下的概率信息，以便可以通过概率信息的比对，得到待提取文本所对应的第一分类信息。

一个示例中，预设编码器用于基于多头自注意力机制对待提取文本进行特征提取。

示例性地，本实施例中，预设编码器可以基于多头自注意力机制提取待提取文本所对应的全局语义特征，即，在每一头所对应的自注意力参数下，对待提取文本中的各个词语进行特征提取时，会融合该待提取文本中所包含的全部词语的信息，进而得到在该自注意力参数下的所对应的提取结果。

例如，实际应用中可以用如下公式表示：

其中，Head(Q，K，V)为上述在一组自注意力参数下的所对应的提取结果。Q，K，V分别为基于自注意力参数和该编码器层所输入的信息进行线性变换所得到的三个向量。K^T即表征对向量K进行转置后的结果，d_k为向量K的维度。

之后，将多个自注意力参数所对应的提取结果拼接起来，进而得到最终的预设编码器的输出结果。

并且，在预设编码器中可以包括多层编码器，每一层编码器基于其前一层编码器所对应的输出结果重复上述过程，进而将最后一层编码器的输出结果作为预设编码器的输出结果。

可以理解的是，本实施例中采用多头自注意力机制对输入的待提取文本进行全局语义特征的提取，通过结合多头下所得到的提取结果，有利于提高所得到的全局语义特征的准确性。

S204、若确定待提取文本具有疑问意图，则基于问题生成模型中的预设卷积层，对全局语义特征进行提取处理，得到待提取文本的局部语义特征；其中，局部语义特征用于指示待提取文本包含的词语在待提取文本的局部上下文中所表征的语义；局部上下文为待提取文本中与词语相邻的其余词语。

示例性地，本实施例中，当确定出待提取文本具有疑问意图需要对其进行局部语义特征提取时，可以通过将所得到的全局语义特征输入至预先训练好的问题生成模型中所包含的预设卷积层，以便基于预设卷积层，对全局语义特征进行处理，进而确定出待提取文本所对应的局部语义特征。并且，在根据全局语义特征确定局部语义特征时，可以由预设卷积层结合词语的相邻词语所对应的全局语义特征进行卷积处理，得到待提取文本对应的局部语义特征。

可以理解的是，本实施例中，在问题生成模型中还设置有预设卷积层，以便基于得到的全局语义特征，进一步确定出待提取文本所对应的局部语义特征，以提高后续所确定的问题词语的准确性。

S205、基于问题生成模型中的第二预设全连接层，对局部语义特征进行分类预测处理，得到第二分类信息，其中，第二分类信息中包括待提取文本中所包含的词语对应的分类标签，分类标签用于指示词语是否为问题词语。

示例性地，本实施例中，预先训练好的问题生成模型中还包括有第二预设全连接层，其中，第二预设全连接层接收待处理文本所对应的局部语义特征，并对待处理文本所对应的局部语义特征进行分类预测处理，进而得到待处理文本所包含的每一词语所对应的分类标签的取值。其中，分类标签用于指示其所对应的词语是否为问题词语。

举例来说，在实际应用中可以采用BIO的标签体系为分类标签的对应取值，当分类标签为B时，表征该词语为问题词语，且为该待提取文本中的首个问题词语；分类标签为I时，表征该词语为问题词语，且为该待提取文本中的非首个问题词语；分类标签为O时，表征该词语不是问题词语。

需要说明的是，此处的标签标注方法仅为举例说明，不做具体限制。

206、确定指示词语为问题词语的分类标签所对应的词语，为待提取文本对应的问题词语。

示例性地，在得到待提取文本中各个词语所对应的分类标签之后，可以将指示词语为问题词语的分类标签所对应的词语作为该待提取文本所对应的问题信息。

可以理解的是，本实施例中，可以基于问题生成模型中的第二预设全连接层，并结合标签标注的方式，在待提取文本中提取问题词语，以确定出待提取文本所对应的问题信息。

S207、确定问题词语为待提取文本对应的问题信息，并推送问题信息。

示例性地，步骤S207的具体原理可以参见步骤S105，此处不再赘述。

本实施例中，通过预设编码器提取待提取文本所对应的全局语义特征，并且还可以进一步基于问题生成模型中的第一预设全连接层与得到的全局语义特征，确定待提取文本是否具有疑问意图，以便提高所确定的第一分类信息的准确性。进一步的，通过对待提取文本进行向量化处理，确定待提取文本所对应的初始向量集合，以便设备可以准确识别待提取文本所对应的词语，并且，提高待提取文本所对应的全局语义特征提取的准确性。此外，问题生成模型还具有第一预设全连接层，可用于根据全局语义特征，预测待提取文本在具备疑问信息下的概率信息和不具备语义信息下的概率信息，以便可以通过概率信息的比对，得到待提取文本所对应的第一分类信息。

图3是本公开提供的一种问题生成模型的示意图。如图3所示，本公开实施例问题生成模型中包括：多层编码层所组成的预设编码器301，第一预设全连接层302、预设卷积层303、第二预设全连接层304。

其中，预设编码器层301，用于提取待提取文本所对应的全局语义特征；第一预设全连接层302，用于基于所得到的全局语义特征，确定待提取文本是否具有疑问意图。预设卷积层303，用于在确定待提取文本具有疑问意图之后，进一步基于所得到的全局语义特征确定待提取文本的局部语义特征。第二预设全连接层304，用于基于所得到的局部语义特征，确定待提取文本所包含的问题词语。

图4是根据本公开第三实施例的示意图。如图4所示，本公开实施例的基于文本的问题生成方法，包括：

S401、获取待提取文本。

示例性地，本实施例的执行主体可以为基于文本的问题生成装置，该问题生成装置可以为服务器(如云端服务器，或者，本地服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。

S402、对待提取文本进行意图识别处理，确定待提取文本的第一分类信息；其中，第一分类信息用于指示待提取文本是否具有疑问意图。

示例性地，步骤S401与步骤S402可以参见步骤S101与S102，此处不再赘述。

S403、若确定待提取文本具有疑问意图，则确定预设问题库中的问题信息与待提取文本之间的语义相似度。

示例性地，本实施例中，在确定出待提取文本具有疑问意图时，则表明此时待提取文本中具有问题信息，并且，为了获取到与待提取文本相关的其余问题信息，可以在预设问题库中，进一步进行筛选确定。其中，预设问题库中预设设置有至少一个问题信息。当在预设问题库中确定与待提取文本相关的问题信息时，首先可以确定预设问题库中的问题信息和待提取文本之间的语义相似度，即各自所对应的语义特征之间的相似度。

一个示例中，若待提取文本的第一分类信息为基于问题生成模型中的第一预设全连接层和待提取文本的全局语义特征得到的；全局语义特征为基于问题生成模型中的预设编码器，对待提取文本所包含的全部词语的进行特征提取处理得到的，则步骤S403中的确定预设问题库中的问题信息与待提取文本之间的语义相似度，包括以下步骤：

第一步骤：基于预设编码器，对预设问题库中的问题信息进行特征提取，得到问题特征；

第二步骤：根据问题特征和全局语义特征，确定语义相似度。

示例性地，本实施例中，若步骤S402中在确定第一分类信息时，为基于问题生成模型中所包含的预设编码器进行待提取文本的全局语义特征信息提取之后，进一步的又基于问题生成模型中的第一预设全连接层进行分类预测得到的，则此时，在确定预设问题库中的问题信息和待提取文本二者之间的语义相似度时，此时可以采用问题生成模型中已经训练好的预设编码器对预设问题库中的问题信息，进行特征提取处理，进而得到预设问题库中的问题信息所对应的问题特征；之后，在将预设问题库中的问题信息所对应的问题特征和待提取文本所对应的全局语义特征进行相似度比较，进而得到二者之间的语义相似度。

一个示例中，在确定语义相似度时，可以根据相关技术中所提供的余弦相似度的相似度确定方法，来确定问题特征和全局语义特征二者之间的语义相似度。

可以理解的是，本实施例中，通过采用问题生成模型中的预设编码器对预设问题库中的问题信息进行特征提取，可以提高问题生成模型的模型利用率，无需在使用其余特征提取模型进行问题信息的特征提取，减少设备中所存储的模型所占用的存储空间。

S404、在预设问题库中，确定语义相似度大于预设阈值的问题信息，为待提取文本所对应的问题信息。

示例性地，在得到待提取文本与预设问题库中的问题信息之间的语义相似度之后，可以将语义相似度大于预设阈值的预设问题库中的问题信息作为待提取文本所对应的问题信息。

可以理解的是，本实施例中，通过将待提取文本和预设问题库中的问题信息进行语义相似度确定的处理，有利于在预设问题库中筛选出与待提取文本所对应的语义相似度较高的问题信息，以增加所得到的待提取文本的问题信息。

S405、确定待提取文本的局部语义特征；其中，局部语义特征用于指示待提取文本包含的词语在待提取文本的局部上下文中所表征的语义；局部上下文为待提取文本中与词语相邻的其余词语。

S406、根据局部语义特征，确定待提取文本包含的问题词语；并确定问题词语为待提取文本对应的问题信息。

示例性地，步骤S405与步骤S406可以参见步骤S103和步骤S104，此处不再赘述。

S407、获取问题信息所对应的第一打分信息、问题信息中的字符数量和待提取文本的生成时间；其中，第一打分信息用于指示所确定的问题信息和待提取文本的关联度。

示例性地，本实施例中，当通过预设问题库和对待提取文本所对应的问题词语的提取得到多个待提取文本所对应的问题信息时，此时，可以对多个问题信息进行排序，以便后续对用户进行问题信息的推送。

在对多个问题信息进行排序时，首先可以确定待提取文本所对应的问题信息所对应的第一打分信息、问题信息中所包含的字符的字符数量以及待提取文本所对应的生成时间。

其中，第一打分信息可以用于指示所获取到的问题信息和待提取文本的关联度，即所获取到的问题信息可以准确反应出待提取文本的疑问意图的程度。待提取文本的生成时间可以理解为该文本的建立时间。

一个示例中，问题信息所对应的第一打分信息可以根据问题信息的来源确定，例如，当问题信息为通过待提取文本中的问题词语生成时，此时所对应的第一打分信息的取值大于通过预设问题库所获取的问题信息的第一打分信息。

一个示例中，步骤S407中的“获取问题信息所对应的第一打分信息”包括以下步骤：

第一步、若确定问题信息为根据待提取文本包含的问题词语所得到的，则根据问题信息中的问题词语所对应的第二概率信息、问题信息中的问题词语的数量和第一预设权重值，确定第一打分信息；第二概率信息用于指示词语为问题词语的概率。

第二步、若确定问题信息为位于预设问题库中，则根据问题信息对应的语义相似度和第二预设权重值，确定第一打分信息；其中，第一预设权重值大于第二预设权重值。

示例性地，本实施例中在获取第一打分信息时，首先可以确定待提取文本所对应的问题信息的来源，若确定问题信息是根据待提取文本中所确定的问题词语所得到的，则此时可以根据在确定问题词语时所得到的第二概率信息、问题信息所包含的问题词语的数量和第一预设权重来确定第一打分信息。其中，第二概率信息用于可以指示出待提取文本中的各个词语为问题词语的概率。

举例来说，根据第一权重值、问题信息中的问题词语的数量以及第二概率信息，确定第一打分信息时，此时，可以将问题信息中所包含的各个问题词语所对应被确定为问题词语的概率信息求和之后，再根据问题词语的数量对求和之后的结果求平均，得到平均结果。之后，再将平均结果和第一权重值相乘进而得到第一打分信息。

若确定问题信息为预设问题库中的问题信息，即为根据预设问题库所包含的问题信息得到的，则此时可以结合所确定的问题信息和待提取文本之间的语义相似度和第二预设权重值，确定第一打分信息，即将第二预设权重值和语义相似度的乘积结果作为第一打分信息。并且，其中，第一预设权重值大于第二预设权重值，即，相比于基于预设问题库所得到的问题信息，根据待提取文本所包含的问题词语所生成的问题信息与待提取文本的关联性更高。

可以理解的是，本实施例中，通过结合问题信息的来源、被确定为待提取文本所对应的问题信息时所对应的计算结果(即，上述语义相似度或者上述第二概率信息)，预设的第一预设权重值或者第二权重值，来进一步确定问题信息所对应的第一打分信息，可以使得最终得到的排序结果的顺序与待提取文本之间的关联性更高，以便向用户推送更加符合待提取文本的疑问意图的问题信息。

S408、根据第一打分信息，问题信息中的字符数量和待提取文本的生成时间，确定问题信息所对应的评分信息；评分信息用于指示问题信息的质量。

示例性地，在得到第一打分信息、可以进一步结合问题信息中的字符数量和待提取文本的生成时间，确定问题信息所对应的评分信息，其中，问题信息所对应的评分信息用于指示该问题信息的质量，即从上述问题的字符数量所体现的问题信息的长度，待提取文本的生成时间所反映的问题信息的时效性，以及第一打分信息所反映的问题信息和待提取文本的关联性，对所得到的问题信息进行评分，得到问题信息的评分信息。

一个示例中，在根据第一打分信息、字符数量和生成时间，确定评分信息时，也可以根据预先训练好的评分模型，将上述第一打分信息、字符数量和生成时间作为评分模型输入，以便评分模型输出评分信息。

一个示例中，步骤S408包括以下步骤：

步骤S408的第一步骤：根据待提取文本的生成时间，确定第二打分信息；其中，第二打分信息和生成时间呈正相关。

步骤S408的第二步骤：根据问题信息中的字符数量，确定第三打分信息，其中，第三打分信息和字符数量服从正态分布。

步骤S408的第三步骤：根据第一打分信息、第二打分信息和第三打分信息，确定问题信息所对应的评分信息。

示例性地，本实施例中，在确定评分信息时，会根据待提取文本的生成时间和第二打分信息之间的正相关的对应关系，确定第二打分信息的取值。可以理解的是，当待提取文本所对应的生成时间越大，即生成时间越接近当前时间时，此时所得到的问题的时效性越高，此时所对应的第二打分信息的取值也越高。

并且，还可以根据字符数量和第三打分信息之间的预设对应关系，确定第三打分信息的取值，并且，其中，第三打分信息和字符数量服从正态分布，即，当字符数量小于预设值时，此时，字符数量越大，第三打分信息也越大；当字符数量大于预设值时，此时，字符数量越大，第三打分信息越小；即，字符数量等于预设值时，此时所对应的第三打分信息的取值最大。可以理解的是，当问题信息所包含的字符数量较少时，此时，问题信息所对应描述的问题可能不够准确，但若是问题信息所包含的字符数量较多时，此时，问题信息中可能包括有较多的冗余信息，即问题信息不够精简，因此，可以将第三打分信息和字符数量之间的对应关系设置为正态分布式的对应关系。

当得到第一打分信息、第二打分信息以及第三打分信息之后，可以根据这三个打分信息，确定出问题信息所对应的评分信息。例如，可以采用对第一打分信息、第二打分信息以及第三打分信息进行加权求和的方式，确定评分信息。

可以理解的是，本实施例中，通过将字符数量和第三打分信息设置为符合正态分布的对应关系，且将生成时间和第二打分信息的对应关系设置为正相关关系，进而可以结合不同方面的打分信息，对问题信息的质量进行评价，以便用户最终可以得到质量更高的问题信息，使得推送更加准确。

S409、根据评分信息，推送问题信息。

示例性地，在得到评分信息之后，可以根据评分信息所对应的取值的高低，对所得到的问题信息进行推送，即评分信息取值越大，则问题信息的推送顺序越靠前。

可以理解的是，本实施例中，通过结合问题信息所对应的第一打分信息、问题信息所对应的字符数量以及问题信息所对应的待提取文本的生成时间，对问题信息进行评分，以便得到评分信息更加准确，方便为用户推送质量较高的问题信息。

本实施例中，通过将待提取文本和预设问题库中的问题信息进行语义相似度确定的处理，有利于在预设问题库中筛选出与待提取文本所对应的语义相似度较高的问题信息，以增加所得到的待提取文本的问题信息。并且，通过采用问题生成模型中的预设编码器对预设问题库中的问题信息进行特征提取，可以提高问题生成模型的模型利用率，无需在使用其余特征提取模型进行问题信息的特征提取，减少设备中所存储的模型所占用的存储空间。此外，在推送问题信息时，通过结合问题信息所对应的第一打分信息、问题信息所对应的字符数量以及问题信息所对应的待提取文本的生成时间，对问题信息进行评分，以便得到评分信息更加准确，方便为用户推送质量较高的问题信息。具体地，可以通过将字符数量和第三打分信息设置为符合正态分布的对应关系，且将生成时间和第二打分信息的对应关系设置为正相关关系，进而可以结合不同方面的打分信息，对问题信息的质量进行评价，以便用户最终可以得到质量更高的问题信息，使得推送更加准确。

图5是本公开提供的一种应用场景的示意图。如图5所示，其中，包括有问题生成模型中所包含的预设编码器，图中两个预设编码器相同，分别用第一预设编码器501和第二预设编码器503命名。当确定出待提取文本具有疑问意图时，此时，可以不仅可以根据预设编码器确定待提取文本所对应的全局语义特征，并且，还可以根据预设编码器，对预设问题库中的问题信息进行问题特征的提取。之后，再根据预设语义特征匹配层503，确定全局语义特征和问题特征二者之间的语义相似度，以便在预设问题库中提取出与待提取文本语义相似度较高的问题信息。例如，其中的语义特征匹配层503可以采用余弦相似度计算的方式确定二者之间的语义相似度。

图6是根据本公开第四实施例的示意图。如图6所示，本公开实施例的基于文本的问题生成模型的训练方法，包括：

S601、获取待训练文本；其中，待训练文本具有第一标识信息和第二标识信息，第一标识信息用于指示待训练文本是否具有疑问意图，第二标识信息用于指示待训练文本所包含的词语是否为问题词语。

示例性地，本实施例的执行主体可以为基于文本的问题生成模型的训练装置，该训练装置可以为服务器(如云端服务器，或者，本地服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。此外，本实施例中的训练装置与上述实施例中的问题生成装置可以为同一设备，也可以为不同设备，本实施例中不做具体限制。

本实施例中，在生成问题生成模型时，首先可以获取待训练文本，其中，待训练文本具有第一标识信息以及第二标识信息。即，待训练文本为预先进行标注过的文本，其中，用第一标识信息来表征该待训练文本是否具有疑问意图，例如，当第一标识信息取值为1时，可以表征具有疑问意图；当第一标识信息取值为0时，可以表征不具备疑问意图。此外，还可以用第二标识信息指示出待训练文本中的问题词语，例如，第二标识信息中包括有每一词语所对应的标识取值，当词语所对应的标识取值为第一值时，此时，则表征不是问题词语；当词语所对应的标识取值为第二值时，此时则表征为问题词语。

S602、根据待训练文本，对初始模型进行训练，得到问题生成模型，其中，问题生成模型用于对待提取文本进行意图识别，若确定待提取文本具有疑问意图，则确定待提取文本的局部语义特征，并根据局部语义特征，确定待提取文本包含的问题词语；局部语义特征用于指示待提取文本包含的词语在待提取文本的局部上下文中所表征的语义；局部上下文为待提取文本中与词语相邻的其余词语。

示例性地，当获取到待训练文本之后，可以将待训练文本输入至初始模型中进行训练，进而得到问题生成模型。在对训练时，可以设置训练停止条件，例如，训练停止条件可以为模型训练迭代次数、训练时间、训练损失函数取值收敛等。当在训练过程中达到设置的训练停止条件之后，此时得到的模型即可作为问题生成模型。并且，此时，训练得到的问题生成模型可以用于确定待提取文本是否具有疑问意图；并且，在问题生成模型的输出结果指示该待提取文本具有疑问意图时，进一步的还可以用于对待提取文本进行局部语义特征提取，以便基于得到的局部语义特征确定出待提取文本中所包含的问题词语，进而得到待训练文本所对应的问题信息。此处问题生成模型的原理可以参照上述实施例中的描述，此处不再赘述。

可以理解的是，本实施例中，通过获取预先标注有第一标识信息和第二标识信息的待训练文本，对初始模型进行训练，以便可以得到可用于对待提取文本进行意图识别以及问题词语提取的问题生成模型，有利于用于基于得到的问题生成模型快速确定出待提取文本所包含的问题信息。

图7是根据本公开第五实施例的示意图。如图7所示，本公开实施例的基于文本的问题生成模型的训练方法，包括：

S701、获取待训练文本；其中，待训练文本具有第一标识信息和第二标识信息，第一标识信息用于指示待训练文本是否具有疑问意图，第二标识信息用于指示待训练文本所包含的词语是否为问题词语。

示例性地，本实施例的执行主体可以为基于文本的问题生成模型的训练装置，该训练装置可以为服务器(如云端服务器，或者，本地服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。此外，本实施例中的训练装置与上述实施例中的问题生成装置可以为同一设备，也可以为不同设备，本实施例中不做具体限制。

步骤S701可以参见步骤S702中的描述，此处不再赘述。

S702、将待训练文本输入至初始模型，得到第一训练结果和第二训练结果，其中，第一训练结果用于指示初始模型所确定的待训练文本是否具有疑问意图；第二训练结果用于指示初始模型所确定的待训练文本中的词语是否为问题词语。

示例性地，本实施例中，在对初始模型进行训练时，首先可以将待训练文本作为初始模型的输入，进而得到初始模型对待训练文本的第一训练结果和第二训练结果。其中，第一训练结果为初始模型根据待训练文本所确定出的该文本是否具有疑问意图的结果；第二训练结果为初始模型根据待训练文本所确定出的该文本中的词语是否为问题词语的结果。

一个示例中，步骤S702包括以下步骤：

步骤S702的第一步骤：基于初始模型的初始编码器，对待训练文本进行特征提取处理，得到待训练文本的全局语义特征，其中，全局语义特征为根据待训练文本所包含的全部词语所得到的。

示例性地，本实施例中所提及的初始模型中包括有初始编码器、第一初始全连接层、初始卷积层以及第二初始全连接层。其中，初始编码器用于接收待训练文本，并对结合待训练文本所包含的全部词语进行全局语义特征的提取。可以理解的是，当初始模型训练结束后，所得到的初始编码器即可作为问题生成模型中的预设编码器；第一初始全连接层即可作为问题生成模型中的第一预设全连接层；初始卷积层即可作为问题生成模型中的预设卷积层；第二初始全连接层即可作为问题生成模型中的第二预设全连接层。

一个示例中，步骤S702的第一步骤包括以下步骤：“对待训练文本进行向量化处理，得到待训练文本所对应的样本向量集合，其中，待训练文本具有第三标签和第四标签；第三标签为待训练文本中所包含的语句的句首处添加的标签；第四标签为待训练文本中所包含的语句的句尾处添加的标签；样本向量集合中包括待训练文本中包含的词语的向量化表示信息、第三标签的向量化表示信息以及第四标签的向量化表示信息；将样本向量集合输入至初始模型的初始编码器中，得到样本向量集合中包含的向量化表示信息所对应的语义特征；初始编码器用于确定输入的向量化表示信息所对应的语义特征；确定第三标签的向量化表示信息所对应的语义特征为待训练文本的全局语义特征。”

示例性地，本实施例中，在提取待训练文本所对应的全局语义特征时，首先需要对待训练文本进行向量化处理，即将待处理文本中的词语转换为向量化表示方式，以便设备可以准确识别待训练文本所对应的信息。并且，在对待训练文本进行向量化处理时，不仅会对待训练文本中所包含的词语进行向量化处理，得到词语所对应的向量化表示信息。此外，还会对待处理文本中的句首处所设置的第三标签，以及待处理文本中的句尾处所设置的第四标签进行向量化处理，得到第三标签所对应的向量化表示信息和第四标签所对应的向量化表示信息。进而，得到了待训练文本所对应的样本向量集合。在得到样本向量集合之后，可以将样本向量集合输入至初始编码器中，进而得到初始编码器输出的样本向量集合中各向量化表示信息所对应的语义特征。即，样本向量集合中所包含的每一向量化表示信息在经过初始编码器处理之后，都会得到与其一一对应的语义特征。在处理之后，可以将第三标签的向量化表示信息所对应的语义特征作为待训练文本的全局语义特征，以便后续确定待训练文本的第一训练结果。

可以理解的是，本实施例中，通过对待训练文本进行向量化处理，确定待训练文本所对应的初始向量集合，以便设备可以准确识别待训练文本所对应的词语，并且，提高待训练文本所对应的全局语义特征提取的准确性。

一个示例中，初始模型中的初始编码器用于基于多头自注意力机制对待训练文本进行特征提取。

示例性地，本实施例中，初始模型中的初始编码器在进行特征提取时，可以采用多头自注意力机制对待训练文本进行特征提取，以便从多个不同的维度确定出待训练文本的全局语义特征，提高特征提取的准确性。

步骤S702的第二步骤：基于初始模型中的第一初始全连接层，对全局语义特征进行分类预测处理，确定第一训练结果。

示例性地，本实施例中，初始模型所包含的第一初始全连接层，用于基于初始编码器所输出的待训练文本的全局语义特征，确定待训练文本是否具有疑问意图，即上述第一训练结果。

一个示例中，步骤S702的第二步骤包括以下步骤：“基于初始模型中的第一初始全连接层，对全局语义特征进行处理，得到第三概率信息，第三概率信息表征待训练文本在具有疑问意图下的概率信息和待训练文本在不具有疑问意图下的概率信息；根据第三概率信息，确定待训练文本的第一训练结果”。

示例性地，本实施例中，在第一初始全连接层对初始编码器所输出的待训练文本所对应的全局语义特征进行处理时，会可以预测待训练文本在疑问意图下所对应的概率信息和待提取文本不具备疑问意图的概率信息，即第三概率信息。

并且，在获取到第三概率信息之后，可以通过直接比较第三概率信息中所包含的待训练文本具有疑问意图的概率信息和待训练文本不具备疑问意图的概率信息，进而得到待训练文本的第一训练结果。

可以理解的是，本实施例中，第一初始全连接层可用于根据全局语义特征，预测待训练文本在具备疑问信息下的概率信息和不具备疑问信息下的概率信息，以便可以通过概率信息的比对，得到待训练文本所对应的第一训练结果。

步骤S702的第三步骤：基于初始模型中的初始卷积层，对待训练文本的全局语义特征进行提取处理，得到待训练文本的局部语义特征。

示例性地，本实施例中，初始模型所包含的初始卷积层，用于基于初始编码器所输出的待训练文本的全局语义特征，确定待训练文本的局部语义特征，并且，在初始卷积层根据全局语义特征确定局部语义特征时，可以由初始卷积层结合当前词语的相邻词语所对应的全局语义特征进行卷积处理，得到待训练文本对应的局部语义特征。

步骤S702的第四步骤：基于初始模型中的第二初始全连接层，对待训练文本的局部语义特征进行分类预测处理，得到第二训练结果，其中，第二训练结果中包括待训练文本中所包含的词语对应的分类标签，分类标签用于指示词语是否为问题词语。

示例性地，本实施例中的第二初始全连接层，用于基于初始卷积层所对应的输出的局部语义特征，对待训练文本进行标签化的分类预测处理，即预测待训练文本中每一词语所对应的分类标签，以便通过分类标签指示出其所对应的词语是否为问题词语。

可以理解的是，本实施例中在初始模型包括有初始编码器、第一初始全连接层、初始卷积层以及第二初始全连接层，以便可以对待训练文本进行基于全局语义特征的意图识别处理，并且进一步的还可以结合全局语义特征进行局部语义特征的提取，进而进行问题词语的预测，进而通过上述初始模型的设置，有利于提高模型的适用性，即适用于不同的文本格式的文本。

S703、根据第一训练结果和第一标识信息，确定第一损失函数。

示例性地，当得到初始模型输出的第一训练结果之后，可以根据第一训练结果和待训练文本所对应的第一标识信息，确定第一损失函数。在实际应用中，第一损失函数形式不做具体限制，具体地，可以为交叉熵形式的损失函数，也可以为平方差形式的损失函数等。

S704、根据第二训练结果和第二标识信息，确定第二损失函数。

示例性地，当得到初始模型输出的第二训练结果之后，可以根据第二训练结果和待训练文本所对应的第二标识信息，确定第二损失函数。在实际应用中，第二损失函数形式不做具体限制，具体地，可以为交叉熵形式的损失函数，也可以为平方差形式的损失函数等。

S705、根据第一损失函数和第二损失函数，对初始模型进行参数调整，得到问题生成模型，其中，问题生成模型用于对待提取文本进行意图识别，若确定待提取文本具有疑问意图，则确定待提取文本的局部语义特征，并根据局部语义特征，确定待提取文本包含的问题词语；局部语义特征用于指示待提取文本包含的词语在待提取文本的局部上下文中所表征的语义；局部上下文为待提取文本中与词语相邻的其余词语。

示例性地，在第一损失函数和第二损失函数之后，可以根据得到的第一损失函数和第二损失函数对初始模型中的参数进行调整，举例来说，当第一损失函数表征初始模型所得到的意图识别结果不准确时，此时可以对初始模型中用于进行意图识别的参数进行调整。当第二损失函数表征初始模型所得到的问题词语的预测结果不准确时，此时可以考虑对初始模型中用于进行意图识别的参数和用于问题词语预测的参数进行调整。

可以理解的是，本实施例中，在对模型进行训练时，可以结合意图识别所对应的第一损失函数和问题词语预设结果所对应的第二损失函数，对初始模型中的参数进行调整，以便得到的问题生成模型更加准确。

一个示例中，步骤S705包括以下步骤：

步骤S705的第一步骤：对第一损失函数和第二损失函数进行求和处理，得到求和结果。

步骤S705的第二步骤：根据求和结果，对初始模型的参数进行调整，得到问题生成模型。

示例性地，本实施例中，参数进行调整时，此时，首先可以将第一损失函数和第二损失函数进行加权求和处理，进而得到加权求和结果。之后，在根据所得到的加权求和结果，对初始模型中的模型参数进行调整。一个示例中，在对第一损失函数和第二损失函数进行加权求和处理时，此时，二者加权求和时所对应的权重可以为固定的取值；或者，加权求和时二者的权重也可以为训练过程中所得到的，即每次训练后都有可能会调整的。

一种可能的实现方式中，当采用上述示例中的方式进行训练时，此时，训练停止条件可以为第一损失函数和第二损失函数的加权求和结果处于收敛状态。

可以理解的是，本实施例中，可以结合第一损失函数和第二损失函数所对应得到的加权求和结果对初始模型中的模型参数进行调整，以便使得得到的问题生成模型的更加准确。并且，第一损失函数和第二损失函数各自所对应的加权求和时的权重值在训练过程中也可以根据训练结果进行调整，以进一步提高问题生成模型的预测准确性。

举例来说，在实际应用中，在对初始模型进行训练时，可以采用多个不同的待训练文本对初始模型进行批量训练。其中，第一训练结果可以采用如下公式表示：

其中，p_i用于表征第i个待训练文本所对应的第一训练结果；其中，i为正整数；w₁用于表征第一初始全连接层所对应的权重矩阵；b₁表征第一初始全连接层所对应的偏置矩阵；表征第i个待训练文本所对应的全局语义特征。

第一损失函数可以采用交叉熵损失函数的形式进行表征，即：

其中，L₁用于表征第一损失函数；N用于表征待训练文本的总数量；y_i用于表征第i个待训练文本的第一标识信息。

第二训练结果可以采用如下公式表示：

其中，用于表征第i个待训练文本中的第j个词语所对应的是否为问题词语的预测结果，其中，j为正整数；w₂用于表征第二初始全连接层所对应的权重矩阵；b₂表征第二初始全连接层所对应的偏置矩阵；/>表征第i个待训练文本中第j个词语所对应的局部语义特征。

第二损失函数可以采用交叉熵损失函数的形式进行表征，即：

L₂用于表征第一损失函数；n用于表征第i个待训练文本中所包含的词语的总数量；用于表征第i个待训练文本中的第j个词语的第二标识信息。

图8是根据本公开第六实施例的示意图，如图8所示，本公开实施例的一种基于文本的问题生成装置800，包括：

第一获取单元801，用于获取待提取文本。

第一处理单元802，用于对待提取文本进行意图识别处理，确定待提取文本的第一分类信息；其中，第一分类信息用于指示待提取文本是否具有疑问意图。

第一确定单元803，用于若确定待提取文本具有疑问意图，则确定待提取文本的局部语义特征；其中，局部语义特征用于指示待提取文本包含的词语在待提取文本的局部上下文中所表征的语义；局部上下文为待提取文本中与词语相邻的其余词语。

第二确定单元804，用于根据局部语义特征，确定待提取文本包含的问题词语。

第三确定单元805，用于确定问题词语为待提取文本对应的问题信息。

推送单元806，用于推送问题信息。

示例性地，本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

图9是根据本公开第七实施例的示意图，如图9所示，本公开实施例的一种基于文本的问题生成装置900，包括：

第一获取单元901，用于获取待提取文本。

第一处理单元902，用于对待提取文本进行意图识别处理，确定待提取文本的第一分类信息；其中，第一分类信息用于指示待提取文本是否具有疑问意图。

第一确定单元903，用于若确定待提取文本具有疑问意图，则确定待提取文本的局部语义特征；其中，局部语义特征用于指示待提取文本包含的词语在待提取文本的局部上下文中所表征的语义；局部上下文为待提取文本中与词语相邻的其余词语。

第二确定单元904，用于根据局部语义特征，确定待提取文本包含的问题词语。

第三确定单元905，用于确定问题词语为待提取文本对应的问题信息。

推送单元906，用于推送问题信息。

一个示例中，第一处理单元902，包括：

第一处理模块9021，用于基于问题生成模型中的预设编码器，对待提取文本进行特征提取处理，得到待提取文本的全局语义特征，其中，全局语义特征为根据待提取文本所包含的全部词语所得到的。

第二处理模块9022，用于基于问题生成模型中的第一预设全连接层，对全局语义特征进行分类预测处理，确定第一分类信息。

一个示例中，第一处理模块9021，包括：

第一处理子模块90211，用于对待提取文本进行向量化处理，得到待提取文本所对应的初始向量集合，其中，待提取文本具有第一标签和第二标签；第一标签为待提取文本中所包含的语句的句首处添加的标签；第二标签为待提取文本中所包含的语句的句尾处添加的标签；初始向量集合中包括待提取文本中包含的词语的向量化表示信息、第一标签的向量化表示信息以及第二标签的向量化表示信息。

输入子模块90212，用于将初始向量集合输入至预设编码器中，得到初始向量集合中包含的向量化表示信息所对应的语义特征；预设编码器用于确定输入的向量化表示信息所对应的语义特征。

第一确定子模块90213，用于确定第一标签的向量化表示信息所对应的语义特征为待提取文本的全局语义特征。

一个示例中，第二处理模块9022，包括：

第二处理子模块90221，用于基于第一预设全连接层，对全局语义特征进行处理，得到第一概率信息，第一概率信息表征待训练文本在具有疑问意图下的概率信息和待训练文本在不具有疑问意图下的概率信息。

第二确定子模块90222，用于根据第一概率信息，确定待提取文本的第一分类信息。

一个示例中，预设编码器用于基于多头自注意力机制对待提取文本进行特征提取。

一个示例中，第一确定单元903，具体用于：

若确定待提取文本具有疑问意图，基于问题生成模型中的预设卷积层，对全局语义特征进行提取处理，得到待提取文本的局部语义特征。

一个示例中，第二确定单元904，包括：

第三处理模块9041，用于基于问题生成模型中的第二预设全连接层，对局部语义特征进行分类预测处理，得到第二分类信息，其中，第二分类信息中包括待提取文本中所包含的词语对应的分类标签，分类标签用于指示词语是否为问题词语。

第一确定模块9042，用于确定指示词语为问题词语的分类标签所对应的词语，为待提取文本对应的问题词语。

一个示例中，装置还包括：

第四确定单元907，用于若确定待提取文本具有疑问意图，则确定预设问题库中的问题信息与待提取文本之间的语义相似度。

第五确定单元908，用于在预设问题库中，确定语义相似度大于预设阈值的问题信息，为待提取文本所对应的问题信息。

一个示例中，待提取文本的第一分类信息为基于问题生成模型中的第一预设全连接层和待提取文本的全局语义特征得到的；全局语义特征为基于问题生成模型中的预设编码器，对待提取文本所包含的全部词语的进行特征提取处理得到的。

第四确定单元907，包括：

提取模块9071，用于若确定待提取文本具有疑问意图，基于预设编码器，对预设问题库中的问题信息进行特征提取，得到问题特征。

第二确定模块9072，用于根据问题特征和全局语义特征，确定语义相似度。

一个示例中，推送单元906，包括：

获取模块9061，用于获取问题信息所对应的第一打分信息、问题信息中的字符数量和待提取文本的生成时间；其中，第一打分信息用于指示所确定的问题信息和待提取文本的关联度。

第三确定模块9062，用于根据第一打分信息，问题信息中的字符数量和待提取文本的生成时间，确定问题信息所对应的评分信息；评分信息用于指示问题信息的质量。

推送模块9063，用于根据评分信息，推送问题信息。

一个示例中，获取模块9061，包括：

获取子模块90611，用于获取问题信息中的字符数量和待提取文本的生成时间。

第三确定子模块90612，用于若确定问题信息不位于为根据待提取文本包含的问题词语所得到的，则根据问题信息中的问题词语所对应的第二概率信息、问题信息中的问题词语的数量和第一预设权重值，确定第一打分信息；第二概率信息用于指示词语为问题词语的概率。

第四确定子模块90613，用于若确定问题信息为位于预设问题库中，则根据问题信息对应的语义相似度和第二预设权重值，确定第一打分信息；其中，第一预设权重值大于第二预设权重值。

一个示例中，第三确定模块9062，包括：

第五确定子模块90621，用于根据待提取文本的生成时间，确定第二打分信息；其中，第二打分信息和生成时间呈正相关。

第六确定子模块90622，用于根据问题信息中的字符数量，确定第三打分信息，其中，第三打分信息和字符数量服从正态分布。

第七确定子模块90623，用于根据第一打分信息、第二打分信息和第三打分信息，确定问题信息所对应的评分信息。

示例性地，本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

图10是根据本公开第八实施例的示意图，如图10所示，本公开实施例的一种基于文本的问题生成模型的训练装置1000，包括：

第二获取单元1001，用于获取待训练文本；其中，待训练文本具有第一标识信息和第二标识信息，第一标识信息用于指示待训练文本是否具有疑问意图，第二标识信息用于指示待训练文本所包含的词语是否为问题词语。

训练单元1002，用于根据待训练文本，对初始模型进行训练，得到问题生成模型，其中，问题生成模型用于对待提取文本进行意图识别，若确定待提取文本具有疑问意图，则确定待提取文本的局部语义特征，并根据局部语义特征，确定待提取文本包含的问题词语；局部语义特征用于指示待提取文本包含的词语在待提取文本的局部上下文中所表征的语义；局部上下文为待提取文本中与词语相邻的其余词语。

示例性地，本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

图11是根据本公开第九实施例的示意图，如图11所示，本公开实施例的一种基于文本的问题生成模型的训练装置1100，包括：

第二获取单元1101，用于获取待训练文本；其中，待训练文本具有第一标识信息和第二标识信息，第一标识信息用于指示待训练文本是否具有疑问意图，第二标识信息用于指示待训练文本所包含的词语是否为问题词语。

训练单元1102，用于根据待训练文本，对初始模型进行训练，得到问题生成模型，其中，问题生成模型用于对待提取文本进行意图识别，若确定待提取文本具有疑问意图，则确定待提取文本的局部语义特征，并根据局部语义特征，确定待提取文本包含的问题词语；局部语义特征用于指示待提取文本包含的词语在待提取文本的局部上下文中所表征的语义；局部上下文为待提取文本中与词语相邻的其余词语。

一个示例中，训练单元1102，包括：

输入模块11021，用于将待训练文本输入至初始模型，得到第一训练结果和第二训练结果，其中，第一训练结果用于指示初始模型所确定的待训练文本是否具有疑问意图；第二训练结果用于指示初始模型所确定的待训练文本中的词语是否为问题词语。

第四确定模块11022，用于根据第一训练结果和第一标识信息，确定第一损失函数。

第五确定模块11023，用于根据第二训练结果和第二标识信息，确定第二损失函数。

调整模块11024，用于根据第一损失函数和第二损失函数，对初始模型进行参数调整，得到问题生成模型。

一个示例中，输入模块11021，包括：

第三处理子模块110211，用于基于初始模型的初始编码器，对待训练文本进行特征提取处理，得到待训练文本的全局语义特征，其中，全局语义特征为根据待训练文本所包含的全部词语所得到的。

第四处理子模块110212，用于基于初始模型中的第一初始全连接层，对全局语义特征进行分类预测处理，确定第一训练结果。

第五处理子模块110213，用于基于初始模型中的初始卷积层，对待训练文本的全局语义特征进行提取处理，得到待训练文本的局部语义特征；

第六处理子模块110214，用于基于初始模型中的第二初始全连接层，对待训练文本的局部语义特征进行分类预测处理，得到第二训练结果，其中，第二训练结果中包括待训练文本中所包含的词语对应的分类标签，分类标签用于指示词语是否为问题词语。

一个示例中，第三处理子模块110211，具体用于：

对待训练文本进行向量化处理，得到待训练文本所对应的样本向量集合，其中，待训练文本具有第三标签和第四标签；第三标签为待训练文本中所包含的语句的句首处添加的标签；第四标签为待训练文本中所包含的语句的句尾处添加的标签；样本向量集合中包括待训练文本中包含的词语的向量化表示信息、第三标签的向量化表示信息以及第四标签的向量化表示信息；

将样本向量集合输入至初始模型的初始编码器中，得到样本向量集合中包含的向量化表示信息所对应的语义特征；初始编码器用于确定输入的向量化表示信息所对应的语义特征；

确定第三标签的向量化表示信息所对应的语义特征为待训练文本的全局语义特征。

一个示例中，第四处理子模块110212，具体用于：

基于初始模型中的第一初始全连接层，对全局语义特征进行处理，得到第三概率信息，第三概率信息表征待训练文本在具有疑问意图下的概率信息和待训练文本在不具有疑问意图下的概率信息；

根据第三概率信息，确定待训练文本的第一训练结果。

一个示例中，初始模型中的初始编码器用于基于多头自注意力机制对待训练文本进行特征提取。

一个示例中，调整模块11024，包括：

第七处理子模块110241，用于对第一损失函数和第二损失函数进行求和处理，得到求和结果。

调整子模块110242，用于根据求和结果，对初始模型的参数进行调整，得到问题生成模型。

示例性地，本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

图12是根据本公开第十实施例的示意图，如图10所示，本公开中的电子设备1200可以包括：处理器1201和存储器1202。

存储器1202，用于存储程序；存储器1202，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器1202用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1202中。并且上述的计算机程序、计算机指令、数据等可以被处理器1201调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1202中。并且上述的计算机程序、计算机指据等可以被处理器1201调用。

处理器1201，用于执行存储器1202存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。

具体可以参见前面方法实施例中的相关描述。

处理器1201和存储器1202可以是独立结构，也可以是集成在一起的集成结构。当处理器1201和存储器1202是独立结构时，存储器1202、处理器1201可以通过总线1203耦合连接。

本实施例的电子设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图13示出了可以用来实施本公开的实施例的示例电子设备1300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(ROM)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序，来执行各种适当的动作和处理。在RAM 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。

设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如基于文本的问题生成方法，或者，基于文本的问题生成模型的训练方法。例如，在一些实施例中，基于文本的问题生成方法，或者，基于文本的问题生成模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到RAM 1303并由计算单元1301执行时，可以执行上文描述的基于文本的问题生成方法，或者，基于文本的问题生成模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于文本的问题生成方法，或者，基于文本的问题生成模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括根据一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (40)

1.一种基于文本的问题生成方法，包括：

获取待提取文本；并对所述待提取文本进行意图识别处理，确定所述待提取文本的第一分类信息；其中，所述第一分类信息用于指示所述待提取文本是否具有疑问意图，所述第一分类信息是基于所述待提取文本的全局语义特征而得到的，所述全局语义特征用于指示所述待提取文本所对应的整体的语义特征；

若确定所述待提取文本具有疑问意图，则确定所述待提取文本的局部语义特征；其中，所述局部语义特征是基于所述全局语义特征而得到的，每一词语所表征的语义为基于与该词语相邻的词语的特征得到的，所述局部语义特征用于指示所述待提取文本包含的词语在所述待提取文本的局部上下文中所表征的语义；所述局部上下文为所述待提取文本中与所述词语相邻的其余词语；

根据所述局部语义特征，确定所述待提取文本包含的问题词语；

确定所述问题词语为待提取文本对应的问题信息，并推送所述问题信息。

2.根据权利要求1所述的方法，其中，对所述待提取文本进行意图识别处理，确定所述待提取文本的第一分类信息，包括：

基于问题生成模型中的预设编码器，对所述待提取文本进行特征提取处理，得到所述待提取文本的全局语义特征，其中，所述全局语义特征为根据所述待提取文本所包含的全部词语所得到的；

基于所述问题生成模型中的第一预设全连接层，对所述全局语义特征进行分类预测处理，确定所述第一分类信息。

3.根据权利要求2所述的方法，其中，基于问题生成模型中的预设编码器，对所述待提取文本进行特征提取处理，得到所述待提取文本的全局语义特征，包括：

对所述待提取文本进行向量化处理，得到所述待提取文本所对应的初始向量集合，其中，所述待提取文本具有第一标签和第二标签；所述第一标签为所述待提取文本中所包含的语句的句首处添加的标签；所述第二标签为所述待提取文本中所包含的语句的句尾处添加的标签；所述初始向量集合中包括所述待提取文本中包含的词语的向量化表示信息、第一标签的向量化表示信息以及第二标签的向量化表示信息；

将所述初始向量集合输入至所述预设编码器中，得到所述初始向量集合中包含的向量化表示信息所对应的语义特征；所述预设编码器用于确定输入的向量化表示信息所对应的语义特征；

确定所述第一标签的向量化表示信息所对应的语义特征为所述待提取文本的全局语义特征。

4.根据权利要求2所述的方法，其中，基于所述问题生成模型中的第一预设全连接层，对所述全局语义特征进行分类预测处理，确定所述第一分类信息，包括：

基于所述第一预设全连接层，对所述全局语义特征进行处理，得到第一概率信息，所述第一概率信息表征待训练文本在具有疑问意图下的概率信息和待训练文本在不具有疑问意图下的概率信息；

根据所述第一概率信息，确定所述待提取文本的第一分类信息。

5.根据权利要求2-4中任一项所述的方法，其中，所述预设编码器用于基于多头自注意力机制对所述待提取文本进行特征提取。

6.根据权利要求2-4中任一项所述的方法，其中，确定所述待提取文本的局部语义特征，包括：

基于所述问题生成模型中的预设卷积层，对所述全局语义特征进行提取处理，得到所述待提取文本的局部语义特征。

7.根据权利要求2-4中任一项所述的方法，其中，根据所述局部语义特征，确定所述待提取文本包含的问题词语，包括：

基于所述问题生成模型中的第二预设全连接层，对所述局部语义特征进行分类预测处理，得到第二分类信息，其中，所述第二分类信息中包括所述待提取文本中所包含的词语对应的分类标签，所述分类标签用于指示所述词语是否为问题词语；

确定指示词语为问题词语的分类标签所对应的词语，为所述待提取文本对应的问题词语。

8.根据权利要求1所述的方法，还包括：

若确定所述待提取文本具有疑问意图，则确定预设问题库中的问题信息与所述待提取文本之间的语义相似度；

在所述预设问题库中，确定语义相似度大于预设阈值的问题信息，为所述待提取文本所对应的问题信息。

9.根据权利要求8所述的方法，其中，所述待提取文本的第一分类信息为基于问题生成模型中的第一预设全连接层和所述待提取文本的全局语义特征得到的；所述全局语义特征为基于问题生成模型中的预设编码器，对所述待提取文本所包含的全部词语的进行特征提取处理得到的；

确定预设问题库中的问题信息与所述待提取文本之间的语义相似度，包括：

基于所述预设编码器，对所述预设问题库中的问题信息进行特征提取，得到问题特征；

根据所述问题特征和所述全局语义特征，确定所述语义相似度。

10.根据权利要求8所述的方法，其中，推送所述问题信息，包括：

获取所述问题信息所对应的第一打分信息、所述问题信息中的字符数量和所述待提取文本的生成时间；其中，所述第一打分信息用于指示所确定的问题信息和待提取文本的关联度；

根据所述第一打分信息，所述问题信息中的字符数量和所述待提取文本的生成时间，确定所述问题信息所对应的评分信息；所述评分信息用于指示所述问题信息的质量；

根据所述评分信息，推送所述问题信息。

11.根据权利要求10所述的方法，其中，获取所述问题信息对应的第一打分信息，包括：

若确定所述问题信息不位于为根据所述待提取文本包含的问题词语所得到的，则根据所述问题信息中的问题词语所对应的第二概率信息、所述问题信息中的问题词语的数量和第一预设权重值，确定所述第一打分信息；所述第二概率信息用于指示所述词语为问题词语的概率；

若确定所述问题信息为位于所述预设问题库中，则根据所述问题信息对应的语义相似度和第二预设权重值，确定所述第一打分信息；其中，所述第一预设权重值大于所述第二预设权重值。

12. 根据权利要求10 所述的方法， 其中，根据所述第一打分信息，所述问题信息中的字符数量和所述待提取文本的生成时间，确定所述问题信息所对应的评分信息，包括：

根据所述待提取文本的生成时间，确定第二打分信息；其中，所述第二打分信息和所述生成时间呈正相关；

根据所述问题信息中的字符数量，确定第三打分信息，其中，所述第三打分信息和所述字符数量服从正态分布；

根据所述第一打分信息、所述第二打分信息和所述第三打分信息，确定所述问题信息所对应的评分信息。

13.一种基于文本的问题生成模型的训练方法，包括：

获取待训练文本；其中，所述待训练文本具有第一标识信息和第二标识信息，所述第一标识信息用于指示所述待训练文本是否具有疑问意图，所述第二标识信息用于指示所述待训练文本所包含的词语是否为问题词语；

根据所述待训练文本，对初始模型进行训练，得到问题生成模型，其中，所述问题生成模型用于对待提取文本进行意图识别，若确定所述待提取文本具有疑问意图，则确定所述待提取文本的局部语义特征，并根据所述局部语义特征，确定所述待提取文本包含的问题词语；所述局部语义特征是基于所述待提取文本的全局语义特征而得到的，每一词语所表征的语义为基于与该词语相邻的词语的特征得到的，所述局部语义特征用于指示所述待提取文本包含的词语在所述待提取文本的局部上下文中所表征的语义；所述局部上下文为所述待提取文本中与所述词语相邻的其余词语，所述全局语义特征用于指示所述待提取文本所对应的整体的语义特征。

14.根据权利要求13所述的方法，其中，根据所述待训练文本，对初始模型进行训练，得到问题生成模型，包括：

将所述待训练文本输入至所述初始模型，得到第一训练结果和第二训练结果，其中，第一训练结果用于指示所述初始模型所确定的所述待训练文本是否具有疑问意图；第二训练结果用于指示所述初始模型所确定的所述待训练文本中的词语是否为问题词语；

根据所述第一训练结果和所述第一标识信息，确定第一损失函数；

根据所述第二训练结果和所述第二标识信息，确定第二损失函数；

根据所述第一损失函数和所述第二损失函数，对所述初始模型进行参数调整，得到所述问题生成模型。

15.根据权利要求14所述的方法，其中，将所述待训练文本输入至所述初始模型，得到第一训练结果和第二训练结果，包括：

基于所述初始模型的初始编码器，对所述待训练文本进行特征提取处理，得到所述待训练文本的全局语义特征，其中，所述全局语义特征为根据所述待训练文本所包含的全部词语所得到的；

基于所述初始模型中的第一初始全连接层，对所述全局语义特征进行分类预测处理，确定所述第一训练结果；

基于所述初始模型中的初始卷积层，对所述待训练文本的全局语义特征进行提取处理，得到所述待训练文本的局部语义特征；

基于所述初始模型中的第二初始全连接层，对所述待训练文本的局部语义特征进行分类预测处理，得到第二训练结果，其中，所述第二训练结果中包括所述待训练文本中所包含的词语对应的分类标签，所述分类标签用于指示所述词语是否为问题词语。

16.根据权利要求15所述的方法，其中，基于所述初始模型的初始编码器，对所述待训练文本进行特征提取处理，得到所述待训练文本的全局语义特征，包括：

对所述待训练文本进行向量化处理，得到所述待训练文本所对应的样本向量集合，其中，所述待训练文本具有第三标签和第四标签；所述第三标签为所述待训练文本中所包含的语句的句首处添加的标签；所述第四标签为所述待训练文本中所包含的语句的句尾处添加的标签；所述样本向量集合中包括所述待训练文本中包含的词语的向量化表示信息、第三标签的向量化表示信息以及第四标签的向量化表示信息；

将所述样本向量集合输入至所述初始模型的初始编码器中，得到所述样本向量集合中包含的向量化表示信息所对应的语义特征；所述初始编码器用于确定输入的向量化表示信息所对应的语义特征；

确定所述第三标签的向量化表示信息所对应的语义特征为所述待训练文本的全局语义特征。

17.根据权利要求15所述的方法，其中，基于所述初始模型中的第一初始全连接层，对所述全局语义特征进行分类预测处理，确定所述第一训练结果，包括：

基于所述初始模型中的第一初始全连接层，对所述全局语义特征进行处理，得到第三概率信息，所述第三概率信息表征待训练文本在具有疑问意图下的概率信息和待训练文本在不具有疑问意图下的概率信息；

根据所述第三概率信息，确定所述待训练文本的第一训练结果。

18.根据权利要求15-17中任一项所述的方法，其中，所述初始模型中的初始编码器用于基于多头自注意力机制对所述待训练文本进行特征提取。

19.根据权利要求14所述的方法，其中，根据所述第一损失函数和所述第二损失函数，对所述初始模型进行参数调整，得到所述问题生成模型，包括：

对所述第一损失函数和所述第二损失函数进行求和处理，得到求和结果；

根据所述求和结果，对所述初始模型的参数进行调整，得到所述问题生成模型。

20.一种基于文本的问题生成装置，包括：

第一获取单元，用于获取待提取文本；

第一处理单元，用于对所述待提取文本进行意图识别处理，确定所述待提取文本的第一分类信息；其中，所述第一分类信息用于指示所述待提取文本是否具有疑问意图，所述第一分类信息是基于所述待提取文本的全局语义特征而得到的，所述全局语义特征用于指示所述待提取文本所对应的整体的语义特征；

第一确定单元，用于若确定所述待提取文本具有疑问意图，则确定所述待提取文本的局部语义特征；其中，所述局部语义特征是基于所述全局语义特征而得到的，每一词语所表征的语义为基于与该词语相邻的词语的特征得到的，所述局部语义特征用于指示所述待提取文本包含的词语在所述待提取文本的局部上下文中所表征的语义；所述局部上下文为所述待提取文本中与所述词语相邻的其余词语；

第二确定单元，用于根据所述局部语义特征，确定所述待提取文本包含的问题词语；

第三确定单元，用于确定所述问题词语为待提取文本对应的问题信息；

推送单元，用于推送所述问题信息。

21.根据权利要求20所述的装置，其中，第一处理单元，包括：

第一处理模块，用于基于问题生成模型中的预设编码器，对所述待提取文本进行特征提取处理，得到所述待提取文本的全局语义特征，其中，所述全局语义特征为根据所述待提取文本所包含的全部词语所得到的；

第二处理模块，用于基于所述问题生成模型中的第一预设全连接层，对所述全局语义特征进行分类预测处理，确定所述第一分类信息。

22.根据权利要求21所述的装置，其中，第一处理模块，包括：

第一处理子模块，用于对所述待提取文本进行向量化处理，得到所述待提取文本所对应的初始向量集合，其中，所述待提取文本具有第一标签和第二标签；所述第一标签为所述待提取文本中所包含的语句的句首处添加的标签；所述第二标签为所述待提取文本中所包含的语句的句尾处添加的标签；所述初始向量集合中包括所述待提取文本中包含的词语的向量化表示信息、第一标签的向量化表示信息以及第二标签的向量化表示信息；

输入子模块，用于将所述初始向量集合输入至所述预设编码器中，得到所述初始向量集合中包含的向量化表示信息所对应的语义特征；所述预设编码器用于确定输入的向量化表示信息所对应的语义特征；

第一确定子模块，用于确定所述第一标签的向量化表示信息所对应的语义特征为所述待提取文本的全局语义特征。

23.根据权利要求21所述的装置，其中，第二处理模块，包括：

第二处理子模块，用于基于所述第一预设全连接层，对所述全局语义特征进行处理，得到第一概率信息，所述第一概率信息表征待训练文本在具有疑问意图下的概率信息和待训练文本在不具有疑问意图下的概率信息；

第二确定子模块，用于根据所述第一概率信息，确定所述待提取文本的第一分类信息。

24.根据权利要求21-23中任一项所述的装置，其中，所述预设编码器用于基于多头自注意力机制对所述待提取文本进行特征提取。

25.根据权利要求21-23中任一项所述的装置，其中，第一确定单元，具体用于：

若确定所述待提取文本具有疑问意图，基于所述问题生成模型中的预设卷积层，对所述全局语义特征进行提取处理，得到所述待提取文本的局部语义特征。

26.根据权利要求21-23中任一项所述的装置，其中，第二确定单元，包括：

第三处理模块，用于基于所述问题生成模型中的第二预设全连接层，对所述局部语义特征进行分类预测处理，得到第二分类信息，其中，所述第二分类信息中包括所述待提取文本中所包含的词语对应的分类标签，所述分类标签用于指示所述词语是否为问题词语；

第一确定模块，用于确定指示词语为问题词语的分类标签所对应的词语，为所述待提取文本对应的问题词语。

27.根据权利要求20所述的装置，还包括：

第四确定单元，用于若确定所述待提取文本具有疑问意图，则确定预设问题库中的问题信息与所述待提取文本之间的语义相似度；

第五确定单元，用于在所述预设问题库中，确定语义相似度大于预设阈值的问题信息，为所述待提取文本所对应的问题信息。

28.根据权利要求27所述的装置，其中，所述待提取文本的第一分类信息为基于问题生成模型中的第一预设全连接层和所述待提取文本的全局语义特征得到的；所述全局语义特征为基于问题生成模型中的预设编码器，对所述待提取文本所包含的全部词语的进行特征提取处理得到的；

第四确定单元，包括：

提取模块，用于若确定所述待提取文本具有疑问意图，基于所述预设编码器，对所述预设问题库中的问题信息进行特征提取，得到问题特征；

第二确定模块，用于根据所述问题特征和所述全局语义特征，确定所述语义相似度。

29.根据权利要求27所述的装置，其中，推送单元，包括：

获取模块，用于获取所述问题信息所对应的第一打分信息、所述问题信息中的字符数量和所述待提取文本的生成时间；其中，所述第一打分信息用于指示所确定的问题信息和待提取文本的关联度；

第三确定模块，用于根据所述第一打分信息，所述问题信息中的字符数量和所述待提取文本的生成时间，确定所述问题信息所对应的评分信息；所述评分信息用于指示所述问题信息的质量；

推送模块，用于根据所述评分信息，推送所述问题信息。

30.根据权利要求29所述的装置，其中，获取模块，包括：

获取子模块，用于获取所述问题信息中的字符数量和所述待提取文本的生成时间；

第三确定子模块，用于若确定所述问题信息不位于为根据所述待提取文本包含的问题词语所得到的，则根据所述问题信息中的问题词语所对应的第二概率信息、所述问题信息中的问题词语的数量和第一预设权重值，确定所述第一打分信息；所述第二概率信息用于指示所述词语为问题词语的概率；

第四确定子模块，用于若确定所述问题信息为位于所述预设问题库中，则根据所述问题信息对应的语义相似度和第二预设权重值，确定所述第一打分信息；其中，所述第一预设权重值大于所述第二预设权重值。

31. 根据权利要求29 所述的装置，其中，第三确定模块，包括：

第五确定子模块，用于根据所述待提取文本的生成时间，确定第二打分信息；其中，所述第二打分信息和所述生成时间呈正相关；

第六确定子模块，用于根据所述问题信息中的字符数量，确定第三打分信息，其中，所述第三打分信息和所述字符数量服从正态分布；

第七确定子模块，用于根据所述第一打分信息、所述第二打分信息和所述第三打分信息，确定所述问题信息所对应的评分信息。

32.一种基于文本的问题生成模型的训练装置，包括：

第二获取单元，用于获取待训练文本；其中，所述待训练文本具有第一标识信息和第二标识信息，所述第一标识信息用于指示所述待训练文本是否具有疑问意图，所述第二标识信息用于指示所述待训练文本所包含的词语是否为问题词语；

训练单元，用于根据所述待训练文本，对初始模型进行训练，得到问题生成模型，其中，所述问题生成模型用于对待提取文本进行意图识别，若确定所述待提取文本具有疑问意图，则确定所述待提取文本的局部语义特征，并根据所述局部语义特征，确定所述待提取文本包含的问题词语；所述局部语义特征是基于所述待提取文本的全局语义特征而得到的，每一词语所表征的语义为基于与该词语相邻的词语的特征得到的，所述局部语义特征用于指示所述待提取文本包含的词语在所述待提取文本的局部上下文中所表征的语义；所述局部上下文为所述待提取文本中与所述词语相邻的其余词语，所述全局语义特征用于指示所述待提取文本所对应的整体的语义特征。

33.根据权利要求32所述的装置，其中，训练单元，包括：

输入模块，用于将所述待训练文本输入至所述初始模型，得到第一训练结果和第二训练结果，其中，第一训练结果用于指示所述初始模型所确定的所述待训练文本是否具有疑问意图；第二训练结果用于指示所述初始模型所确定的所述待训练文本中的词语是否为问题词语；

第四确定模块，用于根据所述第一训练结果和所述第一标识信息，确定第一损失函数；

第五确定模块，用于根据所述第二训练结果和所述第二标识信息，确定第二损失函数；

调整模块，用于根据所述第一损失函数和所述第二损失函数，对所述初始模型进行参数调整，得到所述问题生成模型。

34.根据权利要求33所述的装置，其中，输入模块，包括：

第三处理子模块，用于基于所述初始模型的初始编码器，对所述待训练文本进行特征提取处理，得到所述待训练文本的全局语义特征，其中，所述全局语义特征为根据所述待训练文本所包含的全部词语所得到的；

第四处理子模块，用于基于所述初始模型中的第一初始全连接层，对所述全局语义特征进行分类预测处理，确定所述第一训练结果；

第五处理子模块，用于基于所述初始模型中的初始卷积层，对所述待训练文本的全局语义特征进行提取处理，得到所述待训练文本的局部语义特征；

第六处理子模块，用于基于所述初始模型中的第二初始全连接层，对所述待训练文本的局部语义特征进行分类预测处理，得到第二训练结果，其中，所述第二训练结果中包括所述待训练文本中所包含的词语对应的分类标签，所述分类标签用于指示所述词语是否为问题词语。

35.根据权利要求34所述的装置，其中，第三处理子模块，具体用于：

对所述待训练文本进行向量化处理，得到所述待训练文本所对应的样本向量集合，其中，所述待训练文本具有第三标签和第四标签；所述第三标签为所述待训练文本中所包含的语句的句首处添加的标签；所述第四标签为所述待训练文本中所包含的语句的句尾处添加的标签；所述样本向量集合中包括所述待训练文本中包含的词语的向量化表示信息、第三标签的向量化表示信息以及第四标签的向量化表示信息；

将所述样本向量集合输入至所述初始模型的初始编码器中，得到所述样本向量集合中包含的向量化表示信息所对应的语义特征；所述初始编码器用于确定输入的向量化表示信息所对应的语义特征；

确定所述第三标签的向量化表示信息所对应的语义特征为所述待训练文本的全局语义特征。

36.根据权利要求34所述的装置，其中，第四处理子模块，具体用于：

基于所述初始模型中的第一初始全连接层，对所述全局语义特征进行处理，得到第三概率信息，所述第三概率信息表征待训练文本在具有疑问意图下的概率信息和待训练文本在不具有疑问意图下的概率信息；

根据所述第三概率信息，确定所述待训练文本的第一训练结果。

37.根据权利要求34-36中任一项所述的装置，其中，所述初始模型中的初始编码器用于基于多头自注意力机制对所述待训练文本进行特征提取。

38.根据权利要求33所述的装置，其中，调整模块，包括：

第七处理子模块，用于对所述第一损失函数和所述第二损失函数进行求和处理，得到求和结果；

调整子模块，用于根据所述求和结果，对所述初始模型的参数进行调整，得到所述问题生成模型。

39. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-19中任一项所述的方法。

40.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-19中任一项所述的方法。