CN116955561A - 问答方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了问答方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及自然语言处理、大语言模型、智慧办公技术领域。具体实现方案为：响应于问题解答请求，基于问答解答请求包括的问题文本，从示例文本库包括的多个示例文本中确定多个第一目标示例文本；利用多个第一目标示例文本对第一大语言模型进行强化学习，得到第二大语言模型；以及将问题文本输入第二大语言模型，得到针对问题文本的答案文本。

Description

问答方法、装置、电子设备以及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及自然语言处理、大语言模型、智慧办公技术领域。

背景技术

在智能化企业办公场景中，企业通过构建智能助手，使用户可以通过自然语言交互形式提问或者发出任务指令，智能助手可以通过自然语言理解回答用户问题或者执行用户指令任务。

发明内容

本公开提供了一种问答方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种问答方法，包括：响应于问题解答请求，基于所述问答解答请求包括的问题文本，从示例文本库包括的多个示例文本中确定多个第一目标示例文本；利用所述多个第一目标示例文本对第一大语言模型进行强化学习，得到第二大语言模型；以及将所述问题文本输入所述第二大语言模型，得到针对所述问题文本的答案文本。

根据本公开的另一方面，提供了一种问答装置，包括：第一确定模块，用于响应于问题解答请求，基于所述问答解答请求包括的问题文本，从示例文本库包括的多个示例文本中确定多个第一目标示例文本；第一处理模块，用于利用所述多个第一目标示例文本对第一大语言模型进行强化学习，得到第二大语言模型；以及解答模块，用于将所述问题文本输入所述第二大语言模型，得到针对所述问题文本的答案文本。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用问答方法及装置的示例性系统架构。

图2示意性示出了根据本公开实施例的问答方法的流程图。

图3示意性示出了根据本公开实施例的串行分解流程的示意图。

图4示意性示出了根据本公开实施例的应用第二大语言模型生成答案文本的流程示意图。

图5示意性示出了根据本公开另一实施例的问答方法的实施流程的示意图。

图6示意性示出了根据本公开实施例的问答装置的框图。

图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在传统企业办公场景中，用户在面临各种问题或需求时，通常需要去各种平台手动寻找答案或者完成任务。为提供用户的工作效率，相关技术提出了基于智能助手的智慧化办公方案，企业通过构建智能助手，使用户可以通过自然语言交互形式提问或者发出任务指令，智能助手可以通过自然语言理解回答用户问题或者执行用户指令任务。然而，相关技术中的智能助手通常基于规则或者意图分类模型识别用户意图后进行答案检索或者任务执行，仅能满足单一意图的简单问题，无法满足复杂问题的推理和个性化需求。

有鉴于此，本公开的实施例提供了一种问答方法、装置、电子设备以及存储介质，可以利用大语言模型(Large Language Model，LLM)作为基础，通过思维链技术，引导大模型对用户的复杂问题进行推理分解后回答。具体地，该问答方法包括：响应于问题解答请求，基于问答解答请求包括的问题文本，从示例文本库包括的多个示例文本中确定多个第一目标示例文本；利用多个第一目标示例文本对第一大语言模型进行强化学习，得到第二大语言模型；以及将问题文本输入第二大语言模型，得到针对问题文本的答案文本。

图1示意性示出了根据本公开实施例的可以应用问答方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用问答方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的问答方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。终端设备101、102、103上安装的通讯客户端应用可以提供文本框，用户可以在该文本框内输入需要解答的问题。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。服务器105可以配置有大语言模型，或者，服务器105可以具有大语言模型的调用接口。

需要说明的是，本公开实施例所提供的问答方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的问答装置也可以设置于终端设备101、102、或103中。

或者，本公开实施例所提供的问答方法一般也可以由服务器105执行。相应地，本公开实施例所提供的问答装置一般可以设置于服务器105中。本公开实施例所提供的问答方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的问答装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

例如，用户可以在终端设备101、102、103上安装的通讯客户端应用所提供的文本框中输入问题文本。终端设备101、102、103可以将问题文本通过网络104发送给服务器105。服务器105可以调用大语言模型，对接收的问题文本进行分解并解答，以得到针对问题文本的答案文本。服务器105可以将答案文本返回给终端设备101、102、103，以便终端设备101、102、103将答案文本在其显示屏上进行展示。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

图2示意性示出了根据本公开实施例的问答方法的流程图。

如图2所示，该方法包括操作S210～S230。

在操作S210，响应于问题解答请求，基于问答解答请求包括的问题文本，从示例文本库包括的多个示例文本中确定多个第一目标示例文本。

在操作S220，利用多个第一目标示例文本对第一大语言模型进行强化学习，得到第二大语言模型。

在操作S230，将问题文本输入第二大语言模型，得到针对问题文本的答案文本。

根据本公开的实施例，问题解答请求可以是由前端设备基于任意的通信协议发送的请求报文。任意的通信协议例如可以是HTTP协议(HyperText Transfer Protocol，超文本传输协议)、FTP协议(File Transfer Protocol，文本传输协议)等。问题解答请求可以包括请求行、请求头、请求体等部分。请求行可以包括请求方法、采用的通信协议及版本等信息。请求头可以包括前端设备的信息，例如包括该前端设备的设备标识等。请求体可以包括前端设备发送的数据，例如包括待解答的问题文本等。

根据本公开的实施例，示例文本库中可以包括多个示例文本，每个示例文本可以表示为一个文本对，即每个示例文本可以包括示例问题文本和示例推理结果文本，该示例推理结果文本可以表示为是否需要该问题文本进行分解的结果。例如，示例问题文本可以表示为“X是什么”，对应的示例推理结果文本可以表示为“不需要分解”。此外，对于表示复杂问题的示例文本，该示例文本中还可以包括针对该示例文本的示例问题文本的推理过程。例如，示例问题文本可以表示为“物品A和物品B的功能差异”，对应的示例推理结果文本可以表示为“需要并行分解”，对应的推理过程可以包括将示例问题文本进行并行分解所得到的子问题“物品A的功能是什么”和“物品B的功能是什么”。从多个示例文本中确定多个第一目标示例文本的方式可以包括但不限于随机选择、语义匹配、意图匹配等方式，在此不作限定。

根据本公开的实施例，示例文本库中包括的多个示例文本的来源在此不作限定，例如，可以包括由开发人员自定义的问题及分解解答过程，也可以包括各个业务系统的数据库中记录的业务实施过程中的问题及分解解答过程，在此不作限定。

根据本公开的实施例，利用多个第一目标示例文本对第一大语言模型进行强化学习，可以是利用大语言模型的小样本学习能力，引导第一大语言模型学习第一目标示例文本中展示的对示例问题文本进行推理分解的方式，以得到适于完成问题推理、解答任务的第二大语言模型。生成的第二大语言模型较于第一大语言模型，其模型参数可以保持不变。

根据本公开的实施例，将问题文本输入第二大语言模型之后，第二大语言模型可以参照第一目标示例文本中针对示例问题文本的问题推理解答方式，对该问题文本进行处理，以得到针对该问题文本的答案文本。

根据本公开的实施例，在进行问题文本的解答之前，可以利用与该问题文本相关的第一示例文本对第一大语言模型进行强化学习，以使得到的第二大语言模型可以适于对该问题文本的推理解答，从而可以有效提高大语言模型在复杂问题解答场景中的稳定性和准确性，可以充分利用大型语言模型的推理能力，减少人工配置复杂问题分解模式规则，提高了复杂问题解答的灵活性和可扩展性。

下面参考图3～图5，结合具体实施例对图2所示的方法做进一步说明。

根据本公开的实施例，可以通过语义匹配的方式，从多个示例文本中确定多个第一目标示例文本。具体地，可以对问题文本进行语义解析，得到问题文本的语义信息；将问题文本的语义信息分别和多个示例文本各自包括的示例问题文本的语义信息进行匹配，得到多个匹配结果；以及基于多个匹配结果，从多个示例文本中确定多个第一目标示例文本。

根据本公开的实施例，问题文本的语义信息可以是问题文本的词嵌入特征。可以对问题文本进行分词处理，得到问题文本包括的多个词，再分别对多个词进行词向量的嵌入，得到每个词的嵌入向量，可以将多个词的嵌入向量进行拼接，以得到该问题文本的词嵌入特征。相应的，示例文本包括的示例问题文本的语义信息可以是该示例问题文本的词嵌入特征。

根据本公开的实施例，问题文本的语义信息也可以是问题文本的编码特征。可以直接利用编码器对问题文本进行编码，以得到该问题文本的编码特征。

根据本公开的实施例，在将问题文本的语义信息与示例问题文本的语义信息进行匹配时，可以计算该问题文本的语义信息与示例问题文本的语义信息之间的相似度指标，并根据该相似度指标来确定问题文本的语义信息与示例问题文本的语义信息之间的匹配程度。该相似度指标可以包括但不限于欧式距离、马氏距离、切比雪夫距离、余弦相似度、相关系数、均方根误差等，在此不作限定。

根据本公开的实施例，作为一种可选实施方式，在对问题文本和示例文本进行匹配时，也可以使用问题文本的语义信息和示例文本包括的示例答案文本的语义信息进行匹配，以从多个示例文本中确定多个第一目标示例文本。

根据本公开的实施例，匹配结果可以包括表示匹配和表示不匹配的匹配结果，在基于匹配结果，从多个示例文本中确定多个第一目标示例文本时，可以从匹配结果表示为匹配的多个示例文本中，通过随机选择的方式确定多个第一目标示例文本。或者，匹配结果可以是一个基于该相似度指标来确定的数值，在基于匹配结果，从多个示例文本中确定多个第一目标示例文本时，可以根据多个示例文本各自的匹配结果的数值，对多个示例文本进行排序，从选择具有最大匹配结果的数值的多个示例文本作为该多个第一目标示例文本。

根据本公开的实施例，在多个示例文本可以分为多个类别时，可以分别从每个类别的示例文本中选择一个或多个第一目标示例文本。例如，可以将示例文本库包括的多个示例文本，按照多个示例文本各自包括的示例问题文本所属的问题类型进行分类，以得到多个示例文本集，每个示例文本集可以对应于一个问题类型，每个示例文本集可以包括多个示例文本。在基于匹配结果，从多个示例文本中确定多个第一目标示例文本时，可以基于多个匹配结果和多个示例文本各自属于的问题类型，从与每个问题类型相关的多个示例文本中，即与每个问题类型相关的示例文本集中确定至少一个第一目标示例文本，得到多个第一目标示例文本。

根据本公开的实施例，作为一种可选实施方式，也可以使用问题文本的其他特征或信息进行与示例文本的匹配。例如，可以利用意图识别模型，对问题文本进行意图识别，得到该问题文本的意图识别信息，并利用该问题文本的意图识别信息，与多个示例文本各自的意图识别信息进行匹配，得到多个匹配结果，再基于该多个匹配结果，从多个示例文本中确定多个第一目标示例文本。

根据本公开的实施例，在确定多个第一目标示例文本后，利用多个第一目标示例文本对第一大语言模型进行强化学习，得到第二大语言模型，可以包括如下操作：

基于多个第一目标示例文本，生成提示实例；以及将提示实例输入第一大语言模型，对第一大语言模型进行强化学习，得到第二大语言模型。

根据本公开的实施例，例如，多个第一目标示例文本可以包括文本A、文本B和文本C。文本A可以表示为“问题：X是什么。分解：不需要分解”。文本B可以表示为“问题：物品A和物品B的功能差异。分解：需要并行分解。子问题：物品A的功能是什么；物品B的功能是什么”。文本C可以表示为“问题：物品A是否具有物品B的功能。分解：需要串行分解。子问题：物品B的功能是什么。子问题答案：物品B具有功能C。子问题：物品A是否具有功能C。子问题答案：物品A不具有功能C。子问题：结束”。可以将指示文本和文本A、文本B、文本C进行拼接，再对拼接后的文本进行格式转换，以得到适于输入第一大语言模型的提示实例。该指示文本可以是表示学习目的的文本，例如，该指示文本可以表示为“你是一个企业内部智能助手，你的任务是根据员工问题，推理判断员工问题是否需要分解以及如何分解回答。请按照示例补全对话”。

根据本公开的实施例，可以将生成的提示实例输入第一大语言模型，以实现对第一大语言模型的强化学习，得到第二大语言模型。

根据本公开的实施例，将问题文本输入第二大语言模型，得到针对问题文本的答案文本，可以包括如下操作：

将问题文本输入第二大语言模型，得到第一输出信息；以及基于第一输出信息包括的问题类型信息处理问题文本，得到针对问题文本的答案文本。

根据本公开的实施例，问题类型信息可以用于表示问题文本的问题类型。问题类型可以包括标准问题类型、串行问题类型和并行问题类型。标准问题类型可以表示为无需进行问题拆解的问题类型。串行问题类型可以表示为需要进行串行分解的问题类型。并行问题类型可以表示为需要进行并行分解的问题类型。

根据本公开的实施例，与示例文本的结构类似的，第二大语言模型输出的第一输出信息可以包含示例文本中除“问题”字段之外的字段部分。具体地，第一输出信息可以至少包括“分解”字段和“子问题”字段。在该问题文本的问题类型为标准问题类型的情况下，该“子问题”字段的内容可以为空，也可以为原本的问题文本。

根据本公开的实施例，在问题类型信息表示问题文本的问题类型为标准问题类型的情况下，基于第一输出信息包括的问题类型信息处理问题文本，得到针对问题文本的答案文本，可以包括如下操作：

对问题文本进行意图匹配，得到答案文本。

根据本公开的实施例，对问题文本进行意图匹配，可以是利用意图识别模型，对问题文本进行意图识别，以得到该问题文本的意图信息。该意图识别模型可以配置有一个QA(Question-Answer，问题-答案)文本库。在得到该问题文本的意图信息后，可以基于该QA文本库，通过对QA文本库中的问题文本进行意图匹配，或者，对QA文本库中的答案文本进行意图匹配的方式，来完成意图信息的匹配。在确定QA文本库中完成匹配的文本对象后，可以取该文本对象的答案文本作为针对该问题文本的答案文本。

根据本公开的实施例，在问题类型信息表示问题文本的问题类型为串行问题类型的情况下，可以迭代式地进行子问题的生成与解答，以得到答案文本。具体地，基于第一输出信息包括的问题类型信息处理问题文本，得到针对问题文本的答案文本，可以包括如下操作：

解析第一输出信息，得到第一子问题文本；在确定第一子问题文本不包含结束标识信息的情况下，对第一子问题文本进行意图匹配，得到针对第一子问题文本的第一子答案文本；将第一子答案文本写入初始答案文本；以及将第一子答案文本输入第二大语言模型，得到新的第一输出信息。

根据本公开的实施例，第一输出信息中可以仅包括一个分解得到的子问题。第二大语言模型在针对串行问题类型的问题文本进行问题拆分时，其它子问题可能会因组成要素不完整，而无法进行输出。例如，针对问题文本“物品A是否具有物品B的功能”，第二大语言模型经示例文本的指导后，可以从该问题文本中分解得到第一子问题文本“物品B的功能是什么”，而另一个应当存在的第一子问题文本“物品A是否具有该功能”，由于缺乏物品B的功能之一要素，因此，该第一子问题在此时无法通过第二大语言模型输出得到。

根据本公开的实施例，对第一子问题文本进行意图匹配可以使用对问题文本进行意图匹配，得到答案文本时相同或相似的方案来实现，在此不再赘述。

根据本公开的实施例，结束标识信息可以表示为一段文本，例如，该结束标识信息表示的文本可以为“结束”。或者，结束标识信息可以表示为一个字符串，例如，该结束表示信息表示的字符串可以为“end”等。结束标识信息的表现形式在此不作限定。

根据本公开的实施例，在确定第一子问题文本包含结束标识信息的情况下，可以确定所有应当存在的子问题均已输出，即问题文本的串行拆分过程已经结束。

根据本公开的实施例，在确定第一子问题文本不包含结束标识信息的情况下，可以确定原问题文本中还可以包括能够分解的子问题，此时，可以将针对上一个第一子问题文本的第一子答案文本输入到该第二大语言模型中，以便该第二大语言模型从该第一子答案文本中提取要素信息，并将该要素信息对该能够分解的子问题进行补充，输出新的第一输出信息，该新的第一输出信息中可以包括新的第一子问题文本。

图3示意性示出了根据本公开实施例的串行分解流程的示意图。

如图3所示，该串行分解流程可以包括操作S301～S306。

在操作S301，解析第一输出信息，得到第一子问题文本。

在操作S302，判断第一子问题文本是否包含结束标识信息。在确定第一子问题文本包含结束标识信息的情况下，执行操作S303。在确定第一子问题文本不包含结束标识信息的情况下，执行操作S306。

在操作S303，对第一子问题文本进行意图匹配，得到针对第一子问题文本的第一子答案文本。

在操作S304，将第一子答案文本写入初始答案文本。

在操作S305，将第一子答案文本输入第二大语言模型，得到新的第一输出信息。在完成操作S305之后，基于新的第一输出信息，返回执行操作S301。

在操作S306，确定完成问题文本的串行分解。

根据本公开的实施例，在确定第一子问题文本包含结束标识信息的情况下，可以确定所有应当存在的子问题均已输出且进行了解答，且所有子问题的第一子答案文本均已写入初始答案文本中，此时，可以将初始答案文本输入第二大语言模型，使用第二大语言模型对初始答案文本中的多个第一子答案文本进行归纳总结，得到答案文本。

根据本公开的实施例，在问题类型信息表示问题文本的问题类型为并行问题类型的情况下，第二大语言模型可以一次性地生成所有子问题。具体地，基于第一输出信息包括的问题类型信息处理问题文本，得到针对问题文本的答案文本，可以包括如下操作：

解析第一输出信息，得到多个第二子问题文本；分别对多个第二子问题文本进行意图匹配，得到分别针对多个第二子问题文本的多个第二子答案文本；以及将多个第二子答案文本输入第二大语言模型，得到答案文本。

根据本公开的实施例，分别对多个第二子问题文本进行意图匹配可以使用对问题文本进行意图匹配，得到答案文本时相同或相似的方案来实现，在此不再赘述。

根据本公开的实施例，可以使用第二大语言模型对多个第二子答案文本进行归纳总结，以得到答案文本。

根据本公开的实施例，应用本公开实施例提供的复杂问题的串行及并行拆解方式，可以无需为复杂问题进行分解模式规则的遍历设置，从而可以有效降低复杂问题分解的实施成本，提高了问答系统应用的灵活性和可扩展性。

图4示意性示出了根据本公开实施例的应用第二大语言模型生成答案文本的流程示意图。

如图4所示，可以将问题文本401输入第二大语言模型402中。第二大语言模型402可以对问题文本401进行问题类型的判断，将问题文本401确定为不需要分解的问题、需要串行分解的问题、或需要并行分解的问题。

在确定该问题文本401为不需要分解的问题时，可以直接对该问题文本401进行意图匹配，以得到针对该问题文本401的答案文本403。

在确定该问题文本401为需要串行分解的问题时，第二大语言模型402可以输出一个要素完整的第一子问题文本404。可以判断该第一子问题文本404是否为“结束”。在确定该第一子问题文本404不是“结束”的情况下，可以对该第一子问题文本404进行意图匹配，得到针对该第一子问题文本404的第一子答案文本405。可以使用第二大语言模型402继续处理该第一子答案文本405，以从该第一子答案文本405中提取要素信息，并基于该要素信息来生成新的第一子问题文本404。针对每个第一子问题文本404的第一子答案文本405可以记录在初始答案文本406中，在确定该第一子问题文本404表示为“结束”的情况下，可以将该初始答案文本406输入第二大语言模型402，以得到答案文本403。

在确定该问题文本401为需要并行分解的问题时，第二大语言模型402可以输出多个第二子问题文本407。可以分别对多个第二子问题文本407进行意图匹配，得到多个第二子答案文本408。可以将多个第二子答案文本408输入第二大语言模型402，以得到答案文本403。

根据本公开的实施例，可选地，如上的对问题文本、第一问题子文本或第二问题子文本进行意图匹配，也可以通过调用当前系统的下游的意图识别系统来实现。具体地，以问题文本为例，可以向该下游的意图识别系统发送问题文本，该下游的意图识别系统可以使用配置于该系统的意图识别模型对问题文本进行意图匹配，以得到答案文本，在此不再赘述。该下游的意图识别系统可以将答案文本反馈给当前系统，以便当前系统从该下游的意图识别系统的反馈信息中得到该答案文本。

根据本公开的实施例，可选地，如上的对问题文本、第一问题子文本或第二问题子文本进行意图匹配，得到对应的答案文本，也可以替换为对问题文本、第一问题子文本或第二问题子文本进行语义匹配，得到对应的答案文本。在进行语义匹配时，可以使用语义识别模型，配置一个QA文本库完成语义匹配，也可以利用下游的语义识别系统来完成语义匹配，在此不作限定。

根据本公开的实施例，由于用户问题诉求具有多样性，其表达方式丰富，通过提示实例进行强化学习的效果不稳定。因此，作为一种可选实施方式，可以利用更多的样例数据，对大语言模型进行模型微调，以使得大语言模型的推理分解更为稳定准确。具体地，可以从多个示例文本中确定多个第二目标示例文本；以及基于多个第二目标示例文本，对初始大语言模型进行模型微调，得到第一大语言模型。

根据本公开的实施例，与多个第一目标示例文本的选取方式类似的，多个第二目标示例文本也可以包括属于各个问题类型的示例文本，在此不再赘述。

根据本公开的实施例，模型微调的过程可以使用各种大模型微调工具来实现，该大模型微调工具可以包括Open Delta、MindSpore PET等，在此不作限定。

根据本公开的实施例，作为一种可选实施方式，还可以利用总结示例文本对答案文本的生成过程进行优化，该总结示例文本可以包括由分别针对多个示例子问题的多个示例子答案构成的输入文本，和表示最终答案的输出文本。

图5示意性示出了根据本公开另一实施例的问答方法的实施流程的示意图。

如图5所示，在接收到问题文本501后，可以利用多个第一目标示例文本502对第一大语言模型503进行强化学习，得到第二大语言模型504。同时，可以利用多个总结示例文本505对第一大语言模型503进行强化学习，得到第三大语言模型506。得到的第三大语言模型506可以适于对多个输入文本进行总结归纳，以得到最终的输出文本。

可以将问题文本501输入第二大语言模型504，得到问题文本501的问题类型信息507。在该问题类型信息507表示为无需分解的情况下，可以对问题文本501进行意图匹配，以得到答案文本508。在该问题类型信息507表示为需要分解的情况下，可以通过第二大语言模型504得到由问题文本501分解得到的多个子问题文本各自的子答案文本509。可以将多个子答案文本509输入第三大语言模型506，得到答案文本508。

根据本公开的实施例，具体地，在问题文本的问题类型信息表示该问题文本的问题类型为串行问题类型的情况下，可以使用该第三大语言模型处理该初始答案文本中包括的多个第一子答案文本，以得到针对问题文本的答案文本。相应地，在问题文本的问题类型信息表示该问题文本的问题类型为并行问题类型的情况下，可以使用该第三大语言模型处理多个第二子答案文本，以得到针对问题文本的答案文本。

图6示意性示出了根据本公开实施例的问答装置的框图。

如图6所示，问答装置600可以包括第一确定模块610、第一处理模块620和解答模块630。

第一确定模块610，用于响应于问题解答请求，基于问答解答请求包括的问题文本，从示例文本库包括的多个示例文本中确定多个第一目标示例文本。

第一处理模块620，用于利用多个第一目标示例文本对第一大语言模型进行强化学习，得到第二大语言模型。

解答模块630，用于将问题文本输入第二大语言模型，得到针对问题文本的答案文本。

根据本公开的实施例，解答模块630包括第一解答单元和第二解答单元。

第一解答单元，用于将问题文本输入第二大语言模型，得到第一输出信息。

第二解答单元，用于基于第一输出信息包括的问题类型信息处理问题文本，得到针对问题文本的答案文本。

根据本公开的实施例，第二解答单元包括第一解答子单元、第二解答子单元、第三解答子单元和第四解答子单元。

第一解答子单元，用于在问题类型信息表示问题文本的问题类型为串行问题类型的情况下，解析第一输出信息，得到第一子问题文本。

第二解答子单元，用于在确定第一子问题文本不包含结束标识信息的情况下，对第一子问题文本进行意图匹配，得到针对第一子问题文本的第一子答案文本。

第三解答子单元，用于将第一子答案文本写入初始答案文本。

第四解答子单元，用于将第一子答案文本输入第二大语言模型，得到新的第一输出信息。

根据本公开的实施例，第二解答单元还包括第五解答子单元。

第五解答子单元，用于在确定第一子问题文本包含结束标识信息的情况下，将初始答案文本输入第二大语言模型，得到答案文本。

根据本公开的实施例，第二解答单元包括第六解答子单元、第七解答子单元和第八解答子单元。

第六解答子单元，用于在问题类型信息表示问题文本的问题类型为并行问题类型的情况下，解析第一输出信息，得到多个第二子问题文本。

第七解答子单元，用于分别对多个第二子问题文本进行意图匹配，得到分别针对多个第二子问题文本的多个第二子答案文本。

第八解答子单元，用于将多个第二子答案文本输入第二大语言模型，得到答案文本。

根据本公开的实施例，第二解答单元包括第九解答子单元。

第九解答子单元，用于在问题类型信息表示问题文本的问题类型为标准问题类型的情况下，对问题文本进行意图匹配，得到答案文本。

根据本公开的实施例，第一确定模块610包括第一确定单元、第二确定单元和第三确定单元。

第一确定单元，用于对问题文本进行语义解析，得到问题文本的语义信息。

第二确定单元，用于将问题文本的语义信息分别和多个示例文本各自包括的示例问题文本的语义信息进行匹配，得到多个匹配结果。

第三确定单元，用于基于多个匹配结果和多个示例文本各自属于的问题类型，从与每个问题类型相关的多个示例文本中确定至少一个第一目标示例文本，得到多个第一目标示例文本。

根据本公开的实施例，第一处理模块620包括第一处理单元和第二处理单元。

第一处理单元，用于基于多个第一目标示例文本，生成提示实例。

第二处理单元，用于将提示实例输入第一大语言模型，对第一大语言模型进行强化学习，得到第二大语言模型。

根据本公开的实施例，问答装置600还包括第二确定模块和第二处理模块。

第二确定模块，用于从多个示例文本中确定多个第二目标示例文本。

第二处理模块，用于基于多个第二目标示例文本，对初始大语言模型进行模型微调，得到第一大语言模型。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至输入/输出(I/O)接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如问答方法。例如，在一些实施例中，问答方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的问答方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行问答方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种问答方法，包括：

响应于问题解答请求，基于所述问答解答请求包括的问题文本，从示例文本库包括的多个示例文本中确定多个第一目标示例文本；

利用所述多个第一目标示例文本对第一大语言模型进行强化学习，得到第二大语言模型；以及

将所述问题文本输入所述第二大语言模型，得到针对所述问题文本的答案文本。

2.根据权利要求1所述的方法，其中，所述将所述问题文本输入所述第二大语言模型，得到针对所述问题文本的答案文本，包括：

将所述问题文本输入所述第二大语言模型，得到第一输出信息；以及

基于所述第一输出信息包括的问题类型信息处理所述问题文本，得到针对所述问题文本的答案文本。

3.根据权利要求2所述的方法，其中，所述基于所述第一输出信息包括的问题类型信息处理所述问题文本，得到针对所述问题文本的答案文本，包括：

在所述问题类型信息表示所述问题文本的问题类型为串行问题类型的情况下，解析所述第一输出信息，得到第一子问题文本；

在确定所述第一子问题文本不包含结束标识信息的情况下，对所述第一子问题文本进行意图匹配，得到针对所述第一子问题文本的第一子答案文本；

将所述第一子答案文本写入初始答案文本；以及

将所述第一子答案文本输入所述第二大语言模型，得到新的第一输出信息。

4.根据权利要求3所述的方法，还包括：

在确定所述第一子问题文本包含所述结束标识信息的情况下，将所述初始答案文本输入所述第二大语言模型，得到所述答案文本。

5.根据权利要求2所述的方法，其中，所述基于所述第一输出信息包括的问题类型信息处理所述问题文本，得到针对所述问题文本的答案文本，包括：

在所述问题类型信息表示所述问题文本的问题类型为并行问题类型的情况下，解析所述第一输出信息，得到多个第二子问题文本；

分别对所述多个第二子问题文本进行意图匹配，得到分别针对所述多个第二子问题文本的多个第二子答案文本；以及

将所述多个第二子答案文本输入所述第二大语言模型，得到所述答案文本。

6.根据权利要求2所述的方法，其中，所述基于所述第一输出信息包括的问题类型信息处理所述问题文本，得到针对所述问题文本的答案文本，包括：

在所述问题类型信息表示所述问题文本的问题类型为标准问题类型的情况下，对所述问题文本进行意图匹配，得到所述答案文本。

7.根据权利要求1所述的方法，其中，所述基于所述问答解答请求包括的问题文本，从示例文本库包括的多个示例文本中确定多个第一目标示例文本，包括：

对所述问题文本进行语义解析，得到所述问题文本的语义信息；

将所述问题文本的语义信息分别和所述多个示例文本各自包括的示例问题文本的语义信息进行匹配，得到多个匹配结果；以及

基于所述多个匹配结果和所述多个示例文本各自属于的问题类型，从与每个所述问题类型相关的多个示例文本中确定至少一个第一目标示例文本，得到所述多个第一目标示例文本。

8.根据权利要求1所述的方法，其中，所述利用所述多个第一目标示例文本对第一大语言模型进行强化学习，得到第二大语言模型，包括：

基于所述多个第一目标示例文本，生成提示实例；以及

将所述提示实例输入所述第一大语言模型，对所述第一大语言模型进行强化学习，得到所述第二大语言模型。

9.根据权利要求1所述的方法，还包括：

从所述多个示例文本中确定多个第二目标示例文本；以及

基于所述多个第二目标示例文本，对初始大语言模型进行模型微调，得到所述第一大语言模型。

10.一种问答装置，包括：

第一确定模块，用于响应于问题解答请求，基于所述问答解答请求包括的问题文本，从示例文本库包括的多个示例文本中确定多个第一目标示例文本；

第一处理模块，用于利用所述多个第一目标示例文本对第一大语言模型进行强化学习，得到第二大语言模型；以及

解答模块，用于将所述问题文本输入所述第二大语言模型，得到针对所述问题文本的答案文本。

11.根据权利要求10所述的装置，其中，所述解答模块包括第一解答单元和第二解答单元；

第一解答单元，用于将所述问题文本输入所述第二大语言模型，得到第一输出信息；以及

第二解答单元，用于基于所述第一输出信息包括的问题类型信息处理所述问题文本，得到针对所述问题文本的答案文本。

12.根据权利要求11所述的装置，其中，所述第二解答单元包括第一解答子单元、第二解答子单元、第三解答子单元和第四解答子单元；

第一解答子单元，用于在所述问题类型信息表示所述问题文本的问题类型为串行问题类型的情况下，解析所述第一输出信息，得到第一子问题文本；

第二解答子单元，用于在确定所述第一子问题文本不包含结束标识信息的情况下，对所述第一子问题文本进行意图匹配，得到针对所述第一子问题文本的第一子答案文本；

第三解答子单元，用于将所述第一子答案文本写入初始答案文本；以及

第四解答子单元，用于将所述第一子答案文本输入所述第二大语言模型，得到新的第一输出信息。

13.根据权利要求12所述的装置，所述第二解答单元还包括第五解答子单元；

第五解答子单元，用于在确定所述第一子问题文本包含所述结束标识信息的情况下，将所述初始答案文本输入所述第二大语言模型，得到所述答案文本。

14.根据权利要求11所述的装置，其中，所述第二解答单元包括第六解答子单元、第七解答子单元和第八解答子单元；

第六解答子单元，用于在所述问题类型信息表示所述问题文本的问题类型为并行问题类型的情况下，解析所述第一输出信息，得到多个第二子问题文本；

第七解答子单元，用于分别对所述多个第二子问题文本进行意图匹配，得到分别针对所述多个第二子问题文本的多个第二子答案文本；以及

第八解答子单元，用于将所述多个第二子答案文本输入所述第二大语言模型，得到所述答案文本。

15.根据权利要求11所述的装置，其中，所述第二解答单元包括第九解答子单元；

第九解答子单元，用于在所述问题类型信息表示所述问题文本的问题类型为标准问题类型的情况下，对所述问题文本进行意图匹配，得到所述答案文本。

16.根据权利要求10所述的装置，其中，所述第一确定模块包括第一确定单元、第二确定单元和第三确定单元；

第一确定单元，用于对所述问题文本进行语义解析，得到所述问题文本的语义信息；

第二确定单元，用于将所述问题文本的语义信息分别和所述多个示例文本各自包括的示例问题文本的语义信息进行匹配，得到多个匹配结果；以及

第三确定单元，用于基于所述多个匹配结果和所述多个示例文本各自属于的问题类型，从与每个所述问题类型相关的多个示例文本中确定至少一个第一目标示例文本，得到所述多个第一目标示例文本。

17.根据权利要求10所述的装置，其中，所述第一处理模块包括第一处理单元和第二处理单元；

第一处理单元，用于基于所述多个第一目标示例文本，生成提示实例；以及

第二处理单元，用于将所述提示实例输入所述第一大语言模型，对所述第一大语言模型进行强化学习，得到所述第二大语言模型。

18.根据权利要求10所述的装置，还包括第二确定模块和第二处理模块；

第二确定模块，用于从所述多个示例文本中确定多个第二目标示例文本；以及

第二处理模块，用于基于所述多个第二目标示例文本，对初始大语言模型进行模型微调，得到所述第一大语言模型。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。