CN117556906A - 问答数据集生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种问答数据集生成方法、装置、电子设备及存储介质，涉及计算机技术领域；本申请可以获取多个待使用问句；根据待使用问句的问句类型以及预设指令模板，生成待使用问句对应的待交互指令；利用指定模型对待交互指令进行推理，以在指定页面中展示所述待交互指令对应的响应内容；在利用指定模型对待交互指令进行推理的过程中，根据指定页面中的视觉元素，对响应内容进行响应校验；若通过响应校验，将响应内容确定为待交互指令对应的回复内容；根据待交互指令以及待交互指令对应的回复内容，生成问答数据集。利用视觉元素进行响应校验，可及时获知到推理完成的时刻，避免长时间的等待，从而可提升问答数据集的生成效率。

Description

问答数据集生成方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种问答数据集生成方法、装置、电子设备及存储介质。

背景技术

近年来，随着人工智能技术的快速发展，人们开始依赖人工智能技术完成一些任务或者快速获取知识。例如，通过对神经网络模型的训练，可以使得神经网络模型具备解答用户疑问的能力，人们可直接向神经网络模型进行提问，以快速获取相应的答案。

通常，为了使得神经网络模型具备解答用户的疑问的能力，需要使用大量的问答对训练神经网络模型。目前，这些问答对的生成依赖于人工，需要耗费大量的人力和时间，难以快速生成训练神经网络模型所需的问答数据集。

发明内容

本申请实施例提供一种问答数据集生成方法、装置、电子设备及存储介质，可以有效提升问答数据集的生成效率。

本申请实施例提供一种问答数据集生成方法，该方法包括：

获取多个待使用问句；

根据所述待使用问句的问句类型以及预设指令模板，生成所述待使用问句对应的待交互指令；

针对每个所述待交互指令，利用指定模型对所述待交互指令进行推理，以在指定页面中展示所述待交互指令对应的响应内容，其中，所述指定页面为与所述指定模型进行交互的页面；

在利用指定模型对所述待交互指令进行推理的过程中，根据所述指定页面中的视觉元素，对所述响应内容进行响应校验；

若所述响应内容通过所述响应校验，将所述响应内容确定为所述待交互指令对应的回复内容；

根据所述待交互指令以及所述待交互指令对应的回复内容，生成问答数据集。

本申请实施例还提供一种问答数据集生成装置，该装置包括：

获取模块，用于获取多个待使用问句；

指令生成模块，用于根据所述待使用问句的问句类型以及预设指令模板，生成所述待使用问句对应的待交互指令；

推理模块，用于针对每个所述待交互指令，利用指定模型对所述待交互指令进行推理，以在指定页面中展示所述待交互指令对应的响应内容，其中，所述指定页面为与所述指定模型进行交互的页面；

校验模块，用于在利用指定模型对所述待交互指令进行推理的过程中，根据所述指定页面中的视觉元素，对所述响应内容进行响应校验；

确定模块，用于若所述响应内容通过所述响应校验，将所述响应内容确定为所述待交互指令对应的回复内容；

数据集生成模块，用于根据所述待交互指令以及所述待交互指令对应的回复内容，生成问答数据集。

本申请实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种问答数据集生成方法中的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种问答数据集生成方法中的步骤。

本申请实施例可以获取到多个待使用问句，并基于待使用问句的类型和预设指令模板，生成待交互指令，利用指定模型对待交互指令进行推理，以在指定页面中展示响应内容，在推理的过程中，利用指定页面中的视觉元素对响应内容进行响应校验，在通过响应校验时，确定响应内容为回复内容，并基于待交互指令和对应的回复内容，生成问答数据集。整个过程全程自动化执行，无需人工干涉，可节约人力，且利用视觉元素进行响应校验，可及时获知到推理完成的时刻，避免长时间的等待，从而可提升问答数据集的生成效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的问答数据集生成方法的流程示意图；

图2是本申请实施例提供的指定页面的示意图；

图3是本申请实施例提供的响应校验的流程示意图；

图4是本申请实施例提供的确定响应内容的长度的示意图；

图5是本申请实施例提供的问答数据集生成方法的整体流程示意图；

图6是本申请实施例提供的问答数据集生成装置的结构示意图；

图7是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着人工智能技术的快速发展，生成式模型应运而生，生成式模型可根据输入，生成与输入匹配的内容，例如，智能问答模型中，可给出输入对应的答复。人们可利用生成式模型完成各种任务，例如，向生成式模型提问，以获取提问对应的答案，实现快速获取知识。发明人在研究中发现，这类模型想要实现智能问答的功能，需要使用大量的训练数据去训练模型，而训练数据的获取大多是依赖人工，通过人为构造训练数据的效率低下，导致难以快速获取到大量的训练数据来训练模型。因此，发明人提出了本申请中的一种问答数据集生成方法、装置、电子设备及存储介质，以快速获取到问答数据集。

可以理解的是，在本申请的具体实施方式中，涉及到用户信息等相关的数据，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

在本实施例中，提供了一种问答数据集生成方法，如图1所示，该问答数据集生成方法的具体流程可以如下：

S110、获取多个待使用问句。

待使用问句是指在构建数据集的过程中所需要使用的问句，问句则是用于提出问题或询问信息的语句，例如，今天是什么天气等。

待使用问句可用于后续生成问答数据集，待使用问句所涉及的领域和问答数据集的使用目的相关。例如，构建问答数据集是为了训练中医领域的问答模型，则待使用问句为中医领域中可能出现的问句；又例如，构建数据集是为了训练金融领域的问答模型，则待使用问句为金融领域中可能出现的问句；又例如，构建数据集是为了训练法律领域的问答模型，则待使用问句为法律领域中可能出现的问句。下面仅以中医领域为例进行详细说明。

在一些实施方式中，获取待使用问句时，可以是先获取和中医领域相关的公开资料，例如，书籍、文章、报告、论文等，形成中医知识数据库，再从中医知识数据库中抽取出待使用问句。例如，可以是从中医知识数据库中抽取出和中医相关的实体，利用实体和提问模板生成待使用问句。

其中，该实体可以包括中医中的专业术语、中医药名称、症状等，专业术语可以包括经络、针灸、辨证论治、五行等，中医药名称可以包括天然草药的名称、动物药的名称、矿物药的名称等，症状可以包括咳嗽、发热、头痛等。提问模板的内容和数量可根据实际的需要进行设置，例如，提问模板为“[实体]是什么？”，将实体填充至提问模板中，即可得到待使用问句。如实体为“五行”，利用提问模板生成的待使用问句为“五行是什么？”。

在一些实施方式中，可以获取中医领域中已经公开的问句集合，直接将获取到的问句集合中的内容作为待使用问句。在一些实施方式中，还可以是人工构建待使用问句。

为了使得待使用问句更加丰富，还可以按照上述提供的三种方式获取问句，对问句进行去重和筛选后，得到待使用问句。

S120、根据所述待使用问句的问句类型以及预设指令模板，生成所述待使用问句对应的待交互指令。

待使用问句的问句类型是指待使用问句的语义所涉及的类型，例如，待使用问句是对简单的概念进行询问，则其问句类型为基本提问类型，待使用问句是对某一个概念进行深入探讨，则其问句类型为深入探讨类型。可理解的是，在中医领域，待使用问句还可能包含对一些病症的询问，这种待使用问句的问句类型可以是病症描述类型，若待使用问句是询问诊疗建议，则为诊疗建议类型。

待交互指令是指与指定模型进行交互的指令，为了确保指定模型可以给出符合预期的响应，可以通过预设指令模板改造待使用问句，以得到待交互指令。其中，预设指令模板可根据实际需要设置，该预设指令模板中可以限定具体的领域，以避免指定模型的响应超出预期，当然，该预设指令模板中还可以包含相应的提示信息，以便指定模型给出的响应更加准确全面。

例如，该预设指令模板可以是“请问一下，{INPUT}，请运用中医的理论知识给出完整的推理过程。”还可以是“你现在是一名老中医，请运用中医理论知识，对{INPUT}给出完整的推理。”其中，{INPUT}表征待使用问句，即将预设指令模板中的{INPUT}替换为待使用问句，即可得到待交互指令。如待使用问句为“五行是什么”，根据预设指令模板则可以得到待交互指令为“请问一下，五行是什么，请运用中医的理论知识给出完整的推理过程。”

作为一种实施方式，根据待使用问句的问句类型以及预设指令模板，生成待使用问句对应的待交互指令时，可以是对所述待使用问句进行语义分析处理，得到所述待使用问句对应的语义特征；基于所述待使用问句对应的语义特征，预测所述待使用问句对应的预测类型，所述预测类型为预设类型中的任意一个；利用所述预测类型的类型数量以及所有待使用问句对应的语义特征，对所有所述待使用问句进行聚类处理，得到所述类型数量个聚类簇；根据所述聚类簇以及所述待使用问句对应的预测类型，确定所述待使用问句对应的问句类型；利用所述预设类型和预设指令模板的映射关系以及所述待使用问句的问句类型，从所述预设指令模板中确定所述待使用问句对应的待使用指令模板；组合所述待使用指令模板和所述待使用问句，生成所述待使用问句对应的待交互指令。

其中，在对待使用问句进行语义分析时，可以是对待使用问句进行分词处理，即将待使用问句中的词语或短语划分为基本的语义单元，便于后续处理。然后可对分词后的语义单元进行词性标注，以确定每个语义单元在句子中的磁性和语法功能，从而可以准确地理解句子的结构和含义。然后，可进一步通过句法分析技术，对句子的结构进行解析，识别出其中的主语、谓语、宾语等，进一步辅助理解句子的含义。当然，还可以对待使用问句进行实体识别，以为后续的语义分析提供基础。最后，可以基于前述分析得到的语法和语义，进一步对待使用问句进行语义分析，以提取出对应的语义特征。

当然，还可以使用神经网络模型提取待使用问句的语义特征，例如，可使用BERT模型，将每个待使用问句输入至BERT模型中，BERT模型的输出则为待使用问句的语义特征。

利用待使用问句的语义特征，可以预测出待使用问句的预测类型。例如，可以预先训练有类型预测模型，该类型预测模型可基于句子的语义特征，确定出句子所处于的类型。类型预测模型所预测得到的预测类型可以是预设类型中的任意一个。而预设类型则是根据实际的需要所自定义的类型，如前述举例中的基本提问类型、深入探讨类型、病症描述类型、诊疗建议类型等。

其中，在训练类型预测模型时，可以是预先准备好训练样本，以及每个训练样本对应的样本类型，将训练样本输入至类型预测模型，得到该训练样本的预测类型，通过预测类型和样本类型构造损失函数，例如，多分类交叉熵损失，不断调整类型预测模型的模型参数，直到损失函数收敛时训练完毕。将各个待使用问句的语义特征输入训练好的类型预测模型，即可得到各个待使用问句对应的预测类型。

在获取到每个待使用问句对应的预测类型后，可以获取到预测类型的类型数量，并利用类型数量和每个待使用问句的语义特征，进行聚类，从而将待使用问句划分为类型数量个聚类簇。其中，类型数量是指预测类型的数量，例如，有10个待使用问句，其中5个待使用问句的预测类型为深入探讨类型，有3个待使用问句的预测类型为基本提问类型，有2个待使用问句的预测类型为病症描述类型，则预测类型的类型数量为3。

其中，聚类可使用K-Means聚类的方式，以语义特征之间的欧式距离衡量待使用问句之间的距离，其中，K-Means聚类的K值可设置为类型数量。例如，类型数量为3，则可以聚类得到3个聚类簇。

可以理解的是，聚类是通过寻找数据内部的结构和模式来进行分组，前述聚类使用了语义特征，通过计算语义特征之间的距离，可以将语义相似的待使用问句聚类在一个聚类簇中。若预测类型准确，理想情况下是同一个聚类簇中的待使用问句的预测类型均一致，但是由于类型预测模型和聚类均存在一定误差，由此，综合考虑聚类结果和预测结果来确定问句类型，以提升类型确定的准确性。

作为一种实施方式，基于聚类簇和待使用问句对应的预测类型，确定出待使用问句的问句类型，可以包括以下步骤：针对每个所述聚类簇，获取所述聚类簇中的待使用问句对应的预测类型的出现次数；根据目标次数和所述聚类簇中待使用问句的总数，计算目标占比，所述目标次数为最大的出现次数；若所述目标占比大于或等于预设值，将所述目标次数对应的预测类型，确定为所述聚类簇中的每个待使用问句对应的问句类型；若所述目标占比小于预设值，将所述待使用问句的预测类型作为所述待使用问句的问句类型。

聚类簇中的每个待使用问句均具有其对应的预测类型，则针对每个聚类簇，可以获取聚类簇中的待使用问句对应的预测类型的出现次数。例如，聚类簇中有10个待使用问句，其中，预测类型为基本提问类型的有8个，其余2个为深入探讨类型，则基本提问类型的出现次数为8，深入探讨类型的出现次数为2。由于目标次数是最大的出现次数，则目标次数为8。

然后，通过计算目标次数和聚类簇中的待使用问句的总数之间比值，可以得到目标占比。若目标占比大于或等于预设值，可认为聚类簇中大部分待使用问句为同一预测类型，表明聚类结果和类型预测结果的重合度较高，则可以将目标次数对应的预测类型作为聚类簇中所有待使用问句对应的问句类型。如前述举例中，目标次数为8，待使用问句为10个，占比为80%，若预设值为80%，则基本提问类型为这10个待使用问句的问句类型。

若目标占比小于预设值，可认为聚类中仅有小部分待使用问句为同一预测类型，表明聚类结果和类型预测结果的重合度较低，可以直接将该聚类簇中各个待使用问句的预测类型作为问句类型。如前述举例中，若预设值为90%，则各个待使用问句的问句类型为其预测类型。

其中，预设值可根据实际的需要进行设置，在本申请实施例中，可将预设值设置得较高，例如，设置为80%。

在确定出各个待使用问句的问句类型后，可根据问句类型以及预设类型和预设指令模板的映射关系，从预设指令模板中确定待使用指令模板。其中，预设类型和预设指令模板之间的映射关系可以是预先设置的。例如，可参见表1，示出了预设类型和预设指令模板的映射关系。

表1

其中，若问句类型为基本提问类型，则可以选择模板A作为待使用指令模板；若问句类型为病症描述类型，则可以选择模板B作为待使用指令模板。

其中，预设指令模板可根据实际的需要设置，例如，模板A可以是“请问一下，在中医药领域中，{INPUT}”，模板B可以是“请问一下，{INPUT}，请运用中医的理论知识给出完整的推理过程。”，模板C可以是“请问一下，{INPUT}，在中医药领域中是怎么引起的”，模板D可以是“请问一下，在中医药中{INPUT}”。

其中，利用待使用问句替换掉待使用指令模板中的{INPUT}，即可生成对应的待交互指令。

S130、针对每个所述待交互指令，利用指定模型对所述待交互指令进行推理，以在指定页面中展示所述待交互指令对应的响应内容。

在得到待交互指令后，可利用指定模型对待交互指令进行推理，以在指定页面中展示待交互指令对应的响应内容，也即，响应内容是指定模型对待交互指令进行推理后得到的结果。

其中，指定模型可以是预先训练好的智能问答模型，该指定模型可对接收到的问题进行推理，以给出和问题对应的响应内容，例如，该问题对应的答案。指定页面是与指定模型进行交互的页面，该指定页面可以是在浏览器中展示，也可以是应用程序的应用页面，通过该指定页面，可将问句发送至指定模型，并将指定模型的推理结果展示在指定页面中。在本申请实施例中，指定模型可以是大语言模型（Large Language Model，LLM），其中，LLM可以指使用大量文本数据训练的深度学习模型，LLM可以生成自然语言文本或理解语言文本的含义，通常用于处理多种自然语言任务，如文本分类、问答、对话等。

在一些实施方式中，指定模型在推理时，可以结合多个问题进行回答，以给出更加准确的响应内容，前述每个待使用问句均生成对应的待交互指令，为了获取到更加准确的响应内容，可以按照一定的顺序向指定模型发送待交互指令。从而，该步骤可以包括：根据所述预设类型之间的预设关联关系以及所述待交互指令的问句类型，建立待交互指令之间的指令关联性；基于所述指令关联性，对所有所述待交互指令进行排序处理，得到所述待交互指令的推理顺序；按照所述推理顺序，将所述待交互指令发送至所述指定模型进行推理，并将推理得到的响应内容展示在指定页面中。

其中，预设关联关系是预先设置的关联关系，例如，在基本提问类型、深入探讨类型、病症描述类型、诊疗建议类型这四种类型中，通常基本提问类型和深入探讨类型具有预设关联关系，病症描述类型和诊疗建议类型具有预设关联关系。

针对基本提问类型和深入探讨类型，可以是针对每个基本提问类型的待交互指令，抽取出其中的实体，例如，待交互指令1为“请问一下，五行是什么，请运用中医的理论知识给出完整的推理过程。”则其中的实体为五行。针对每个深入探讨类型的待交互指令，抽取出其中的实体，例如待交互指令2为“请问一下，五行是怎么运用的，请运用中医的理论知识给出完整的推理过程。”则其中的实体仍然为五行。

可建立具有实体相同的基本提问类型和深入探讨类型的待交互指令之间的指令关联性，则待交互指令1和待交互指令2具有指令关联性。针对病症描述类型和诊疗建议类型仍然采用抽取实体比对的方式，建立指令关联性，在此不再赘述。

在得到指令关联性后，对待交互指令进行排序处理时，可以是将具有指令关联性的待交互指令作为一个组，然后随机排列组即可。例如，将待交互指令1和待交互指令2作为一个整体，进行随机排序，以确保具有指令关联性的待交互指令是相邻的。其中，在作为一个组时，可以将基本提问类型排列在深入探讨类型之前，例如，待交互指令1、待交互指令2。类似的，将病症描述类型排列诊疗建议类型之前。可见，准确地确定问句类型，可确保后续待交互指令生成的准确性，并且后续利用问句类型进行排序，可确保指定模型给出准确的响应内容，以提升后续生成的问答数据集的质量。

排序完成后，则可以得到待交互指令的推理顺序，最后可基于该推理顺序将待交互指令发送给指定模型进行推理。可选地，可以通过计算机模拟用户的操作，实现自动按照推理顺序将待交互指令发送给指定模型进行推理，再从指定页面中提取到待交互指定对应的响应内容。可参阅图2，示出了指定页面的示意图。其中，指定页面中可包括交互控件101和内容输入框102，为了和指定模型进行交互，用户可以在内容输入框102中输入先要询问的问题，然后，点击交互控件101，可将内容输入框102中的问题发送至指定模型，指定模型针对该问题进行推理，并将最终的推理结果，即响应内容展示在指定页面中。例如，图2中，响应内容被展示在响应区域103内。

可以理解的是，若采用人工输入的方式键入待交互指令，以获取到在指定页面中展示的对应的响应内容，需要消耗大量的人力，且效率低下。由此，为了快速获取到每个待交互指令对应的响应内容，可自动将待交互指令输入至内容输入框102中，并自动点击交互控件101，以获取待交互指令对应的响应内容。

例如，可以是获取所述交互控件在所述指定页面中的控件标识；获取所述内容输入框在所述指定页面中的输入框标识；按照所述推理顺序，从所述待交互指令中确定目标交互指令；根据所述输入框标识，将所述目标交互指令键入所述内容输入框中；在键入成功后，根据所述控件标识，将所述目标交互指令发送至所述指定模型，以便所述指定模型对所述目标交互指令进行推理，并在所述指定页面中展示所述目标交互指令对应的响应内容。

指定页面中的每个元素都有其对应的标识，由此，在指定页面中，交互控件和内容输入框也均具有其对应的标识，其中，可将交互控件的标识记为控件标识，内容输入框的标识可记为输入框标识。根据推理顺序，将排序最靠前的待交互指令作为目标交互指令，例如，所有的待交互指令按照推理顺序存放在第一队列中，第一队列中的队头即为目标交互指令。

在获取到控件标识和输入框标识后，可利用该标识在指定页面中定位到交互控件和内容输入框。在定位到内容输入框后，可模拟键盘输入，将目标交互指令输入至内容输入框。在键入完毕后，可将利用控件标识在指定页面中定位到交互控件，然后在交互控件上模拟点击事件，实现将内容输入框中的目标交互指令发送至指定模型进行推理。在指定模型对目标交互指令推理完毕后，可将响应内容展示在指定页面中，以便从指定页面中可以提取出响应内容。其中，自动定位交互控件或内容输入框，可以是使用Selenium工具，该工具可直接运行在网页中，模拟用户的操作，例如，Selenium中WebDriver的driver.findElements(By.tagName(tagName))可实现通过标识查找元素，move_to_element可实现定位，click()可模拟鼠标点击事件， send_keys(Keys.ENTER)可模拟键盘按键事件。

在从指定页面中提取出响应内容后，可将目标交互指令从第一队列中移动至第二队列，然后将第一队列的队头作为新的目标交互指令，继续执行上述过程，直到第一队列为空。其中，提取响应内容可使用Xpath的方式。

S140、在利用指定模型对所述待交互指令进行推理的过程中，根据所述指定页面中的视觉元素，对所述指定页面中展示的响应内容进行响应校验。

需要说明的是，指定模型通常是生成式模型，生成式模型在生成对应的响应内容时，通常是逐词预测，而不是一次性预测完所有的响应内容，由此，在指定页面中展示的响应内容是动态变化的，仅在推理完成时，得到完整的响应内容。

由此，在指定模型对待交互指令推理的过程中，响应内容也展示在指定页面中，在未推理完成时，响应内容在不断变化，在指定模型推理完成时，响应内容不再变化，即响应内容完整。为了可及时获取到完整的响应内容，可对展示在指定页面中的响应内容进行响应校验，其中，响应校验则是指校验指定模型是否推理完成。

视觉元素是指展示在指定页面中的元素，在本申请实施例中，视觉元素可以包括响应区域、响应指示元素以及响应内容，其中，响应区域可用于展示响应内容。响应指示元素可用于表征响应内容不完整，也即，在推理未完成时，指定页面上可展示有响应指示元素，推理完成时，该响应指示元素不会再展示在指定页面中。

可参阅图3，示出了响应校验的流程示意图。如前所述，指定模型对待交互指令进行推理时，推理得到的响应内容展示在指定页面的响应区域内，进行响应校验时，可以是按照第一周期获取所述响应区域的尺寸参数；若当前获取到的尺寸参数和上一第一周期获取到尺寸参数相同，按照第二周期获取所述响应内容的长度，其中，所述第二周期小于所述第一周期；若当前获取到的长度和上一第二周期获取到的长度相同，根据所述响应指示元素确定所述响应内容是否通过响应校验。

随着推理的进行，响应内容也会更加丰富，则展示该响应内容的响应区域的尺寸参数也会随之变化。第一周期是指预先设置的时间周期，该时间周期可以根据实际的需要进行设置，例如，设置为2秒，1秒等。在一些实施方式中，第一周期还可以是通过统计指定模型推理时，使得响应区域发生变化的平均时长。例如，可预先获取响应区域发生变化所需要的时间，连续统计多次取平均值即可。

在模拟点击交互控件之后，即可按照第一周期获取响应区域的尺寸参数，其中，该响应区域的尺寸参数可以是指响应区域的长度以及宽度，或者是响应区域的面积，具体可根据实际的需要进行设置。

尺寸参数为响应区域的长度以及宽度时，在第一个第一周期开始时，可获取一次响应区域的长度以及宽度，在第二个第二周期开始时，可获取一次响应区域的长度和宽度。将当前获取到的长度和宽度，与上一次获取到的长度和宽度进行比较，若完全一致，即长度一致且宽度一致时，可认为当前获取到的尺寸参数和上一第一周期获取到尺寸参数相同。例如，第一个第一周期获取到的尺寸参数记为x1和y1，第二个第一周期获取到的尺寸参数记为x2和y2，若x2和y2为当前获取到的尺寸参数，当x2=x1且y2=y1时，可认为当前获取到的尺寸参数和上一次获取到的尺寸参数相同。

当响应区域的尺寸参数和上个第一周期获取到的尺寸参数不一致时，可认为推理未完成，继续获取响应区域的尺寸参数进行判断。当响应区域的尺寸参数和上个第一周期获取到的尺寸参数一致时，可认为指定模型的推理即将结束，为了更加精准的获取到推理结束的时刻，可以按照第二周期获取响应内容的长度。其中，第二周期的时长比第一周期更短，该第二周期的确定时，也可以是统计指定模型在推理时，使得响应内容的长度发生变化的平均时长。例如，可预先获取响应内容的长度发生变化所需要的时间，连续统计多次取平均值即可。

响应内容的长度是指响应内容本身的长度，例如，可以是指响应内容中文本的字符数，例如，响应内容为“五行是指金、”，则响应内容的长度为6。

又例如，可根据响应内容的第一个字符确定起点，根据响应内容的最后一个字符确定终点，按照一定规则生成覆盖所述响应内容的线段，将该线段的长度作为响应内容的长度。生成线段的规则可以是，将整个响应区域截取下来，然后确定出起点和终点后，以起点和第一排的文字的顶部开始划线，第一排划线完成后，直接转至第二排文字，穿过第二排文字后转为第三排，以此类推直到连接至终点。需要注意的是，针对上下左右的边界，均需要以文字边界为基准进行划线，进而生成对应的线段。例如，可参阅图4，示出了确定响应内容的长度的示意图，其中，104表示起点，105表示终点，起点104和终点105之间的粗实线的长度则为响应内容的长度。

每间隔第二周期，获取一次响应内容的长度，在每次获取到响应内容的长度后，可将当前获取到的响应内容的长度和上一次获取到的响应内容的长度进行比对，若相同，可继续通过响应指示元素确定是否通过响应校验。若不相同，可继续按照第二周期获取响应内容的长度。

在一些实施方式中，若响应内容的长度和上次获取到的长度相同，可认为文本没有发生变化，受到网络的影响，文本也可能在较长的时间内未变化，由此，为了进一步确保已经推理完成，可以通过检测响应指示元素，来确定是否通过响应校验。例如，可以是获取所述响应指示元素在所述指定页面内的元素标记；基于所述元素标记在所述指定页面中检测所述响应指示元素；若未在所述指定页面中检测到所述响应指示元素，确定所述响应内容通过所述响应校验。

可选地，可以预先获取到响应指示元素在指定页面内的元素标记，利用该元素标记在指定页面中检测响应指示元素。例如，可以按照第三周期检测响应指示元素，在未检测到该响应指示元素时，表明响应内容已经是完整的，也即指定模型推理完成，则可以确定当前指定页面中的响应内容通过响应校验。

若检测到该响应指示元素，可按照第三周期继续检测该响应指示元素，其中，第三周期小于第二周期。需要说明的是，在推理未完成时，响应区域的变化较为明显，在响应区域未变化时，响应内容的长度可能仍在变化，则使用第二周期进行检测，长度不再变化时，可能是卡顿等原因，则可以继续检测响应指示元素，以准确及时地获取到推理完成的时刻，确保后续获取到完整的响应内容。并且，第二周期小于第一周期，第三周期小于第一周期，相比于使用较小的周期持续的频繁检测的方式，其检测的频率降低，也可降低计算机的数据处理压力。

S150、若所述响应内容通过所述响应校验，将所述响应内容确定为所述待交互指令对应的回复内容。

S160、根据所述待交互指令以及所述待交互指令对应的回复内容，生成问答数据集。

若响应内容通过响应校验，可直接将响应内容作为待交互指令对应的回复内容，以供后续使用。然后在获取到回复内容后，可利用回复内容以及对应的待交互指令，生成问答数据集。

作为一种实施方式，可以是获取到该回复内容对应的待交互指令，将回复内容以及对应的待交互指令作为一个问答对，以多个问答对生成问答数据集。作为另一种实施方式，由于待交互指令是通过待使用问句得到的，可以将待使用问句和对应的回复内容作为一个问答对，以多个问答对生成问答数据集。下面仅以将待使用问句和回复内容作为问答对为例进行说明。

在一些实施方式中，为了确保问答对的有效性和合理性，还可以对多个问答对进行过滤处理，以得到问答数据集。例如，可以是基于预设字段，从所述回复内容中确定出有效回复内容；组合所述有效回复内容以及所述有效回复内容对应的待使用问句，得到多个有效问答对；基于合规词库对所述多个有效问答对进行过滤处理，得到合规问答对；将所有所述合规问答对，确定为问答数据集。

预设字段是指预先设置好的字段，这些字段可用于筛选出回复内容中的有效回复内容。例如，预设字段可以包括“无法回答”、“不能回答”、“作为AI”等。将每个回复内容和每个预设字段进行匹配，将匹配成功的回复内容作为无效回复内容，将其他回复内容确定为有效回复内容。将有效回复内容和该有效回复内容对应的待使用问句，得到多个有效问答对。

然后，为了避免有效问答对中出现一些不合规的词语，可以基于合规词库对多个有效问答对进行过滤处理，以得到合规问答对。其中，合规词库中可以包含多种预设的敏感词汇和非法词汇，将每个有效问答对和合规词库中的词汇进行匹配，若匹配到合规词库中的词汇，则将该有效问答对丢弃，剩余的有效问答对，则为合规问答对。最后，可将所有的合规问答对，作为问答数据集。

问答数据集可用于训练特定领域的问答模型，例如，前述举例的中医领域，则该问答模型可以是针对中医领域的智能问答模型，以对中医领域的问题进行解答。利用生成的问答数据集训练得到的智能问答模型可以作为一个中医领域的智能助手，集成在终端内，可实现在线问答或离线问答，在线问答时，可实时对用户输入的提问进行推理，并输出回复，离线问答时，可以预先存储部分高频问题对应的问答记录在本地，在离线场景中，遇到高频问题可直接利用存储的数据给出对应问题的答复，在线场景中，遇到高频问题也可快速给出答复。

为了更加详细地说明上述问答数据集生成方法，可参阅图5，示出了问答数据集生成方法的整体流程示意图。其中，首先可准备中医领域的待使用问句，基于待使用问句的类型和预设指令模板，生成待交互指令，并确定出待交互指令的推理顺序。然后可自动登入指定模型的交互网站中，并定位到交互网站的入口，以进入指定页面中。然后在指定页面中定位到内容输入框，将根据推理顺序确定的目标交互指令键入内容输入框中，提交给指定模型进行推理，在推理的过程中进行响应校验，在响应校验通过后，将响应内容作为回复内容以生成对应的问答对，并存入指定文件，以得到问答数据集。

本申请实施例提供的问答数据集生成方案可以应用在各种收集问答数据的场景中。比如，以收集中医领域中的问答数据为例，采用本申请实施例提供的方案能够获取到待使用问句，并根据待使用问句的类型自动组装为待交互指令，同时可确定出推理顺序。然后可自动在指定页面中按照推理顺序将待交互指令发送给指定模型进行推理，在推理的过程中进行响应校验，可及时检测到推理完成的时刻，在推理完成时，将响应内容作为回复内容以构建出问答对，进而可得到问答数据集。全程自动化执行无需人工干预，通过响应校验可及时检测到推理完成的时刻，实现快速生成问答数据集，并且，综合考虑聚类和预测类型以准确确定问句类型，可确保指定模型给出较高质量的响应内容，从而可提升问答数据集的质量。

为了更好地实施以上方法，本申请实施例还提供一种问答数据集生成装置，该问答数据集生成装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑、车载终端等具有页面展示功能的设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

例如，如图6所示，该问答数据集生成装置200可以包括：

获取模块210，用于获取多个待使用问句；

指令生成模块220，用于根据所述待使用问句的问句类型以及预设指令模板，生成所述待使用问句对应的待交互指令；

推理模块230，用于针对每个所述待交互指令，利用指定模型对所述待交互指令进行推理，以在指定页面中展示所述待交互指令对应的响应内容，其中，所述指定页面为与所述指定模型进行交互的页面；

校验模块240，用于在利用指定模型对所述待交互指令进行推理的过程中，根据所述指定页面中的视觉元素，对所述响应内容进行响应校验；

确定模块250，用于若所述响应内容通过所述响应校验，将所述响应内容确定为所述待交互指令对应的回复内容；

数据集生成模块260，用于根据所述待交互指令以及所述待交互指令对应的回复内容，生成问答数据集。

在一些实施例中，视觉元素包括响应区域、响应指示元素和所述响应内容，所述响应内容展示在所述响应区域内，所述响应指示元素用于表征所述响应内容不完整，校验模块240具体包括：

尺寸获取单元，用于按照第一周期获取所述响应区域的尺寸参数；

长度获取单元，用于若当前获取到的尺寸参数和上一第一周期获取到尺寸参数相同，按照第二周期获取所述响应内容的长度，其中，所述第二周期小于所述第一周期；

判定单元，用于若当前获取到的长度和上一第二周期获取到的长度相同，根据所述响应指示元素确定所述响应内容是否通过响应校验。

在一些实施例中，判定单元具体用于：

获取所述响应指示元素在所述指定页面内的元素标记；

基于所述元素标记在所述指定页面中检测所述响应指示元素；

若未在所述指定页面中检测到所述响应指示元素，确定所述响应内容通过所述响应校验。

在一些实施例中，指令生成模块220具体包括：

语义单元，用于对所述待使用问句进行语义分析处理，得到所述待使用问句对应的语义特征；

预测单元，用于基于所述待使用问句对应的语义特征，预测所述待使用问句对应的预测类型，所述预测类型为预设类型中的任意一个；

聚类单元，用于利用所述预测类型的类型数量以及所有待使用问句对应的语义特征，对所有所述待使用问句进行聚类处理，得到所述类型数量个聚类簇；

类型确定单元，用于根据所述聚类簇以及所述待使用问句对应的预测类型，确定所述待使用问句对应的问句类型；

模板确定单元，用于利用所述预设类型和预设指令模板的映射关系以及所述待使用问句的问句类型，从所述预设指令模板中确定所述待使用问句对应的待使用指令模板；

指令生成单元，用于组合所述待使用指令模板和所述待使用问句，生成所述待使用问句对应的待交互指令。

在一些实施例中，类型确定单元具体用于：

针对每个所述聚类簇，获取所述聚类簇中的待使用问句对应的预测类型的出现次数；

根据目标次数和所述聚类簇中待使用问句的总数，计算目标占比，所述目标次数为最大的出现次数；

若所述目标占比大于或等于预设值，将所述目标次数对应的预测类型，确定为所述聚类簇中的每个待使用问句对应的问句类型；

若所述目标占比小于预设值，将所述待使用问句的预测类型作为所述待使用问句的问句类型。

在一些实施例中，推理模块230具体包括：

关联建立单元，用于根据所述预设类型之间的预设关联关系以及所述待交互指令的问句类型，建立待交互指令之间的指令关联性；

顺序确定单元，用于基于所述指令关联性，对所有所述待交互指令进行排序处理，得到所述待交互指令的推理顺序；

推理单元，用于按照所述推理顺序，将所述待交互指令发送至所述指定模型进行推理，并将推理得到的响应内容展示在指定页面中。

在一些实施例中，指定页面包括交互控件以及内容输入框，推理单元具体用于：

获取所述交互控件在所述指定页面中的控件标识；

获取所述内容输入框在所述指定页面中的输入框标识；

按照所述推理顺序，从所述待交互指令中确定目标交互指令；

根据所述输入框标识，将所述目标交互指令键入所述内容输入框中；

在键入成功后，根据所述控件标识，将所述目标交互指令发送至所述指定模型，以便所述指定模型对所述待交互指令进行推理，并在所述指定页面中展示所述待交互指令对应的响应内容。

具体实施时，以上各个模块或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块或单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的问答数据集生成装置可以自动确定待使用问句的问句类型并自动组装为待交互指令，在指定页面中将待交互指令发送给指定模型进行推理，在推理的过程中进行响应校验，可及时检测到推理完成的时刻，在推理完成时，将响应内容作为回复内容以构建出问答对，进而可得到问答数据集，通过响应校验可及时检测到推理完成的时刻，实现快速生成问答数据集。

本申请实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑、车载终端等具有页面展示功能的设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。

在一些实施例中，该问答数据集生成装置还可以集成在多个电子设备中，比如，问答数据集生成装置可以集成在多个服务器中，由多个服务器来实现本申请的问答数据集生成方法。

如图7所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器310、一个或一个以上计算机可读存储介质的存储器320、电源330、输入模块340以及通信模块350等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器310是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器320内的数据，执行电子设备的各种功能和处理数据。

在一些实施例中，处理器310可包括一个或多个处理核心；在一些实施例中，处理器310可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器310中。

存储器320可用于存储软件程序以及模块，处理器310通过运行存储在存储器320的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器320还可以包括存储器控制器，以提供处理器310对存储器320的访问。

电子设备还包括给各个部件供电的电源330，在一些实施例中，电源330可以通过电源管理系统与处理器310逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源330还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入模块340，该输入模块340可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

该电子设备还可包括通信模块350，在一些实施例中通信模块350可以包括无线模块，电子设备可以通过该通信模块350的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块350可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器310会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器320中，并由处理器310来运行存储在存储器320中的应用程序，从而实现本申请各实施例方法中的步骤。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。本申请实施例中，术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分，并与其他相关部分一起工作以实现预定目标，并且可以通过使用软件、硬件（如处理电路或存储器）或其组合来全部或部分实现。同样的，一个处理器（或多个处理器或存储器）可以用来实现一个或多个模块或单元。此外，每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。由上可知，该电子设备可以自动确定待使用问句的问句类型并自动组装为待交互指令，在指定页面中将待交互指令发送给指定模型进行推理，在推理的过程中进行响应校验，可及时检测到推理完成的时刻，在推理完成时，将响应内容作为回复内容以构建出问答对，进而可得到问答数据集，通过响应校验可及时检测到推理完成的时刻，实现快速生成问答数据集。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种问答数据集生成方法中的步骤。其中，该存储介质可以包括：只读存储器（ROM，ReadOnly Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序/指令，该计算机程序/指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序/指令，处理器执行该计算机程序/指令，使得该电子设备执行上述实施例中提供问答数据集生成方面的各种可选实现方式中提供的方法。由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种问答数据集生成方法中的步骤，因此，可以实现本申请实施例所提供的任一种问答数据集生成方法所能实现的有益效果，详见前面的实施例，在此不再赘述。以上对本申请实施例所提供的一种问答数据集生成方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种问答数据集生成方法，其特征在于，所述方法包括：

获取多个待使用问句；

根据所述待使用问句的问句类型以及预设指令模板，生成所述待使用问句对应的待交互指令；

针对每个所述待交互指令，利用指定模型对所述待交互指令进行推理，以在指定页面中展示所述待交互指令对应的响应内容，其中，所述指定页面为与所述指定模型进行交互的页面；

在利用指定模型对所述待交互指令进行推理的过程中，根据所述指定页面中的视觉元素，对所述响应内容进行响应校验；

若所述响应内容通过所述响应校验，将所述响应内容确定为所述待交互指令对应的回复内容；

根据所述待交互指令以及所述待交互指令对应的回复内容，生成问答数据集。

2.根据权利要求1所述的方法，其特征在于，所述视觉元素包括响应区域、响应指示元素和所述响应内容，所述响应内容展示在所述响应区域内，所述响应指示元素用于表征所述响应内容不完整，所述根据所述指定页面中的视觉元素，对所述响应内容进行响应校验，包括：

按照第一周期获取所述响应区域的尺寸参数；

若当前获取到的尺寸参数和上一第一周期获取到尺寸参数相同，按照第二周期获取所述响应内容的长度，其中，所述第二周期小于所述第一周期；

若当前获取到的长度和上一第二周期获取到的长度相同，根据所述响应指示元素确定所述响应内容是否通过响应校验。

3.根据权利要求2所述的方法，其特征在于，所述根据所述响应指示元素确定所述响应内容是否通过响应校验，包括：

获取所述响应指示元素在所述指定页面内的元素标记；

基于所述元素标记在所述指定页面中检测所述响应指示元素；

若未在所述指定页面中检测到所述响应指示元素，确定所述响应内容通过所述响应校验。

4.根据权利要求1所述的方法，其特征在于，所述根据所述待使用问句的问句类型以及预设指令模板，生成所述待使用问句对应的待交互指令，包括：

对所述待使用问句进行语义分析处理，得到所述待使用问句对应的语义特征；

基于所述待使用问句对应的语义特征，预测所述待使用问句对应的预测类型，所述预测类型为预设类型中的任意一个；

利用所述预测类型的类型数量以及所有待使用问句对应的语义特征，对所有所述待使用问句进行聚类处理，得到所述类型数量个聚类簇；

根据所述聚类簇以及所述待使用问句对应的预测类型，确定所述待使用问句对应的问句类型；

利用所述预设类型和预设指令模板的映射关系以及所述待使用问句的问句类型，从所述预设指令模板中确定所述待使用问句对应的待使用指令模板；

组合所述待使用指令模板和所述待使用问句，生成所述待使用问句对应的待交互指令。

5.根据权利要求4所述的方法，其特征在于，所述根据所述聚类簇以及所述待使用问句对应的预测类型，确定所述待使用问句对应的问句类型，包括：

针对每个所述聚类簇，获取所述聚类簇中的待使用问句对应的预测类型的出现次数；

根据目标次数和所述聚类簇中待使用问句的总数，计算目标占比，所述目标次数为最大的出现次数；

若所述目标占比大于或等于预设值，将所述目标次数对应的预测类型，确定为所述聚类簇中的每个待使用问句对应的问句类型；

若所述目标占比小于预设值，将所述待使用问句的预测类型作为所述待使用问句的问句类型。

6.根据权利要求4所述的方法，其特征在于，所述利用指定模型对所述待交互指令进行推理，以在指定页面中展示所述待交互指令对应的响应内容，包括：

根据所述预设类型之间的预设关联关系以及所述待交互指令的问句类型，建立待交互指令之间的指令关联性；

基于所述指令关联性，对所有所述待交互指令进行排序处理，得到所述待交互指令的推理顺序；

按照所述推理顺序，将所述待交互指令发送至所述指定模型进行推理，并将推理得到的响应内容展示在指定页面中。

7.根据权利要求6所述的方法，其特征在于，所述指定页面包括交互控件以及内容输入框，所述按照所述推理顺序，将所述待交互指令发送至所述指定模型进行推理，并将推理得到的响应内容展示在指定页面中，包括：

获取所述交互控件在所述指定页面中的控件标识；

获取所述内容输入框在所述指定页面中的输入框标识；

按照所述推理顺序，从所述待交互指令中确定目标交互指令；

根据所述输入框标识，将所述目标交互指令键入所述内容输入框中；

在键入成功后，根据所述控件标识，将所述目标交互指令发送至所述指定模型，以便所述指定模型对所述目标交互指令进行推理，并在所述指定页面中展示所述目标交互指令对应的响应内容。

8.一种问答数据集生成装置，其特征在于，所述装置包括：

获取模块，用于获取多个待使用问句；

指令生成模块，用于根据所述待使用问句的问句类型以及预设指令模板，生成所述待使用问句对应的待交互指令；

推理模块，用于针对每个所述待交互指令，利用指定模型对所述待交互指令进行推理，以在指定页面中展示所述待交互指令对应的响应内容，其中，所述指定页面为与所述指定模型进行交互的页面；

校验模块，用于在利用指定模型对所述待交互指令进行推理的过程中，根据所述指定页面中的视觉元素，对所述响应内容进行响应校验；

确定模块，用于若所述响应内容通过所述响应校验，将所述响应内容确定为所述待交互指令对应的回复内容；

数据集生成模块，用于根据所述待交互指令以及所述待交互指令对应的回复内容，生成问答数据集。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1~7任一项所述的问答数据集生成方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1~7任一项所述的问答数据集生成方法中的步骤。