CN114357138A - 一种问答识别的方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请属于人工智能技术领域，公开了一种问答识别的方法、装置、电子设备及可读存储介质，该方法包括，接收针对目标问题的问答请求；基于针对目标问题的问答请求，采用预先训练好的问答模型，确定目标问题对应的答案；其中，问答模型为基于第二样本数据集合和教师模型训练获得的学生模型，教师模型为基于第一样本数据集合以及基于转换器的双向编码表征模型构建的。这样，在进行问答识别时，可以提高问题答复的响应速度以及减少耗费资源。

Description

一种问答识别的方法、装置、电子设备及可读存储介质

技术领域

本申请涉及人工智能技术领域，具体而言，涉及一种问答识别的方法、装置、电子设备及可读存储介质。

背景技术

随着人工智能的发展，人机交互应用的场景越来越多，这就需要对话系统识别用户的问题并回答。

现有技术下，通常采用预训练的语言表征模型(Bidirectional EncoderRepresentation from Transformers，BERT)识别问题，并回答该问题对应的答案，从而实现人机交互。

但是，BERT模型庞大，训练该模型需要大量的样本数据，复杂度较高，在问题答复时，需要进行大量的数据计算，问题答复的响应速度较慢，且会耗费大量的资源。

由此，在问答识别时，如何提高问题答复的响应速度以及减少耗费资源，是一个需要解决的技术问题。

发明内容

本申请实施例的目的在于提供一种问答识别的方法、装置、电子设备及可读存储介质，用以在问答识别时，提高问题答复的响应速度以及减少耗费资源。

一方面，提供一种问答识别的方法，包括：

接收针对目标问题的问答请求；

基于针对目标问题的问答请求，采用预先训练好的问答模型，确定目标问题对应的答案；

其中，问答模型为基于第二样本数据集合和教师模型训练获得的学生模型，教师模型为基于第一样本数据集合以及基于转换器的双向编码表征模型构建的。

在上述实现过程中，基于第一样本数据集合以及基于转换器的双向编码表征模型构建教师模型，通过知识蒸馏的方式，用教师模型训练学生模型，将教师模型中的知识，迁移到学生模型中，从而获得训练好的小规模的学生模型，实现了模型的压缩和量化，降低了模型调用的延时，提高了响应速度，小规模的学生模型训练不需要大量的数据和大量的资源，训练的复杂度降低，减少了耗费的资源，节约了项目成本。

一种实施方式中，基于针对目标问题的问答请求，采用预先训练好的问答模型，确定目标问题对应的答案，包括：

提取目标问题的向量特征；

将向量特征输入问答模型，获得问答模型输出的答案。

在上述实现过程中，将目标问题的向量特征，输入到问答模型，获得问答模型输出的答案，通过训练好的问答模型，进行问答识别，提高了响应速度。

一种实施方式中，在基于针对目标问题的问答请求，采用预先训练好的问答模型，确定目标问题对应的答案之前，还包括：

获取第一样本数据集合，第一样本数据集合中包含正样本数据、负样本数据、扩展数据以及负扩展数据，正样本数据和负样本数据中均包含多个问答组合样本以及相应的问答匹配度，扩展数据和负扩展数据中均包含多个问答组合样本；

基于正样本数据和负样本数据中的问答组合样本以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的教师模型，其中，初始教师模型是通过基于转换器的双向编码表征模型获得的；

基于教师模型以及扩展数据，获取扩展数据中每一问答组合样本的问答匹配度；

基于教师模型以及负扩展数据，获取负扩展数据中每一问答组合样本的问答匹配度；

基于第一样本数据集合、扩展数据中每一问答组合样本的问答匹配度以及扩展数据中每一问答组合样本的问答匹配度，获得第二样本数据集合；

基于第二样本数据集合，对初始学生模型进行训练，获得训练好的学生模型，训练好的学生模型为问答模型。

在上述实现过程中，通过训练好的教师模型，训练小规模的学生模型，实现了模型的压缩和量化，小规模的学生模型训练不需要大量的数据和大量的资源，训练的复杂度降低，减少了耗费的资源，节约了项目成本。

一种实施方式中，在获得第一样本数据集合之前，还包括：

获取正样本数据，正样本数据中的每一问答组合样本包括问题样本以及相应的答案；

将正样本数据中各问答组合样本中的问题和答案进行随机交换，获得负样本数据，负样本数据包含多个交换后的问答组合样本，以及相应的问答匹配度；

基于正样本数据中各问题样本和相应的答案，以及数据扩展模型中的判别模块，对数据扩展模型中的初始生成模型进行训练，获得训练好的生成模型，其中，数据扩展模型是基于生成式对抗网络构建的；

基于生成模型，以及正样本数据，生成扩展数据。

在上述实现过程中，通过正样本数据，基于生成模型，获得扩展数据，根据扩展数据，获得负扩展数据，扩大了训练问答模型的所需要的训练数据，提高了问答模型训练的准确度。

一种实施方式中，基于正样本数据和负样本数据中的问答组合样本以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的教师模型，包括：

分别提取正样本数据和负样本数据中每一问答组合样本的向量特征；

基于各问答组合样本的向量特征以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的教师模型。

在上述实现过程中，通过正样本数据和负样本数据的向量特征，以及相应的问答匹配度，训练教师模型，就可以在后续步骤中，直接使用教师模型，训练学生模型。

一种实施方式中，在基于生成模型，以及正样本数据，生成扩展数据之后，还包括：

分别将正样本数据中每一问答组合样本的问答匹配度，设置为第一预设匹配度；

分别将负样本数据中每一问答组合样本的问答匹配度，设置为第二预设匹配度；

将扩展数据中各问答组合样本中的问题和答案进行随机交换，获得负扩展数据，负扩展数据包含多个交换后的问答组合样本；

基于扩展数据、负扩展数据，以及教师模型，分别获得扩展数据中每一问答组合样本的问答匹配度，以及负扩展数据中每一问答组合样本的问答匹配度。

在上述实现过程中，通过教师模型，分别获得扩展数据和负扩展数据中每一问答组合样本的问答匹配度，在后续训练学生模型时使用。

一种实施方式中，在基于第二样本数据集合，对初始学生模型进行训练，获得训练好的学生模型，训练好的学生模型为问答模型，包括：

分别提取第二样本数据集合中每一问答组合样本的向量特征；

将各问答组合样本的向量特征输入至初始学生模型，分别获得每一问答组合样本的预测匹配度；

按照设定学生模型权重，以及设定教师模型权重，将第二样本数据集合中各问答组合样本的预测匹配度和问答匹配度，进行加权求和，获得综合匹配度；

基于综合匹配度以及设定匹配度，确定匹配度损失；

若匹配度损失小于设定损失值，则获得训练好的学生模型，否则，基于匹配度损失，调整初始学生模型的模型参数，直至基于调整后的初始学生模型确定出的匹配度损失小于设定损失值。

在上述实现过程中，基于第二样本数据集合，通过各问答组合样本的预测匹配度和问答匹配度，获得匹配度损失，基于匹配度损失，调整学生模型的参数，直到学生模型训练完成，提高了模型响应速度，小规模的学生模型训练不需要大量的数据和大量的资源，减少了耗费的资源，节约了项目成本。

一方面，提供一种问答识别的装置，包括：

接收单元，用于接收针对目标问题的问答请求；

确定单元，用于基于针对目标问题的问答请求，采用预先训练好的问答模型，确定目标问题对应的答案；

其中，问答模型为基于第二样本数据集合和教师模型训练获得的学生模型，教师模型为基于第一样本数据集合以及基于转换器的双向编码表征模型构建的。

一种实施方式中，确定单元具体用于：

提取目标问题的向量特征；

将向量特征输入问答模型，获得问答模型输出的答案。

一种实施方式中，接收单元还用于：

获取第一样本数据集合，第一样本数据集合中包含正样本数据、负样本数据、扩展数据以及负扩展数据，正样本数据和负样本数据中均包含多个问答组合样本以及相应的问答匹配度，扩展数据和负扩展数据中均包含多个问答组合样本；

基于正样本数据和负样本数据中的问答组合样本以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的教师模型，其中，初始教师模型是通过基于转换器的双向编码表征模型获得的；

基于教师模型以及扩展数据，获取扩展数据中每一问答组合样本的问答匹配度；

基于教师模型以及负扩展数据，获取负扩展数据中每一问答组合样本的问答匹配度；

基于第一样本数据集合、扩展数据中每一问答组合样本的问答匹配度以及扩展数据中每一问答组合样本的问答匹配度，获得第二样本数据集合；

基于第二样本数据集合，对初始学生模型进行训练，获得训练好的学生模型，训练好的学生模型为问答模型。

一种实施方式中，接收单元还用于：

获取正样本数据，正样本数据中的每一问答组合样本包括问题样本以及相应的答案；

将正样本数据中各问答组合样本中的问题和答案进行随机交换，获得负样本数据，负样本数据包含多个交换后的问答组合样本，以及相应的问答匹配度；

基于正样本数据中各问题样本和相应的答案，以及数据扩展模型中的判别模块，对数据扩展模型中的初始生成模型进行训练，获得训练好的生成模型，其中，数据扩展模型是基于生成式对抗网络构建的；

基于生成模型，以及正样本数据，生成扩展数据。

一种实施方式中，确定单元还用于：

分别提取正样本数据和负样本数据中每一问答组合样本的向量特征；

基于各问答组合样本的向量特征以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的所述教师模型。

一种实施方式中，确定单元还用于：

分别将正样本数据中每一问答组合样本的问答匹配度，设置为第一预设匹配度；

分别将负样本数据中每一问答组合样本的问答匹配度，设置为第二预设匹配度；

将扩展数据中各问答组合样本中的问题和答案进行随机交换，获得负扩展数据，负扩展数据包含多个交换后的问答组合样本；

基于扩展数据、负扩展数据，以及教师模型，分别获得扩展数据中每一问答组合样本的问答匹配度，以及负扩展数据中每一问答组合样本的问答匹配度。

一种实施方式中，确定单元还用于：

分别提取第二样本数据集合中每一问答组合样本的向量特征；

将各问答组合样本的向量特征输入至初始学生模型，分别获得每一问答组合样本的预测匹配度；

按照设定学生模型权重，以及设定教师模型权重，将第二样本数据集合中各问答组合样本的预测匹配度和问答匹配度，进行加权求和，获得综合匹配度；

基于综合匹配度以及设定匹配度，确定匹配度损失；

若匹配度损失小于设定损失值，则获得训练好的学生模型，否则，基于匹配度损失，调整初始学生模型的模型参数，直至基于调整后的初始学生模型确定出的匹配度损失小于设定损失值。

一方面，提供了一种电子设备，包括处理器以及存储器，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，运行如上述任一种问答识别的各种可选实现方式中提供的方法的步骤。

一方面，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时运行如上述任一种问答识别的各种可选实现方式中提供的方法的步骤。

一方面，提供了一种计算机程序产品，计算机程序产品在计算机上运行时，使得计算机执行如上述任一种问答识别的各种可选实现方式中提供的方法的步骤。

本申请实施例提供的一种问答识别的方法、装置、电子设备及可读存储介质中，接收针对目标问题的问答请求；基于针对目标问题的问答请求，采用预先训练好的问答模型，确定目标问题对应的答案；其中，问答模型为基于第二样本数据集合和教师模型训练获得的学生模型，教师模型为基于第一样本数据集合以及基于转换器的双向编码表征模型构建的。这样，基于第一样本数据集合以及基于转换器的双向编码表征模型构建教师模型，通过知识蒸馏的方式，用教师模型训练学生模型，将教师模型中的知识，迁移到学生模型中，从而获得训练好的小规模的学生模型，实现了模型的压缩和量化，降低了模型调用的延时，提高了响应速度，小规模的学生模型训练不需要大量的数据和大量的资源，训练的复杂度降低，减少了耗费的资源，节约了项目成本。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种问答识别系统的架构示意图；

图2为本申请实施例提供的一种问答识别的方法的实施流程图；

图3为本申请实施例提供的一种构建学生模型的方法的详细实施流程图；

图4为本申请实施例提供的一种问答识别的装置的结构框图；

图5为本申请实施方式中一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

首先对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。

终端设备：可以是移动终端、固定终端或便携式终端，例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统设备、个人导航设备、个人数字助理、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，终端设备能够支持任意类型的针对用户的接口(例如可穿戴设备)等。

服务器：可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。

卷积神经网络(Conventional Neural Networks，CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络，具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。

蒙特卡洛树搜索：是以概率和统计理论方法为基础的一种搜索方法。

生成式对抗网络(Generative Adversarial Networks，GAN)：是一种深度学习模型，模型中包含两个模型：生成模型和判别模型，生成模型和判别模型相互博弈学习产生很好的输出。

生成模型(Generative Model)：指用于随机生成可观测数据的模型。

判别模型(Discriminative Model)：是一种对未知数与已知数进行建模的模型。

损失函数：是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。

蒙特卡洛树搜索：又称随机抽样或统计试验方法，能够真实地模拟实际物理过程，能够进行随机抽样或统计实验的方法。也是以概率和统计理论方法为基础的一种计算方法，是使用随机数来解决很多计算问题的方法。

为了在问答识别时，可以提高问题答复的响应速度以及减少耗费资源，本申请实施例提供了一种问答识别的方法、装置、电子设备及可读存储介质。

参阅图1所示，为本申请实施例提供的一种问答识别系统的架构示意图。该问答识别系统架构包括设置有判别模块、生成模块、学生模块，以及教师模块的服务器。

其中，判别模块用于：训练生成模型。

生成模块用于：基于判别模型，以及获得的正样本数据，生成扩展数据。

教师模块用于：获得正样本数据、负样本数据、扩展数据，以及负扩展数据的问答匹配度并基于正样本数据、负样本数据、扩展数据，以及负扩展数据的问答匹配度训练学生模型。

学生模型用于：输入目标问题，获得目标问题对应的答案。

一种实施方式中，服务器获取正样本数据，其中，正样本数据中的每一问答组合样本包括问题样本以及相应的答案，并将正样本数据中各问答组合样本中的问题和答案进行随机交换，获得负样本数据和相应的问答匹配度。服务器基于正样本数据中各问题样本和相应的答案，以及数据扩展模型中的判别模块，训练生成模型，并获得训练好的生成模型。服务器获得生成模型生成的扩展数据，并将扩展数据中各问答组合样本中的问题和答案进行随机交换，获得负扩展数据。

服务器基于正样本数据和负样本数据中的问答组合样本以及相应的问答匹配度，训练教师模型，获得训练好的教师模型。服务器将扩展数据和负扩展数据输入教师模型，分别获得扩展数据中每一问答组合样本的问答匹配度，以及负扩展数据中每一问答组合样本的问答匹配度。获取扩展数据中每一问答组合样本的问答匹配度以及负扩展数据中每一问答组合样本的问答匹配度。

服务器别提取正样本数据、负样本数据、扩展数据，以及负扩展数据中每一问答组合样本的向量特征，并将各问答组合样本的向量特征输入至初始学生模型，分别获得每一问答组合样本的预测匹配度，以及按照设定学生模型权重，以及设定教师模型权重，将正样本数据、负样本数据、扩展数据，以及负扩展数据中各问答组合样本的预测匹配度和问答匹配度，进行加权求和，获得综合匹配度。服务器将综合匹配度与设定损失值进行比较，若匹配度损失小于设定损失值，则获得训练好的学生模型。

服务器确定接收到针对目标问题的问答请求时，采用训练好的学生模型，确定目标问题对应的答案。

这样，基于正样本数据和负样本数据中的问答组合样本以及相应的问答匹配度以及基于转换器的双向编码表征模型构建教师模型，通过知识蒸馏的方式，用教师模型训练学生模型，将教师模型中的知识，迁移到学生模型中，从而获得训练好的小规模的学生模型，实现了模型的压缩和量化，降低了模型调用的延时，提高了响应速度，小规模的学生模型训练不需要大量的数据和大量的资源，训练的复杂度降低，减少了耗费的资源，节约了项目成本。

本申请实施例中，仅以执行主体为服务器为例进行说明，实际应用中，执行主体也可以为终端设备等其他电子设备，在此不作限制。

参阅图2所示，为本申请实施例提供的一种问答识别的方法的实施流程图，结合图1问答识别系统中的服务器，该方法的具体实施流程如下：

步骤200：接收针对目标问题的问答请求。

步骤201：基于针对目标问题的问答请求，采用预先训练好的问答模型，确定目标问题对应的答案。

具体的，执行步骤201，可以执行以下步骤：

S2011：提取目标问题的向量特征。

具体的，采用向量转换算法，将目标问题转换为文本向量，并采用卷积核的方式，提取目标问题的向量特征。

可选的，可以采用2*2、3*3，以及4*4大小的卷积核，提取目标问题的向量特征，还可以采用汉语语言模型(Chinese Language Model，CLM)，分别取2、3，以及4字组成词语，提取目标问题的向量特征。

实际应用中，还可以采用其它大小的卷积核，在此不作限制。

其中，向量转换算法可以为将文本转化为文本向量的算法。

可选的，向量转换算法可以为文本分类算法(TextCNN)和快速文本分类器(FastText)。

实际应用中，向量转换算法还可以为其它算法，在此不作限制。

S2012：将向量特征输入问答模型，获得问答模型输出的答案。

具体的，将目标问题的向量特征输入到问答模型中，获得问答模型输出的答案。

其中，问答模型为基于第二样本数据集合和教师模型训练获得的学生模型，教师模型为基于第一样本数据集合以及基于转换器的双向编码表征模型构建的。

进一步的，在执行步骤200之前，还可以执行以下步骤：

步骤一：获取第一样本数据集合。

其中，第一样本数据集合中包含正样本数据、负样本数据以及扩展数据，正样本数据和负样本数据中均包含多个问答组合样本以及相应的问答匹配度，扩展数据中包含多个问答组合样本。

其中，在执行步骤一之前，还可以执行以下步骤：

步骤A：获取正样本数据。

其中，正样本数据中的每一问答组合样本包括问题样本以及相应的答案。

可选的，问题和答案可以采用“问题_Sep_答案”的形式，存储至数据库。

进一步的，获取到正样本数据后，可以对正样本数据进行分词处理，获得正样本数据的词向量文本，接着，可以去除停用词、空格等无意义词语。还可以通过相似度计算方法，获得相似度较高的数据，进行去除。

一种实施方式中，可以采用编辑距离计算数据库中各数据的得分，筛选出相似度高于98％的数据，进行删除重复数据。

这样，就可以获得正样本数据。

步骤B：将正样本数据中各问答组合样本中的问题和答案进行随机交换，获得负样本数据。

具体的，将正样本数据中各问答组合样本中的问题和答案进行随机交换，并将交换后的各问答组合样本组成负样本数据。

其中，负样本数据包含多个交换后的问答组合样本，以及相应的问答匹配度。

一种实施方式中，正样本数据中有两个问答组合样本“问题1_Sep_答案1”和“问题2_Sep_答案2”，将正样本数据中两个问答组合样本中的问题和答案进行随机交换，获得负样本数据，即“问题1_Sep_答案2”和“问题2_Sep_答案1”。

这样，就可以获得负样本数据。

步骤C：基于正样本数据中各问题样本和相应的答案，以及数据扩展模型中的判别模块，对数据扩展模型中的初始生成模型进行训练，获得训练好的生成模型。

其中，数据扩展模型是基于生成式对抗网络构建的。

具体的，基于正样本数据中各问题样本和相应的答案，以及数据扩展模型中的判别模块，采用最大似然估计(MLE)方法，对数据扩展模型中的初始生成模型进行迭代训练，并更新策略梯度，直到初始生成模型收敛后，获得训练好的生成模型。

实际应用中，也可以采用其它方式，训练初始生成模型，在此不作限制。

其中，在获得训练好的生成模型之前，初始生成模型基于生成的数据，循环更新自身参数，直至生成模型收敛后，即获得训练好的生成模型。

其中，可以采用蒙特卡洛树搜索的方法，更新策略梯度。

进一步的，在获得训练好的生成模型之前，设置损失函数，基于损失函数以及初始生成模型生成的数据，优化损失函数，直至获得训练好的生成模型。

这样，就可以基于正样本数据中各问题样本和相应的答案，以及数据扩展模型中的判别模块，对数据扩展模型中的初始生成模型进行训练，获得训练好的生成模型。

步骤D：基于生成模型，以及正样本数据，生成扩展数据。

具体的，基于训练好的生成模型，以及正样本数据，生成模型生成预设数量的扩展数据。

其中，预设数量可以为正样本数据的3倍。

实际应用中，预设数量也可以为正样本数据的其它倍数，在此不作限制。

其中，初始生成模型生成的初始扩展数据可以采用狄利克雷函数(dirichletfunction)形式进行分布。

一种实施方式中，基于训练好的生成模型，以及正样本数据，生成模型生成相当于5倍正样本数据的扩展数据，抽取相当于3倍正样本数据的扩展数据进行后续的操作。

一种实施方式中，正样本数据为“帮您查看到，您购买的是我们公司的两全保险B款，请问您是因为什么原因不想要这份保险了呢？_Sep_我想买的是大病小病都能保的那种，一看你们的合同，和我想的不一样。”，则基于训练好的生成模型，以及正样本数据，生成模型生成3的扩展数据可以为“帮您查看到，您购买的是我们公司的两全保险B款，请问您是由于什么原因不想要这份保单导致要退保呢？_Sep_看过合同之后，我发现跟我想的不一样，因为我想买的是大病小病都能保的那种。”、“帮您查看到，您购买的是我们公司的两全保险B款，请问您不想要这份保险退保的原因是什么呢？_Sep_我想买的是大病小病都能保的保险产品，合同上写的与我的预期不一致。”以及“请问是因为什么原因不想要咱们公司的两全保险B款这款产品，要办理退保呢？_Sep_我原本想买的是大病小病都能保的险种，但是合同上的约定并不是我想要的。”。

这样，就可以获得生成模型生成的扩展数据。

进一步的，在执行步骤D之后，还可以执行以下步骤：

步骤a：分别将正样本数据中每一问答组合样本的问答匹配度，设置为第一预设匹配度。

具体的，分别将正样本数据中每一问答组合样本的问题和答案的问答匹配度，设置为第一预设匹配度。

可选的，第一预设匹配度可以为1.0。

实际应用中，第一预设匹配度也可以为其它，在此不作限制。

步骤b：分别将负样本数据中每一问答组合样本的问答匹配度，设置为第二预设匹配度。

具体的，分别将负样本数据中每一问答组合样本的问题和答案的问答匹配度，设置为第二预设匹配度。

可选的，第二预设匹配度可以为0.0。

实际应用中，第二预设匹配度也可以为其它，在此不作限制。

步骤c：将扩展数据中各问答组合样本中的问题和答案进行随机交换，获得负扩展数据。

其中，负扩展数据包含多个交换后的问答组合样本。

一种实施方式中，选取扩展数据中一半数量的问答组合样本，并将选出的一半数量的问答组合样本的问题和答案进行随机交换，获得负扩展数据。

步骤d：基于扩展数据、负扩展数据，以及教师模型，分别获得扩展数据中每一问答组合样本的问答匹配度，以及负扩展数据中每一问答组合样本的问答匹配度。

具体的，基于扩展数据、负扩展数据，以及教师模型，分别获得扩展数据中每一问答组合样本的问题和答案的问答匹配度，以及负扩展数据中每一问答组合样本的问题和答案的问答匹配度。

这样，就可以获得正样本数据、负样本数据、扩展数据，以及负扩展数据中每一问答组合样本的问题和答案的问答匹配度。

步骤二：基于正样本数据和负样本数据中的问答组合样本以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的教师模型。

其中，初始教师模型是通过基于转换器的双向编码表征模型获得的。

具体的，执行步骤二可以执行以下步骤：

步骤E：分别提取正样本数据和负样本数据中每一问答组合样本的向量特征。

具体的，采用向量转换算法，将正样本数据和负样本数据中每一问答组合样本转换为文本向量，并采用卷积核的方式，提取正样本数据和负样本数据中每一问答组合样本的向量特征。

进一步的，还可以采用Google开源的预训练的语言表征模型BERT，进行句向量表证，将文本转化为文本向量。

这样，就可以获得正样本数据和负样本数据中每一问答组合样本的向量特征。

步骤F：基于各问答组合样本的向量特征以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的教师模型。

具体的，基于正样本数据和负样本数据中的问答组合样本的向量特征以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的教师模型。

可选的，还可以采用基于转换器的双向编码表征模型微调的方法，获得教师模型。

进一步的，在获得训练好的教师模型后，将教师模型进行保存。

这样，就可以获得训练好的教师模型。

步骤三：基于教师模型以及扩展数据，获取扩展数据中每一问答组合样本的问答匹配度。

具体的，将扩展数据中的各问答组合样本，分别输入到教师模型，分别获得扩展数据中每一问答组合样本的问答匹配度。

其中，教师模型的输出结果的形式可以为[score，问题_Sep_答案]。

实际应用中，教师模型的输出结果的形式还可以为其它形式的，在此不作限制。

步骤四：基于教师模型以及负扩展数据，获取负扩展数据中每一问答组合样本的问答匹配度。

具体的，将负扩展数据中的各问答组合样本，分别输入到教师模型，分别获得负扩展数据中每一问答组合样本的问答匹配度。

步骤五：基于第一样本数据集合、扩展数据中每一问答组合样本的问答匹配度以及负扩展数据中每一问答组合样本的问答匹配度，获得第二样本数据集合。

具体的，将扩展数据中每一问答组合样本的问答匹配度以及负扩展数据中每一问答组合样本的问答匹配度，添加至第一样本数据集合中，获得第二样本数据集合。

其中，第二样本数据集合还可以称作全量数据。

步骤六：基于第二样本数据集合，对初始学生模型进行训练，获得训练好的学生模型。

其中，训练好的学生模型为问答模型。

具体的，执行步骤六，可以执行以下步骤：

步骤G：分别提取第二样本数据集合中每一问答组合样本的向量特征。

具体的，采用向量转换算法，分别将第二样本数据集合中每一问答组合样本转换为文本向量，并采用卷积核的方式，提取第二样本数据集合中每一问答组合样本的向量特征。

进一步的，还可以将第二样本数据集合中的答组合样本按照预设比例划分为训练集合、验证集合，以及测试集合。

其中，第二样本数据集合中的答组合样本可以按照[score，问题_Sep_答案]形式存储。

实际应用中，还可以采用其它形式进行存储，在此不作限制。

其中，训练集合用于训练学生模型，验证集合用于验证训练好的学生模型，测试集合用于测试训练好的学生模型。

可选的，可以采用7:2:1预设比例，将第二样本数据集合划分为训练集合、验证集合，以及测试集合。

实际应用中，也可以采用其它比例进行划分，在此不作限制。

这样，就可以提取第二样本数据集合中每一问答组合样本的向量特征。

步骤H：将各问答组合样本的向量特征输入至初始学生模型，分别获得每一问答组合样本的预测匹配度。

具体的，将获得的各问答组合样本的向量特征输入至初始学生模型，分别获得每一问答组合样本的问题和答案的预测匹配度。

其中，预测匹配度的取值范围可以为0-1之间。

实际应用中，预测匹配度的取值范围也可以其它，在此不作限制。

步骤I：按照设定学生模型权重，以及设定教师模型权重，将第二样本数据集合中各问答组合样本的预测匹配度和问答匹配度，进行加权求和，获得综合匹配度。

具体的，按照设定学生模型权重，以及设定教师模型权重，将第二样本数据集合中根据学生模型获得的各问答组合样本的预测匹配度和根据教师模型获得的各问答组合样本的问答匹配度，进行加权求和，获得各问答组合样本的综合匹配度。

一种实施方式中，学生模型获得的问答组合样本的预测匹配度为S1，教师模型获得的问答组合样本的问答匹配度为S2，设定学生模型权重为ɑ1，教师模型权重为ɑ2，将该问答组合样本的预测匹配度为S1和问答匹配度为S2进行加权求和，即ɑ1*S1+ɑ2*S2，获得该问答组合样本的综合匹配度ɑ1*S1+ɑ2*S2。

其中，学生模型权重可以用ɑ1表示，教师模型权重可以用ɑ2表示。

实际应用中，学生模型权重和教师模型权重也可以用其它符号进行表示，在此不作限制。

其中，综合匹配度的取值范围可以为0-1之间。

可选的，学生模型权重的取值可以为0.4，教师模型权重的取值可以为0.6，实际应用中，学生模型权重和教师模型权重也可以为其它，在此不作限制。

这样，就可以根据学生模型获得的各问答组合样本的预测匹配度和根据教师模型获得的各问答组合样本的问答匹配度，进行加权求和，获得各问答组合样本的综合匹配度。

步骤J：基于综合匹配度以及设定匹配度，确定匹配度损失。

具体的，根据获得的综合匹配度和预先设定的匹配度，确定匹配度损失。

其中，设定匹配度是预先设置的。

可选的，设定匹配度的取值范围可以为0-1之间，也可以为其它，在此不作限制。

其中，预先设置损失函数，根据损失函数，确定匹配度损失。

可选的，损失函数可以为0-1损失函数(zero-one loss)、绝对值损失函数、log对数损失函数、平方损失函数、指数损失函数、感知损失函数，以及交叉熵损失函数等。

实际应用中，也可以采用其它损失函数，在此不作限制。

这样，就可以确定匹配度损失。

步骤K：若匹配度损失小于设定损失值，则获得训练好的学生模型，否则，基于匹配度损失，调整初始学生模型的模型参数，直至基于调整后的初始学生模型确定出的匹配度损失小于设定损失值。

具体的，若匹配度损失小于设定损失值，则获得训练好的学生模型，否则，基于匹配度损失，调整初始学生模型的模型参数，直至基于调整后的初始学生模型确定出的匹配度损失小于设定损失值，即获得训练好的学生模型。

进一步的，获得训练好的问答模型后，将该模型进行保存，在将该问答模型上线使用时，还可以采用搜索服务器(Elasticsearch)的方式，针对目标问题，获得目标问题对应的答案以及问答匹配度，并将学生模型的输出的针对目标问题对应的答案以及问答匹配度，以及将搜索服务器输出的问答匹配度和学生模型输出的问答匹配度进行加权求和，获得最终针对目标问题对应的答案，以及根据最终针对目标问题对应的答案，存储对应答案，并实时或周期更新学生模型的参数。

这样，就可以获得训练好的学生模型。

参阅图3所示，其为本申请实施例提供的一种构建学生模型的方法详细实施流程图，该方法的具体实施流程如下：

步骤300：获取包含各问答组合样本以及对应的问答匹配度的正样本数据。

步骤301：将正样本数据中各问答组合样本中的问题和答案进行随机交换，获得包含的各问答组合样本以及对应的问答匹配度的负样本数据。

步骤302：基于正样本数据中各问题样本和相应的答案，以及数据扩展模型中的判别模块，对数据扩展模型中的初始生成模型进行训练，获得训练好的生成模型。

步骤303：基于生成模型，以及正样本数据，生成扩展数据。

步骤304：将扩展数据中各问答组合样本中的问题和答案进行随机交换，获得负扩展数据。

步骤305：获取包含正样本数据、负样本数据、扩展数据以及负扩展数据的第一样本数据集合。

步骤306：基于正样本数据和负样本数据中的问答组合样本以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的教师模型。

步骤307：基于教师模型以及扩展数据，获取扩展数据中每一问答组合样本的问答匹配度。

步骤308：基于教师模型以及负扩展数据，获取负扩展数据中每一问答组合样本的问答匹配度。

步骤309：基于第一样本数据集合、扩展数据中每一问答组合样本的问答匹配度以及扩展数据中每一问答组合样本的问答匹配度，获得第二样本数据集合。

步骤310：分别提取第二样本数据集合中每一问答组合样本的向量特征。

步骤311：将各问答组合样本的向量特征输入至初始学生模型，分别获得每一问答组合样本的预测匹配度。

步骤312：按照设定学生模型权重，以及设定教师模型权重，将第二样本数据集合中各问答组合样本的预测匹配度和问答匹配度，进行加权求和，获得综合匹配度。

步骤313：基于综合匹配度以及设定匹配度，确定匹配度损失。

步骤314：判断匹配度损失是否小于设定损失值，若是，则执行步骤315，否则执行步骤316。

步骤315：获得训练好的学生模型。

步骤316：基于匹配度损失，调整初始学生模型的模型参数。

需要说明的是，执行步骤311。

具体的，执行步骤300-步骤316时，具体步骤参见上述步骤200-步骤201，在此不做赘述。

本申请实施例中，基于第一样本数据集合以及基于转换器的双向编码表征模型构建教师模型，通过知识蒸馏的方式，用教师模型训练学生模型，将教师模型中的知识，迁移到学生模型中，从而获得训练好的小规模的学生模型，实现了模型的压缩和量化，降低了模型调用的延时，提高了响应速度，小规模的学生模型训练不需要大量的数据和大量的资源，训练的复杂度降低，减少了耗费的资源，节约了项目成本。

如图4所示，其为本申请实施例提供的一种问答识别的装置的结构示意图，包括：

接收单元400，用于接收针对目标问题的问答请求；

确定单元401，用于基于针对目标问题的问答请求，采用预先训练好的问答模型，确定目标问题对应的答案；

其中，问答模型为基于第二样本数据集合和教师模型训练获得的学生模型，教师模型为基于第一样本数据集合以及基于转换器的双向编码表征模型构建的。

一种实施方式中，确定单元401具体用于：

提取目标问题的向量特征；

将向量特征输入问答模型，获得问答模型输出的答案。

一种实施方式中，接收单元400还用于：

获取第一样本数据集合，第一样本数据集合中包含正样本数据、负样本数据、扩展数据以及负扩展数据，正样本数据和负样本数据中均包含多个问答组合样本以及相应的问答匹配度，扩展数据和负扩展数据中均包含多个问答组合样本；

基于正样本数据和负样本数据中的问答组合样本以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的教师模型，其中，初始教师模型是通过基于转换器的双向编码表征模型获得的；

基于教师模型以及扩展数据，获取扩展数据中每一问答组合样本的问答匹配度；

基于教师模型以及负扩展数据，获取负扩展数据中每一问答组合样本的问答匹配度；

基于第一样本数据集合、扩展数据中每一问答组合样本的问答匹配度以及扩展数据中每一问答组合样本的问答匹配度，获得第二样本数据集合；

基于第二样本数据集合，对初始学生模型进行训练，获得训练好的学生模型，训练好的学生模型为问答模型。

一种实施方式中，接收单元400还用于：

获取正样本数据，正样本数据中的每一问答组合样本包括问题样本以及相应的答案；

将正样本数据中各问答组合样本中的问题和答案进行随机交换，获得负样本数据，负样本数据包含多个交换后的问答组合样本，以及相应的问答匹配度；

基于正样本数据中各问题样本和相应的答案，以及数据扩展模型中的判别模块，对数据扩展模型中的初始生成模型进行训练，获得训练好的生成模型，其中，数据扩展模型是基于生成式对抗网络构建的；

基于生成模型，以及正样本数据，生成扩展数据。

一种实施方式中，确定单元401还用于：

分别提取正样本数据和负样本数据中每一问答组合样本的向量特征；

基于各问答组合样本的向量特征以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的所述教师模型。

一种实施方式中，确定单元401还用于：

分别将正样本数据中每一问答组合样本的问答匹配度，设置为第一预设匹配度；

分别将负样本数据中每一问答组合样本的问答匹配度，设置为第二预设匹配度；

将扩展数据中各问答组合样本中的问题和答案进行随机交换，获得负扩展数据，负扩展数据包含多个交换后的问答组合样本；

基于扩展数据、负扩展数据，以及教师模型，分别获得扩展数据中每一问答组合样本的问答匹配度，以及负扩展数据中每一问答组合样本的问答匹配度。

一种实施方式中，确定单元401还用于：

分别提取第二样本数据集合中每一问答组合样本的向量特征；

将各问答组合样本的向量特征输入至初始学生模型，分别获得每一问答组合样本的预测匹配度；

按照设定学生模型权重，以及设定教师模型权重，将第二样本数据集合中各问答组合样本的预测匹配度和问答匹配度，进行加权求和，获得综合匹配度；

基于综合匹配度以及设定匹配度，确定匹配度损失；

若匹配度损失小于设定损失值，则获得训练好的学生模型，否则，基于匹配度损失，调整初始学生模型的模型参数，直至基于调整后的初始学生模型确定出的匹配度损失小于设定损失值。

图5示出了一种电子设备5000的结构示意图。参阅图5所示，电子设备5000包括：处理器5010以及存储器5020，可选的，还可以包括电源5030、显示单元5040、输入单元5050。

处理器5010是电子设备5000的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器5020内的软件程序和/或数据，执行电子设备5000的各种功能，从而对电子设备5000进行整体监控。

本申请实施例中，处理器5010调用存储器5020中存储的计算机程序时执行如图2中所示的实施例提供的问答识别的方法。

显示单元5040可用于显示由用户输入的信息或提供给用户的信息以及电子设备5000的各种菜单等，本发明实施例中主要用于显示电子设备5000中各应用的显示界面以及显示界面中显示的数据、图片等对象。显示单元5040可以包括显示面板5041。显示面板5041可以采用液晶显示屏(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置。

输入单元5050可用于接收用户输入的数字或字符等信息。输入单元5050可包括触控面板5051以及其他输入设备5052。其中，触控面板5051，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板5051上或在触控面板5051附近的操作)。

本领域技术人员可以理解，图5仅仅是电子设备的举例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

本申请实施例中，一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使得通信设备可以执行上述实施例中的各个步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种问答识别的方法，其特征在于，包括：

接收针对目标问题的问答请求；

基于所述针对目标问题的问答请求，采用预先训练好的问答模型，确定所述目标问题对应的答案；

其中，所述问答模型为基于第二样本数据集合和教师模型训练获得的学生模型，所述教师模型为基于第一样本数据集合以及基于转换器的双向编码表征模型构建的。

2.如权利要求1所述的方法，其特征在于，所述基于所述针对目标问题的问答请求，采用预先训练好的问答模型，确定所述目标问题对应的答案，包括：

提取所述目标问题的向量特征；

将所述向量特征输入所述问答模型，获得所述问答模型输出的所述答案。

3.如权利要求2所述的方法，其特征在于，在所述基于所述针对目标问题的问答请求，采用预先训练好的问答模型，确定所述目标问题对应的答案之前，还包括：

获取第一样本数据集合，所述第一样本数据集合中包含正样本数据、负样本数据、扩展数据以及负扩展数据，所述正样本数据和所述负样本数据中均包含多个问答组合样本以及相应的问答匹配度，所述扩展数据和负扩展数据中均包含多个问答组合样本；

基于所述正样本数据和所述负样本数据中的问答组合样本以及相应的问答匹配度，对初始教师模型进行训练，获得训练好的所述教师模型，其中，所述初始教师模型是通过基于转换器的双向编码表征模型获得的；

基于所述教师模型以及所述扩展数据，获取所述扩展数据中每一问答组合样本的问答匹配度；

基于所述教师模型以及所述负扩展数据，获取所述负扩展数据中每一问答组合样本的问答匹配度；

基于所述第一样本数据集合、所述扩展数据中每一问答组合样本的问答匹配度以及所述负扩展数据中每一问答组合样本的问答匹配度，获得所述第二样本数据集合；

基于所述第二样本数据集合，对初始学生模型进行训练，获得训练好的所述学生模型，所述训练好的学生模型为所述问答模型。

4.如权利要求3所述的方法，其特征在于，在所述获得所述第一样本数据集合之前，还包括：

获取正样本数据，所述正样本数据中的每一问答组合样本包括问题样本以及相应的答案；

将所述正样本数据中各问答组合样本中的问题和答案进行随机交换，获得负样本数据，所述负样本数据包含多个交换后的问答组合样本，以及相应的问答匹配度；

基于所述正样本数据中各问题样本和相应的答案，以及数据扩展模型中的判别模块，对所述数据扩展模型中的初始生成模型进行训练，获得训练好的生成模型，其中，所述数据扩展模型是基于生成式对抗网络构建的；

基于所述生成模型，以及所述正样本数据，生成扩展数据。

5.如权利要求4所述的方法，其特征在于，所述基于所述正样本数据和所述负样本数据中的问答组合样本以及相应的问答匹配度，对所述初始教师模型进行训练，获得训练好的所述教师模型，包括：

分别提取所述正样本数据和所述负样本数据中每一问答组合样本的向量特征；

基于各问答组合样本的向量特征以及相应的问答匹配度，对所述初始教师模型进行训练，获得训练好的所述教师模型。

6.如权利要求4或5所述的方法，其特征在于，在所述基于所述生成模型，以及所述正样本数据，生成扩展数据之后，还包括：

分别将所述正样本数据中每一问答组合样本的问答匹配度，设置为第一预设匹配度；

分别将所述负样本数据中每一问答组合样本的问答匹配度，设置为第二预设匹配度；

将所述扩展数据中各问答组合样本中的问题和答案进行随机交换，获得负扩展数据，所述负扩展数据包含多个交换后的问答组合样本；

基于所述扩展数据、所述负扩展数据，以及所述教师模型，分别获得所述扩展数据中每一问答组合样本的问答匹配度，以及所述负扩展数据中每一问答组合样本的问答匹配度。

7.如权利要求6所述的方法，其特征在于，在所述基于所述第二样本数据集合，对所述初始学生模型进行训练，获得训练好的所述学生模型，所述训练好的学生模型为所述问答模型，包括：

分别提取所述第二样本数据集合中每一问答组合样本的向量特征；

将各问答组合样本的向量特征输入至所述初始学生模型，分别获得每一问答组合样本的预测匹配度；

按照设定学生模型权重，以及设定教师模型权重，将所述第二样本数据集合中各问答组合样本的预测匹配度和问答匹配度，进行加权求和，获得综合匹配度；

基于所述综合匹配度以及设定匹配度，确定匹配度损失；

若所述匹配度损失小于设定损失值，则获得训练好的所述学生模型，否则，基于所述匹配度损失，调整所述初始学生模型的模型参数，直至基于调整后的初始学生模型确定出的匹配度损失小于所述设定损失值。

8.一种问答识别的装置，其特征在于，包括：

接收单元，用于接收针对目标问题的问答请求；

确定单元，用于基于所述针对目标问题的问答请求，采用预先训练好的问答模型，确定所述目标问题对应的答案；

其中，所述问答模型为基于第二样本数据集合和教师模型训练获得的学生模型，所述教师模型为基于第一样本数据集合以及基于转换器的双向编码表征模型构建的。

9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述方法。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述方法。

Images