CN111159379A - 一种自动出题方法、装置及系统 - Google Patents

Abstract

本申请实施例公开了一种自动出题方法、装置及系统，其中方法包括：获取针对当前考题的问答内容；计算每一历史考题的问答内容与所述当前考题的问答内容的第一匹配度；选取所述第一匹配度最高的历史考题的下一题作为候选考题；计算所述候选考题与题库中的下一题的第二匹配度；若所述第二匹配度满足预设条件，则将所述候选考题作为目标考题出题。本申请相对现有技术，可模拟实际场景进行自动出题。

Description

一种自动出题方法、装置及系统

技术领域

本申请涉及出题问答领域，特别是涉及一种自动出题方法、装置及系统。

背景技术

在很多产品和平台中，常有问答场景出现。比如电商平台的智能客服与用户之间就是一种问答场景。为了提升智能客服应答的准确性，需要模拟用户提出问题，以对智能客服的应答进行评价，便于后续进行针对性的改进。

现有技术中，预先设有一个题库，按照一定的规则比如顺序从题库中选择考题模拟用户向智能客服发出提问，以获取智能客服的答案，以便检测智能客服回答的准确性。

但现有技术中，题库出题的规则顺序是设定好的，不论针对当前问题的回答是什么，都会按照既定的规则从题库中选择下一题继续出题。这样的出题方式脱离实际的问答场景，前后问题之间不一定具有关联性。

其他问答场景下也具有相同的问题。

发明内容

本申请提供了一种自动出题方法、装置及系统，以解决现有技术中模拟问答时，无法模拟真实场景，使得前后问题之间不具有关联性的问题。

本申请第一方面提供一种自动出题方法，所述方法包括：

获取针对当前考题的问答内容；

计算每一历史考题的问答内容与所述当前考题的问答内容的第一匹配度；

选取所述第一匹配度最高的历史考题的下一题作为候选考题；

计算所述候选考题与题库中的下一题的第二匹配度；

若所述第二匹配度满足预设条件，则将所述候选考题作为目标考题出题。

优选的，所述方法还包括：

若所述第二匹配度不满足预设条件，则将所述题库中的下一题作为目标考题出题。

优选的，所述计算每一历史考题的问答内容与所述当前考题的问答内容的第一匹配度包括：

根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

根据预设的问答模型对每一所述历史考题的问答内容进行编码，获得每一历史考题的问题编码和答案编码；

计算每一历史考题的问题编码与所述当前考题的问题编码的问题匹配度；

计算每一历史考题的答案编码与所述当前考题的答案编码的答案匹配度；

根据所述问题匹配度与所述答案匹配度计算所述第一匹配度。

优选的，所述选取所述第一匹配度最高的历史考题的下一题作为候选考题包括：

选取所有历史考题中问答内容中，所述问题匹配度大于第一预设阈值且所述答案匹配度大于第二预设阈值的历史考题作为待选历史考题；

选取所述待选历史考题中所述第一匹配度最高的历史考题的下一题作为候选考题。

优选的，所述方法还包括：

根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

计算所述当前考题的问题编码与答案编码的第三匹配度；

根据文本相似度算法，计算所述当前考题的答案与所述当前考题的标准答案的第四匹配度；

根据所述第三匹配度和所述第四匹配度计算所述当前考题的答案的分数。

本申请第二方面提供一种自动出题装置，所述装置包括：

当前考题获取单元，获取针对当前考题的问答内容；

第一匹配度计算单元，用于计算每一历史考题的问答内容与所述当前考题的问答内容的第一匹配度；

候选考题单元，用于选取所述第一匹配度最高的历史考题的下一题作为候选考题；

第二匹配度计算单元，用于计算所述候选考题与题库中的下一题的第二匹配度；

出题单元，用于在所述第二匹配度满足预设条件时，将所述候选考题作为目标考题出题。

优选的，所述出题单元，还用于在所述第二匹配度不满足预设条件时，将所述题库中的下一题作为目标考题出题。

优选的，所述第一匹配度计算单元包括第一编码单元、问题匹配度计算单元、答案匹配度计算单元和第一匹配度计算子单元；

所述第一编码单元，用于根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

所述第一编码单元，还用于根据预设的问答模型对每一所述历史考题的问答内容进行编码，获得每一历史考题的问题编码和答案编码；

所述问题匹配度计算单元，用于计算每一历史考题的问题编码与所述当前考题的问题编码的问题匹配度；

所述答案匹配度计算单元，用于计算每一历史考题的答案编码与所述当前考题的答案编码的答案匹配度；

所述第一匹配度计算子单元，用于根据所述问题匹配度与所述答案匹配度计算所述第一匹配度。

优选的，所述装置还包括：

第二编码单元、第三匹配度计算单元、第四匹配度计算单元以及答案分数计算单元；

所述第二编码单元，用于根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

所述第三匹配度计算单元，用于计算所述当前考题的问题编码与答案编码的第三匹配度；

所述第四匹配度计算单元，用于根据文本相似度算法，计算所述当前考题的答案与所述当前考题的标准答案的第四匹配度；

所述答案分数计算单元，用于根据所述第三匹配度和所述第四匹配度计算所述当前考题的答案的分数。

本申请第三方面提供一种计算机系统，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如上所述的方法。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

本申请的技术方案根据当前考题问答情况，从历史问答中选择与其相近的问答，并在最相近的历史问答的下一句与题库中下一题相似度较高时，选择以历史问答的下一句作为下一考题。实现了根据用户对每题的回答情况自动从历史问答中确定出相关联的问题继续提问，构建场景化的模拟训练，提高了考题之间的关联度。

进一步的，本申请中综合标准答案和考生答案的匹配度、考题与考生答案的匹配度对考生答案进行评分，使得对考生答案的评分达到符合真实场景回覆并能贴近标准答案规范。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请方法流程图意图；

图2-4是本申请具体实施例示意图；

图5是本申请实施例装置结构图；

图6是计算机系统结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

如背景技术所述，从题库中按照预设顺序出题的方式忽视了前一考题的问答情况与下一考题之间的关联性，使得下一考题脱离前一考题的问答，造成考题间关联度低。

本申请旨在提供一种自动出题的方法，通过根据用户对当前考题的问答情况从历史问答中选择与之最相近的历史问答，以确定实际关联场景，将该最相近的历史问答的下一句作为下一问题的候选，结合该候选问题与题库中下一题的相似度确定最终的下一问题。由于结合了相近似的历史问答，确定了实际场景，以实际场景中的下一问题进行提问，必然提高了下一问题与当前问题的关联度。

实施例1

如图1所示，为本申请实施例1提供的一种自动出题方法，所述方法包括：

S11、获取针对当前考题的问答内容。

针对当前考题的问答内容，是当前考题的问题与答案。

为确定关联场景，首先需要获取用户针对当前考题的问题和答案。

在具体实施例中，问题和答案可以作为一个问题对<Q,A>进行关联存储,Q表示问题，A表示对应的答案。

S12、计算每一历史考题的问答内容与所述当前考题的问答内容的第一匹配度。

历史考题的问答内容可通过收集实际场景中的数据获得，比如收集电商平台上用户与客服的问答数据作为历史考题的问答内容。每一历史考题的问答内容也可以以一个问题对<Q,A>进行关联存储。

S13、选取所述第一匹配度最高的历史考题的下一题作为候选考题。

通过该步骤即确定了与当前问题关联的实际场景。而选择该实际场景中的下一题作为候选，即是以实际场景来进行问题的选择。

S14、计算所述候选考题与题库中的下一题的第二匹配度。

S15、若所述第二匹配度满足预设条件，则将所述候选考题作为目标考题出题。

S14、S15两步骤是考虑到实际场景与题库中的考题亦不可有过多偏离，因此，计算选择的候选考题与题库的下一题进行匹配，在匹配度满足要求时，我们认为候选考题亦满足出题的基本要求，且相对题库中的下一题，与当前考题更具有关联性，以此以候选考题作为目标考题出题。

如图1所示，所述方法还包括：

S16、若所述第二匹配度不满足预设条件，则将所述题库中的下一题作为目标考题出题。该步骤保证了将与题库偏离甚多的历史考题作为下一题。

在步骤S12中计算第一匹配度时，可通过如下方式进行：

根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

根据预设的问答模型对每一所述历史考题的问答内容进行编码，获得每一历史考题的问题编码和答案编码；

计算每一历史考题的问题编码与所述当前考题的问题编码的问题匹配度；

计算每一历史考题的答案编码与所述当前考题的答案编码的答案匹配度；

根据所述问题匹配度与所述答案匹配度计算所述第一匹配度。具体的可将两者加和计算第一匹配度。

其中，上述对问答内容分别进行编码可通过将内容分别输入问答模型中进行，通过编码获得向量序列，此处可以利用目前已有的问答模型实现。

优选实施例中，在选择匹配度最高的历史考题时，可先分别判断每一历史考题的问题匹配度、答案匹配度与各自阈值的关系，并选取所有历史考题中问答内容中，所述问题匹配度大于第一预设阈值且所述答案匹配度大于第二预设阈值的历史考题作为待选历史考题；

选取所述待选历史考题中所述第一匹配度最高的历史考题的下一题作为候选考题。

通过上述方式，可剔除历史问答中与当前考题问题或者答案的一项偏离较大的部分，从而进一步保证选取的候选考题与当前考题的整体关联度。

在本申请的优选实施例中，可对用户的回答进行打分，所述方法还包括：

根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

计算所述当前考题的问题编码与答案编码的第三匹配度；

根据文本相似度算法，计算所述当前考题的答案与所述当前考题的标准答案的第四匹配度。具体可根据分词比较、关键词权重等算法计算第四匹配度。

根据所述第三匹配度和所述第四匹配度计算所述当前考题的答案的分数。

通过上述方法，最后的分数结合了问题与答案之间以及答案与标准答案之间的匹配度，提高了分数评价的准确性。

实际中，还可以将上述分数作为特征值，结合用户答案与标准答案长度差异，与标准答案关键词匹配度等一起计算得到最终的分数。

如下为本申请的一个具体场景示例：

考题问题:我收到一个短信，说我的电视安装派工了，我没有要安装啊。

标准答案:您好，这边看到您有一个深圳市三星电视的安装，预约的安装时间是5.07号，您家人是否有预约过呢？

考生答案:这边帮您查询了一下，请问是购买的这款吗三星电视QA82Q900RBJXXZ

根据上述场景，进行自动打分和自动出题：

对上述考生答案进行打分：

首先利用图2所示的模型，为考题问题和标准答案进行第一次打分，得到分数1->9

接着利用图3所示的模型，为标准答案和考生答案进行第二次打分，得到分数2->5

之后利用图4所示的模型，将上述两个分数配上其他特征值进行打分，

如：[分数1,分数2,长度差,关键字匹配率,句数差,短句句数差,jaccard相似度]

如将对应的特征分数[9,5,8,0.5,2,1,0.38]送入打分模型得到最终打分->7。

自动出题：

相近场景检索:

在历史问答数据库中对历史问答进行匹配度计算，选择确定出最相匹配的历史问答如下：

用户:为什么说我的电视安装派工了，我没有要安装啊。

客服:帮您查询了一下，请问是购买的这款吗三星电视？

之后将该场景下的下一句：

用户:对的，能帮我看看怎么取消吗

与题库中设定好的下一标准问题进行比较,如果相似度大于所设域值,以上述场景中的下句出题使考题多变化,若低于域值则以题库中的下一标准考题出题防止考生偏题。

实施例2

针对上述方法，本申请实施例2提供一种自动出题装置，如图5所示，所述装置包括：

当前考题获取单元51，获取针对当前考题的问答内容；

第一匹配度计算单元52，用于计算每一历史考题的问答内容与所述当前考题的问答内容的第一匹配度；

候选考题单元53，用于选取所述第一匹配度最高的历史考题的下一题作为候选考题；

第二匹配度计算单元54，用于计算所述候选考题与题库中的下一题的第二匹配度；

出题单元55，用于在所述第二匹配度满足预设条件时，将所述候选考题作为目标考题出题。

优选的，所述出题单元55，还用于在所述第二匹配度不满足预设条件时，将所述题库中的下一题作为目标考题出题。

优选的，所述第一匹配度计算单元包括第一编码单元、问题匹配度计算单元、答案匹配度计算单元和第一匹配度计算子单元；

所述第一编码单元，用于根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

所述第一编码单元，还用于根据预设的问答模型对每一所述历史考题的问答内容进行编码，获得每一历史考题的问题编码和答案编码；

所述问题匹配度计算单元，用于计算每一历史考题的问题编码与所述当前考题的问题编码的问题匹配度；

所述答案匹配度计算单元，用于计算每一历史考题的答案编码与所述当前考题的答案编码的答案匹配度；

所述第一匹配度计算子单元，用于根据所述问题匹配度与所述答案匹配度计算所述第一匹配度。

候选考题单元，具体用于选取所有历史考题中问答内容中，所述问题匹配度大于第一预设阈值且所述答案匹配度大于第二预设阈值的历史考题作为待选历史考题并选取所述待选历史考题中所述第一匹配度最高的历史考题的下一题作为候选考题。

优选的，所述装置还包括：

第二编码单元、第三匹配度计算单元、第四匹配度计算单元以及答案分数计算单元；

所述第二编码单元，用于根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

所述第三匹配度计算单元，用于计算所述当前考题的问题编码与答案编码的第三匹配度；

所述第四匹配度计算单元，用于根据文本相似度算法，计算所述当前考题的答案与所述当前考题的标准答案的第四匹配度；

所述答案分数计算单元，用于根据所述第三匹配度和所述第四匹配度计算所述当前考题的答案的分数。

实施例3

对应上述方法、装置，本申请实施例3提供一种计算机系统，，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如实施例1所述的方法。

其中，图6示例性的展示出了计算机系统的架构，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。

其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制计算机系统1500运行的操作系统1521，用于控制计算机系统1500的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1523，数据存储管理系统1524，以及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。

输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1530包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。

另外，该计算机系统1500还可以从虚拟资源对象领取条件信息数据库1541中获得具体领取条件的信息，以用于进行条件判断，等等。

需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线1530等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，云服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的自动出题方法、装置及系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种自动出题方法，其特征在于，所述方法包括：

获取针对当前考题的问答内容；

计算每一历史考题的问答内容与所述当前考题的问答内容的第一匹配度；

选取所述第一匹配度最高的历史考题的下一题作为候选考题；

计算所述候选考题与题库中的下一题的第二匹配度；

若所述第二匹配度满足预设条件，则将所述候选考题作为目标考题出题。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第二匹配度不满足预设条件，则将所述题库中的下一题作为目标考题出题。

3.如权利要求1所述的方法，其特征在于，所述计算每一历史考题的问答内容与所述当前考题的问答内容的第一匹配度包括：

根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

根据预设的问答模型对每一所述历史考题的问答内容进行编码，获得每一历史考题的问题编码和答案编码；

计算每一历史考题的问题编码与所述当前考题的问题编码的问题匹配度；

计算每一历史考题的答案编码与所述当前考题的答案编码的答案匹配度；

根据所述问题匹配度与所述答案匹配度计算所述第一匹配度。

4.如权利要求3所述的方法，其特征在于，所述选取所述第一匹配度最高的历史考题的下一题作为候选考题包括：

选取所有历史考题中问答内容中，所述问题匹配度大于第一预设阈值且所述答案匹配度大于第二预设阈值的历史考题作为待选历史考题；

选取所述待选历史考题中所述第一匹配度最高的历史考题的下一题作为候选考题。

5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

计算所述当前考题的问题编码与答案编码的第三匹配度；

根据文本相似度算法，计算所述当前考题的答案与所述当前考题的标准答案的第四匹配度；

根据所述第三匹配度和所述第四匹配度计算所述当前考题的答案的分数。

6.一种自动出题装置，其特征在于，所述装置包括：

当前考题获取单元，获取针对当前考题的问答内容；

第一匹配度计算单元，用于计算每一历史考题的问答内容与所述当前考题的问答内容的第一匹配度；

候选考题单元，用于选取所述第一匹配度最高的历史考题的下一题作为候选考题；

第二匹配度计算单元，用于计算所述候选考题与题库中的下一题的第二匹配度；

出题单元，用于在所述第二匹配度满足预设条件时，将所述候选考题作为目标考题出题。

7.如权利要求6所述的装置，其特征在于，所述出题单元，还用于在所述第二匹配度不满足预设条件时，将所述题库中的下一题作为目标考题出题。

8.如权利要求6所述的装置，其特征在于，所述第一匹配度计算单元包括第一编码单元、问题匹配度计算单元、答案匹配度计算单元和第一匹配度计算子单元；

所述第一编码单元，用于根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

所述第一编码单元，还用于根据预设的问答模型对每一所述历史考题的问答内容进行编码，获得每一历史考题的问题编码和答案编码；

所述问题匹配度计算单元，用于计算每一历史考题的问题编码与所述当前考题的问题编码的问题匹配度；

所述答案匹配度计算单元，用于计算每一历史考题的答案编码与所述当前考题的答案编码的答案匹配度；

所述第一匹配度计算子单元，用于根据所述问题匹配度与所述答案匹配度计算所述第一匹配度。

9.如权利要求6-8所述的装置，其特征在于，所述装置还包括：

第二编码单元、第三匹配度计算单元、第四匹配度计算单元以及答案分数计算单元；

所述第二编码单元，用于根据预设的问答模型对所述当前考题的问答内容进行编码，获得当前考题的问题编码和答案编码；

所述第三匹配度计算单元，用于计算所述当前考题的问题编码与答案编码的第三匹配度；

所述第四匹配度计算单元，用于根据文本相似度算法，计算所述当前考题的答案与所述当前考题的标准答案的第四匹配度；

所述答案分数计算单元，用于根据所述第三匹配度和所述第四匹配度计算所述当前考题的答案的分数。

10.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如权利要求1-5任一项所述的操作。

Images