CN111046147A - 一种问答方法、装置及终端设备 - Google Patents

Abstract

本发明提供一种问答方法、装置及终端设备，该问答方法包括：获取用户问题；根据用户问题，获取用户问题的候选问题集；将用户问题和候选问题集中的每个候选问题分别输入到预设的句向量模型中，得到用户问题和每个候选问题的句向量；根据用户问题和每个候选问题的句向量，将候选问题集中的与用户问题的句向量相似度最高的候选问题，确定为用户问题的匹配问题；将匹配问题的预设答案确定为用户问题的答案；其中，预设的句向量模型是利用收集的用户意图识别语料训练得到。本发明的方案，可以在不使用问答匹配模型的前提下获得用户问题的答案，可以结合预设的句向量模型得到准确率高的问题答案。

Description

一种问答方法、装置及终端设备

技术领域

本发明涉及通信技术领域，尤其涉及一种问答方法、装置及终端设备。

背景技术

目前，QA(Asked Questions，问题)系统可以用于用户问句的意图分析、通过检索问答知识库返回与用户问句匹配的答案。QA系统的处理框架一般包括问句语义理解、信息检索和答案生成。

其中，在利用QA系统进行答案生成时，通常要使用QA系统中的预先训练的问答匹配模型。且为了保证问答匹配模型输出结果的准确性，在训练问答匹配模型时，需要通过大量的文本标注数据进行训练。然而，有些场景下的问答数据却很少，因此可能会使用该场景下的少量的文本标注数据训练问答匹配模型，造成问答匹配模型的准确率低。

发明内容

本发明实施例提供一种问答方法、装置及终端设备，以解决现有的问答方法因利用问答匹配模型而造成准确率低的问题。

第一方面，本发明实施例提供了一种问答方法，包括：

获取用户问题；

根据所述用户问题，获取所述用户问题的候选问题集；

将所述用户问题和所述候选问题集中的每个候选问题分别输入到预设的句向量模型中，得到所述用户问题和所述每个候选问题的句向量；

根据所述用户问题和所述每个候选问题的句向量，将所述候选问题集中的与所述用户问题的句向量相似度最高的候选问题，确定为所述用户问题的匹配问题；

将所述匹配问题的预设答案确定为所述用户问题的答案；

其中，所述预设的句向量模型是利用收集的用户意图识别语料训练得到，根据所述预设的句向量模型得到的输入问题的句向量能够表示所述输入问题对应的用户意图。

第二方面，本发明实施例还提供了一种问答装置，包括：

第一获取模块，用于获取用户问题；

第二获取模块，用于根据所述用户问题，获取所述用户问题的候选问题集；

输入模块，用于将所述用户问题和所述候选问题集中的每个候选问题分别输入到预设的句向量模型中，得到所述用户问题和所述每个候选问题的句向量；

第一确定模块，用于根据所述用户问题和所述每个候选问题的句向量，将所述候选问题集中的与所述用户问题的句向量相似度最高的候选问题，确定为所述用户问题的匹配问题；

第二确定模块，用于将所述匹配问题的预设问题的答案确定为所述用户问题的答案；

其中，所述预设的句向量模型是基于收集的用户意图识别语料训练得到，根据所述预设的句向量模型得到的输入问题的句向量能够表示所述输入问题对应的用户意图。

第三方面，本发明实施例还提供了一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时实现上述问答方法的步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述问答方法的步骤。

本发明实施例的问答方法，通过预设的句向量模型来确定用户问题的匹配问题，由于预设的句向量模型是可以表示用户意图的模型，因此用户问题和确定的匹配问题之间会很相似甚至完全相同，因此可以直接将匹配问题的预设答案确定为用户问题的答案，从而可以在不使用问答匹配模型的前提下获得用户问题的答案，并且可以基于预设的句向量模型得到准确率高的问题答案，从而满足工业使用要求，同时还可降低问答系统的搭建成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的问答方法的流程图；

图2为本发明具体实例中利用softmax函数训练得到的模型所对应的分类结果示意图；

图3为本发明具体实例中利用am-softmax函数训练得到的模型所对应的分类结果示意图；

图4为本发明实施例的问答装置的结构示意图；

图5为本发明实施例的终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，本发明实施例提供了一种问答方法，应用于终端设备，该方法可以用于智能客服系统的金融和电商等领域，该方法包括如下步骤：

步骤101：获取用户问题。

可以理解的，该用户问题是指用户输入给终端设备的问题，例如：该用户问题可以为金融、科学、文化、教育等领域的相关问题，本发明实施例不对此进行限制。

步骤102：根据用户问题，获取用户问题的候选问题集。

其中，候选问题集中的候选问题是指与用户问题相似或相关的问题。在获取用户问题的候选问题集时，可以对用户问题进行知识库检索，以得到含有预设数量候选问题的候选问题集。比如：该预设数量可为200个，当然并不仅限于此。

可选的，步骤102可包括：对用户问题进行知识库检索，得到用户问题的候选问题集。

其中，知识库检索时所用到的知识库可以是针对某一(或某些)领域问题求解的需要，采用某种(或若干)知识表示方式在终端设备中存储、组织、管理和使用的互相联系的知识片集合。这些知识片包括与领域相关的理论知识、事实数据，由专家经验得到的启发式知识，如某领域内有关的定义、定理和运算法则以及常识性知识等。进一步的，知识库检索时可以使用Elasticsearch，该ElasticSearch是一个搜索服务器，可以提供一个分布式多用户能力的全文搜索引擎，也可以使用其它检索工具。

步骤103：将用户问题和候选问题集中的每个候选问题分别输入到预设的句向量模型中，得到用户问题和每个候选问题的句向量。

其中，上述预设的句向量模型是利用收集的用户意图识别语料训练得到，根据预设的句向量模型得到的输入问题的句向量能够表示输入问题对应的用户意图。上述预设的句向量模型可以理解为目标领域或者目标场景下的用户意图识别模型。当对句向量模型直接进行训练时，需要在目标领域或者目标场景下收集用户意图识别语料。

在本发明实施例中，语料即为语言材料，语料是语言学研究的内容，还是构成语料库的基本单元。进一步地，用户意图识别语料是指可以识别出用户意图的语料，在用户意图识别语料中，相同类别的语料具有相似的意图或者语义。

步骤104：根据用户问题和每个候选问题的句向量，将候选问题集中的与用户问题的句向量相似度最高的候选问题，确定为用户问题的匹配问题。

其中，步骤104中的确定匹配问题的过程可为：首先，分别计算每个候选问题的句向量与用户问题的句向量的相似度；然后，对计算得到的句向量的相似度进行排序，将与用户问题的句向量相似度最高的候选问题，确定为用户问题的匹配问题。

可选的，在计算每个候选问题的句向量与用户问题的句向量的相似度时，可以使用余弦相似度，也可以使用其他相似度计算方式，本发明实施例不对此进行限制。

步骤105：将匹配问题的预设答案确定为用户问题的答案。

其中，上述匹配问题的预设答案是预先设置好的。可以理解的是，为了保证顺利得到用户问题的答案，在进行问答之前，可在数据库中预先存储已定义好的问答对并且问题足够丰富，以便在确定用户问题的匹配问题后，可以得到此匹配问题的答案即用户问题的答案。

本发明实施例的问答方法，通过预设的句向量模型来确定用户问题的匹配问题，由于预设的句向量模型是可以表示用户意图的模型，因此用户问题和确定的匹配问题之间会很相似甚至完全相同，因此可以直接将预设的匹配问题的答案确定为用户问题的答案，从而可以在不使用问答匹配模型的前提下获得用户问题的答案，可以基于预设的句向量模型得到准确率高的问题答案，且满足工业使用要求，同时还可降低问答系统的搭建成本。

通常，目标领域或者目标场景下的用户意图识别语料可能十分有限，无法借助其准确训练得到可表示出用户意图的句向量模型，此时为了准确训练得到可表示出用户意图的句向量模型，可借助某些领域(即源领域)或者某些场景(即源场景)下的用户意图识别语料进行训练。但是，源领域或者源场景下的用户意图识别语料与目标领域或者目标场景下的用户问题之间的关联通常较少，因而采用现有方法将源领域训练好的模型迁移到目标领域后，在目标领域达不到目标领域所需的用户意图识别效果，即在目标领域的用户意图识别准确率低。基于此，本发明实施例可以基于迁移学习的方法训练得到可表示出用户意图的预设的句向量模型。

具体的，上述预设的句向量模型可以是基于迁移学习，对利用收集的源领域用户意图识别语料训练得到的多分类模型进行处理，得到目标领域的句向量模型。即为得到预设的句向量模型，可首先利用收集的源领域或者源场景下的用户意图识别语料，对多分类模型进行训练，然后基于迁移学习对多分类模型进行处理，得到目标领域或者目标场景下的特征提取模型，该特征提取模型即为句向量模型。

可选的，上述多分类模型至少可以包含：嵌入(Embedding)层和神经网络(NeuralNetworks，NN)层，其中NN层可以为双向长短期记忆网络(Bi-directional Long ShortTerm Memory networks，BILSTM)、长短期记忆网络(Long Short-Term Memory，LSTM)、门控循环单元(Gated Recurrent Unit，GRU)和卷积神经网络(Convolutional NeuralNetworks，CNN)中的一种或多种。

可选的，在基于迁移学习对多分类模型进行处理时，可以去除多分类模型的输出层，构成可表示出用户意图的句向量模型，但本发明实施例不限于此。需说明的是，在基于迁移学习得到目标领域或者目标场景下的句向量模型后，若目标领域或者目标场景下的用户意图识别语料充足即满足预设量的要求，可以利用此目标领域或者目标场景下的用户意图识别语料对得到的句向量模型进行进一步的调优，以提高训练效果。

这样，基于迁移学习得到目标领域或者目标场景下的句向量模型，可以加快并优化模型的学习效率，且多分类模型的构建和训练方法简易，为句向量模型的迁移提供了便利。

在本发明实施例中，在训练多分类模型时，可以使用预训练词向量，这样可以一定程度的提高模型训练的效率和模型的性能。

在本发明实施例中，训练多分类模型所选用的损失函数可以为常用的softmax函数，也可以为margin softmax函数，而优先选用margin softmax函数。其中该marginsoftmax函数可以包括：am-softmax函数等。可以理解的是，在训练多分类模型时，可以选择margin softmax函数中的任一种作为模型训练的损失函数，通过损失函数可以使不同意图问句间的中心距离更远，从而使得句向量的相似度计算结果更准确。

下面借助图2和图3来说明本发明实施例优选margin softmax函数作为多分类模型训练的损失函数的理由。

参见图2所示，图2为本发明具体实例中当多分类模型选用softmax函数作为损失函数时得到的分类结果示意图。在图2中，c1、c2和c3为模型训练后得到的类别中心点，其中，c1为类别1的中心点，c2为类别2的中心点，c3为类别3的中心点。同时，z1和z3属于类别1，z2属于类别2，z4属于类别3，即z1和z3可以代表同义句，而z2与z1、z3和z4不同义。从分类角度看，图2所示的分类结果是没有问题的，但是在语义匹配上，会产生以下问题：z1、z2和z4的距离很近，却不是同一类的；而z1和z3的距离很远，却是同一类的。进一步的，如果采用特征排序的方法给z1找一个同义句，那么就会找到z2或者z4，而不是z3，这就会导致语义匹配错误。

为了解决这类问题，可以使用am-softmax函数代替softmax函数来优化分类条件，从而避免后期的语义匹配错误。参见图3所示，图3为本发明具体实例中当多分类模型使用am-softmax函数作为损失函数时得到的分类结果示意图。如图3所示，借助am-softmax函数作为损失函数，可以使得属于同一类的对象之间的距离很近，而不属于同一类的对象之间的距离很远，即对比图2来看，可以将不属于同一类的z1和z2的距离拉大，将属于同一类的z1和z3的距离缩小等。

这样，当使用am-softmax函数作为损失函数训练多分类模型，并以此得到句向量模型时，可以使得该句向量模型更能够得出反映用户意图的结果，即便是在源领域和目标领域相差较大的情况下，也能够基于迁移学习方法利用源领域训练好的模型，并将源领域训练好的模型处理后得到目标领域句向量模型，且该句向量模型应用在目标领域时，仍然能够准确的反映目标领域的用户意图，从而实现跨领域的迁移学习的同时，提高了意图识别准确率。例如，在一些实施例中，使用该方法得到的句向量模型，应用到问答领域，通过上述所记载的问答方法，得到用户问题与知识库中候选问题的句向量，通过相似度排序方法，能够准确的匹配知识库中与用户问题的相似问题，实现跨领域的迁移学习的同时，提高了问答匹配准确率。

可以理解的，本发明实施例的问答方法可以用于智能客服系统的金融和电商等领域，以在相应应用环境下的语料，尤其是问答语料较少的情况下，可以无需借助通过大量的人工标注问答语料训练得到的问答匹配模型来进行问答过程，而借助预设的句向量模型即可得到准确率高的问题答案。

参见图4所示，本发明实施例还提供了一种问答装置，包括：

第一获取模块41，用于获取用户问题；

第二获取模块42，用于根据用户问题，获取用户问题的候选问题集；

输入模块43，用于将用户问题和候选问题集中的每个候选问题分别输入到预设的句向量模型中，得到用户问题和每个候选问题的句向量；

第一确定模块44，用于根据用户问题和每个候选问题的句向量，将候选问题集中的与用户问题的句向量相似度最高的候选问题，确定为用户问题的匹配问题；

第二确定模块45，用于将匹配问题的预设答案确定为用户问题的答案；

其中，预设的句向量模型是基于收集的用户意图识别语料训练得到，根据预设的句向量模型得到的输入问题的句向量能够表示输入问题对应的用户意图。

可选的，所述预设的句向量模型是基于迁移学习，去除利用收集的用户意图识别语料训练得到的多分类模型的输出层，得到的目标句向量模型。

可选的，训练上述多分类模型所选用的损失函数为margin softmax函数。

可选的，上述第二获取模块42可以包括：

获取单元，用于对用户问题进行知识库检索，得到用户问题的候选问题集。

可选的，上述第一确定模块44可以包括:

第一计算单元，用于分别计算每个候选问题的句向量与用户问题的句向量的相似度；

确定单元，用于对计算得到的句向量的相似度进行排序，将与用户问题的句向量相似度最高的候选问题，确定为用户问题的匹配问题。

本发明实施例的问答装置，通过预设的句向量模型来确定用户问题的匹配问题，由于预设的句向量模型是可以表示用户意图的模型，因此用户问题和确定的匹配问题之间会很相似甚至完全相同，因此可以直接将预设的匹配问题的答案确定为用户问题的答案，从而可以在不使用问答匹配模型的前提下获得用户问题的答案，可以基于预设的句向量模型得到准确率高的问题答案，从而满足工业使用要求，同时还可降低问答系统的搭建成本。

此外，本发明实施例还提供了一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，计算机程序被处理器执行时可实现上述问答方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

具体的，参见5所示，本发明实施例还提供了一种终端设备，包括总线51、收发机52、天线53、总线接口54、处理器55和存储器56。

在本发明实施例中，终端设备还包括：存储在存储器56上并可在处理器55上运行的计算机程序，具体的，计算机程序被处理器55执行时可实现上述问答方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

在图5中，总线架构(用总线51来代表)，总线51可以包括任意数量的互联的总线和桥，总线51将包括由处理器55代表的一个或多个处理器和存储器56代表的存储器的各种电路链接在一起。总线51还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口54在总线51和收发机52之间提供接口。收发机52可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器55处理的数据通过天线53在无线介质上进行传输，进一步，天线53还接收数据并将数据传送给处理器55。

处理器55负责管理总线51和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器56可以被用于存储处理器55在执行操作时所使用的数据。

可选的，处理器55可以是CPU、ASIC、FPGA或CPLD。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述问答方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种问答方法，其特征在于，包括：

获取用户问题；

根据所述用户问题，获取所述用户问题的候选问题集；

将所述用户问题和所述候选问题集中的每个候选问题分别输入到预设的句向量模型中，得到所述用户问题和所述每个候选问题的句向量；

根据所述用户问题和所述每个候选问题的句向量，将所述候选问题集中的与所述用户问题的句向量相似度最高的候选问题，确定为所述用户问题的匹配问题；

将所述匹配问题的预设答案确定为所述用户问题的答案；

其中，所述预设的句向量模型是利用收集的用户意图识别语料训练得到，根据所述预设的句向量模型得到的输入问题的句向量能够表示所述输入问题对应的用户意图。

2.根据权利要求1所述的问答方法，其特征在于，所述预设的句向量模型是基于迁移学习，对利用收集的用户意图识别语料训练得到的多分类模型进行处理，得到的目标句向量模型。

3.根据权利要求2所述的问答方法，其特征在于，训练所述多分类模型所选用的损失函数为margin softmax函数。

4.根据权利要求1所述的问答方法，其特征在于，所述根据所述用户问题，获取所述用户问题的候选问题集，包括：

对所述用户问题进行知识库检索，得到所述用户问题的候选问题集。

5.根据权利要求1所述的问答方法，其特征在于，所述根据所述用户问题和所述每个候选问题的句向量，将所述候选问题集中的与所述用户问题的句向量相似度最高的候选问题，确定为所述用户问题的匹配问题，包括:

分别计算所述每个候选问题的句向量与所述用户问题的句向量的相似度；

对计算得到的句向量的相似度进行排序，将与所述用户问题的句向量相似度最高的候选问题，确定为所述用户问题的匹配问题。

6.一种问答装置，其特征在于，包括：

第一获取模块，用于获取用户问题；

第二获取模块，用于根据所述用户问题，获取所述用户问题的候选问题集；

输入模块，用于将所述用户问题和所述候选问题集中的每个候选问题分别输入到预设的句向量模型中，得到所述用户问题和所述每个候选问题的句向量；

第一确定模块，用于根据所述用户问题和所述每个候选问题的句向量，将所述候选问题集中的与所述用户问题的句向量相似度最高的候选问题，确定为所述用户问题的匹配问题；

第二确定模块，用于将所述匹配问题的预设答案确定为所述用户问题的答案；

其中，所述预设的句向量模型是基于收集的用户意图识别语料训练得到，根据所述预设的句向量模型得到的输入问题的句向量能够表示所述输入问题对应的用户意图。

7.根据权利要求6所述的问答装置，其特征在于，所述预设的句向量模型是基于迁移学习，去除利用收集的用户意图识别语料训练得到的多分类模型的输出层，得到的目标句向量模型。

8.根据权利要求7所述的问答装置，其特征在于，训练所述多分类模型所选用的损失函数为margin softmax函数。

9.一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的问答方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的问答方法的步骤。

Images