CN109766421A - 智能问答系统以及方法 - Google Patents

Abstract

本发明公开了一种智能问答系统以及方法，该系统包括问答模块，问答模块包括：获取子模块，用户获取用户问题；语义匹配子模块，用于利用语义匹配模型在知识库中对用户问题进行语义匹配，并根据语义匹配获得的预定的标准问题得到与用户问题匹配的答案。通过本发明的上述技术方案，实现了高准确率、高度自动化和智能化的智能问答方式和一问一答式的智能对话交互功能，可以大大降低人工服务成本，提高服务响应速度，提升客户满意度。

Description

智能问答系统以及方法

技术领域

本发明涉及人工智能技术领域，具体来说，涉及一种智能问答系统以及方法。

背景技术

随着互联网、移动互联网的快速发展，客户的联络需求呈多元化、指数级增长，企业需要提供多渠道的客服系统满足客户沟通联络需求，例如短信、微信、APP、QQ等即时客服等在线客服。并且，客户服务也向多元化、智能化和自动化的方向发展。客服系统广泛应用于电信、旅游、电商、医疗等各行各业。国内客服系统发展经历了三个阶段：传统电话客服系统、在线客服系统和智能客服系统。其中，智能对话在工业界最主要和广泛的应用就是智能客服系统。

目前在线客服系统是企业使用率最高的客服系统，约有70％以上的企业使用在线客服系统，而智能客服系统普及率则不到30％。在互联网时代，客服系统应用更加多元化，智能客服系统在市场上的接受程度逐步提高。

传统客服及在线客服存在着以下几个方面的问题。一是人工成本高，随着人口红利的消失，用人单位的用人成本会越来越高。二是客服人员效率低，传统客服“一对一”的工作场景使得服务更多时候处于“忙线中”，尤其在服务高峰期，大量用户涌入，导致排队等待时间增长，客户体验差，客服投诉率高。三是智能化程度低，日常的客服服务中，存在着大量重复性的咨询问题，传统客服利用电话等渠道为客户提供服务，所有服务都需要人工提供帮助，智能化程度低加重服务工作量，造成人工服务工作效率低。

发明内容

针对相关技术中的上述问题，本发明提出一种智能问答系统以及方法。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种智能问答系统，包括问答模块，问答模块包括：

获取子模块，用于获取用户问题；

语义匹配子模块，用于利用语义匹配模型在知识库中对用户问题进行语义匹配，并根据语义匹配获得的预定的标准问题得到与用户问题匹配的答案。

根据本发明的实施例，智能问答系统还包括优化模块，优化模块包括：模型训练子模块，用于在语义匹配子模块不理解用户问题时，根据用户问题扩增训练样本集并进行训练；输出子模块，用于输出训练获得的语义匹配模型，并利用语义匹配模型更新语义匹配子模块的语义匹配模型。

根据本发明的实施例，语义匹配子模块包括：拆分单元，用于对用户问题进行拆分；预测单元，用于对拆分后的用户问题与扩展问题进行配对得到多个候选句子对，对多个候选句子对进行预测得到预测概率分数；比较单元，用于将预测概率分数与预定阈值进行比较；返回单元，用于在预测概率分数大于预定阈值时返回对应的答案。

根据本发明的实施例，知识库包括：分词词库、同义词库、标准问答库和扩展问题库；其中，标准问答库包括标准问题和与标准问题对应的答案；扩展问题库包括扩展问题，扩展问题是以多种角度和多种提问方法提问标准问题。

根据本发明的实施例，训练的训练模型是基于LSTM神经网络的模型；其中，LSTM神经网络的LSTM层参数、激活函数、优化算法和损失函数根据实际数据训练得到的参数。

根据本发明的另一方面，提供了一种智能问答方法，包括：

获取用户问题；

利用语义匹配模型在知识库中对用户问题进行语义匹配，并根据语义匹配获得的预定的标准问题得到与用户问题匹配的答案。

根据本发明的实施例，智能问答方法还包括：在语义匹配子模块不理解用户问题时，根据用户问题扩增训练样本集并进行训练；输出训练获得的语义匹配模型，并利用语义匹配模型更新语义匹配子模块的语义匹配模型。

根据本发明的实施例，进行语义匹配并得到与用户问题匹配的答案包括：对用户问题进行拆分；对拆分后的用户问题与扩展问题进行配对得到多个候选句子对，对多个候选句子对进行预测得到预测概率分数；将预测概率分数与预定阈值进行比较；在预测概率分数大于预定阈值时返回对应的答案。

根据本发明的实施例，知识库包括：分词词库、同义词库、标准问答库和扩展问题库；其中，标准问答库包括标准问题和与标准问题对应的答案；扩展问题库包括扩展问题，扩展问题是以多种角度和多种提问方法提问标准问题。

根据本发明的实施例，训练的训练模型是基于LSTM神经网络的模型；其中，LSTM神经网络的LSTM层参数、激活函数、优化算法和损失函数根据实际数据训练得到的参数。

本发明通过上述技术方案，实现了高准确率、高度自动化和智能化的智能问答方式和一问一答式的智能对话交互功能，可以大大降低人工服务成本，提高服务响应速度，提升客户满意度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的智能问答系统的框图；

图2是根据本发明具体实施例的智能问答系统的问答的流程图；

图3是根据本发明实施例的RNN结构的示意图；

图4是根据本发明实施例的LSTM结构的示意图；

图5是根据本发明实施例的LSTM层中门结构的示意图；

图6是根据本发明实施例的LSTM模型的结构示意图；

图7是根据本发明实施例的参数优化的流程图；

图8是根据本发明具体实施例的语义匹配的流程图；

图9是根据本发明实施例的智能问答方法的流程图；

图10是根据本发明另一实施例的智能问答方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

参考图1所示，根据本发明的实施例，提供了一种智能问答系统，包括问答模块，问答模块包括获取子模块和语义匹配子模块。其中，获取子模块用于获取用户问题；语义匹配子模块利用语义匹配模型在知识库中对用户问题进行语义匹配，并根据语义匹配获得的预定的标准问题得到与用户问题匹配的答案。在问答环节中，通过调用语义匹配模型进行对用户问题的语义理解，在知识库中匹配相关标准问题或返回答案。

本发明的上述技术方案，使用深度学习的方式，通过训练语义匹配模型将用户的问题和知识库内候选问题进行语义匹配，从而获取相关答案。将自然语言处理技术应用到用户问题的回答当中，与传统的客服系统采用人工回答的方式相比，摈弃了耗费人力、效率底下的人工和规则方式，通过机器学习方式实现了高准确率、高度自动化和智能化的智能问答方式，实现了用户和系统一问一答式的智能对话交互功能，可以大大降低人工服务成本，提高服务响应速度，提升客户满意度。

参考图2所示，智能问答系统还可以包括优化模块，优化模块包括模型训练子模块和输出子模块。模型训练子模块用于在语义匹配子模块不理解用户问题时，根据用户问题扩增训练样本集并进行训练。输出子模块用于输出训练获得的语义匹配模型，并利用语义匹配模型更新语义匹配子模块的语义匹配模型。通过持续训练优化环节则通过监督学习的方式，对语义匹配模型无法理解的用户问题及新增业务问题相关样本进行交叉标记，扩增语义匹配模型训练样本集，持续训练以优化现有的语义匹配模型，供智能问答系统调用。一方面，一旦模型训练完成，标记样本仅需要少量的人工参与，模型进行自动更新和训练，降低了对于人的依赖；另一方面，智能问答系统能够随着样本数据的增加，针对新业务问题可以迭代式更新，提高回答的准确率，更加灵活和可靠。

知识库可以包括分词词库、同义词库、标准问答库和扩展问题库。其中，标准问答库包括标准问题和与标准问题对应的答案；扩展问题库包括扩展问题，扩展问题是以多种角度和多种提问方法提问标准问题。知识库的构建可以是基于真实业务场景，因此所有的重要词汇、同义词、标准问题、扩展问题和答案等都是基于真实数据得到的，具有可扩展性。

具体的，知识库主要包括分词词库、同义词库、标准问答库和扩展问题库等内容。在模型持续训练优化的过程中，需要对知识库数据进行相应的扩增和更新等操作。分词词库包含区分性很高的词汇和业务领域里的所有专业词。分词词库是为了帮助提升分词准确率，从而提高模型的识别能力。在同义词库中，一条同义词包含具有相同逻辑含义的所有词条。有些同义词是通用意义下的同义词，有些同义词则只有在特定领域下才能成立。同义词库能够使智能问答系统能够回答的问题不仅仅局限于知识库内的有限问题条目，而是尽可能多的覆盖用户提问的各种问法。在标准问答库中，一条标准问题和对应答案即为一条标准知识，问题和答案均符合实际业务内容，覆盖整个业务领域的所有常见业务问题，且答案为能够直接回答用户的内容。扩展问题库包括每个标准问题从不同角度或者不同问法进行的提问，能够有效扩充每个标准问题的句式，所有的扩展问题可以来自于实际的用户问题，从而提高模型语义匹配的准确率。

在一个实施例中，训练模型是基于LSTM(Long Short-Term Memory,长短时记忆)神经网络的模型。其中，LSTM神经网络的LSTM层参数、激活函数、优化算法和损失函数根据实际数据训练得到的参数。

具体的，模型的训练流程包括：

1)样本和词向量模型准备

提取知识库汇总扩展问题库内的所有扩展问题，两两随机组成句子对，其中同属于相同标准问的扩展问题对标签为1，表示语义匹配，属于不同标准问的扩展问题对标签为0，表示语义不匹配。

首先需要说明的是，词向量是用来表示词的向量，通常也被认为是词的特征向量。自然语言处理领域首先要对词语做向量化表示。Word2vec是一种将词表征为实数值向量的工具，利用深度学习训练，把对文本内容的处理简化为K维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。Word2vec输出的词向量可以被用来做很多自然语言处理相关的工作，比如聚类、找同义词、词性分析等等。如果换个思路，把词当做特征，那么Word2vec就可以把特征映射到K维向量空间，可以为文本数据寻求更加深层次的特征表示，在一定程度上揭示了单词之间某些非线性的关系。本发明提取相关业务历史客服对话记录，利用Word2vec工具训练词向量模型，则样本中所有句子的词语可以转化为相应词向量作为模型输入。

2)模型训练

构建LSTM神经网络的网络结构，设置隐藏层层数，隐藏层神经元个数，设置其他神经网络参数；将样本分为训练集和测试集；对样本进行训练，观察分类结果(观察样本中正确分类所占比例，即准确率)；调整网络的各个参数，观察测试集的分类准确率和稳定性；记录每一次的分类结果，将产生最优结果的模型(模型结构和节点权重)保存。

3)常用可调参数

LSTM层参数(类型，层数，神经元个数，返回结构)；

全连接层参数(节点数量，激活函数(Activation function))；

输出层参数(输出类别，激活函数)；

优化算法(Optimizer)；

损失函数(loss function/objective function)。

4)参数介绍

激活函数：在一层神经网络上，通过激活函数将输入转化生成输出，一般有多个不同的形式，但函数基本都为非线性的函数。它的引入是为了增加神经网络模型的非线性。

优化算法：用来最优化损失函数的算法，通常使用随机批量梯度下降算法，通过反复的调整各个节点之间的权重值，使得误差最小。

损失函数：衡量误差用的函数，常见的有均方误差(MSE)，多标签交叉熵(Categorical_crossentropy)等，是用来计算当前计算值对应实际值的误差。神经网络学习的目标就是将损失函数的值尽可能减小，从而使分类效果最优。

5)实验结果

LSTM神经网络是一种循环神经网络(Recurrent Neural Network,RNN)的特殊类型，可以学习长期依赖信息。在很多问题上，LSTM都取得了相当巨大的成功，并得到了广泛使用。LSTM通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是LSTM的默认行为，而非需要付出很大代价才能获得的能力。所有RNN都具有一种重复神经网络模块的链式形式。参考图3所示，在标准RNN中，这个重复模块只有一个非常简单的结构，例如一个tanh(一种神经网络中常用的非线性激活函数)层。需要说明的是，在图3中：h_t为t时刻的隐藏层状态，x_t为t时刻的输入序列，tanh为激活函数。

参考图4所示，LSTM同样是这样的结构，但是重复模块拥有一个不同的结构。不同于单一神经网络层，这里是有四个，以一种非常特殊的方式进行交互。在图4中，h_t为t时刻的隐藏层状态，x_t为t时刻的输入序列，tanh和σ为激活函数，表示向量的和操作，表示向量的乘积操作。

在图3和图4中，每一条黑线传输着一整个向量，从一个节点的输出到其他节点的输入。Ht-1、Ht、Ht+1的圈代表pointwise的操作，诸如向量的和。而tanh和σ的矩形框代表学习到的神经网络层。合在一起的线表示向量的连接，分开的线表示内容被复制，然后分发到不同的位置。

LSTM通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态。门是一种让信息选择式通过的方法，参考图5所示，包含一个sigmoid(一种神经网络中常用的非线性激活函数)神经网络层和一个pointwise乘法操作。在图5中：σ为激活函数，表示向量的乘积操作。

Sigmoid层输出0到1之间的数值，描述每个部分有多少量可以通过。0代表“不许任何量通过”，1就指“允许任意量通过”。LSTM拥有三个门，来保护和控制细胞状态。图6示出了以LSTM神经网络为基础的神经网络结构。

参考图7所示，在确定了神经网络的结构之后，我们需要对算法的参数进行调优，观察不同参数条件下测试集的分类准确率和稳定性。利用人工标记匹配的1.8万个样本随机匹配成句子对建立模型，对各个参数进行调优，我们经过大量实验调整的参数包括：批次尺寸(Batch_size)、学习率(Learning_rate)、损失函数和优化器。

其中，批次尺寸指的是一次使用多少量的样本输入到神经网络模型中，计算这个batch中所有样本的平均损失，batch_size的数量就是一次计算中所包含的样本数，显然这个参数会影响到模型的优化速度和程度。一般来说，batch_size的大小取值为2的幂次方值，例如64、128、256等。学习率是一个重要的超参数，它控制着我们基于损失梯度调整神经网络权值的速度，大多数优化算法(如SGD、RMSprop、Adam)对它都有涉及。学习率越小，我们沿着损失梯度下降的速度越慢。学习率越大，梯度下降震动幅度增大，且不容易到达最小值点。一般常用的学习率有0.00001、0.0001、0.001、0.003、0.01、0.03、0.1、0.3、1、3、10等。损失函数是衡量误差用的函数，常见的有MSE(均方误差)，Categorical_crossentropy(多标签交叉熵)等，是用来计算当前计算值对应实际值的误差。

神经网络学习的目标就是将损失函数的值尽可能减小。发明人尝试的损失函数包括squared_hinge、Hinge、poisson和cosine_proximity。调节优化器是编译Keras模型必要的两个参数之一，通过调用优化器优化，就是通过增加数据量来进行cross_entropy最小化。我们尝试的优化器包括：SGD、RMSprop、Adadelta和Adam。

由于可调的参数过多，如果把所有可能的参数排列组合情况逐一实验将会耗费大量的时间。因此，我们先将batch_size、learning_rate这两个参数固定，确定另两个参数的最优组合，再回过来对前两个参数进行调优。

对比不同learning_rate下的训练结果，每次随机选取样本进行训练，剩余样本用来验证，重复试验3次，如表1所示，分类准确率在较小范围内波动，模型分类稳定性较好。

表1

学习率(learning_rate)	分类准确率
		0.1	96.59％
0.01	96.18％
		0.001	97.01％

参考图8所示，语义匹配子模块可以包括拆分单元、预测单元、比较单元和返回单元。其中，拆分单元用于对用户问题进行拆分；预测单元用于对拆分后的用户问题与扩展问题进行配对得到多个候选句子对，对多个候选句子对进行预测得到预测概率分数；比较单元用于将预测概率分数与预定阈值进行比较；返回单元用于在预测概率分数大于预定阈值时返回对应的答案。

继续参考图8所示，语义匹配模块将用户问题和知识库内问题进行语义匹配，认为匹配相似度最高的问题即为用户想要提问的内容，则返回对应标准问题的答案。由于知识库内标准问和扩展问题的不断扩增，对用户的任意问题，若采用全预测的方式，也就是将用户问题和知识库内所有语料进行配对，放入模型进行预测，既耗时又增加了非常多的干扰项。所以本发明采取预先筛选的方式，即基于预定的规则，提取一定数量的候选问题，然后再和用户问题配对进行模型预测。

具体的，将所有扩展问题分词后去掉停用词，然后将存在同义词的词进行统一，即替换为同义词库中的第一个词。然后将去除停用词后的句子拆分单双字，对于那些存在同义词的词，将它的同义词一并拆分单双字，加入作为句子的索引。将用户问题直接拆分单双字，然后和所有扩展问题的索引进行匹配，计算用户问题的句子字面覆盖度，即覆盖单双字个数×覆盖单双字长度/去除停用词后的用户问题长度，取分值最高的前100个问题作为候选问题。

将用户问题和这100条候选扩展问题匹配成对，分词后放入模型进行预测，过滤掉预测类型为0的候选问，即语义不匹配的候选问。然后将模型预测结果为1的候选问按照预测概率分数进行排序，若最高分数大于阈值则直接返回相应标准问题的答案，否则按照推荐形式返回得分最高的前五个标准问题，供用户选择。

如图9所示，根据本发明的实施例，还提供了一种智能问答方法，包括以下步骤：

S702，获取用户问题；

S704，在知识库中对用户问题进行语义匹配，并根据语义匹配获得的预定的标准问题得到与用户问题匹配的答案。

参考图10所示，根据本发明的实施例，智能问答方法还可以包括以下步骤：

S706，在语义匹配子模块不理解用户问题时，根据用户问题扩增训练样本集并进行训练；

S708，输出训练获得的语义匹配模型，并利用语义匹配模型更新语义匹配子模块的语义匹配模型。

根据本发明的实施例，进行语义匹配并得到与用户问题匹配的答案具体包括以下步骤：

对用户问题进行拆分；

对拆分后的用户问题与扩展问题进行配对得到多个候选句子对，对多个候选句子对进行预测得到预测概率分数；

将预测概率分数与预定阈值进行比较；

在预测概率分数大于预定阈值时返回对应的答案。

根据本发明的实施例，知识库包括：分词词库、同义词库、标准问答库和扩展问题库。其中，标准问答库包括标准问题和与标准问题对应的答案；扩展问题库包括扩展问题，扩展问题是以多种角度和多种提问方法提问标准问题。

根据本发明的实施例，训练的训练模型是基于LSTM神经网络的模型。其中，LSTM神经网络的LSTM层参数、激活函数、优化算法和损失函数根据实际数据训练得到的参数。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能问答系统，其特征在于，包括问答模块，所述问答模块包括：

获取子模块，用于获取用户问题；

语义匹配子模块，用于利用语义匹配模型在知识库中对所述用户问题进行语义匹配，并根据所述语义匹配获得的预定的标准问题得到与所述用户问题匹配的答案。

2.根据权利要求1所述的智能问答系统，其特征在于，还包括优化模块，所述优化模块包括：

模型训练子模块，用于在所述语义匹配子模块不理解所述用户问题时，根据所述用户问题扩增训练样本集并进行训练；

输出子模块，用于输出所述训练获得的语义匹配模型，并利用所述语义匹配模型更新所述语义匹配子模块的语义匹配模型。

3.根据权利要求2所述的智能问答系统，其特征在于，语义匹配子模块包括：

拆分单元，用于对所述用户问题进行拆分；

预测单元，用于对拆分后的用户问题与所述扩展问题进行配对得到多个候选句子对，对所述多个候选句子对进行预测得到预测概率分数；

比较单元，用于将所述预测概率分数与预定阈值进行比较；

返回单元，用于在所述预测概率分数大于所述预定阈值时返回对应的答案。

4.根据权利要求1所述的智能问答系统，其特征在于，所述知识库包括：分词词库、同义词库、标准问答库和扩展问题库；

其中，所述标准问答库包括所述标准问题和与所述标准问题对应的答案；所述扩展问题库包括扩展问题，所述扩展问题是以多种角度和多种提问方法提问所述标准问题。

5.根据权利要求2所述的智能问答系统，其特征在于，所述训练的训练模型是基于LSTM神经网络的模型；

其中，所述LSTM神经网络的LSTM层参数、激活函数、优化算法和损失函数根据实际数据训练得到的参数。

6.一种智能问答方法，其特征在于，包括：

获取用户问题；

利用语义匹配模型在知识库中对所述用户问题进行语义匹配，并根据所述语义匹配获得的预定的标准问题得到与所述用户问题匹配的答案。

7.根据权利要求6所述的智能问答方法，其特征在于，还包括：

在所述语义匹配子模块不理解所述用户问题时，根据所述用户问题扩增训练样本集并进行训练；

输出所述训练获得的语义匹配模型，并利用所述语义匹配模型更新所述语义匹配子模块的语义匹配模型。

8.根据权利要求7所述的智能问答方法，其特征在于，进行所述语义匹配并得到与所述用户问题匹配的答案包括：

对所述用户问题进行拆分；

对拆分后的用户问题与所述扩展问题进行配对得到多个候选句子对，对所述多个候选句子对进行预测得到预测概率分数；

将所述预测概率分数与预定阈值进行比较；

在所述预测概率分数大于所述预定阈值时返回对应的答案。

9.根据权利要求6所述的智能问答方法，其特征在于，所述知识库包括：分词词库、同义词库、标准问答库和扩展问题库；

其中，所述标准问答库包括所述标准问题和与所述标准问题对应的答案；所述扩展问题库包括扩展问题，所述扩展问题是以多种角度和多种提问方法提问所述标准问题。

10.根据权利要求7所述的智能问答方法，其特征在于，所述训练的训练模型是基于LSTM神经网络的模型；

其中，所述LSTM神经网络的LSTM层参数、激活函数、优化算法和损失函数根据实际数据训练得到的参数。