CN114997181A - 一种基于用户反馈修正的智能问答方法及系统 - Google Patents

Abstract

本发明涉及一种基于用户反馈修正的智能问答方法及系统，包括以下步骤：步骤1、用户输入提问问题，进行文本分词和特征词提取；步骤2、对特征词提取结果和问答库文本进行向量化，并计算文本的余弦相似度，生成初步匹配结果；步骤3、将用户输入文本向量和用户反馈数据库向量输入深度学习网络模型，进行用户反馈修正过程；步骤4、综合相似度匹配与用户反馈修正模型的结果，向用户输出最终答案文本。本发明能够解决智能问答中问答结果匹配度低的技术问题。

Description

一种基于用户反馈修正的智能问答方法及系统

技术领域

本发明属于信息查询技术领域，涉及一种智能问答方法及系统，尤其是一种基于用户反馈修正的智能问答方法及系统。

背景技术

随着问答系统近几十年来不断发展，其逐渐演化出不同的类型，从不同角度可将问答系统划分为不同类别，不同类别的问答系统拥有不同处理问题的方式。现有的问答系统生成答案的方法通常是采用计算语义相似度或者是文本匹配度，从候选答案集中抽取一条合适的文本作为答案，这种做法的优点是回答语句的质量较高且没有语病错误，但缺点是即使再庞大的语料库也无法覆盖所有问题，会使得问答系统的准确率下降。

在智能问答过程中，用户针对问答结果的评价反馈数据在经处理后，能够有效地反映问答系统的优势与存在的不足，而现有的问答系统对用户反馈数据的利用不足，往往只是简单的存储。随着深度学习在自然语言处理领域的崛起，其能够提取深层特征，针对智能问答中用户反馈评价的数据进行语义解析，并再作用于下一次智能问答过程，达到对结果进一步修正和完善的效果，以弥补语料库无法覆盖所有问题的缺陷，并提高问答结果的准确率。

由于智能问答中传统相似度匹配准确率不高，而用户反馈修正不能单独使用，因此，如何提出一种基于用户反馈修正的智能问答方法及系统，提高问答结果的准确率，是本领域技术人员亟待解决的技术难题。

经检索，未发现与本发明相同或相似的已公开的专利文献。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于用户反馈修正的智能问答方法及系统，能够解决智能问答中问答结果匹配度低的技术问题。

本发明解决其现实问题是采取以下技术方案实现的：

一种基于用户反馈修正的智能问答方法，包括以下步骤：

步骤1、用户输入提问问题，进行文本分词和特征词提取；

步骤2、对特征词提取结果和问答库文本进行向量化，并计算文本的余弦相似度，生成初步匹配结果；

步骤3、将用户输入文本向量和用户反馈数据库向量输入深度学习网络模型，进行用户反馈修正过程；

步骤4、综合相似度匹配与用户反馈修正模型的结果，向用户输出最终答案文本。

而且，所述步骤1的具体步骤包括：

1.1将用户提问文本输入Jieba分词工具，根据文本实际情况进行分词。

1.2将分词结果输入TextRank算法，提取其中与问答相关的关键词、关键短语或关键句，同时过滤中文语气助词和虚词，得到最终的分词结果。

而且，所述步骤2的具体步骤包括：

2.1采用向量空间模型来进行文本向量化过程，使用one-hot编码将分词后的用户输入文本和问答库文本映射成由一组规范化正交矢量构成的向量空间中的一点；

2.2计算向量空间中用户输入文本向量和本体知识数据库文本向量夹角的余弦值；两个向量A、B夹角的余弦值计算公式如下：

余弦值计算结果越接近1，表明夹角越接近0度，两个向量越相似，即代表用户咨询的问题与本体知识数据库中已有的该条回答相似程度越高，并筛选相似度最高的回答作为初步匹配结果。

所述问答文本库包括：本体知识数据库和用户反馈数据库。

而且，所述步骤3的具体方法为：

所述深度学习网络模型包括三层：输入层、交互层、输出层，各层的处理流程如下：

3.1将用户输入文本向量和用户反馈数据库向量输入深度学习网络模型的输入层，进行词向量和字向量的融合操作，得到最终的字符向量；

输入层首先采用词向量嵌入和字向量嵌入结合的方法，词向量采用glove算法进行一般嵌入，而字向量与词向量进行融合，嵌入方式是将初始文本编码成one-hot向量，并将向量第二维度与第一维度合并输入，再在后面接一个双向长短时记忆循环神经网络结构将正向和反向输出维度进行拼接得到最终的字符向量；然后将词向量和字符向量进行融合，并在后面接上高速网络结构；最后得到输入层的输出结果并进入交互层。

3.2字符向量进入交互层处理后得到交互向量，并采用计算点积的方法构建交互向量的二维相似度矩阵；

在输入层的输出端接入BI-LSTM网络结构进行文本匹配，然后输入双向多角度匹配模型的Matching层进行四种方式的交互得到交互向量，采用计算点积的方法将获得的两个文本的交互向量构建成二维相似度矩阵；

3.3处理交互层生成的相似度矩阵，得到输出层结果，即用户输入问题与用户反馈数据库中的结果是否相似，得到用户反馈修正模型的结果；

采取卷积神经网络模型和双向切片循环神经网络模型融合的方式对相似度矩阵进行处理；

将CNN中最后的Softmax层去掉，保留卷积层和池化层以及全连接层，BI-SRNN同样去掉Softmax层，将CNN和SI-SRNN两个网络模型的全连接层做拼接；从相似度矩阵的左上角计算到右下角，再从相似度矩阵的右下角计算到左上角，将两个方向的向量拼接，后面再接一个全连接的神经网络+Softmax层做二分类，得到的结果即二分类的概率。代价函数使用交叉熵，公式如下：

其中a为网络的最后输出，y是标签，即是否相似。

而且，所述步骤4的具体方法为：

4.1如果深度学习网络模型的输出值优于初步匹配值，则初步匹配结果会根据用户反馈数据库中相似的、且用户评价满意的回答进行调整，最终生成匹配度最高的几条结果，并向用户推送答案；

4.2如果初步匹配值优于深度学习网络模型得输出值，则向用户返回初步匹配结果的答案文本，并将此次问答记入用户反馈数据库，后续由人工完善此回答。

一种基于用户反馈修正的智能问答系统，包括：

文本分词和特征词提取模块，用于将用户输入提问问题，进行文本分词和特征词提取；

初步匹配结果生成模块，用于对特征词提取结果和问答库文本进行向量化，并计算文本的余弦相似度，生成初步匹配结果；

用户反馈修正模块，用于将用户输入文本向量和用户反馈数据库向量输入深度学习网络模型，进行用户反馈修正过程；

最终答案文本输出模块，用于综合相似度匹配与用户反馈修正模型的结果，向用户输出最终答案文本。

本发明的优点和有益效果：

1、本发明提出一种基于用户反馈修正的智能问答方法及系统，充分考虑分词、特征词提取、文本向量化、深度学习网络等技术的综合应用，同时采用传统相似度匹配和基于深度学习网络的用户反馈修正这两种方法来完成智能问答，使其达到互补的效果，最终生成与用户提问匹配度最高的结果。本发明改善了传统问答方法中单独使用相似度匹配时，语料数据库无法覆盖全部问题的状况。

2、本发明的用户反馈修正过程所构建的深度学习网络模型的输入层解决了深度学习网络模型梯度爆炸和梯度消失的问题；交互层为核心部分，采用了四种方式的交互来生成交互向量，充分改善了交互信息不充分的问题；输出层融合了两种神经网络模型计算最终相似结果。该深度学习网络模型整体充分利用了以往问答中用户反馈的数据，并作用于下一次用户的问答过程，达到了修正相似度匹配结果的作用。方法流程整体简单可行，模型融合有效，各层次之间能够紧密联系。

附图说明

图1是本发明提供的基于用户反馈修正的智能问答方法流程图；

图2是本发明提供的深度学习模型中的输入层网络结构图；

图3是本发明提供的深度学习模型中的交互层网络结构图；

图4是本发明提供的深度学习模型中的输出层网络结构图；

图5是本发明提供的深度学习模型的整体网络结构图。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种基于用户反馈修正的智能问答方法，如图1所示，同时采用相似度匹配与用户反馈修正技术来完成智能问答，用户反馈修正过程是通过本发明提出的深度学习网络模型对初始答案进行二次优化。所述方法具体包括以下步骤：

步骤1、用户输入提问问题，进行文本分词和特征词提取

所述步骤1的具体步骤包括：

1.1将用户提问文本输入Python软件自带的Jieba分词工具，根据文本实际情况选择精确模式、全模式或搜索引擎模式进行分词。

1.2将分词结果输入TextRank算法，提取其中与问答相关的的关键词、关键短语或关键句，同时也过滤了中文语气助词和虚词等，得到最终的分词结果。

步骤2、对特征词提取结果和问答库文本进行向量化，并计算文本的余弦相似度，生成初步匹配结果。

所述步骤2的具体步骤包括：

2.1采用向量空间模型(vector space model，VSM)来进行文本向量化过程，使用one-hot编码将分词后的用户输入文本和问答库文本映射成由一组规范化正交矢量构成的向量空间中的一点；

2.2计算向量空间中用户输入文本向量和本体知识数据库文本向量夹角的余弦值；两个向量A、B夹角的余弦值计算公式如下：

余弦值计算结果越接近1，表明夹角越接近0度，两个向量越相似，即代表用户咨询的问题与本体知识数据库中已有的该条回答相似程度越高，并筛选相似度最高的回答作为初步匹配结果。

在本实施例中，所述问答文本库的构建需要提前完成，主要包括两部分：(1)本体知识数据库。通过收集现有的政策文件、平台公开数据、常见问题等，构建本领域问答知识数据库，用于进行初步的相似度匹配；(2)用户反馈数据库。将每次问答的提问、回答过程以及用户反馈意见录入本数据库，在问答时可以通过步骤3的深度学习网络模型进行答案修正，从而更好地满足用户需求。

步骤3、将用户输入文本向量和用户反馈数据库向量输入深度学习网络模型，进行用户反馈修正过程；

所述步骤3的具体方法为：

所述深度学习网络模型包括三层：输入层、交互层、输出层，各层的处理流程如下：

3.1将用户输入文本向量和用户反馈数据库向量输入深度学习网络模型的输入层，进行词向量和字向量的融合操作，得到最终的字符向量；

图2是本发明提供的深度学习模型中的输入层网络结构图。

在本实施例中，输入层首先采用词向量嵌入和字向量嵌入结合的方法，词向量采用glove算法进行一般嵌入，而字向量为保持文本长度一致从而与词向量进行融合，嵌入方式是将初始文本编码成one-hot向量，并将向量第二维度与第一维度合并输入，再在后面接一个双向长短时记忆循环神经网络结构(Bi-directional Long Short-Term Memory，BI-LSTM)，将正向和反向输出维度进行拼接得到最终的字符向量。然后将词向量和字符向量进行融合，并在后面接上高速网络结构(Highway network)以防止深度网络模型梯度爆炸和梯度消失，最后得到输入层的输出结果并进入交互层。

3.2字符向量进入交互层处理后得到交互向量，并采用计算点积的方法构建交互向量的二维相似度矩阵；

图3是本发明提供的深度学习模型中的交互层网络结构图。

交互层是模型的核心部分，在输入层的输出端接入BI-LSTM网络结构进行文本匹配，然后输入双向多角度匹配模型(Bilateral Multi-perspective Matching，BIMPM)的Matching层进行四种方式的交互(Full-Matching方式，Maxpooling-Matching方式，Attentive-Matching方式，Max-Attentive-Matching方式)得到交互向量，采用计算点积的方法将获得的两个文本的交互向量构建成二维相似度矩阵，改善交互信息不充分的问题。

3.3处理交互层生成的相似度矩阵，得到输出层结果，即用户输入问题与用户反馈数据库中的结果是否相似，得到用户反馈修正模型的结果。

图4是本发明提供的深度学习模型中的输出层网络结构图。

在本实施例中，输出层主要是对上一层构造的相似度矩阵做进一步处理。本发明采取卷积神经网络模型(Convolutional Neural Networks，CNN)和双向切片循环神经网络模型(Bi-Sliced recurrent neural networks，BI-SRNN)融合的方式对相似度矩阵进行处理。

将CNN中最后的Softmax层去掉，保留卷积层和池化层以及全连接层，BI-SRNN同样去掉Softmax层，将CNN和SI-SRNN两个网络模型的全连接层做拼接。从相似度矩阵的左上角计算到右下角，再从相似度矩阵的右下角计算到左上角，将两个方向的向量拼接，后面再接一个全连接的神经网络+Softmax层做二分类，得到的结果即二分类的概率。代价函数使用交叉熵，公式如下：

其中a为网络的最后输出，y是标签，即是否相似。

图5是本发明提供的深度学习模型整体网络结构图。

步骤4、综合相似度匹配与用户反馈修正模型的结果，向用户输出最终答案文本。

步骤2中的初步匹配结果为用户提问与本体知识库数据库相似度最高的答案，但可能无法满足用户提问需求，需要综合相似度匹配与用户反馈修正的结果生成最终答案。

所述步骤4的具体方法为：

4.1如果深度学习网络模型的输出值优于初步匹配值，则初步匹配结果会根据用户反馈数据库中相似的、且用户评价满意的回答进行调整，最终生成匹配度最高的几条结果，并向用户推送答案。

4.2如果初步匹配值优于深度学习网络模型得输出值，则向用户返回初步匹配结果的答案文本，并将此次问答记入用户反馈数据库，后续由人工完善此回答。

综上，本发明通过将用户输入的问题文本进行分词、特征词提取、词向量化处理后，分别进行文本与问答库的相似度匹配和输入深度学习模型以进行用户反馈修正操作，最终向用户输出答案文本，完成智能问答流程。

一种基于用户反馈修正的智能问答系统，包括：

文本分词和特征词提取模块，用于将用户输入提问问题，进行文本分词和特征词提取；

初步匹配结果生成模块，用于对特征词提取结果和问答库文本进行向量化，并计算文本的余弦相似度，生成初步匹配结果；

用户反馈修正模块，用于将用户输入文本向量和用户反馈数据库向量输入深度学习网络模型，进行用户反馈修正过程；

最终答案文本输出模块，用于综合相似度匹配与用户反馈修正模型的结果，向用户输出最终答案文本。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (6)

1.一种基于用户反馈修正的智能问答方法，其特征在于：包括以下步骤：

步骤1、用户输入提问问题，进行文本分词和特征词提取；

步骤2、对特征词提取结果和问答库文本进行向量化，并计算文本的余弦相似度，生成初步匹配结果；

步骤3、将用户输入文本向量和用户反馈数据库向量输入深度学习网络模型，进行用户反馈修正过程；

步骤4、综合相似度匹配与用户反馈修正模型的结果，向用户输出最终答案文本。

2.根据权利要求1所述一种基于用户反馈修正的智能问答方法，其特征在于：所述步骤1的具体步骤包括：

1.1将用户提问文本输入Jieba分词工具，根据文本实际情况进行分词。

1.2将分词结果输入TextRank算法，提取其中与问答相关的关键词、关键短语或关键句，同时过滤中文语气助词和虚词，得到最终的分词结果。

3.根据权利要求1所述一种基于用户反馈修正的智能问答方法，其特征在于：所述步骤2的具体步骤包括：

2.1采用向量空间模型来进行文本向量化过程，使用one-hot编码将分词后的用户输入文本和问答库文本映射成由一组规范化正交矢量构成的向量空间中的一点；

2.2计算向量空间中用户输入文本向量和本体知识数据库文本向量夹角的余弦值；两个向量A、B夹角的余弦值计算公式如下：

余弦值计算结果越接近1，表明夹角越接近0度，两个向量越相似，即代表用户咨询的问题与本体知识数据库中已有的该条回答相似程度越高，并筛选相似度最高的回答作为初步匹配结果。

所述问答文本库包括：本体知识数据库和用户反馈数据库。

4.根据权利要求1所述一种基于用户反馈修正的智能问答方法，其特征在于：所述步骤3的具体方法为：

所述深度学习网络模型包括三层：输入层、交互层、输出层，各层的处理流程如下：

3.1将用户输入文本向量和用户反馈数据库向量输入深度学习网络模型的输入层，进行词向量和字向量的融合操作，得到最终的字符向量；

输入层首先采用词向量嵌入和字向量嵌入结合的方法，词向量采用glove算法进行一般嵌入，而字向量与词向量进行融合，嵌入方式是将初始文本编码成one-hot向量，并将向量第二维度与第一维度合并输入，再在后面接一个双向长短时记忆循环神经网络结构将正向和反向输出维度进行拼接得到最终的字符向量；然后将词向量和字符向量进行融合，并在后面接上高速网络结构；最后得到输入层的输出结果并进入交互层。

3.2字符向量进入交互层处理后得到交互向量，并采用计算点积的方法构建交互向量的二维相似度矩阵；

在输入层的输出端接入BI-LSTM网络结构进行文本匹配，然后输入双向多角度匹配模型的Matching层进行四种方式的交互得到交互向量，采用计算点积的方法将获得的两个文本的交互向量构建成二维相似度矩阵；

3.3处理交互层生成的相似度矩阵，得到输出层结果，即用户输入问题与用户反馈数据库中的结果是否相似，得到用户反馈修正模型的结果；

采取卷积神经网络模型和双向切片循环神经网络模型融合的方式对相似度矩阵进行处理；

将CNN中最后的Softmax层去掉，保留卷积层和池化层以及全连接层，BI-SRNN同样去掉Softmax层，将CNN和SI-SRNN两个网络模型的全连接层做拼接；从相似度矩阵的左上角计算到右下角，再从相似度矩阵的右下角计算到左上角，将两个方向的向量拼接，后面再接一个全连接的神经网络+Softmax层做二分类，得到的结果即二分类的概率。代价函数使用交叉熵，公式如下：

其中a为网络的最后输出，y是标签，即是否相似。

5.根据权利要求1所述一种基于用户反馈修正的智能问答方法，其特征在于：所述步骤4的具体方法为：

4.1如果深度学习网络模型的输出值优于初步匹配值，则初步匹配结果会根据用户反馈数据库中相似的、且用户评价满意的回答进行调整，最终生成匹配度最高的几条结果，并向用户推送答案；

4.2如果初步匹配值优于深度学习网络模型得输出值，则向用户返回初步匹配结果的答案文本，并将此次问答记入用户反馈数据库，后续由人工完善此回答。

6.一种基于用户反馈修正的智能问答系统，包括：

文本分词和特征词提取模块，用于将用户输入提问问题，进行文本分词和特征词提取；

初步匹配结果生成模块，用于对特征词提取结果和问答库文本进行向量化，并计算文本的余弦相似度，生成初步匹配结果；

用户反馈修正模块，用于将用户输入文本向量和用户反馈数据库向量输入深度学习网络模型，进行用户反馈修正过程；

最终答案文本输出模块，用于综合相似度匹配与用户反馈修正模型的结果，向用户输出最终答案文本。

Images