CN111190998A - 一种基于混合模型的问答机器人系统及问答机器人 - Google Patents

Abstract

本发明提供了一种基于混合模型的问答机器人系统和问答机器人，其中基于混合模型的问答机器人系统，包括：获取模块，获取模块用于获取用户问句q；预处理模块，预处理模块用于对用户问句q进行预处理；混合模型，混合模型包括词对齐模型和句子向量模型；模型融合模块，模型融合模块用于将词对齐模型和句子向量模型融合，获取用户问句q属于每个类别i的概率；输出模块，输出模块用于输出用户问句q对应的概率最高的类别i对应的答案。本基于混合模型的问答机器人系统及问答机器人，能够提高模型的泛化能力和答案的准确性。

Description

一种基于混合模型的问答机器人系统及问答机器人

技术领域

本发明涉及问答机器人技术领域，尤其涉及一种基于混合模型的问答机 器人系统及问答机器人。

背景技术

随着互联网技术的不断普及，用户越来越多地使用服务提供商所提供的 互联网平台来向客服人员咨询比如服务质量、服务维护之类的问题。为了提 高客服效果和节约人力成本，服务提供商通常使用比如客服机器人的问答机 器人系统来与用户进行交流沟通并给予答复。例如，客服机器人首先使用具 有标准问题/标准问题对和问题/答案对的知识数据库以及历史问题/答案实例 来训练问答模型。接着，针对用户所输入的问法，使用所训练的问答模型来 给出问题答案。客服机器人的客服效率直接影响服务提供商的客服系统的服 务能力以及用户的客服体验。

现有的客服类问答机器人大多采用关键词匹配的技术：先提取用户问句 中的关键词，然后利用关键词在知识库中搜索类似的问题，进而给出答案。 为了适应各种问法和关键词组合，关键词模型还衍生出关键词模板等功能。

以上技术路线均存在较明显的缺点：关键词匹配模型，泛化能力不足， 且需要知识库人员手动录入关键词，知识库维护成本较高。

发明内容

有鉴于此，本发明要解决的技术问题是提供一种基于混合模型的问答机 器人系统及问答机器人，能够提高模型的泛化能力和答案的准确性。

本发明的技术方案是这样实现的：

一种基于混合模型的问答机器人系统，包括：

获取模块，所述获取模块用于获取用户问句q；

预处理模块，所述预处理模块用于对所述用户问句q进行预处理；

混合模型，所述混合模型包括词对齐模型和句子向量模型，所述词对齐 模型用于计算所述用户问句q和知识库{X}中例句x_i，j的语义相似度，并计算所 述用户问句q属于每个类别i的概率；所述句子向量模型用于将所述用户问句 q转化为句向量，并计算所述用户问句q属于每个类别i的概率；

模型融合模块，所述模型融合模块用于将词对齐模型和句子向量模型融 合，获取所述用户问句q属于每个类别i的概率；

输出模块，所述输出模块用于输出所述用户问句q对应的概率最高的类 别i对应的答案。

优选的，所述预处理用于对所述用户问句q中的英文、标点符号、和命 名实体进行归一化处理。

优选的，所述知识库的结构为：M个类，每个类有k个例句；分类库共 有N个例句，分类库所有例句集合为{X}；分类库{X}中例句表示为：x_i，j∈{X} 其中：i∈[1，M]，j∈[1，k]，x_i，j表示第i个分类里面的第j个例句。

优选的，所述计算所述用户问句q和知识库{X}中例句x_i，j的语义相似度具 体包括：

S11、对所述用户问句q和例句x_i，j进行分词标注；

S12、提取特征；

S13、设特征集合为f，模型参数为V，V为每个特征的权重，相似度得分 为：

score＝f*V＝∑_jf_j*v_j

S14、用户问句q和知识库{X}中例句x_i，j的语义相似度：

score＝Similarity(q,x_i，j)

则q与类别i的相似度取类别i里面所有相似度得分最大的值，作为q与 类别i的相似度得分：

利用loglinear模型计算q属于每一个类别的概率：

可见p(i|q，X)满足如下条件：

优选的，所述将所述用户问句q转化为句向量，并计算所述用户问句q 属于每个类别i的概率包括：

S21、将用户问句q转化为句子向量；

S22、设句子向量为Vector，则

Vector＝SentenceModel(句子)

用户事件描述q和事件类别库{X}中例句x_i，j的语义相似度为：

Vector(q)＝SentenceModel(q)

Vector(x_i，j)＝SentenceModel(x_i，j)

则句子相似度，为向量夹角的cos值：

利用loglinear模型计算q属于每一个类别的概率：

优选的，所述模型融合的概率分布函数为：

P(i|q，X)＝α*F₁(q，X)+β*F₂(q，X)

其中，α+β＝1，F1为词对齐模型，F2为句向量模型。

优选的，所述将用户问句q转化为句子向量包括：

将用户问句q通过卷积神经网络和深度神经网络转化为句子向量；

所述卷积网络卷积核为20-512；深度神经网络为1-20层。

优选的，所述提取特征包括：

相同词、同义短句、多余的词、完全一样或同义短语的词的词性、多余 的词的词性。

优选的，所述知识库预设有例句x_i，j对应的答案。

本发明还提出了一种问答机器人，包括上述任一项所述的基于混合模型 的问答机器人系统。

本发明提出的基于混合模型的问答机器人系统及问答机器人，基于混合 模型的问答机器人系统包括预处理模块，可以对用户问句进行预处理，增加 了模型的泛化能力；混合模型包括词对齐模型和句子向量模型，可以分别使 用词对齐模型和句子向量模型进行用户问句q的预测，再进行融合，从而能 够提高预测的准确性。

附图说明

图1为本发明实施例提出的基于混合模型的问答机器人系统的结构框图；

图2为相似度计算逻辑；

图3为问句示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提出了一种基于混合模型的问答机器人系统， 包括：

获取模块1，获取模块用于获取用户问句q；

预处理模块2，预处理模块用于对用户问句q进行预处理；

混合模型3，混合模型包括词对齐模型31和句子向量模型32，词对齐模 型31用于计算用户问句q和知识库{X}中例句x_i，j的语义相似度，并计算用户问 句q属于每个类别i的概率；句子向量模型32用于将用户问句q转化为句向 量，并计算用户问句q属于每个类别i的概率；

模型融合模块4，模型融合模块用于将词对齐模型和句子向量模型融合， 获取用户问句q属于每个类别i的概率；

输出模块5，输出模块用于输出用户问句q对应的概率最高的类别i对应 的答案。

可见，本发明实施例提出的问答机器人系统，基于混合模型的问答机器 人系统包括预处理模块，可以对用户问句进行预处理，增加了模型的泛化能 力；混合模型包括词对齐模型和句子向量模型，可以分别使用词对齐模型和 句子向量模型进行用户问句q的预测，再进行融合，从而能够提高预测的准 确性。

在本发明的一个优选实施例中，预处理用于对用户问句q中的英文、标 点符号、和命名实体进行归一化处理。

可以将用户的问题进行预处理：对英文、标点符号、常见的命名实体： 人名、时间、地点、机构名等进行归一化。

举例来说：

帮我查一下北京明天是不是要下雨啊？

归一化后：帮我查一下<CITY><DATE>是不是要下雨啊

预处理算法可以很大程度的提高模型泛化能力，中文常见词2万多个， 但是人名、地点、时间、数字、机构名这些是不计其数的，如果不对这些词 进行归一化处理，势必会提高知识库规模，提高人工标注知识库的成本。

在本发明的一个优选实施例中，知识库的结构为：M个类，每个类有k 个例句；分类库共有N个例句，分类库所有例句集合为{X}；分类库{X}中例句 表示为：x_i，j∈{X}其中：i∈[1，M]，j∈[1，k，x_i，j表示第i个分类里面的第 j个例句。

本申请中，混合模型是由词对齐模型和句向量模型，两个模型在此是独 立的，都是用来提取问句中的特征，并与知识库中的问句计算相似度。问答 机器人本质上是需要根据用户的问句从知识库中找到在意思上最接近的相似 问。这个算法流程可以抽象为如下所示：

(1)用户问题为：q(句子)

(2)知识库的结构为：M个类，每个类有k个例句。事件分类库共有N个 例句，分类库所有例句集合为{X}。分类库{X}中某个例句表示为：x_i，j∈{X}其 中：i∈[1，M]，j∈[1，k]，x_i，j表示第i个分类里面的第j个例句

(3)目标：计算q属于每一个知识点的概率分布p(i|q，x)

p(i|q，X)＝F(q，X)，其中i∈[1，M]

p(i|q，X)满足如下条件：

用户问题q所属的类别c判断标准：概率最大的类别p(c|q，x)。

在本发明的一个优选实施例中，计算用户问句q和知识库{X}中例句x_i，j的 语义相似度具体包括：

S11、对用户问句q和例句x_i，j进行分词标注；

S12、提取特征；

S13、设特征集合为f，模型参数为V，V为每个特征的权重，相似度得分 为：

score＝f*V＝∑_jf_j*v_j

S14、用户问句q和知识库{X}中例句x_i，j的语义相似度：

score＝Similarity(q，x_i，j)

则q与类别i的相似度取类别i里面所有相似度得分最大的值，作为q与 类别i的相似度得分：

利用loglinear模型计算q属于每一个类别的概率：

可见p(i|q，X)满足如下条件：

具体的，词对齐的核心思路是：计算用户问题q和知识库{X}中例句x_i，j的 语义相似度。

score＝Similarity(q，x_i，j)

相似度计算逻辑如图2所示：

设

q＝你家在哪个地方啊

x_i，j＝你家住在什么地方

分词标注：

分词后，用户问题和例句如下：

q1＝你家/r在/p哪个/r地方/n啊/y

x_i，j1＝你家/r住在/v什么/r地方/n

提取特征：

提取5类特征：(1)完全一样的词(2)同义短句(3)多余的词(4) 完全一样或同义短语的词的词性(5)多余的词的词性

如图3所示的例子，抽取特征如下：

完全一致(identity)：“你家”

同义短语(phrase_align):“l＝在哪个地方,r＝住在什么地方”

多余的词(del):“啊”

完全一样或同义短语的词的词性：r，p，n

多余的词的词性：y

线性感知器

设特征集合为f(上面的五类特征)，模型参数为V(每个特征的权重)， 则相似度得分为：

Score＝f*V＝∑_jf_j*v_j

模型参数V是待学习的参数，由机器学习自动学习得到

如上述例子，score＝4.749241,它的特征和参数为：

featureVector＝

[Subst::pos＝p-1]0.09803551526460201

[Subst::pos＝n-3]0.6857258640051173

[Subst::pos＝p-5]0.09803551526460201

[Subst::pos＝n-7]0.6857258640051173

[Subst::pos＝r-2]0.6016902147204733

[Del::lemma＝啊-11]-0.05267269332777205

[Del::pos＝y-12]0.06044737073740843

[Subst::pos＝r-10]0.6016902147204733

[Subst::pos＝v-4]0.7131349555955474

[Subst::l＝在哪个地方,r＝住在什么地方-0]0.0

[Subst::pos＝r-6]0.6016902147204733

[Subst::Identity::你家-8]-0.3527638164761297

[Subst::pos＝r-9]0.6016902147204733

计算p(i|q,x)

前面已经计算了计算用户问题q和知识库{X}中例句x_i，j的语义相似度:

score＝Similarity(q,x_i，j)

则q与类别i的相似度取类别i里面所有相似度得分最大的值，作为q与 类别i的相似度得分

利用loglinear模型计算q属于每一个类别的概率

可见p(i|q，X)满足如下条件：

在本发明的一个优选实施例中，将用户问句q转化为句向量，并计算用 户问句q属于每个类别i的概率包括：

S21、将用户问句q转化为句子向量；

S22、设句子向量为Vector，则

Vector＝SentenceModel(句子)

用户事件描述q和事件类别库{X}中例句x_i，j的语义相似度为：

Vector(q)＝SentenceModel(q)

Vector(x_i，j)＝SentenceModel(x_i，j)

则句子相似度，为向量夹角的cos值：

利用loglinear模型计算q属于每一个类别的概率：

优选的，模型融合的概率分布函数为：

p(i|q，X)＝α*F₁(q，X)+β*F₂(q，X)

其中，α+β＝1，F1为词对齐模型，F2为句向量模型。

在本发明的一个优选实施例中，将用户问句q转化为句子向量包括：

将用户问句q通过卷积神经网络和深度神经网络转化为句子向量；

卷积网络卷积核为20-512；深度神经网络为1-20层。

在本发明的一个优选实施例中，知识库预设有例句x_i，j对应的答案。

本申请中，核心问答模型将词对齐和句向量模型结合在一起，是一个多 模型混合的模型，解决了关键词模型泛化能力不足的问题；并且答案是预设 的，客服了seq2seq答案不可控的缺点。

本发明还提出了一种问答机器人，包括上述任一项的基于混合模型的问 答机器人系统。

本发明提出的基于混合模型的问答机器人系统及问答机器人，基于混合 模型的问答机器人系统包括预处理模块，可以对用户问句进行预处理，增加 了模型的泛化能力；混合模型包括词对齐模型和句子向量模型，可以分别使 用词对齐模型和句子向量模型进行用户问句q的预测，再进行融合，从而能 够提高预测的准确性。

预处理模块对用户问句进行了预处理，增加了模型的泛化能力

词对齐模型和句向量模型，在传统关键词模型基础上准确率和泛化能力 都有本质的提高。

将词对齐模型和句向量模型融合在一起，是整体模型的准确率更进一步。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明 本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神 和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护 范围内。

Claims (10)

1.一种基于混合模型的问答机器人系统，其特征在于，包括：

获取模块，所述获取模块用于获取用户问句q；

预处理模块，所述预处理模块用于对所述用户问句q进行预处理；

混合模型，所述混合模型包括词对齐模型和句子向量模型，所述词对齐模型用于计算所述用户问句q和知识库{X}中例句x_i，j的语义相似度，并计算所述用户问句q属于每个类别i的概率；所述句子向量模型用于将所述用户问句q转化为句向量，并计算所述用户问句q属于每个类别i的概率；

模型融合模块，所述模型融合模块用于将词对齐模型和句子向量模型融合，获取所述用户问句q属于每个类别i的概率；

输出模块，所述输出模块用于输出所述用户问句q对应的概率最高的类别i对应的答案。

2.如权利要求1所述的基于混合模型的问答机器人系统，其特征在于，所述预处理用于对所述用户问句q中的英文、标点符号、和命名实体进行归一化处理。

3.如权利要求1所述的基于混合模型的问答机器人系统，其特征在于，所述知识库的结构为：M个类，每个类有k个例句；分类库共有N个例句，分类库所有例句集合为{X}；分类库{X}中例句表示为：x_i，j∈{X}其中：i∈[1，M]，j∈[1，k]，x_i，j表示第i个分类里面的第j个例句。

4.如权利要求3所述的基于混合模型的问答机器人系统，其特征在于，所述计算所述用户问句q和知识库{X}中例句x_i，j的语义相似度具体包括：

S11、对所述用户问句q和例句x_i，j进行分词标注；

S12、提取特征；

S13、设特征集合为f，模型参数为V，V为每个特征的权重，相似度得分为：

score＝f*V＝∑_jf_j*v_j

S14、用户问句q和知识库{X}中例句x_i，j的语义相似度：

score＝Similarity(q，x_i，j)

则q与类别i的相似度取类别i里面所有相似度得分最大的值，作为q与类别i的相似度得分：

利用loglinear模型计算q属于每一个类别的概率：

可见p(i|q，X)满足如下条件：

5.如权利要求1所述的基于混合模型的问答机器人系统，其特征在于，所述将所述用户问句q转化为句向量，并计算所述用户问句q属于每个类别i的概率包括：

S21、将用户问句q转化为句子向量；

S22、设句子向量为Vector，则

Vector＝SentenceModel(句子)

用户事件描述q和事件类别库{X}中例句x_i，j的语义相似度为：

Vector(q)＝SentenceModel(q)

Vector(x_i，j)＝SentenceModel(x_i，j)

则句子相似度，为向量夹角的cos值：

利用loglinear模型计算q属于每一个类别的概率：

。

6.如权利要求1所述的基于混合模型的问答机器人系统，其特征在于，所述模型融合的概率分布函数为：

p(i|q，X)＝α*F₁(q，X)+β*F₂(q，X)

其中，α+β＝1，F1为词对齐模型，F2为句向量模型。

7.如权利要求5所述的基于混合模型的问答机器人系统，其特征在于，所述将用户问句q转化为句子向量包括：

将用户问句q通过卷积神经网络和深度神经网络转化为句子向量；

所述卷积网络卷积核为20-512；深度神经网络为1-20层。

8.如权利要求4所述的基于混合模型的问答机器人系统，其特征在于，所述提取特征包括：

相同词、同义短句、多余的词、完全一样或同义短语的词的词性、多余的词的词性。

9.如权利要求1所述基于混合模型的问答机器人系统，其特征在于，所述知识库预设有例句x_i，j对应的答案。

10.一种问答机器人，其特征在于，包括上述权利要求1-9任一项所述的基于混合模型的问答机器人系统。

Images