CN111400478A - 一种基于词嵌入匹配技术的知识图谱问答方法及装置 - Google Patents

Abstract

本发明实施方式公开了一种基于词嵌入匹配技术的知识图谱问答方法及装置，本方法包括：获取用户输入问句并对问句预处理；将处理后的问句送入实体标注模块标注主实体；将问句送入词嵌入匹配模块查询最优主实体；将问句送入关系抽取模块获取关系信息；将最优主实体与关系信息送入客实体查询模块，在知识图谱数据库中进行客实体查询，找到对应的客实体；根据查询的最优主实体、关系信息和客实体，获取问句对应的答案。本发明通过加入词嵌入匹配模块，与知识图谱中的各个实体的表示特征进行欧式距离的计算，从而辅助主实体的选择，解决传统模型在实体标注时易产生错误，难以得到准确有效的答案的问题，进一步提高了回答结果的准确率。

Description

一种基于词嵌入匹配技术的知识图谱问答方法及装置

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于词嵌入匹配技术的知识图谱问答方法及装置。

背景技术

随着互联网技术的发展，大规模网络数据资源的出现，人们希望从海量的互联网数据中准确、快速地获取有价值的信息，这推动了知识图谱问答系统被广泛的应用。知识图谱由google于2012年率先提出，其初衷是用以增强自家的搜索引擎的功能和提高搜索结果质量，使得用户无需通过点击多个连接就可以获取结构化的搜索结果，并且提供一定的推理功能，它把复杂的知识领域通过数据挖掘、信息处理、知识计量和图形绘制而显示出来，揭示知识领域的动态发展规律，为学科研究提供切实的、有价值的参考。

但传统的基于知识图谱的问答系统，往往仅包含实体标注模块与关系抽取模块两部分。实体标注模块的主要作用是对现有问句进行序列标注任务对问句中的主实体进行标注，关系抽取模块则是通过对问句针对知识图谱数据中的关系类型进行分类，确定三元组的对应关系。传统的基于知识图谱的问答系统往往覆盖率低，且灵活性差，当数据波动较大时，往往不能获得很好的表现效果。同时，仅用实体标注模块来标注主实体会存在以下问题：当用户输入问题较复杂，或知识图谱数据库中存在重复名称的实体时，易出现实体标注错误，难以得到准确有效的答案。

发明内容

本发明实施方式的目的在于提供一种基于词嵌入匹配技术的知识图谱问答方法及装置，以解决上述技术问题中提出实体标注错误难以得到准确有效的答案的技术问题。

为解决上述问题，本发明实施方式提供一种基于词嵌入匹配技术的知识图谱问答方法，所述方法包括以下步骤：

获取用户输入的问句，对所述问句进行预处理；

将已预处理的问句送入实体标注模块，通过对所述问句特征进行提取并标注主实体；

将所述问句送入词嵌入匹配模块，基于知识图谱查询最优主实体；

将所述问句送入关系抽取模块，通过对所述问句特征提取获取相应的关系信息；

将查询到的最优主实体与相应的关系信息送入到客实体查询模块，在知识图谱数据库中进行客实体查询，找到对应的客实体；

根据查询到的最优主实体、关系信息和客实体，获取问句对应的答案。

优选地，所述实体标注模块对主实体标注的步骤为：

运用glove工具得到问句中每个词的词向量；

通过双向GRU模块和Attention机制来提取每个词的上下文表示特征；

通过softmax层得到每个词的标注结果，若该词是主实体，则标注为1，否则标注为0。

优选地，所述词嵌入匹配模块对最优主实体的查询步骤为：

运用glove工具得到问句中每个词的词向量；

通过双向GRU模块来提取整句的文本特征；

通过多层感知器MLP得到与知识图谱中实体表示学习维度相同的特征向量；

计算该特征向量与各个实体在知识图谱表示学习中向量的欧式距离；

选择距离最短的作为最优主实体。

优选地，所述关系抽取模块对关系信息获取的步骤为：

运用glove工具得到问句中每个词的词向量；

通过双向GRU模块来提取整句的文本特征；

通过多层感知器MLP得到与关系类别数量相同的特征向量；

通过softmax层，得到相应的关系信息。

为实现上述目的，本发明还提供一种基于词嵌入匹配技术的知识图谱问答装置，包括：

数据收集筛选模块，用于收集并筛选用户问句；

实体标注模块，用于对用户问句中的每个词进行标注，找寻主实体；

词嵌入匹配模块，用于基于知识图谱，计算用户问句中的实体名称相同向量的欧式距离，以确定最优主实体；

关系抽取模块，用于在知识图谱当中基于最优主实体，实现对问句关系的分类；

客实体查询模块，基于查询到的最优主实体和关系信息，找到对应的客实体。

与现有技术相比，本发明的有益效果是，本发明通过加入词嵌入匹配模块，运用神经网络模型来学习用户问句的整体嵌入表示，与知识图谱中的各个实体的表示特征进行欧式距离的计算，从而辅助主实体的选择，解决传统模型在实体标注错误难以出现准确有效的答案，有效地提高了回答结果的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施方式的基于嵌入匹配技术的知识图谱问答方法流程示意图；

图2为本发明实施方式的基于嵌入匹配技术的知识图谱问答方法的实体标注模块示意图；

图3为本发明实施方式的基于嵌入匹配技术的知识图谱问答方法的词嵌入匹配模块示意图；

图4为本发明实施方式的基于嵌入匹配技术的知识图谱问答方法的关系抽取模块示意图。

具体实施方式

为了使本领域技术人员更好地理解本发明的技术方案，下面结合附图对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何的限制作用。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参阅图1，本发明实施方式提供一种基于词嵌入匹配技术的知识图谱问答方法，该方法包括以下步骤：

获取用户输入的问句，对所述问句进行预处理；

将已预处理的问句送入实体标注模块，通过对所述问句特征进行提取并标注主实体；

将所述问句送入词嵌入匹配模块，基于知识图谱查询最优主实体；

将所述问句送入关系抽取模块，通过对所述问句特征提取获取相应的关系信息；

将查询到的最优主实体与相应的关系信息送入到客实体查询模块，在知识图谱数据库中进行客实体查询，找到对应的客实体；

根据查询到的最优主实体、关系信息和客实体，获取问句对应的答案。

本方案中可以采用网络爬虫技术获取用户输入的问句，对用户问句进行收集并构建用户问句数据集，并根据已有产品知识图谱数据库对用户所提的问题进行筛选，标注，若问题的答案在数据库中，则进行保留，若不在数据库中，则删除该问题。该数据集的总样本数量为N。每条样本包含一个问句Q＝{q₁，…，q_n}以及一组三元组[h，r，t]。从上述用户问句数据集中，随机选择80％*N个样本作为训练集，10％*N个样本作为验证集，10％*N个样本作为测试集，并分别对训练集、验证集、测试集进行预处理。问句的预处理包括对文本的分句、分词、正规化、清洗等，其目的是对已有的数据进行优化和扩充，通过去除问句Q′中的停止词以及特殊符号，得到预处理用户问句Q＝{q₁，…，q_n}，用q_t表示其中一个分词的结果，n是问句预处理后单词的个数。例如，用户问句Q′＝“中国的首都是北京”，经过预处理之后，得到预处理的用户问句Q＝{<中国>，<的>，<首都>，<是>，<北京>}，q_t为其中一个<>。

参阅图2，本实施例中的实体标注模块对主实体标注步骤为：运用glove工具得到问句中每个词的词向量，并通过双向GRU模块和Attention机制来提取每个词的上下文表示特征，再通过softmax层得到每个词的标注结果，若该词是主实体，则标注为1，否则标注为0。

其中，glove是训练好的词嵌入模块，其功能是将在glove词表中的单词映射到对应向量之上，若不在词表中，则对该词进行随机初始化，其输入为用户问句中的的各个词Q＝{q₁，…，q_n}，其输出为问句中每个词的对应词向量W＝{w₁，…，w_n}，其中词向量的维度为300维，具体式子如下：

w_t＝gloυe(q_t)

其中单词q_t是用户问句Q＝{q₁，…，q_n}的第t个词，w_t是单词q_t的词向量。

同时，为更好地理解上下文环境并消除歧义，本实施方式中采用双向门控循环网络(双向GRU)模型来提取每个词的上下文表示特征h_t，其隐藏层大小为300维，双向GRU网络(Gated Recurrent Unit Network，简称GRU，门控循环网络)是RNN网络的一种变体模型，其功能主要是学习词的上下文特征表示，双向GRU主要是由前后向两个GRU组成，两个GRU是一样的，只不过前向GRU的输入是从问句中各词的词向量W＝{w₁，…，w_n}的w₁开始，从左往右，后向GRU是从W＝{w₁，…，w_n}的w_n开始，从右往左。

前向GRU即GRU₁，主要是学习当前词q_t的以前时间步骤的上下文特征

从W＝{w₁，…，w_n}的w₁开始，从左往右，其输入为问句中前一个词的上下文特征

和当前词q_t的特征向量w_t，输出为当前词q_t的上下文特征

具体式子如下：

后向GRU即GRU₂，主要是学习当前词q_t的未来时间步骤的上下文特征

从W＝{w₁，…，w_n}的w_n开始，从右往左，其输入为问句中后一个词的上下文特征

和当前词q_t的特征向量w_t，输出为当前词q_t的上下文特征

具体式子如下：

最后将当前词的以前时间步骤的上下文特征

和未来时间步骤的上下文特征

通过拼接方式(其中“；”为拼接操作)合并成为当前词的上下文特征向量h_t。具体式子如下：

其中，由于在日常中问句的名词在实体实体标注模型中的权重要高于问句中形容词的权重，在获得问句中各个单词的上下文特征H＝{h₁，h₂，h₃...h_n}之后，采用了Attention机制(注意力机制)来计算不同单词w_t的权重α_t，对其重要程度进行划分。具体公式如下：

其中u_t是对应位置t的参数向量，z_t是对应位置t的隐变量，α_t是单词w_t对应的权重“；”为拼接操作。

模型对词向量w_t与每个词的上下文特征h_t进行加权拼接，得到每个单词的加权特征向量υ_t。

v_t＝w_t+α_th_t

其中，Softmax函数主要功能是对v_t进行数值归一化，得到每个词的标注结果l_t，若该词是实体，则标注为1，否则标注为0：

其中，v_t是单词w_t的加权特征向量，l_t是单词w_t的实体标注结果。

若问句q_t中的词w_t存在标注结果为1，则说明该问句存在实体，没有，则说明该问句不存在实体，标注结果为0。

当在实体标注模型中未找到当前问句的主实体，或者该主实体名称在知识图谱中重复出现了，则需要将当前问句送入词嵌入匹配模块进行精确寻找，若在实体标注模型该主实体名称未重复出现，则直接选该主实体作为最优主实体。

参阅图3，本实施例中的词嵌入匹配模块对最优主实体的查询步骤为：运用glove工具得到问句中每个词的词向量，并通过双向GRU模块来提取整句的文本特征，再通过多层感知器MLP得到与知识图谱中实体表示学习维度相同的特征向量，从而计算该特征向量与各个实体在知识图谱表示学习中向量的欧式距离，选择距离最短的作为最优主实体。

glove对问句中的每个词进行编码，实现对每个词的分布式表示，其输入为用户问句中的各个词Q＝{q₁，…，q_n}，其输出为问句中每个词的对应词向量W＝{w₁，…，w_n}，其中词向量的维度为300维，具体式子如下：

w_t＝glove(q_t)

其中单词q_t是用户问句Q＝{q₁，…，q_n}的第t个词，w_t是单词q_t的词向量。

通过双向GRU模型来提取整句的上下文文本特征，其隐藏层的大小为300维，双向GRU由前后向GRU构成。

前向GRU即GRU₁，主要是学习整句的以前时间步骤的上下文特征

从句首开始，从左往右，其输入为当前词q_t的特征向量w_t和前一个词的上下文特征

输出为当前词q_t的上下文特征

若当前词q_t为问句Q中最后一个词的时候，其上下文特征

为整句的上下文特征

具体式子如下：

后向GRU即GRU₂，主要是学习整句的未来时间步骤的上下文特征

从句尾开始，从右往左，其输入为当前词q_t的特征向量w_t和后一个词的上下文特征

输出为当前词q_t的上下文特征

若当前词q_t为问句Q中最后一个单词的时候，其上下文特征

为整句的上下文特征

具体式子如下：

最后将基于以前时间步骤的整句上下文特征

和基于未来时间步骤的整句上下文特征

进行拼接，合并成为整句的上下文特征h_end，“；”为拼接操作，具体式子如下：

通过添加多个全连接层实现多层感知器MLP(Multilayer Perceptron)，多层感知器MLP的功能主要实现特征向量的维度变换，其输入是问句的上下文特征h_end，输出则为与知识图谱中实体表示学习维度相同的特征向量head_end(维度为50维)：

head_end＝MLP(h_end)

模型将问句的最终上下文特征向量head_end与各个实体在知识图谱表示学习中的特征向量进行欧式距离的计算，将欧式距离最短的实体作为最优主实体。

参阅图4，本实施例中关系抽取模型对关系信息获取的步骤为：运用glove工具得到问句中每个词的词向量，并通过双向GRU模块来提取整句的文本特征，再通过多层感知器MLP得到与关系类别数量相同的特征向量，再通过softmax层，得到相应的关系信息。

其中，glove对问句中的每个词进行编码，实现对每个词的分布式表示，其输入为用户问句中的各个词Q＝{q₁，…，q_n}，其输出为问句中每个词的对应词向量W＝{w₁，…，w_n}，其中词向量的维度为300维，具体式子如下：

w_t＝gloυe(q_t)

其中单词q_t是用户问句Q＝{q₁，…，q_n}的第t个词，w_t是单词q_t的词向量。

通过双向GRU模型来提取整句的上下文文本特征，其隐藏层的大小为300维。双向GRU由前后向GRU构成。

前向GRU即GRU₁，主要是学习整句的以前时间步骤的上下文特征

从句首开始，从左往右，其输入为当前词q_t的特征向量w_t和前一个词的上下文特征

输出为当前词q_t的上下文特征

若当前词q_t为问句Q中最后一个词的时候，其上下文特征

为整句的上下文特征

具体式子如下：

后向GRU即GRU₂，主要是学习整句的未来时间步骤的上下文特征

从句尾开始，从右往左，其输入为当前词q_t的特征向量w_t和后一个词的上下文特征

输出为当前词q_t的上下文特征

若当前词q_t为问句Q中最后一个单词的时候，其上下文特征

为整句的上下文特征

具体式子如下：

最后将基于以前时间步骤的整句上下文特征

和基于未来时间步骤的整句上下文特征

进行拼接，合并成为整句的上下文特征h_end，“；”为拼接操作，具体式子如下：

多层感知器MLP的功能主要实现特征向量的维度变换，在本模型中，多层感知器MLP的输入是问句的上下文特征h_end，输出为与关系类别数量相同维度的特征向量

(输出维度为30维)：

通过Softmax多分类函数判断问句关系分类结果

可见，本发明通过加入词嵌入匹配模块，运用神经网络模型来学习用户问句的整体嵌入表示，与知识图谱中的各个实体的表示特征进行欧式距离的计算，从而辅助主实体的选择，解决传统模型在实体标注错误难以出现准确有效的答案，有效地提高了回答结果的准确率。

本发明的实施例中还提供了一种基于词嵌入匹配技术的知识图谱问答装置，其包括：

数据收集筛选模块，用于收集并筛选用户问句；

实体标注模块，用于对用户问句中的每个词进行标注，找寻主实体；

词嵌入匹配模块，用于基于知识图谱，计算用户问句中的实体名称相同向量的欧式距离，以确定最优主实体；

关系抽取模块，用于在知识图谱当中基于最优主实体，实现对问句关系的分类；

客实体查询模块，基于查询到的最优主实体和关系信息，找到对应的客实体。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。

Claims (5)

1.一种基于词嵌入匹配技术的知识图谱问答方法，其特征在于，所述方法包括以下步骤：

获取用户输入的问句，对所述问句进行预处理；

将已预处理的问句送入实体标注模块，通过对所述问句特征进行提取并标注主实体；

将所述问句送入词嵌入匹配模块，基于知识图谱查询最优主实体；

将所述问句送入关系抽取模块，通过对所述问句特征提取获取相应的关系信息；

将查询到的最优主实体与相应的关系信息送入到客实体查询模块，在知识图谱数据库中进行客实体查询，找到对应的客实体；

根据查询到的最优主实体、关系信息以及客实体，获取问句对应的答案。

2.根据权利要求1所述的基于词嵌入匹配技术的知识图谱问答方法，其特征在于，所述实体标注模块对主实体标注的步骤为：

运用glove工具得到问句中每个词的词向量；

通过双向GRU模块和Attention机制来提取每个词的上下文表示特征；

通过softmax层得到每个词的标注结果，若该词是主实体，则标注为1，否则标注为0。

3.根据权利要求1所述的基于词嵌入匹配技术的知识图谱问答方法，其特征在于，所述词嵌入匹配模块对最优主实体的查询步骤为：

运用glove工具得到问句中每个词的词向量；

通过双向GRU模块来提取整句的文本特征；

通过多层感知器MLP得到与知识图谱中实体表示学习维度相同的特征向量；

计算该特征向量与各个实体在知识图谱表示学习中向量的欧式距离；

选择距离最短的作为最优主实体。

4.根据权利要求1所述的基于词嵌入匹配技术的知识图谱问答方法，其特征在于，所述关系抽取模块对关系信息获取的步骤为：

运用glove工具得到问句中每个词的词向量；

通过双向GRU模块来提取整句的文本特征；

通过多层感知器MLP得到与关系类别数量相同的特征向量；

通过softmax层，得到相应的关系信息。

5.一种基于词嵌入匹配技术的知识图谱问答装置，其特征在于，包括：

数据收集筛选模块，用于收集并筛选用户问句；

实体标注模块，用于对用户问句中的每个词进行标注，查询主实体；

词嵌入匹配模块，基于知识图谱，计算用户问句中的实体名称相同向量的欧式距离，以确定最优主实体；

关系抽取模块，用于在知识图谱当中基于最优主实体，实现对问句关系的分类；

客实体查询模块，基于查询到的最优主实体和关系信息，找到对应的客实体。

Images