CN112328773A - 基于知识图谱的问答实现方法和系统 - Google Patents

Abstract

本发明公开了一种基于知识图谱的问答实现方法，包括当接受到用户的自然语言查询指令时，首先对用户的查询语句进行实体提及抽取，实体链接，获取到查询文本的候选实体集和候选关系集，然后再利用关系抽取技术对查询文本和候选关系集中的关系匹配度进行打分，挑选出得分最高的关系作为自然语言查询文本对应的语义关系，基于查询文本的语义关系过滤掉候选实体集合中的无效实体，找出查询文本的语义实体；基于抽取出来的语义实体和语义关系，构造查询模式图，在知识图谱中找到与查询模式图相匹配的所有匹配项，该匹配项也就是自然语言查询基于知识图谱检索出的答案；本发明还公开了一种基于知识图谱的问答实现系统；本发明优化了用户体验。

Description

基于知识图谱的问答实现方法和系统

技术领域

本发明涉及知识图谱检索技术领域，特别是一种基于知识图谱的问答实现方法和系统。

背景技术

知识图谱将海量信息用结构化的方式组织起来，高效地为用户的查询提供答案，因此，近年来它在学术界和工业界引起了广泛的关注。在知识图谱中，查询计算主要采用结构匹配的方式。也就是说，给定一个查询模式图和知识图谱，在知识图谱中找到与查询模式图相匹配的所有匹配项。

查询知识图谱的关键在于查询理解和查询计算。建立知识图谱的问答系统，需要解决两个核心问题：(1)理解问题语义-知识图谱中有数以千计的关系，而一种关系可以有数以千计的问法，对于不同的问题形式，问答系统使用不同的表示方法，这些问题表示必须满足归一相同语义的问题以及区分不同意图的问题的能力；(2)用户的查询通常是用自然语言来表达的，这样的语言不能直接用知识图谱来计算。因此，需要先将自然语言查询转换为查询模式图。

发明内容

为解决现有技术中存在的问题，本发明的目的在于对用户输入的自然语言查询问句进行准确地语义理解，抽取自然语言查询中的主题实体提及，以及语义关系等信息，并将自然语言查询内容转换为结构化查询模式图，通过查询模式图和知识图谱的结构化匹配检索问题答案，且答案准确，搜索速度快，提高用户使用体验。现有的针对知识图谱的问答实现技术方案面临的主要问题是对于自然语言查询的语义理解难，无法高精度的实现自然语言查询到结构化查询模式图的映射，为达到上述目的，本发明所采用的技术方案是：一种基于知识图谱的问答实现方法，包括以下步骤：

步骤S1、将自然语言查询通过实体识别模型，抽取出主题实体提及；

步骤S2、将主题实体提及链接到知识图谱中对应的实体上，并将对应实体放置在候选实体集合里；

步骤S3、将候选实体集合中的每个候选实体基于知识图谱，找出与其相连的关系，并放置在候选关系集合里；

步骤S4、将自然语言查询文本中的实体提及用统一无效字符进行替换，将替换后的查询文本和候选关系一并输入至关系抽取模型中，获得查询文本的语义关系；

步骤S5、基于查询文本的语义关系过滤掉候选实体集合中的无效实体，找出查询文本的语义实体；

步骤S6、基于抽取出来的语义实体和语义关系，构造查询模式图，在知识图谱中找到与查询模式图相匹配的所有匹配项，该匹配项也就是自然语言查询基于知识图谱检索出的答案。

作为本发明的进一步改进，在步骤S1中，所述实体识别模型采用Bert+BiLSTM+CRF模型，文本序列标注格式采用BIO标签类型。

作为本发明的进一步改进，所述步骤S2具体包括以下步骤：

步骤S21、对于知识图谱中的所有的实体构造知识图谱实体名称N-gram的倒排索引，N<＝3；实体-实体名称对照表；以及实体名称-实体对照表；

步骤S22、将步骤s1所述的主题实体提及生成相应的N-gram集合，按照优先匹配较大粒度的N-gram的方式，在倒排索引中查找和匹配N-gram，获取到可能的实体列表；

步骤S23、将所述的实体列表中的实体根据实体-实体名称对照表，索引到相应的实体名称，获取到实体名称列表；

步骤S24、将步骤s1所述的主题实体提及和实体名称列表中的实体名称按照编辑距离进行相似度排序，选出最相似的实体名称；

步骤S25、将最相似的实体名称根据实体名称-实体对照表索引到相应的实体，并将这些实体放置到候选实体集合里。

作为本发明的进一步改进，所述步骤S4具体包括以下步骤：

步骤S41、构造关系抽取训练语料，训练关系抽取模型；

步骤S42、基于步骤S41所述关系抽取模型，对自然语言查询进行关系抽取，获取自然语言查询的语义关系；

步骤S43、将步骤S42中判别错误的自然语言查询-语义关系数据构造成新的训练语料，加入到步骤S41中产生的关系抽取训练语料中，进行新一轮关系抽取模型的训练，并得到最终的关系抽取模型。

作为本发明的进一步改进，所述步骤S41具体包括以下步骤：

步骤S411、对自然语言查询进行文本处理，将自然语言查询文本中的实体提及用统一无效字符进行替换；

步骤S412、针对自然语言查询构造语义关系的正负样本，将自然语言查询对应的语义关系标记为正样本，置标签为1，然后从除对应语义关系之外的关系集合中随机选取三个关系作为该自然语言查询的负样本，置标签为0；

步骤S413、将构造完成后的关系抽取训练语料打乱顺序，按照一定比例划分训练集和验证集，将自然语言查询和关系拼接成一段文本，输入至关系抽取模型中。

步骤S414、所述的关系抽取模型采用Bert加两个全连接层的结构，其中Bert采用预训练好的Bert模型，最顶端的全连接层采用sigmoid激活函数，损失函数采用focalloss，分层设置学习率，两个全连接层的学习率是Bert主体层学习率的10倍，对于输入文本中的每个字以0.2的概率随机MASK，当验证集的准确率不再提高时，模型收敛，训练结束。

作为本发明的进一步改进，所述步骤S42具体包括以下步骤：

步骤S421、将自然语言查询按照步骤S1、步骤S2、步骤S3进行处理，获取查询文本对应的候选关系集合；

步骤S422、将查询文本分别与候选关系集合中的关系进行拼接，构造成查询文本-候选关系组批量输入到关系抽取模型中；

步骤S423、将关系抽取模型作为查询文本-候选关系匹配打分模型，对关系抽取模型输出的查询文本-候选关系匹配得分进行排序，挑选出得分最高的关系作为自然语言查询文本对应的语义关系。

作为本发明的进一步改进，在步骤S5中，根据自然语言查询文本对应的语义关系，获取其对应的语义实体，从而构造自然语言查询的模式图。

本发明还提供一种基于知识图谱的问答实现系统，包括：

实体识别模块，用于对自然语言查询进行主题实体提及抽取；

实体链接模块，用于将所述主题实体提及链接到知识图谱中对应的实体上，获取候选实体集；

关系抽取模块，用于获取查询文本的候选关系集，并从候选关系集中抽取出自然语言查询对应的语义关系；

答案检索模块，用于构造自然语言的查询模式图，在知识图谱中找到与查询模式图相匹配的所有匹配项，检索出答案。

本发明的有益效果是：

本发明能够对用户输入的自然语言查询内容准确理解及解析，将自然语言查询内容转换为结构化查询模式图，通过查询模式图和知识图谱的结构化匹配检索问题答案，且内容准确，搜索速度快，优化了用户体验。

附图说明

图1为本发明实施例中基于知识图谱的问答实现方法的流程框图；

图2为本发明实施例中关系抽取模型的结构示意图；

图3为本发明实施例中基于知识图谱的问答实现系统的结构框图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例

如图1所示，一种基于知识图谱的问答实现方法，包括以下步骤：

步骤S1、将自然语言查询通过实体识别模型，抽取出主题实体提及；

步骤S2、将主题实体提及链接到知识图谱中对应的实体上，并将对应实体放置在候选实体集合里；

步骤S3、将候选实体集合中的每个候选实体基于知识图谱，找出与其相连的关系，并放置在候选关系集合里；

步骤S4、将自然语言查询文本中的实体提及用统一无效字符进行替换，将替换后的查询文本和候选关系一并输入至关系抽取模型中，获得查询文本的语义关系；

步骤S5、基于查询文本的语义关系过滤掉候选实体集合中的无效实体，找出查询文本的语义实体；

步骤S6、基于抽取出来的语义实体和语义关系，构造查询模式图，在知识图谱中找到与查询模式图相匹配的所有匹配项，该匹配项也就是自然语言查询基于知识图谱检索出的答案。

本实施例中，在步骤S1中，所述实体识别模型采用Bert+BiLSTM+CRF模型，文本序列标注格式采用BIO标签类型。

本实施例中，所述步骤S2具体包括以下步骤：

步骤S21、对于知识图谱中的所有的实体构造知识图谱实体名称N-gram的倒排索引，N<＝3；实体-实体名称对照表；以及实体名称-实体对照表；

步骤S22、将步骤s1所述的主题实体提及生成相应的N-gram集合，按照优先匹配较大粒度的N-gram的方式，在倒排索引中查找和匹配N-gram，获取到可能的实体列表；

步骤S23、将所述的实体列表中的实体根据实体-实体名称对照表，索引到相应的实体名称，获取到实体名称列表；

步骤S24、将步骤s1所述的主题实体提及和实体名称列表中的实体名称按照编辑距离进行相似度排序，选出最相似的实体名称；

步骤S25、将最相似的实体名称根据实体名称-实体对照表索引到相应的实体，并将这些实体放置到候选实体集合里。

本实施例中，所述步骤S4具体包括以下步骤：

步骤S41、构造关系抽取训练语料，训练关系抽取模型；

步骤S42、基于步骤S41所述关系抽取模型，对自然语言查询进行关系抽取，获取自然语言查询的语义关系；

步骤S43、将步骤S42中判别错误的自然语言查询-语义关系数据构造成新的训练语料，加入到步骤S41中产生的关系抽取训练语料中，进行新一轮关系抽取模型的训练，并得到最终的关系抽取模型。

本实施例中，所述步骤S41具体包括以下步骤：

步骤S411、对自然语言查询进行文本处理，将自然语言查询文本中的实体提及用统一无效字符进行替换；

步骤S412、针对自然语言查询构造语义关系的正负样本，将自然语言查询对应的语义关系标记为正样本，置标签为1，然后从除对应语义关系之外的关系集合中随机选取三个关系作为该自然语言查询的负样本，置标签为0；

步骤S413、将构造完成后的关系抽取训练语料打乱顺序，按照一定比例划分训练集和验证集，将自然语言查询和关系拼接成一段文本，输入至关系抽取模型中。

步骤S414、关系抽取模型如图2所示，所述的关系抽取模型采用Bert加两个全连接层的结构，其中Bert采用预训练好的Bert模型，最顶端的全连接层采用sigmoid激活函数，损失函数采用focal loss，分层设置学习率，两个全连接层的学习率是Bert主体层学习率的10倍，对于输入文本中的每个字以0.2的概率随机MASK，当验证集的准确率不再提高时，模型收敛，训练结束。

本实施例中，所述步骤S42具体包括以下步骤：

步骤S421、将自然语言查询按照步骤S1、步骤S2、步骤S3进行处理，获取查询文本对应的候选关系集合；

步骤S422、将查询文本分别与候选关系集合中的关系进行拼接，构造成查询文本-候选关系组批量输入到关系抽取模型中；

步骤S423、将关系抽取模型作为查询文本-候选关系匹配打分模型，对关系抽取模型输出的查询文本-候选关系匹配得分进行排序，挑选出得分最高的关系作为自然语言查询文本对应的语义关系。

本实施例中，在步骤S5中，根据自然语言查询文本对应的语义关系，获取其对应的语义实体，从而构造自然语言查询的模式图。

本实施例的步骤S1中利用序列标注模型对自然语言查询进行实体提及抽取；步骤S2中，对于知识图谱中的所有实体构造实体名称N-gram倒排索引，提高实体链接速度；利用实体提及的N_gram(按照优先匹配较大粒度的N-gram的方式)在知识图谱中索引出其对应候选实体集；步骤S3中，基于所述链接实体(候选实体集)，在知识图谱中获取对应的候选关系集，提高关系抽取的召回率和准确率；步骤S4中，将自然语言查询文本中的实体提及用统一无效字符进行替换，然后再从所述候选关系集中抽取出自然语言查询文本对应的语义关系；关系抽取模型用于对自然语言查询文本和候选关系集中的关系的匹配度进行打分排序，挑选出得分最高的关系作为自然语言查询的语义关系；步骤S5中，知识图谱是由“实体—关系—实体”组构成，因此可以根据自然语言查询文本对应的语义关系，获取其对应的实体；步骤S6中，基于所述实体和关系，构造自然语言查询的模式图，利用查询模式图和知识图谱的结构匹配方式，检索答案。

如图3所示，本实施例还提供一种基于知识图谱的问答实现系统，包括：

实体识别模块，用于对自然语言查询进行主题实体提及抽取；

实体链接模块，用于将所述主题实体提及链接到知识图谱中对应的实体上，获取候选实体集；

关系抽取模块，用于获取查询文本的候选关系集，并从候选关系集中抽取出自然语言查询对应的语义关系；

答案检索模块，用于构造自然语言的查询模式图，在知识图谱中找到与查询模式图相匹配的所有匹配项，检索出答案。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (8)

1.一种基于知识图谱的问答实现方法，其特征在于，包括以下步骤：

步骤S1、将自然语言查询通过实体识别模型，抽取出主题实体提及；

步骤S2、将主题实体提及链接到知识图谱中对应的实体上，并将对应实体放置在候选实体集合里；

步骤S3、将候选实体集合中的每个候选实体基于知识图谱，找出与其相连的关系，并放置在候选关系集合里；

步骤S4、将自然语言查询文本中的实体提及用统一无效字符进行替换，将替换后的查询文本和候选关系一并输入至关系抽取模型中，获得查询文本的语义关系；

步骤S5、基于查询文本的语义关系过滤掉候选实体集合中的无效实体，找出查询文本的语义实体；

步骤S6、基于抽取出来的语义实体和语义关系，构造查询模式图，在知识图谱中找到与查询模式图相匹配的所有匹配项，该匹配项也就是自然语言查询基于知识图谱检索出的答案。

2.根据权利要求1所述的基于知识图谱的问答实现方法，其特征在于，在步骤S1中，所述实体识别模型采用Bert+BiLSTM+CRF模型，文本序列标注格式采用BIO标签类型。

3.根据权利要求1所述的基于知识图谱的问答实现方法，其特征在于，所述步骤S2具体包括以下步骤：

步骤S21、对于知识图谱中的所有的实体构造知识图谱实体名称N-gram的倒排索引，N<＝3；实体-实体名称对照表；以及实体名称-实体对照表；

步骤S22、将步骤s1所述的主题实体提及生成相应的N-gram集合，按照优先匹配较大粒度的N-gram的方式，在倒排索引中查找和匹配N-gram，获取到可能的实体列表；

步骤S23、将所述的实体列表中的实体根据实体-实体名称对照表，索引到相应的实体名称，获取到实体名称列表；

步骤S24、将步骤S1所述的主题实体提及和实体名称列表中的实体名称按照编辑距离进行相似度排序，选出最相似的实体名称；

步骤S25、将最相似的实体名称根据实体名称-实体对照表索引到相应的实体，并将这些实体放置到候选实体集合里。

4.根据权利要求1所述的基于知识图谱的问答实现方法，其特征在于，所述步骤S4具体包括以下步骤：

步骤S41、构造关系抽取训练语料，训练关系抽取模型；

步骤S42、基于步骤S41所述关系抽取模型，对自然语言查询进行关系抽取，获取自然语言查询的语义关系；

步骤S43、将步骤S42中判别错误的自然语言查询-语义关系数据构造成新的训练语料，加入到步骤S41中产生的关系抽取训练语料中，进行新一轮关系抽取模型的训练，并得到最终的关系抽取模型。

5.根据权利要求4所述的基于知识图谱的问答实现方法，其特征在于，所述步骤S41具体包括以下步骤：

步骤S411、对自然语言查询进行文本处理，将自然语言查询文本中的实体提及用统一无效字符进行替换；

步骤S412、针对自然语言查询构造语义关系的正负样本，将自然语言查询对应的语义关系标记为正样本，置标签为1，然后从除对应语义关系之外的关系集合中随机选取三个关系作为该自然语言查询的负样本，置标签为0；

步骤S413、将构造完成后的关系抽取训练语料打乱顺序，按照一定比例划分训练集和验证集，将自然语言查询和关系拼接成一段文本，输入至关系抽取模型中。

步骤S414、所述的关系抽取模型采用Bert加两个全连接层的结构，其中Bert采用预训练好的Bert模型，最顶端的全连接层采用sigmoid激活函数，损失函数采用focal loss，分层设置学习率，两个全连接层的学习率是Bert主体层学习率的10倍，对于输入文本中的每个字以0.2的概率随机MASK，当验证集的准确率不再提高时，模型收敛，训练结束。

6.根据权利要求4或5所述的基于知识图谱的问答实现方法，其特征在于，所述步骤S42具体包括以下步骤：

步骤S421、将自然语言查询按照步骤S1、步骤S2、步骤S3进行处理，获取查询文本对应的候选关系集合；

步骤S422、将查询文本分别与候选关系集合中的关系进行拼接，构造成查询文本-候选关系组批量输入到关系抽取模型中；

步骤S423、将关系抽取模型作为查询文本-候选关系匹配打分模型，对关系抽取模型输出的查询文本-候选关系匹配得分进行排序，挑选出得分最高的关系作为自然语言查询文本对应的语义关系。

7.根据权利要求6所述的基于知识图谱的问答实现方法，其特征在于，在步骤S5中，根据自然语言查询文本对应的语义关系，获取其对应的语义实体，从而构造自然语言查询的模式图。

8.一种基于知识图谱的问答实现系统，其特征在于，包括：

实体识别模块，用于对自然语言查询进行主题实体提及抽取；

实体链接模块，用于将所述主题实体提及链接到知识图谱中对应的实体上，获取候选实体集；

关系抽取模块，用于获取查询文本的候选关系集，并从候选关系集中抽取出自然语言查询对应的语义关系；

答案检索模块，用于构造自然语言的查询模式图，在知识图谱中找到与查询模式图相匹配的所有匹配项，检索出答案。

Images