CN111159385A - 一种基于动态知识图谱的无模板通用智能问答方法 - Google Patents

Abstract

本发明提供一种基于动态知识图谱的无模板通用智能问答方法，包括：自然语言问句理解，基于本体和问答上下文自动构建关于实体和关系的动态知识图谱，联合上下文和知识图谱确定查询意图，构造面向查询的动态知识图谱。本发明无需预先人工构建问答模板，能有效将自然语言查询问句转化为语义等价的动态知识图谱，用于通用问答系统对自然语言问句的理解，保证在通用问答场景下构造出的动态知识图谱能充分表达自然语言问句的语义，达到良好的问答效果和性能。

Description

一种基于动态知识图谱的无模板通用智能问答方法

技术领域

本发明公开了一种基于动态知识图谱的无模板通用智能问答方法，属于人工智能技术领域，涉及通用智能问答技术。

背景技术

智能问答系统旨在理解用户输入自然语言问句并给出该问题的答案，这需要系统能对用户输入的自然语言问句进行充分理解，通过查询事先构建的知识图谱，以及合理运用推理来获得正确答案。目前，随着知识图谱的广泛应用，很多智能问答系统都是以知识图谱为支撑的，利用知识图谱实现对问题的准确回答。

现有的智能问答系统主要采用基于模板的方法。基于模板的智能问答系统主要通过对常见问题的归纳总结，从中抽取出通用的问题模板，并建立问题模板到查询模板之间的映射关系，对于用户提出的问题使用已有模板进行匹配，利用匹配到的查询模板构造形式化查询，然后在知识图谱中检索出相应的答案。这种方法存在着一定的局限性，当用户提出的问题没有匹配上模板库中的模板时，问答系统将不能够对用户的问题给出回答，因此这种方法在问题表达的多样性上覆盖率较低，灵活性较差。无需模板的通用问答技术可克服基于模板的问答的局限性，具有重要的应用价值。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷，本发明利用问答系统中用户输入的自然语言问句结构变化的动态性特点，提出了一种面向智能问答系统的动态知识图谱构建方法。本方法通过识别自然语言问句中的命名实体，并抽取问句中的语义关系，再结合本体定义构造动态知识图谱，最后根据问句信息和动态知识图谱确定查询的意图，生成带有查询意图的动态知识图谱。本方法生成的带有查询意图动态知识图谱可以转化为结构化查询，在转化为结构化查询之后，可在大规模知识图谱上进行查询匹配和推理，给出用户期望的答案。

本发明为解决上述技术问题采用以下技术方案：

一种基于动态知识图谱的无模板通用智能问答方法，所述方法包括如下步骤：

步骤一、自然语言问句的命名实体识别，对输入的自然语言问句进行解析，从文本中识别出命名实体的指称项；

其中，对自然语言问句进行语义解析时，采用正则匹配与深度学习模型相结合的方式，识别出自然语言问句中存在的命名实体。

步骤二、问句中的关系抽取：构造应用业务相关的关系词典，对本体中出现的每一个关系构建近义词集合，当用户输入的自然语言问句中含有关系词典中的一个或多个词，则将每一个这样的词映射为一条对应的关系；

其中，依据关系近义词词典对问句进行关系抽取。

步骤三、根据本体将实体和关系映射为动态知识图谱子图，对于经过步骤一和步骤二识别出的实体和关系，结合本体结构和业务需求，动态地将每一个识别出的实体和抽取出的关系映射为一个图结构，作为动态知识图谱子图；

其中，基于本体将关系和实体映射为动态知识图谱的多个子图，所述子图为动态生成，且满足本体对知识图谱的约束。

步骤四、合并动态知识图谱子图，结合问句中的结构信息定义启发式规则，将步骤三中得到的多个动态知识图谱子图合并为一个连通的、能充分表达原问句中语义信息的最终动态知识图谱；

其中，动态知识图谱的子图合并具体包括：

利用启发式规则和语法依存结构对各个子图进行合并；

当合并的子图不连通时，根据隐含关系列表向不连通的知识图谱中添加隐含关系，使得合并后的动态知识图谱是连通的。

步骤五、确定问答意图，基于问句中的意图信息和已构建的最终动态知识图谱，确定用户的查询意图，并将最终动态知识图谱转化为可供知识库检索的形式化查询。

其中，意图确定阶段，首先根据问句中存在的疑问词确定用户的查询意图类型；

然后使用面向动态知识图谱的意图确定算法将用户最终的查询意图确定地对应到动态知识图谱中的某个节点上。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明能有效地将自然语言问句转化为在语义上等价的动态知识图谱，有助于问答系统对自然语言问句的理解，具有良好的问答效果和性能。本发明提出一种动态生成知识图谱的方法，与传统的智能问答技术相比，本方法无需预先定义问句模板和查询模板，而是在问句解析过程中根据识别出的实体和抽取到的关系动态的生成知识图谱，再进一步地确定用户的查询意图，为智能问答系统的语义理解功能提供了强大的支持。本发明构建的动态知识图谱在保证能充分表达自然语言语义的同时，还具有较强的鲁棒性。现有的大多数面向知识图谱的智能问答方法都能够和本方法相结合，因此本发明通用性强，具有较好的应用前景和推广范围。

附图说明

图1为本发明提供的基于动态知识图谱的无模板通用智能问答方法的逻辑流程图。

图2为基于深度学习的实体识别模型训练流程图。

图3为实体关系映射为动态知识图谱的示例。

图4为动态知识图谱子图合并示例。

图5为意图确定算法流程图。

图6为实施案例图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明提供的基于动态知识图谱的无模板通用智能问答方法，如图1所示，包括如下步骤：

一、自然语言问句的命名实体识别。

采用多种方式将问句中包含的命名实体抽取出来：

101)对于命名有规律或规则的实体，如电子邮箱、手机号、固定电话号码等，可以设计正则表达式以匹配相应的实体。例如，为电子邮箱的设计的正则表达式为"[0-9a-zA-Z_！#$％&'*+/＝？^_`{|}～-]+(？:\.[\w！#$％&'*+/＝？^_`{|}～-]+)*@(？:[\w](？:[\w-]*[\w])？\.)+[\w](？:[\w-]*[0-9a-zA-Z_])？"，为手机号设计的正则表达式为"((13[0-9]|14[0-9]|15[0-9]|166|17[0-9]|18[0-9]|19[8|9])\d{8})"，为固定电话设计的正则表达式为"(\d{3}-\d{8}|\d{4}-\{7,8})"。当问句中出现了与上述表达式相匹配的字段，就可将其提取出来作为一个相应类型的实体。

102)对于其它表达形式多样的实体，例如姓名、地址、机构名称等，使用基于深度学习的命名实体识别模型将其识别出来，模型整体架构为：BERT+Bi-LSTM(Bi-directionalLong Shot-Term Memory)+CRF(Conditional Random Field)。BERT模型主要分为三部分：输入、Transformer编码器以及输出。模型的输入由三部分组成，分别为Token Embedding、Segment Embedding和Position Embedding。Token Embedding来源于基于词表(存储了所有的字符，包括常用的中英文的字符以及标点符号等字符)随机初始化的向量。SegmentEmbedding用来表示输入的句子编码，采用One-hot的编码形式对句子A跟句子B进行编码。Position Embedding用于表示每个字符在句子中的位置。其向量表示通过学习的方式获得。模型最终的输入是将上述三个Embedding相加得到。模型采用了12个结构相同的Transformer编码器，即模型的层数是12层。Transformer内部由两层组成：基于多头的自注意力机制层和前馈神经网络层，在每层后面模型都使用了Residual Connection和LayerNormalization用来加速模型的训练和提升模型泛化性能。模型的最上层是两个语言模型的任务，即预测带[MASK]标签的字符和句子分类任务。

通过BERT模型得到句子中每个字符的向量表示后，将获得的向量输入到Bi-LSTM层进行特征抽取。Bi-LSTM是由前向和后向LSTM组合而成，采用Bi-LSTM的结构是因为需要考虑词语在句子中的前后顺序。如句子“我不觉得他好”，“不”字就是对后面“好”字的否定。句子词向量在经过双向的LSTM层后分别得到两个词向量，分别为前向和后向的带有上下文信息的词向量，然后将这两个向量拼接起来作为特征向量，最后将得到的向量输入一个全连接层，经过该层计算后将得到每个字符对应的标签。然后将得到的这个结果输入到CRF层中，去判断模型预测的标签序列是不是最优的。

在序列标注任务中引入CRF是为了判断模型对整个句子预测的序列标签是否是最可靠的。不同与分类任务，预料标注任务中对每个字符打标签并不是独立的任务，当前字符获得的标签其实是受周围字符的影响的。

图2是模型的训练流程图，数据集被划分成训练集，验证集和测试集。训练集用于训练模型，即图中蓝色虚线框标识的部分；验证集用来筛选模型，即图中红色框标识的部分；测试集在训练与筛选结束后整体测试模型的泛化性能。测试集里面的数据要保证在模型训练的时候没有出现过，否则很容易使模型过拟合。

二、问句中的关系抽取。

在构建动态知识图谱之前，需要设计与用户需求相关的本体结构，对于本体中定义的每一类关系构建其近义词集合，具体做法是：

201)首先采用近义词工具包对于初始的评价词汇列表进行近义词扩充，该近义词工具包采用的基本技术是通用语料训练的Word2vec模型。

202)然后使用大规模高质量词向量数据，对于上一步得到的每一个评价词汇对应的词向量，寻找与之相似度最大的5至10个词汇作为近义词，对评价词汇表进行进一步扩充。

203)最后采用了近义词典进行最后一步近义词扩充，对上一步得到的每个评价词汇，再在近义词典中寻找每一个词汇的近义词；

为每一条关系构建出的近义词集合即可看作该关系在自然语言文本中的一个指称，所有关系及其对应的近义词集合即可看作一个近义词词典。在构造好关系的近义词词典之后，在用户输入的自然语言问句中查找，判断哪些关系的提及出现在了问句中，并将这些关系所谓从问句中抽取出的关系。

三、依据本体将实体和关系映射为动态知识图谱的子图。

在识别出问句中的实体以及抽取出其中的关系之后，需要利用识别出的实体和关系构造知识图谱上的节点和边。知识图谱中的节点分为对象节点和字面值节点，一般情况下一个被识别出的命名实体可以看作知识图谱中的一个对象节点在自然语言问句中的指称，也可以看作是一个字面值。由于实体的以上特点，识别出的实体即可被映射为一个动态知识图谱的子图，子图的节点通常包含一个和命名实体对应的字面值节点以及一个与该实体类型对应的对象节点，两个节点之间存在一条对应值属性的边。以图3为例进一步说明上述过程。在图3(a)中，在账号类实体的处理上，由于业务需求认为账号实体也可以作为人物实体的指称，所以在构建账号实体相关的动态知识图谱子图的时候，除了账号类对象节点和字面值节点之外，还应添加人物类对象节点，并在人物类对象节点和账号类对象节点之间添加一个表示任务拥有账号的关系，如图3(b)所示。对于抽取到的每一条关系，也可以被映射为一个动态知识图谱的子图，子图中包含两个分别由该关系的定义域和值域确定的对象节点，除此之外还包含一条由定义域对象节点指向值域对象节点之间的边，边的类型与关系类型相对应,如图3(c)所示。

四、子图合并为动态知识图谱。

根据实体和关系得到的动态知识图谱子图需要经过合并才能成为连通的动态知识图谱，由于可以子图的组合方式多种多样，所以在子图合并的过程中需要依据依存分析的结果，如图4所示。组合过程如下：(1)若对象节点A和对象节点B的类型相同(如：同时为“人”或同时为“地址”)，则将这两个节点标记为可以合并的节点。(2)枚举可以合并的节点中所有可以组合的情况，将依存分析结果中存在的实体-关系对进行优先组合，若组合结果与本体约束冲突，则抛弃依存分析结果，撤销先前的组合。(3)对所有可以组合的情况采取默认组合策略将其进行组合，生成一个候选动态知识图谱。(4)对每一个候选动态知识图谱，判断其是否连通。若连通，进入意图确定阶段，若不连通，则对该候选知识图谱进行隐含关系的添加。

由于原问句中的语义关系不一定能够完全被抽取出来等原因，依据识别出的实体和抽取出的关系构建出的动态知识图谱可能存在不连通的情况，这时候需要根据本体结合业务需求构建一个隐含关系列表，用于表示当构建出的知识图谱不连通时可以向知识图谱中添加的边，添加隐含关系的流程如下：(1)计算不连通的候选知识图谱的连通分量，由于该候选知识图谱不连通，则至少存在两个连通分量；(2)对于默认关系列表中的每个关系，判断是否能将该关系添加到两个连通分量之间。若能添加，则用添加该关系后的知识图谱替换原来的知识图谱；(3)判断新知识图谱是否连通若不连通，重复步骤(1)、(2)、(3)，直到构建出连通的动态知识图谱或者没有隐含关系能添加到候选知识图谱中。

五、意图确定算法。

如图5所示，根据问句信息和知识图谱确定查询的意图，构造面向查询的动态知识图谱。在给定动态知识图谱G和用户输入的自然语言问句Q下，确定用户查询意图的流程如图4所示，可表述为：(1)将G中的所有实体节点看作候选意图节点，构建候选意图节点集N；(2)判断问句Q中是否存在疑问词且疑问词是否能定意图的类型。例如，如果疑问词“是谁？”可以确定查询类型为“人”、疑问词“在哪？”可以确定查询意图为“公司”或“地址”，若存在疑问词且能确定意图类型，则将候选意图节点集N中与意图类型冲突的节点删除，否则直接转(3)；(3)判断候选节点集是否为空，若为空，则说明疑问词确定的类型与识别出的实体不完整或与疑问词有冲突，需要与用户交互，结束本次处理流程；(4)候选节点集不为空时，判断候选节点集的大小是否为1，若不为1转(5)，否则转(7)；(5)判断候选节点集中是否有空节点，若有空节点，删除非空节点后转(4)，否则转(6)；(6)对候选意图节点中的每个结点，按照其出入与入度之差作降序排序，保留候选节点中排序最靠前的节点，删除其余节点；(7)选择当前候选节点集中的唯一结点作为意图目标结点，输出结果。

下面以参考附图6，以一个具体实施例说明本发明的实施过程：

系统输入问题：“在华为上班的张三的手机号是多少？”

1)问句中的命名实体识别：

输入：“在华为上班的张三的手机号是多少？”

输出：[{"mention":"华为","type":"COMPANY"},{"mention":"张三","type":"NAME"}]

2)基于业务词典的关系抽取：

输入：“在华为上班的张三的手机号是多少？”

输出：[{"mention":"上班","type":"WorkFor"},{"mention":"手机号","type":"PersonHasPhone"}]

3)实体和关系映射为子图：

输入：

输出：对应的4个子图

4)子图合并为动态知识图谱：

输入：上一步得到的4个子图

输出：合并的动态知识图谱

5)确定用户查询意图：

输入：上一步得到的动态知识图谱

输出：用户查询意图，根据该意图可以对知识图谱进行查询，得到问题答案。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (6)

1.一种基于动态知识图谱的无模板通用智能问答方法，其特征在于，所述方法包括如下步骤：

步骤一、自然语言问句的命名实体识别，对输入的自然语言问句进行解析，从文本中识别出命名实体的指称项；

步骤二、问句中的关系抽取：构造应用业务相关的关系词典，对本体中出现的每一个关系构建近义词集合，当用户输入的自然语言问句中含有关系词典中的一个或多个词，则将每一个这样的词映射为一条对应的关系；

步骤三、根据本体将实体和关系映射为动态知识图谱子图，对于经过步骤一和步骤二识别出的实体和关系，结合本体结构和业务需求，动态地将每一个识别出的实体和抽取出的关系映射为一个图结构，作为动态知识图谱子图；

步骤四、合并动态知识图谱子图，结合问句中的结构信息定义启发式规则，将步骤三中得到的多个动态知识图谱子图合并为一个连通的、能充分表达原问句中语义信息的最终动态知识图谱；

步骤五、确定问答意图，基于问句中的意图信息和已构建的最终动态知识图谱，确定用户的查询意图，并将最终动态知识图谱转化为可供知识库检索的形式化查询。

2.根据权利要求1所述的一种基于动态知识图谱的无模板通用智能问答方法，其特征在于：所述步骤一中，对自然语言问句进行语义解析时，采用正则匹配与深度学习模型相结合的方式，识别出自然语言问句中存在的命名实体。

3.根据权利要求1所述的一种基于动态知识图谱的无模板通用智能问答方法，其特征在于：所述步骤二中，依据关系近义词词典对问句进行关系抽取。

4.根据权利要求1所述的一种基于动态知识图谱的无模板通用智能问答方法，其特征在于：所述步骤三中，基于本体将关系和实体映射为动态知识图谱的多个子图，所述子图为动态生成，且满足本体对知识图谱的约束。

5.根据权利要求1所述的一种基于动态知识图谱的无模板通用智能问答方法，其特征在于，所述步骤四中的动态知识图谱的子图合并具体包括：

利用启发式规则和语法依存结构对各个子图进行合并；

当合并的子图不连通时，根据隐含关系列表向不连通的知识图谱中添加隐含关系，使得合并后的动态知识图谱是连通的。

6.根据权利要求1所述的一种基于动态知识图谱的无模板通用智能问答方法，其特征在于：所述步骤五中的意图确定阶段，

首先根据问句中存在的疑问词确定用户的查询意图类型；

然后使用面向动态知识图谱的意图确定算法将用户最终的查询意图确定地对应到动态知识图谱中的某个节点上。

Images