CN111104517A

CN111104517A - 一种基于两个三元组的中文问题生成方法

Info

Publication number: CN111104517A
Application number: CN201910946043.1A
Authority: CN
Inventors: 董泽桉; 邵红; 董黎刚; 蒋献
Original assignee: Zhejiang Gongshang University
Current assignee: Zhejiang Gongshang University
Priority date: 2019-10-01
Filing date: 2019-10-01
Publication date: 2020-05-05

Abstract

本发明公开了一种基于两个三元组的中文问题生成方法。它包括如下步骤：1）分别用Bi‑LSTM+CRF模型和GRU+AM模型，提取文本中的实体对和实体关系，构建知识图谱；2）对于包含同一公共实体的两个三元组，若其关系相同，则根据知识图谱生成是非疑问句或特殊疑问句；3）对于包含同一公共实体的两个三元组，若其关系不同，则根据知识图谱生成是非疑问句或特殊疑问句；4）当三元组间出现多个公共实体，则围绕每一个公共实体依次按2）和3）步骤生成问题，生成时视剩余的公共实体为其他实体。本发明采用上述方法，实现了多实体、多关系的问题生成，在问题生成领域中补充了仅有的根据一对一关系生成问题的方式，可以有效地提高生成问题的多样性。

Description

一种基于两个三元组的中文问题生成方法

技术领域

本发明涉及文本生成领域，一种基于两个三元组的中文问题生成方法。

背景技术

随着互联网的发展和网络的普及，计算机的广泛应用催生出众多人工智能领域的研究，主要领域有深度学习、计算机视觉、智能机器人、虚拟个人助理、自然语言处理等。其中，自然语言处理领域的研究也逐渐取得相当高的水准。目前，问题生成，即是根据已有的知识生成自然语言形式的问题，是自然语言处理的重要研究方向。知识的形式可以是一段话，一篇上下文的对话，也可以是知识图谱等等，不同的知识形式定义了不同的问题生成的研究。

自从Rust et al.的研究出现之后，问题生成一直是自然语言生成领域关注的重点。最初大部分研究都在探索基于模板的问题生成方法。通常，他们首先用句法分析将输入文本逐句处理，然后根据句法树，用人为制定的模板构造问题 (Mostow and Chen,Lindberg et al., Mazidi and Nielsen)。Labutov et al.先用众包技术收集一些问题模板，然后再根据相应的文本领域对这些模板进行打分排序。通常，这种基于规则的问题生成方法只是利用了词语间的语法，并没有考虑到它们的语义。Heilman and Smith介绍了一种过度生成和排序的方法，作者首先生成很多问题，然后再对这些问题打分。不过虽然他们打分的过程融入了学习机制，但是他们的系统的表现还是完全取决于人造模板的质量。

自然语言处理的很多先进性技术都来自于机器翻译(Sutskever et al.,Bahdanau et al.; Gulcehre et al.,) ，以往问题生成也都采用了机器翻译的技术。Serban et al. 训练了一个将知识库中的三元组转换成自然语言形式的问题的模型，将三元组的头和关系作为构造问题的文本，三元组的尾作为问题的答案。Du et al.基于文本-答案对，用seq2seq模型生成问题。类似的，Zhou et al. 用词性标注加强词嵌入。以上两位模型的评测都采用了人工评阅的方法。 Kumar et al.使用的是相似的模型，但是他们生成问题时没有在特定的答案范围内调节。

Song et al.基于多方面上下文匹配(Wang et al.) 优化了的文本编码模型。Kumar et al.提出一种使用梯度策略的微调框架，并对框架生成的问题进行了人工评估，达到了预期的结果。然而，他们使用各种激励参数仍然是基于基本事实的。Yuan et al.使用注意力机制和指针网络构建seq2seq模型，对答案设计了单独的编码层；同时，他们还介绍了一种用一个额外的语言模型和问答系统作为激励微调模型的方法。不过可惜的是，他们并没有人为验证这种微调是否有助于提高生成问题的质量。与此同时，Yang et al. 设计了适用于领域的问题生成模型，将问题生成作为问答系统的辅助任务。他们生成问题只是为了扩大数据，并没有验证所生成问题的质量。

现有的基于知识图谱的中文问题生成系统都是基于单个三元组，以特定三元组为基础知识，以该三元组的某个实体为答案生成问题，缺少对三元组之间知识相关性的考虑。例如对于三元组（C罗，获得奖项，金球奖）和（C罗，获得奖项，金靴奖），现有的方式只能分别对这两个三元组提问，例如：“C罗获得过金球奖吗+问号”和“C罗获得过金靴奖吗+问号”而如何能够融合三元组间的横向知识，生成对多个三元组知识理解后的综合问题，例如：“C罗获得过哪些奖项”，现在还没有很好的解决办法。

发明内容

为了更好地改进中文问题生成，本发明提供了一种基于两个三元组的中文问题生成方法，其在问题生成领域中补充了仅有的根据一对一关系生成问题的方式。本发明首先利用实体抽取和实体关系识别技术提取文本中的实体和实体关系，构建知识图谱，分析知识图谱中包含同一公共实体的两个三元组，然后基于多实体、多关系生成问题，可以有效地提高生成问题的多样性。

一种基于两个三元组的中文问题生成方法，包括如下步骤：

1）分别用Bi-LSTM+CRF模型和GRU+AM模型，提取文本中的实体对和实体关系，构建知识图谱，将与两个及以上实体存在关系的实体定义为公共实体，将与公共实体构成三元组的实体称为其他实体；

2）对于包含同一公共实体的两个三元组，若其关系相同，则根据知识图谱生成是非疑问句或特殊疑问句，是非疑问句生成句式为“公共实体+实体间关系+其他实体吗+问号”，特殊疑问句生成句式为“疑问词+实体间关系+其他实体+问号”，此时答案为公共实体，或“公共实体+实体间关系+疑问词+问号”，此时答案为其他实体，疑问句中实体出现的顺序与实体关系方向一致，特殊疑问句的疑问词根据实体类别选择；

3）对于包含同一公共实体的两个三元组，若其关系不同，则根据知识图谱生成是非疑问句或特殊疑问句，是非疑问句的句式为“实体关系A+实体A+的+公共实体+实体关系B+实体B+吗+问号”，特殊疑问句生成句式为“实体关系A+实体A+的+疑问词+实体关系B+实体B+问号”，此时答案为公共实体，疑问句中实体出现的顺序与实体关系方向一致，特殊疑问句的疑问词根据实体类别选择；

4）当三元组间出现多个公共实体，则围绕每一个公共实体依次按2）和3）步骤生成问题，生成时视剩余的公共实体为其他实体。

所述的步骤2）和3）中，用CRF对实体进行实体分类并选择提问该实体时使用的疑问词，疑问词的选择规则为：事物或属性使用 “什么” ，人名或称谓使用 “谁” ，地点使用“哪里” ，所属用 “谁的” ，选择使用 “哪个” ，时间使用 “什么时候” ，方式、情况或状态使用 “怎么样” ，原因使用 “为什么” ，数量使用 “多少” 。

本发明具有如下有益效果：本发明提出了一种基于两个三元组的中文问题生成方法，通过与现有的问题生成系统进行对比发现，该方法通过利用三元组间的横向联系，有效地改善了基于单个三元组生成问题的知识联系性不够的缺点，生成的问题形式更多样，知识复杂度更高。

附图说明

图1是构建的知识图谱的部分内容；

图2是实例中根据实体种类所判定的疑问词。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

一种基于两个三元组的中文问题生成方法，包括如下步骤：

1）分别用Bi-LSTM（Bi-directional Long Short-Term Memory，双向长短期记忆网络）+CRF（Conditional Random Field，条件随机场）模型和GRU（Gated Recurrent Unit，门控循环单元）+AM（Attention Mechanism，注意力机制）模型，提取文本中的实体对和实体关系，构建知识图谱，将与两个及以上实体存在关系的实体定义为公共实体，将与公共实体构成三元组的实体称为其他实体；

所述的步骤2）和3）中，使用CRF对实体进行实体分类并选择提问该实体时使用的疑问词，疑问词的选择规则为：事物或属性使用 “什么” ，人名或称谓使用 “谁” ，地点使用 “哪里” ，所属用 “谁的” ，选择使用 “哪个” ，时间使用 “什么时候” ，方式、情况或状态使用 “怎么样” ，原因使用 “为什么” ，数量使用 “多少”。

实施例

为了便于本领域一般技术人员理解和实现本发明，现给出一种本发明所述方法的具体实施案例。提供中文问题生成的核心思想是利用查询知识图谱中与两个及以上实体存在关系的实体，分析并组合多个实体来生成包括两个三元组的问题，从而为中文问题生成提供一个更完整的实现方案。

以关于C罗的知识图谱的问题生成为例，下面用几个案例来描述本实施例。

使用Bi-LSTM和CRF对待抽取实体文本进行实体分类，再用GRU和AM作为获取此文本中不同实体间的实体关系，知识图谱如图1所示。查询知识图谱中与两个及以上实体存在关系的实体，将此类实体称为公共实体，将与其构成三元组的实体称为其他实体。本例中知识图谱中的公共实体为：C罗，足球运动员，运动员，人物，金球奖；剩余的实体皆为其他实体。

提取包含同一公共实体的多个三元组，并比较多个三元组的关系，若三元组关系相同，则根据知识图谱生成是非疑问句或特殊疑问句，是非疑问句生成句式为“公共实体+实体间关系+其他实体吗+问号”；特殊疑问句生成句式为“疑问词+实体间关系+其他实体+问号”，此时答案为公共实体，或“公共实体+实体间关系+疑问词+问号”，此时答案为其他实体，疑问句中实体出现的顺序与实体关系方向一致，特殊疑问句的疑问词根据实体类别选择，选择方式如图2所示。本例中，实体关系相同的两个三元组为：C罗-获得奖项-金球奖，C罗-获得奖项-金靴奖。根据实体关系的方向，按照句式生成是非疑问句如：C罗获得奖项有金球奖和金靴奖吗+问号，生成特殊疑问句如：谁获得了金球奖和金靴奖+问号，或：C罗获得奖项有什么+问号，前者答案为C罗，后者为金球奖和金靴奖。也可以只利用其中一条三元组知识生成问题，例如生成一般疑问句：C罗获得奖项有金球奖吗+问号，或是C罗获得奖项有金靴奖吗+问号。

若知识图谱中与该公共实体相关的关系相互不同，则根据知识图谱生成是非疑问句或特殊疑问句，是非疑问句的句式为“实体关系A+实体A+的+公共实体+实体关系B+实体B+吗+问号”，特殊疑问句生成句式为“实体关系A+实体A+的+疑问词+实体关系B+实体B+问号”，此时答案为公共实体，疑问句中实体出现的顺序与实体关系方向一致。本例中，实体关系不同的两个三元组如：C罗-效力球队-皇家马德里，C罗-获得奖项-金球奖，根据实体关系的方向，生成是非疑问句如：效力球队是皇家马德里的C罗获得奖项有金球奖吗+问号，特殊疑问句如：效力球队是皇家马德里的C罗获得什么奖项+问号此时答案为金球奖。

当生成问题所用的三元组中出现多个公共实体，则围绕每一个公共实体依次按上述规则生成问题，生成时视剩余的公共实体为其他实体。本例中，当出现多个三元组同时包含“C罗”与“金球奖”两个公共实体时，如：C罗-效力球队-皇家马德里，C罗-获得奖项-金球奖，金球奖-举办单位-《法国足球》，则围绕“C罗”与“金球奖”两个公共实体依次按上述规则生成问题，生成时视剩余的公共实体为其他实体。围绕实体“C罗”生成的问题如：“效力球队是皇家马德里的C罗获得什么奖项+问号”；围绕实体“金球奖”生成的问题如：“C罗获得的金球奖举办单位是谁+问号”。

Claims

1.一种基于两个三元组的中文问题生成方法，其特征在于，包括如下步骤：

1-1）分别用Bi-LSTM+CRF模型和GRU+AM模型，提取文本中的实体对和实体关系，构建知识图谱，将与两个及以上实体存在关系的实体定义为公共实体，将与公共实体构成三元组的实体称为其他实体；

1-2）对于包含同一公共实体的两个三元组，若其关系相同，则根据知识图谱生成是非疑问句或特殊疑问句，是非疑问句生成句式为“公共实体+实体间关系+其他实体吗+问号”，特殊疑问句生成句式为“疑问词+实体间关系+其他实体+问号”，此时答案为公共实体，或“公共实体+实体间关系+疑问词+问号”，此时答案为其他实体，疑问句中实体出现的顺序与实体关系方向一致，特殊疑问句的疑问词根据实体类别选择；

1-3）对于包含同一公共实体的两个三元组，若其关系不同，则根据知识图谱生成是非疑问句或特殊疑问句，是非疑问句的句式为“实体关系A+实体A+的+公共实体+实体关系B+实体B+吗+问号”，特殊疑问句生成句式为“实体关系A+实体A+的+疑问词+实体关系B+实体B+问号”，此时答案为公共实体，疑问句中实体出现的顺序与实体关系方向一致，特殊疑问句的疑问词根据实体类别选择；

1-4）当三元组间出现多个公共实体，则围绕每一个公共实体依次按1-2和1-3步骤生成问题，生成时视剩余的公共实体为其他实体。

2.根据权利要求1所述的一种基于两个三元组的中文问题生成方法，其特征在于，所述的步骤1-2）和1-3）中，用CRF对实体进行实体分类并选择提问该实体时使用的疑问词，疑问词的选择规则为：事物或属性使用 “什么” ，人名或称谓使用 “谁” ，地点使用 “哪里” ，所属用 “谁的” ，选择使用 “哪个” ，时间使用 “什么时候” ，方式、情况或状态使用 “怎么样” ，原因使用 “为什么” ，数量使用 “多少” 。