CN107632979A - 一种用于交互式问答的问题解析方法及系统 - Google Patents

Abstract

本发明公开了一种用于交互式问答的问题解析方法及系统，包括：S1确定问题信息，并对问题信息进行预处理，提取问题信息中的多个特征信息；S2根据多个特征信息，提取问题信息中的多个关键词，并确定多个关键词对应的多种属性；S3结合多种属性，检测问题信息的语义是否完整，若不完整，则执行步骤S4，若完整则执行步骤S5；S4结合历史对话并基于深度强化学习方法对问题信息进行语义恢复，将恢复得到的问题信息作为新的问题信息并执行步骤S1‑步骤S3；S5根据多种属性，对问题信息进行模板匹配，以对问题信息进行类型划分。本发明加入了基于深度强化学习的深度Q‑Learning方法，从而提升了语义恢复准确率，较好地满足工业化应用的需求。

Description

一种用于交互式问答的问题解析方法及系统

技术领域

本发明涉及人工智能技术领域，更具体地，涉及一种用于交互式问答的问题解析方法及系统。

背景技术

近年来，人工智能的兴起使得交互式问答系统取得了重大突破。但是现有的交互式问答系统在与用户的交流过程中，仍然显得不够“智能”。这是因为用户在提问的过程中，往往会保留与人对话的语言习惯，使用代词指代前面提到过的内容，甚至省略不提，由此会造成关键性语义缺失的难题。如果不对当前提问进行语义恢复，机器则很难理解用户的提问，以至于不能检索出准确的答案。尤其在复杂的客服系统中，一个问题往往需要多轮对话才能描述清楚，补全语义信息是十分重要的。

造成语义缺失的主要原因是自然语言中常见的指代(Anaphora)和省略(Ellipsis)现象，它使得句子更加简洁明了、通顺流畅，人们不经意间的使用，就会给机器理解带来很多困难。代词消解(Pronoun Resolution)是确定句子中代词指向篇章中哪个名词短语的问题，将代词恢复成其指代的名词实体，有助于机器对语言的理解、进一步加工与处理。代词消解是补全语义信息的重要方法，将其应用到交互式问答系统中，为用户提出的问题填补缺省的语义信息，可以帮助系统准确理解用户意图，得到更准确的答案。因此，中文代词消解的研究具有重要意义。

目前代词消解方法包括基于启发式规则的、基于统计的和基于深度学习的方法。但是实际应用中，语义恢复准确率不能较好地满足工业化应用的需求。通常在大规模语料的情况下，即使是使用深度神经网络模型，如循环神经网络(Recurrent Neural Networks，RNN)，准确率也较低，很难进一步提升。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有问题解析时进行语义恢复的准确率低不能较好地满足工业化应用需求的技术问题。

为实现上述目的，第一方面，本发明提供一种用于交互式问答的问题解析方法，其特征在于，包括：

S1、确定问题信息，并对问题信息进行预处理，提取问题信息中的多个特征信息；

S2、根据所述多个特征信息，提取所述问题信息中的多个关键词，并确定所述多个关键词对应的多种属性；

S3、结合所述多种属性，检测所述问题信息的语义是否完整，若不完整，则执行步骤S4，若完整则执行步骤S5；

S4、结合所述问题信息所关联的历史对话并基于深度强化学习方法对所述问题信息进行语义恢复，将恢复得到的问题信息作为新的问题信息并执行步骤S1-步骤S3；

S5、根据所述多种属性，对问题信息进行模板匹配，以对问题信息进行类型划分，并将所述关键词和其对应的多种属性以及问题信息的类型划分结果作为所述问题信息的解析结果。

可选地，所述步骤S1包括：对问题信息进行同义词替换、分词、提取词性、句法分析以及命名实体识别预处理工作，所述预处理工作得到的结果则作为问题信息的特征信息。

可选地，所述步骤S2包括：根据问题信息的词性与句法依存关系提取问题信息的主要成分，所述主要成分包括所述问题信息的主语、谓语以及宾语；在所述主要成分的基础上扩展出所述主要成分的相关成分，所述主要成分的相关成分包括所述主语、谓语以及宾语的修饰词和谓语的并列词，所述问题信息的多个关键词包括所述主要成分和所述主要成分的相关成分；在所述问题信息的多个关键词中选取一个词作为核心词，所述核心词为所述关键词中与所述问题信息对应的答案类型最相关的词。

可选地，所述关键词中包括疑问代词，所述疑问代词对应主语、宾语、主语的修饰词或者宾语的修饰词；根据所述问题信息中疑问代词的句法依存关系，在所述关键词中提取出能够表示答案类型的词作为所述核心词。

可选地，多个关键词对应的多种属性包括：关键词的词性、对于搜索答案的重要程度、是否用于表征时间、是否用于表示地点以及其在大规模语料中出现的频度。

可选地，所述步骤S3包括：根据问题信息的主要成分、是否包含代词与命名实体综合判断问题信息是否存在指代不明现象，若存在指代不明的现象，则所述问题信息的语义不完整，若不存在指代不明的现象，则所述问题信息的语义完整。

可选地，所述步骤S4包括：将问题信息所关联的历史对话和当前问题信息输入至训练好的深度Q网络中，将当前问题信息恢复成包含完整语义信息的问题信息，所述深度Q网络通过深度神经网络和强化学习结合得到，Q表示输入问题信息的完整程度，是根据问题信息是否包含主语、谓语、宾语以及命名实体衡量的；所述深度Q网络的训练步骤如下：

S41，初始化一个深度神经网络，作为深度Q网络，其权值为w；

S42，构造损失函数，使用基于增强学习的Bellman公式根据状态s、动作a构造出目标Q值，再计算当前Q值与目标Q值的均方差作为损失函数；

S43，计算权值w关于损失函数的梯度；

S44，使用深度学习的随机梯度下降方法朝着最大化Q值的方向不断更新深度Q网络的权值w，直到深度Q网络收敛为止，得到训练好的深度Q网络，训练完成的深度Q网络具有合理的权值，使得语义不完整的问题信息经过一系列变换后得到语义完整的问题信息。

第二方面，本发明提供一种用于交互式问答的问题解析系统，包括：

预处理单元，用于确定问题信息，并对问题信息进行预处理，提取问题信息中的多个特征信息；

提取单元，用于根据所述多个特征信息，提取所述问题信息中的多个关键词，并确定所述多个关键词对应的多种属性；

语义补全单元，用于结合所述多种属性，检测所述问题信息的语义是否完整，若不完整，则结合所述问题信息所关联的历史对话并基于深度强化学习方法对所述问题信息进行语义恢复，将恢复得到的问题信息作为新的问题信息；

模板匹配单元，用于根据所述多种属性，对问题信息进行模板匹配，以对问题信息进行类型划分，并将所述关键词和其对应的多种属性以及问题信息的类型划分结果作为所述问题信息的解析结果。

可选地，所述提取单元用于根据问题信息的词性与句法依存关系提取问题信息的主要成分，所述主要成分包括所述问题信息的主语、谓语以及宾语；在所述主要成分的基础上扩展出所述主要成分的相关成分，所述主要成分的相关成分包括所述主语、谓语以及宾语的修饰词和谓语的并列词，所述问题信息的多个关键词包括所述主要成分和所述主要成分的相关成分；在所述问题信息的多个关键词中选取一个词作为核心词，所述核心词为所述关键词中与所述问题信息对应的答案类型最相关的词。

可选地，所述语义补全单元用于将问题信息所关联的历史对话和当前问题信息输入至训练好的深度Q网络中，将当前问题信息恢复成包含完整语义信息的问题信息，所述深度Q网络通过深度神经网络和强化学习结合得到，Q表示输入问题信息的完整程度，是根据问题信息是否包含主语、谓语、宾语以及命名实体衡量的；

所述语义补全单元通过如下步骤训练得到所述深度Q网络：

S41，初始化一个深度神经网络，作为深度Q网络，其权值为w；

S42，构造损失函数，使用基于增强学习的Bellman公式根据状态s、动作a构造出目标Q值，再计算当前Q值与目标Q值的均方差作为损失函数；

S43，计算权值w关于损失函数的梯度；

S44，使用深度学习的随机梯度下降方法朝着最大化Q值的方向不断更新深度Q网络的权值w，直到深度Q网络收敛为止，得到训练好的深度Q网络，训练完成的深度Q网络具有合理的权值，使得语义不完整的问题信息经过一系列变换后得到语义完整的问题信息。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明提供的用于交互式问答系统的问题解析方法及系统，在进行语义恢复时，除了使用较为简单的句法分析结果以外，还加入了基于深度强化学习的深度Deep Q-Learning方法，从而极大地提升了语义恢复准确率，较好地满足工业化应用的需求。

附图说明

图1为本发明提供的用于交互式问答系统的问题解析方法流程示意图；

图2为本发明提供的Deep Q网络结构示意图，其中，图2a为Deep Q网络基本结构图，图2b为Deep Q网络遍历状态图；

图3为本发明提供的用于交互式问答系统的问题解析系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在一个可能的交互式问答场景中，设想，当用户进行以下几轮提问：

Q1：“最便宜的套餐月租是多少？”；

Q2：“有多少流量？”；

Q3：“更贵一点的呢？”；

现有自动问答系统都可以正确理解问题Q1，但是问题Q2缺少主语，而问题Q3由于省略了句子成分，还造成了歧义，既可以理解为“更贵的套餐的流量有多少？”，也可以理解为“更贵的套餐的月租、流量分别是多少？”。如果不对问题进行语义补全，那么自动问答系统就无法正确理解该问题，也就只能答非所问。

图1为本发明提供一种用于交互式问答系统的问题解析方法流程示意图，如图1所示，包括步骤S1-步骤S5：

S1、确定问题信息，并对问题信息进行预处理，提取问题信息中的多个特征信息；

其中，问题信息为用户所输入的问题。

S2、根据所述多个特征信息，提取所述问题信息中的多个关键词，并确定所述多个关键词对应的多种属性；

S3、结合所述多种属性，检测所述问题信息的语义是否完整，若不完整，则执行步骤S4，若完整则执行步骤S5；

S4、结合所述问题信息所关联的历史对话并基于深度强化学习方法对所述问题信息进行语义恢复，将恢复得到的问题信息作为新的问题信息并执行步骤S1-步骤S3；

S5、根据所述多种属性，对问题信息进行模板匹配，以对问题信息进行类型划分，并将所述关键词和其对应的多种属性以及问题信息的类型划分结果作为所述问题信息的解析结果。

具体地，可将关键词对应的多种属性与准备好的问题匹配模板结合，以区分问题类型。

可选地，所述步骤S1包括：对问题信息进行同义词替换、分词、提取词性、句法分析以及命名实体识别预处理工作，所述预处理工作得到的结果则作为问题信息的特征信息。

可选地，所述步骤S2包括：根据问题信息的词性与句法依存关系提取问题信息的主要成分，所述主要成分包括所述问题信息的主语、谓语以及宾语；在所述主要成分的基础上扩展出所述主要成分的相关成分，所述主要成分的相关成分包括所述主语、谓语以及宾语的修饰词和谓语的并列词，所述问题信息的多个关键词包括所述主要成分和所述主要成分的相关成分；在所述问题信息的多个关键词中选取一个词作为核心词，所述核心词为所述关键词中与所述问题信息对应的答案类型最相关的词。

可选地，所述关键词中包括疑问代词，所述疑问代词对应主语、宾语、主语的修饰词或者宾语的修饰词；根据所述问题信息中疑问代词的句法依存关系，在所述关键词中提取出能够表示答案类型的词作为所述核心词。

可选地，多个关键词对应的多种属性包括：关键词的词性、对于搜索答案的重要程度、是否用于表征时间、是否用于表示地点以及其在大规模语料中出现的频度。

可选地，所述步骤S3包括：根据问题信息的主要成分、是否包含代词与命名实体综合判断问题信息是否存在指代不明现象，若存在指代不明的现象，则所述问题信息的语义不完整，若不存在指代不明的现象，则所述问题信息的语义完整。

可选地，所述步骤S4包括：将问题信息所关联的历史对话和当前问题信息输入至训练好的深度Q(Deep Q)网络中，将当前问题信息恢复成包含完整语义信息的问题信息，所述深度Q网络通过深度神经网络和强化学习结合得到，Q表示输入问题信息的完整程度，是根据问题信息是否包含主语、谓语、宾语以及命名实体衡量的。

其中，Deep Q网络的基本结构如图2a所示。状态s是指当前句子，它既可能是原句，也可能是经过几次修改的句子。动作a是指根据历史对话补充或修改某个词，由于历史对话是确定的，所以这里的动作选择范围也是确定的。Q值表示句子的完整程度，是根据句子是否包含主语、谓语、宾语以及命名实体衡量的。用价值网络(value network)表示评判模块，价值网络输出Q(s,a,w)，即状态s和动作a下的Q值。基于价值网络，遍历某个状态s下各种动作并计算其Q值，如图2b所示，a₁…a_m表示多种动作，相应地，Q(s,a₁,w)…Q(s,a_m,w)表示在状态s下每种动作对应的Q值，然后可以选择Q值最大的一个动作作为输出。

深度Q网络的训练步骤如下：

S41，初始化一个深度神经网络，作为深度Q网络，其权值为w；

S42，构造损失函数，使用基于增强学习的Bellman公式根据状态s、动作a构造出目标Q值，再计算当前Q值与目标Q值的均方差作为损失函数；

S43，计算权值w关于损失函数的梯度；

S44，使用深度学习的随机梯度下降方法朝着最大化Q值的方向不断更新深度Q网络的权值w，直到深度Q网络收敛为止，得到训练好的深度Q网络，训练完成的深度Q网络具有合理的权值，使得语义不完整的问题信息经过一系列变换后得到语义完整的问题信息。

图3为本发明提供的用于交互式问答系统的问题解析系统结构示意图，如图3所示，包括：预处理单元、提取单元、语义补全单元以及模板匹配单元。

预处理单元用于确定问题信息，并对问题信息进行预处理，提取问题信息中的多个特征信息；

提取单元用于根据所述多个特征信息，提取所述问题信息中的多个关键词，并确定所述多个关键词对应的多种属性；

语义补全单元用于结合所述多种属性，检测所述问题信息的语义是否完整，若不完整，则结合所述问题信息所关联的历史对话并基于深度强化学习方法对所述问题信息进行语义恢复，将恢复得到的问题信息作为新的问题信息；

模板匹配单元用于根据所述多种属性，对问题信息进行模板匹配，以对问题信息进行类型划分，并将所述关键词和其对应的多种属性以及问题信息的类型划分结果作为所述问题信息的解析结果。

可选地，所述提取单元用于根据问题信息的词性与句法依存关系提取问题信息的主要成分，所述主要成分包括所述问题信息的主语、谓语以及宾语；在所述主要成分的基础上扩展出所述主要成分的相关成分，所述主要成分的相关成分包括所述主语、谓语以及宾语的修饰词和谓语的并列词，所述问题信息的多个关键词包括所述主要成分和所述主要成分的相关成分；在所述问题信息的多个关键词中选取一个词作为核心词，所述核心词为所述关键词中与所述问题信息对应的答案类型最相关的词。

可选地，所述语义补全单元用于将问题信息所关联的历史对话和当前问题信息输入至训练好的深度Q网络中，将当前问题信息恢复成包含完整语义信息的问题信息，所述深度Q网络通过深度神经网络和强化学习结合得到，Q值表示输入问题信息的完整程度，是根据问题信息是否包含主语、谓语、宾语以及命名实体衡量的；

所述语义补全单元通过如下步骤训练得到所述深度Q网络：

S41，初始化一个深度神经网络，作为深度Q网络，其权值为w；

S42，构造损失函数，使用基于增强学习的Bellman公式根据状态s、动作a构造出目标Q值，再计算当前Q值与目标Q值的均方差作为损失函数；

S43，计算权值w关于损失函数的梯度；

S44，使用深度学习的随机梯度下降方法朝着最大化Q值的方向不断更新深度Q网络的权值w，直到深度Q网络收敛为止，得到训练好的深度Q网络，训练完成的深度Q网络具有合理的权值，使得语义不完整的问题信息经过一系列变换后得到语义完整的问题信息。

需要说明的是，图3中还可包括更多或者更少的部分，各部分的功能可参照上述方法实施例中的介绍，在此不做赘述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于交互式问答的问题解析方法，其特征在于，包括：

S1、确定问题信息，并对问题信息进行预处理，提取问题信息中的多个特征信息；

S2、根据所述多个特征信息，提取所述问题信息中的多个关键词，并确定所述多个关键词对应的多种属性；

S3、结合所述多种属性，检测所述问题信息的语义是否完整，若不完整，则执行步骤S4，若完整则执行步骤S5；

S4、结合所述问题信息所关联的历史对话并基于深度强化学习方法对所述问题信息进行语义恢复，将恢复得到的问题信息作为新的问题信息并执行步骤S1-步骤S3；

S5、根据所述多种属性，对问题信息进行模板匹配，以对问题信息进行类型划分，并将所述关键词和其对应的多种属性以及问题信息的类型划分结果作为所述问题信息的解析结果。

2.根据权利要求1所述的问题解析方法，其特征在于，所述步骤S1包括：

对问题信息进行同义词替换、分词、提取词性、句法分析以及命名实体识别预处理工作，所述预处理工作得到的结果则作为问题信息的特征信息。

3.根据权利要求2所述的问题解析方法，其特征在于，所述步骤S2包括：

根据问题信息的词性与句法依存关系提取问题信息的主要成分，所述主要成分包括所述问题信息的主语、谓语以及宾语；

在所述主要成分的基础上扩展出所述主要成分的相关成分，所述主要成分的相关成分包括所述主语、谓语以及宾语的修饰词和谓语的并列词，所述问题信息的多个关键词包括所述主要成分和所述主要成分的相关成分；

在所述问题信息的多个关键词中选取一个词作为核心词，所述核心词为所述关键词中与所述问题信息对应的答案类型最相关的词。

4.根据权利要求3所述的问题解析方法，其特征在于，所述关键词中包括疑问代词，所述疑问代词对应主语、宾语、主语的修饰词或者宾语的修饰词；

根据所述问题信息中疑问代词的句法依存关系，在所述关键词中提取出能够表示答案类型的词作为所述核心词。

5.根据权利要求2所述的问题解析方法，其特征在于，多个关键词对应的多种属性包括：关键词的词性、对于搜索答案的重要程度、是否用于表征时间、是否用于表示地点以及其在大规模语料中出现的频度。

6.根据权利要求3所述的问题解析方法，其特征在于，所述步骤S3包括：

根据问题信息的主要成分、是否包含代词与命名实体综合判断问题信息是否存在指代不明现象，若存在指代不明的现象，则所述问题信息的语义不完整，若不存在指代不明的现象，则所述问题信息的语义完整。

7.根据权利要求1至6任一项所述的问题解析方法，其特征在于，所述步骤S4包括：

将问题信息所关联的历史对话和当前问题信息输入至训练好的深度Q网络中，将当前问题信息恢复成包含完整语义信息的问题信息，所述深度Q网络通过深度神经网络和强化学习结合得到，Q表示输入问题信息的完整程度，是根据问题信息是否包含主语、谓语、宾语以及命名实体衡量的；

所述深度Q网络的训练步骤如下：

S41，初始化一个深度神经网络，作为深度Q网络，其权值为w；

S42，构造损失函数，使用基于增强学习的Bellman公式根据状态s、动作a构造出目标Q值，再计算当前Q值与目标Q值的均方差作为损失函数；

S43，计算权值w关于损失函数的梯度；

S44，使用深度学习的随机梯度下降方法朝着最大化Q值的方向不断更新深度Q网络的权值w，直到深度Q网络收敛为止，得到训练好的深度Q网络，训练完成的深度Q网络具有合理的权值，使得语义不完整的问题信息经过一系列变换后得到语义完整的问题信息。

8.一种用于交互式问答的问题解析系统，其特征在于，包括：

预处理单元，用于确定问题信息，并对问题信息进行预处理，提取问题信息中的多个特征信息；

提取单元，用于根据所述多个特征信息，提取所述问题信息中的多个关键词，并确定所述多个关键词对应的多种属性；

语义补全单元，用于结合所述多种属性，检测所述问题信息的语义是否完整，若不完整，则结合所述问题信息所关联的历史对话并基于深度强化学习方法对所述问题信息进行语义恢复，将恢复得到的问题信息作为新的问题信息；

模板匹配单元，用于根据所述多种属性，对问题信息进行模板匹配，以对问题信息进行类型划分，并将所述关键词和其对应的多种属性以及问题信息的类型划分结果作为所述问题信息的解析结果。

9.根据权利要求8所述的问题解析系统，其特征在于，所述提取单元用于根据问题信息的词性与句法依存关系提取问题信息的主要成分，所述主要成分包括所述问题信息的主语、谓语以及宾语；在所述主要成分的基础上扩展出所述主要成分的相关成分，所述主要成分的相关成分包括所述主语、谓语以及宾语的修饰词和谓语的并列词，所述问题信息的多个关键词包括所述主要成分和所述主要成分的相关成分；在所述问题信息的多个关键词中选取一个词作为核心词，所述核心词为所述关键词中与所述问题信息对应的答案类型最相关的词。

10.根据权利要求8或9所述的问题解析系统，其特征在于，所述语义补全单元用于将问题信息所关联的历史对话和当前问题信息输入至训练好的深度Q网络中，将当前问题信息恢复成包含完整语义信息的问题信息，所述深度Q网络通过深度神经网络和强化学习结合得到，Q表示输入问题信息的完整程度，是根据问题信息是否包含主语、谓语、宾语以及命名实体衡量的；

所述语义补全单元通过如下步骤训练得到所述深度Q网络：

S41，初始化一个深度神经网络，作为深度Q网络，其权值为w；

S42，构造损失函数，使用基于增强学习的Bellman公式根据状态s、动作a构造出目标Q值，再计算当前Q值与目标Q值的均方差作为损失函数；

S43，计算权值w关于损失函数的梯度；

S44，使用深度学习的随机梯度下降方法朝着最大化Q值的方向不断更新深度Q网络的权值w，直到深度Q网络收敛为止，得到训练好的深度Q网络，训练完成的深度Q网络具有合理的权值，使得语义不完整的问题信息经过一系列变换后得到语义完整的问题信息。