CN104050256B - 基于主动学习的问答方法及采用该方法的问答系统 - Google Patents

Abstract

本发明公开了一种基于主动学习的问答方法及采用该方法的问答系统，其中，所述基于主动学习的问答方法，其包含以下步骤：(1)输入提问；(2)预处理；(3)特征提取；(4)问题理解；(5)置信度，阈值门限和可信水平判断；(6)信息检索和信息处理；(7)答案抽取；(8)主动学习；(9)当置信度低于可信水平时，根据问句具体类别进行引导性提问，主动引导用户进行消除二义性的提问，进行新一轮更有效的问答。本发明公开的问答系统，其包含输入提问模块，预处理模块，语义理解模块和主动学习及输出答案模块，共计五个模块。

Description

基于主动学习的问答方法及采用该方法的问答系统

技术领域

本发明属于人工智能领域，具体涉及智能问答方法及其问答系统。

背景技术

最近几年，随着网络和信息技术的快速发展，同时人们想更快更准确地获取信息的愿望也重新促进了自动问答技术的发展。最近有越来越多的公司和科研院所参与了自动问答技术的研究。譬如谷歌、微软、苹果和IBM等著名的跨国公司。在每年一度的文本信息检索(TREC)会议上，自动问答(Question Answering Track)渐渐成为最受关注的主题之一。越来越多的大学和科研机构参与了TREC会议的Question AnsweringTrack。在2000年10月召开的ACL2000国际计算语言学学术会议上，有一个专题讨论会，题目是“Open-DomainQuestion Answering”。目前，国外已经开发出一些相对成熟的问答系统。麻省理工(MIT)就开发出一个问答系统Start，从1993年开始发布在Internet上，网址如下：http://www.ai.mit.edu/projects/infolab/。可以回答一些有关地理、历史、文化、科技、娱乐等方面的简单问题。比如：对于问题“What is the longest river in the world？”，Start将会回答“With a length of 4180miles,the Nile River is the longest river in theworld”,此外,还有一个相对来讲比较成熟的多语种自动智能问答系统，Answer Bus是个多语种的自动问答系统，它不仅可以回答英语的问题，还可以回答法语、西班牙语、德语、意大利语和葡萄牙语的问题。国内也有一些研究机构参与了自动问答技术的研究：中科院计算所、复旦大学、香港科技大学。但是参与中文自动问答技术研究的科研机构比较少，而且基本没有成型的中文自动问答系统。

从这些系统来看，它们的结构基本上都分为三个模块：问题分析与理解，信息检索，答案抽取。这种结构模式也为国内外大多数研究机构所采用，方案算是比较成熟的。差别之处就在于，首先，由于语言本身的原因，国外的研究不需要考虑对句子的分词，英语的疑问词可以作为问题分类的标记，问题类型的确定也就变得容易了。在中文系统中分词和词性标注贯穿始终，如果分词不准确则系统的每一步理解都会有误差，以至于最后得到的答案将答非所问，这也是中文自然语言处理的难点所在。其次，由于检索技术的不一样，也会影响回答的准确率。答案抽取基本上是以权重排序，并从最大的文档中抽取答案，句子、词、短语，甚至多文档自动文摘都可以作为答案。鉴于目前这些方面的研究都还比较初级，所以回答准确率也比较低。

目前的问答系统在遇到二义性复杂结构时无法准确进行识别和分析。通常语义理解的结果是孤立的，而不是联系用户需求的，所以无法获知问题理解的意图。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于主动学习的问答方法及采用该方法的问答系统，其利用统计学习的思想和方法，以信息检索系统为基础，通过主动学习不断丰富本地结构化数据库，使得系统可以从本地和Web端择优进行答案抽取，从而能更准确地回答用户用自然语言提出的问题。

本发明解决其技术问题所采用的技术方案是：基于主动学习的问答方法，其包含以下步骤：

(1)输入提问；在输入提问前根据可能的问题种类进行分类，分类录入问答模板并进行结构化存储，形成问答知识库索引，该问答知识库索引对应FAQ库；

(2)预处理；对步骤(1)中输入的问句预处理，将问句进行分词、词性标注、合并疑问词组，去除表义较低的停用词，识别主题词，进行关键词扩展和同义词扩充，形成结构化的语法树；

(3)特征提取；对预处理的结果进行特征提取，其本质是通过计算结构化语法树的TF-IDF值形成基于字典的特征向量；

(4)问题理解；通过SVM分类器对步骤(3)提取的特征进行分类，确定问句所属类别，然后通过计算从问句提取的特征向量和知识库特征向量的修正余弦相似度作为置信度，与阈值门限进行对比，如果高于阈值则在FAQ库中检索知识，形成答案后输出；如果低于阈值则执行步骤(5)；

(5)如果置信度低于阈值门限，则判断置信度是否大于可信水平，当置信度大于可信水平则顺序执行步骤(6)，步骤(7)和步骤(8)；当置信度小于可信水平则执行步骤(9)；

(6)信息检索和信息处理；在Web端进行信息检索，为克服布尔逻辑式不能完整反映用户意图的缺陷，采用布尔模型对布尔理论进行改造，然后再通过相关度排序建立索引；

(7)答案抽取；抽取与问句语义相关度较大的文档，通过对文档分割和过滤抽取答案，并且对答案进行整合，形成最后的回答；

(8)主动学习；当步骤(7)中形成的回答是涉及实时事实的求知性提问，则直接给出结果，否则将问句和回答根据类别录入问答模板，更新知识库，实现主动学习；

(9)当置信度低于可信水平时，根据问句具体类别进行引导性提问，主动引导用户进行消除二义性的提问，进行新一轮更有效的问答。

作为上述基于主动学习的问答方法中可信水平的优选，所述步骤(5)中的可信水平为0.1。

作为上述步骤(1)的一种改进，所述步骤(1)是通过语音转化模块将语音转化为文字。

作为上述基于主动学习的问答方法的具体实施方式，所述SVM分类器构造如下：

假设问答系统中话题类别种类有M类，建立M个支持向量机，识别输入的特征向量x的分类时，选择g^j(x)最大的分类：

所述修正余弦相似度计算公式如下：

本发明还公开了采用上述基于主动学习的问答方法的问答系统，其包含输入提问模块，预处理模块，语义理解模块和主动学习及输出答案模块，共计五个模块。

作为上述问答系统的一种优选实施方式，所述输入提问模块采用实时唤醒机制，即在系统任何运行状态，用户通过对系统呼喊关键词，可以实时唤醒系统；当系统完成回答会话后，系统会自动进入监听状态，等待下一轮回答会话，该过程完全由语音控制，不需要人为按键触发；输入提问模块把语音识别结果作为所述预处理模块的输入；

所述预处理模块首先根据输入的内容进行分词和词性标注，根据训练语料库合并疑问词组，去除表义较低的停用词；接下来识别问句中包含的疑问词短语，根据疑问词短语找到对应的句型模式集；然后与模式集中的句型规则进行匹配，从而得到问题标准型，由此得知问题的类型；最后根据主题词在语料库中的相关问题类型进行扩展，并由扩充的同义词确定问题领域，实现对问题的有效分类，确定搜索答案时所需要的访问方式，形成结构化的语义树表示；

所述语义理解模块进行特征提取和问题理解；具体地，在确知问题类别的条件下，使用长度为500的相应问题类别字典向量对结构化的语义树进行标记，向量的维度表示该类别的实词个数，相应维度上的值表示经过预处理扩充后结构化语义树的关键词TF-IDF信息；对标记后的特征向量使用SVM分类器进行分类，确定所属类别；

所述主动学习模块主要包含置信度判断和可信水平判断，在相应的选择分支中分别进行信息检索、信息处理和答案抽取。

作为上述优选实施方式的一种改进，所述语义理解模块中，对语义理解结果采用结构化存储方式，具体地采用Json格式标记存储；该结构存储结果包含文本内容、理解置信度、服务名称、操作名称以及语义结果；其中，文本内容是语音识别结果，理解置信度是对语义结果可信程度的度量，服务名称是系统提供的查询的种类说明，操作名称是在该服务语境下可以执行的功能，语义结果包含涉及操作的具体细节条目。

本发明的有益效果如下：

本发明结合聊天机器人问答系统、基于Web的开放式回答系统以及基于知识的问答系统的优点，通过结构化的语义理解数据库存储，对系统进行主动学习，区分用户问句种类，扩展本地问答知识库，实现更有效、更准确的问答功能；

本发明同时通过把计算的置信度与阈值进行比较，选择合理的信息检索方式综合了多种问答系统的优点，既可以通过监督学习方式利用本地知识库的问答模板，也可以提取Web端的有效信息以主动学习方式更新问答模板。此外，在计算出的置信度低于可信水平时，确定原始问句的所属类别向用户提出引导性问句，使用户以更易于系统理解的方式用自然语言处理提出规范化问句。本发明通过主动学习方式不断提高系统性能，同时通过引导性提问和用户交互主动消除语义理解上的缺陷，不仅在原理上较之通常的问答系统更加合理有效，并且在实际测试中具有更高的准确率和查全率。

附图说明

图1表示基于主动学习的问答系统的模块结构图；

图2表示部分停用词示例；

图3表示模式匹配表示例；

图4表示基于主动学习的问答方法的流程图。

具体实施方式

下面结合附图及实施例具体描述本发明具体实施方式：

如图4示出了本发明基于主动学习的问答方法的一种具体实施例的流程图，如图所示，本发明基于主动学习的问答方法，其采用的步骤如下：

(1)根据可能的问题种类进行分类，分类录入问答模板并进行结构化存储，形成问答知识库索引(即形成图4中的FAQ库)；

(2)对输入的问句预处理，将问句进行分词、词性标注、合并疑问词组，去除表义较低的停用词，识别主题词，进行关键词扩展和同义词扩充，形成结构化的语法树；

(3)对预处理的结果进行特征提取，本质是通过计算结构化语法树的TF-IDF值形成基于字典的特征向量；

(4)通过SVM分类器对特征进行分类，确定问句所属类别，然后通过计算从问句提取的特征向量和知识库特征向量的修正余弦相似度作为置信度，与阈值门限进行对比，如果高于阈值则在FAQ库中检索知识，形成答案；

(5)如果置信度低于阈值门限，则需要进行信息检索，为克服布尔逻辑式不能完整反映用户意图的缺陷，采用布尔模型对布尔理论进行改造，然后再通过相关度排序建立索引；

(6)抽取与问句语义相关度较大的文档，通过对文档分割和过滤抽取答案，并且对答案进行整合，形成最后的回答；

(7)如果问句是涉及实时事实的求知性提问，则直接给出结果，否则将问句和回答根据类别录入问答模板，更新知识库，实现主动学习；

(8)在置信度低于可信水平时，根据问句具体类别进行引导性提问，主动引导用户进行消除二义性的提问，进行新一轮更有效的问答。

上述基于主动学习的问答方法通过把计算的置信度与阈值进行比较，选择合理的信息检索方式综合了多种问答系统的优点，既可以通过监督学习方式利用本地知识库的问答模板，也可以提取Web端的有效信息以主动学习方式更新问答模板。此外，在计算出的置信度低于可信水平时，确定原始问句的所属类别向用户提出引导性问句，使用户以更易于系统理解的方式用自然语言处理提出规范化问句。上述问答方法通过主动学习方式不断提高系统性能，同时通过引导性提问和用户交互主动消除语义理解上的缺陷，不仅在原理上较之通常的问答系统更加合理有效，并且在实际测试中具有更高的准确率和查全率。

本发明还公开了采用上述基于主动学习的问答方法的问答系统，图1，图2和图3示出了该问答系统的一种具体实施方式，其中，图1是问答系统的功能模块图，本发明基于主动学习的问答系统包括输入提问模块，预处理模块，语义理解模块和主动学习及输出答案模块，共计五个模块；具体的，

所述输入提问模块采用实时唤醒机制，即在系统任何运行状态，用户通过对系统呼喊关键词，可以实时唤醒系统；当系统完成回答会话后，系统会自动进入监听状态，等待下一轮回答会话，该过程完全由语音控制，不需要人为按键触发。输入提问模块把语音识别结果作为所述预处理模块的输入；

所述预处理模块首先根据输入的内容进行分词和词性标注，根据训练语料库合并疑问词组，去除表义较低的停用词，部分停用词示例可以参见图2所示；接下来识别问句中包含的疑问词短语，根据疑问词短语找到对应的句型模式集，其中模式集包含一系列问题模式匹配表，如图3所示；然后与模式集中的句型规则进行匹配，从而得到问题标准型，由此得知问题的类型；问题标准型是为了保证相同的问题都能得到相同的处理，实现多(多种提问方式)对一(问题标准型)，一(问题标准型)对多(多种答案抽取规则)的映射。问题标准型不仅是同种类型问题的唯一标识，也是某一问题类型的代表性结构表达式，可看作是一个直观的三元表达式：对象－属性－值。“对象”就是提问的主题；“属性”是对象的属性；“值”是属性的值，就是系统要搜索的问题答案；再根据主题词在语料库中的相关问题类型进行扩展，并由扩充的同义词确定问题领域，实现对问题的有效分类，确定搜索答案时所需要的访问方式，形成结构化的语义树表示；

所述语义理解模块主要进行特征提取和问题理解。具体地，在确知问题类别的条件下，使用长度为500的相应问题类别字典向量对结构化的语义树进行标记，向量的维度表示该类别的实词个数，相应维度上的值表示经过预处理扩充后结构化语义树的关键词TF-IDF信息。对标记后的特征向量使用SVM分类器进行分类，确定所属类别。所述的SVM分类器构造如下：

假设问答系统中话题类别种类有M类，建立M个支持向量机，识别输入的特征向量x的分类时，选择g^j(x)最大的分类；

通过SVM分类器对特征进行分类，确定问句所属类别，然后通过计算从问句提取的特征向量和知识库特征向量的修正余弦相似度作为置信度，与阈值门限进行对比，如果高于阈值则在FAQ库中检索知识，形成答案，其中修正余弦相似度计算公式如下：

优选的，为了有效、方便、快捷地对机器理解的语义进行标记，我们对语义理解结果采用结构化存储方式，具体地采用Json格式标记存储。该结构存储结果包含文本内容、理解置信度、服务名称、操作名称以及语义结果。其中，文本内容是语音识别结果，理解置信度是对语义结果可信程度的度量，服务名称是系统提供的查询的种类说明，操作名称是在该服务语境下可以执行的功能，语义结果包含涉及操作的具体细节条目。

所述主动学习模块主要包含置信度判断和可信水平判断，在相应的选择分支中分别进行信息检索、信息处理和答案抽取；根据上述语义理解模块中的语义理解结构存储规则，在系统运行之前首先要录入问答模板形成问答知识库，并对问答知识库进行索引处理。本发明在答案抽取过程中通过特征矢量计算理解结果中的理解置信度，来区分具体采用的答案抽取方式，当理解置信度较高时，就直接从录入的问答知识库进行索引，否则通过Web进行查询，如果不涉及实时性质数据，则将Web的查询结果通过结构化形式录入知识索引库，如果涉及实时性质的数据，则不进行录入操作。

本发明将可信水平设置为0.1，当置信度低于可信水平时，问答系统会按照系统可以理解的方式进行引导性提问，直至消除用户提问的二义性，达到准确洞悉用户意图的目的。

上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

Claims (6)

1.基于主动学习的问答方法，其包含以下步骤：

(1)输入提问；在输入提问前根据可能的问题种类进行分类，分类录入问答模板并进行结构化存储，形成问答知识库索引，该问答知识库索引对应FAQ库；

(2)预处理；对步骤(1)中输入的问句预处理，将问句进行分词、词性标注、合并疑问词组，去除表义较低的停用词，识别主题词，进行关键词扩展和同义词扩充，形成结构化的语法树；

(3)特征提取；对预处理的结果进行特征提取，其本质是通过计算结构化语法树的TF-IDF值形成基于字典的特征向量；

(4)问题理解；通过SVM分类器对步骤(3)提取的特征进行分类，确定问句所属类别，然后通过计算从问句提取的特征向量和知识库特征向量的修正余弦相似度作为置信度，与阈值门限进行对比，如果高于阈值则在FAQ库中检索知识，形成答案后输出；如果低于阈值则执行步骤(5)；

(5)如果置信度低于阈值门限，则判断置信度是否大于可信水平，当置信度大于可信水平则顺序执行步骤(6)，步骤(7)和步骤(8)；当置信度小于可信水平则执行步骤(9)；

(6)信息检索和信息处理；在Web端进行信息检索，为克服布尔逻辑式不能完整反映用户意图的缺陷，采用布尔模型对布尔理论进行改造，然后再通过相关度排序建立索引；

(7)答案抽取；抽取与问句语义相关度较大的文档，通过对文档分割和过滤抽取答案，并且对答案进行整合，形成最后的回答；

(8)主动学习；当步骤(7)中形成的回答是涉及实时事实的求知性提问，则直接给出结果，否则将问句和回答根据类别录入问答模板，更新知识库，实现主动学习；

(9)当置信度低于可信水平时，根据问句具体类别进行引导性提问，主动引导用户进行消除二义性的提问，进行新一轮更有效的问答；

所述SVM分类器构造如下：

假设问答系统中话题类别种类有M类，建立M个支持向量机，识别输入的特征向量x的分类时，选择g^j(x)最大的分类：

f^j(x)＝sign(g^j(x)),j∈[1,M]

$g^j\left(x\right)={\mathrm{\Σ}}_{i=1}^l{\mathrm{\α}}_i^j{y}_{i}K(x^i,x)+b_i$

所述修正余弦相似度计算公式如下：

$SIM(i,j)=\frac{{\mathrm{\Σ}}_{c\∈I(i,j)}\left|(R_{ic}-\stackrel{\‾}{R_i})(R_{jc}-\stackrel{\‾}{R_j})\right|}{\sqrt{{\mathrm{\Σ}}_{c\∈I}{(R_{ic}-\stackrel{\‾}{R_i})}^2}\sqrt{{\mathrm{\Σ}}_{c\∈I}{(R_{jc}-\stackrel{\‾}{R_j})}^2}}.$

2.如权利要求1所述的基于主动学习的问答方法，其特征在于：步骤(5)中的可信水平为0.1。

3.如权利要求1所述的基于主动学习的问答方法，其特征在于：所述步骤(1)是通过语音转化模块将语音转化为文字。

4.采用权利要求1～3所述的基于主动学习的问答方法的问答系统，其包含输入提问模块，预处理模块，语义理解模块和主动学习及输出答案模块，共计五个模块。

5.如权利要求4所述的问答系统，其特征在于：所述输入提问模块采用实时唤醒机制，即在系统任何运行状态，用户通过对系统呼喊关键词，可以实时唤醒系统；当系统完成回答会话后，系统会自动进入监听状态，等待下一轮回答会话，该过程完全由语音控制，不需要人为按键触发；输入提问模块把语音识别结果作为所述预处理模块的输入；

所述预处理模块首先根据输入的内容进行分词和词性标注，根据训练语料库合并疑问词组，去除表义较低的停用词；接下来识别问句中包含的疑问词短语，根据疑问词短语找到对应的句型模式集；然后与模式集中的句型规则进行匹配，从而得到问题标准型，由此得知问题的类型；最后根据主题词在语料库中的相关问题类型进行扩展，并由扩充的同义词确定问题领域，实现对问题的有效分类，确定搜索答案时所需要的访问方式，形成结构化的语义树表示；

所述语义理解模块进行特征提取和问题理解；具体地，在确知问题类别的条件下，使用长度为500的相应问题类别字典向量对结构化的语义树进行标记，向量的维度表示该类别的实词个数，相应维度上的值表示经过预处理扩充后结构化语义树的关键词TF-IDF信息；对标记后的特征向量使用SVM分类器进行分类，确定所属类别；

所述主动学习模块主要包含置信度判断和可信水平判断，在相应的选择分支中分别进行信息检索、信息处理和答案抽取。

6.如权利要求5所述的问答系统，其特征在于：所述语义理解模块中，对语义理解结果采用结构化存储方式，具体地采用Json格式标记存储；该结构存储结果包含文本内容、理解置信度、服务名称、操作名称以及语义结果；其中，文本内容是语音识别结果，理解置信度是对语义结果可信程度的度量，服务名称是系统提供的查询的种类说明，操作名称是在该服务语境下可以执行的功能，语义结果包含涉及操作的具体细节条目。