CN105930452A - 一种识别自然语言的智能应答方法 - Google Patents

Abstract

本发明提供了一种识别自然语言的智能应答方法，首先对用户提出的模糊问题进行语音转换，对得到识别结果的数据进行问题理解；所述问题理解对模糊问题进行预处理、分词、解析预处理、句式分析、语义分析，使用语义分析的结果去数据库获取匹配的答案；对关键字进行信息检索，用提取出来的关键字到文档库中查找相关的文档，文档数量决定于知识库中相关问题的数量；根据检索到的文档选取权重最高的语句进行答案抽取，作为最终答案；读出答案，实现智能应答。用准确、简洁的自然语言回答用户用自然语言提出的问题。

Description

一种识别自然语言的智能应答方法

技术领域

本发明涉及人机交互技术领域，尤其是涉及一种识别自然语言的智能应答方法。

背景技术

人类因为具有语言的能力而区别于其他物种，而智能应答系统是自然语言处理领域一个非常热的方向。互联网上已有超过万亿数量的信息网页，几乎所有这些页面都是用自然语言描述的。

虽然现在互联网上有很多搜索引擎可以帮助人们搜索自己想要的信息，但是目前的搜索引擎还有很多缺点,并不能满足人们方便、快速、准确地获取信息的需要。智能应答技术正是为了弥补搜索引擎的缺点而发展起来的，它综合运用了各种自然语言处理技术使用户以自然语言输入问题，而不是关键词的组合。目前，国内外有很多的科研机构参与了英文自动问答技术的研究，甚至已经有相对成熟的英文自动问答系统，但是参与中文自动问答技术研究的科研机构并不是很多，而且基本没有成型的中文自动问答系统。

随着计算机以及互联网不断发展，传统以人工操作为主的应答方式已开始转向机器智能交互，然而，常见的自动应答系统一般都依赖于预先建立的数据库来实现，数据库知识的维护是需要很大人力成本来维护，并且同一个问题，由于人们的表达方式的差异，甚至语气的差异，所代表的意义也不相同。而传统的数据维护，问题对应答案的模式已经不能满足自动应答的需求。

因此目前传统的搜索引擎存在很多不足。第一,检索的需求往往用关键词的组合来表达。由于用户的检索需求往往很复杂，很多时候无法用几个关键词的简单组合来表示。用户都没有将自己的检索意图表达清楚，搜索引擎自然就没有办法找出令用户满意的答案了；第二,以关键词匹配为基础的检索，匹配算法是停留在语言的表面，而没有触及语义，因此检索效果很难进一步提高；第三,检索的结果往往是很多相关的网页或文档。例如，用户在Google中输入几个关键字，它有可能返回上百个网页，用户需要花费很多时间在这些网页中查找自己需要的信息。

因此，对于智能应答的关键在于对提问者的问题做出正确的相应分析，把自然语言问题转换成一种准确语言来检索结果，类似的问题也会有很多结果，所以，我们既要做好语义分析，同样也需要检索最贴近的答案，以实现真正意义的智能应答。

发明内容

本发明提供了一种识别自然语言的智能应答方法，通过准确分析问题语义，检索准确答案，真正实现智能应答。其技术方案如下所述：

一种识别自然语言的智能应答方法，包括以下步骤：

1)首先对用户提出的模糊问题进行语音转换，所述语音转换通过建立识别基本单元的声学模型以及语言模型，再将输入的目标语音的特征参数和模型进行比较，从而得到识别结果；

2)对得到识别结果的数据进行问题理解，所述问题理解对模糊问题的语句进行预处理、分词、解析预处理、句式分析、语义分析，使用语义分析的结果去数据库获取匹配的答案；所述预处理用于判断语句是特殊疑问句或陈述句，然后将特殊疑问句转换成在句式分析中容易处理的一般疑问句；所述分词用于判断语句的短语；所述解析预处理用于处理数字合并、处理词的多意情况；所述句式分析用于分析语句是陈述句还是疑问句，并提取语句中的关键词；所述语义分析用于分析语句中作为谓语和宾语的关键词；

3)对关键字进行信息检索，用提取出来的关键字到文档库中查找相关的文档，文档数量决定于知识库中相关问题的数量；

4)根据检索到的文档选取权重最高的语句进行答案抽取，作为最终答案；

5)读出答案，实现智能应答。

在步骤1)中，所述语音转换的识别包括以下步骤：

(1)硬件系统通过语音采集设备将接收到的语音转换成模拟信号；

(2)将模拟信号通过滤波、采样A/D转换变成计算机能处理的数字信号；

(3)计算机提取语音特征参数与模型库中的参数进行匹配产生识别结果。

在步骤2)中，所述预处理区分特殊疑问句与陈述句，将所有"any不any"类型转换成“any....吗”类型。

进一步的，步骤2)中，所述分词技术采用正向最大化匹配法。

步骤2)中，在解析预处理中，所述数字合并是将中文数字相邻的合并在一起；所述处理词的多意是查询词库中关键字段是否存在多意，如果存在多意，查找多意条件是否满足再进行替换。

步骤2)中，所述句式分析是通过遍历语句的分词数组，依次去数据库进行比对判断分词类型是否疑问词，如果有疑问词可初步判定该句为疑问句，然后提取关键词，所述关键词包括名词、动词、形容词、限定性副词。

步骤2)中，所述语义解析按照汉语的语法来进行计算机建模，识别作为谓语、宾语的关键词。

步骤3)中，所述信息检索能够直接调用已有知识库或者调用Internet上的搜索引擎，搜索出来相关文档，以便进行答案抽取来提炼答案。

步骤4)中，所述答案抽取通过计算候选答案集中文档与问题的相关度，按权重排序，再从中抽取能作为答案的段落或句子，根据问题理解阶段得到的回答模式规则进行答案的书写。

步骤4)中，在没有合适的规则可用时，则截取句子中重要的部分作为问题的答案，关键词最集中的位置为句子中重要的部分，将该部分向前后两个方向进行适当的扩展，得到包含在其中的答案。

本发明由于采用上述方案，极大的提高了自动应答的准确率，真正实现智能应答，促进智能客服行业的发展。

附图说明

图1是所述识别自然语言的智能应答方法的示意图；

图2是所述语音转换的示意图；

图3是所述问题理解的示意图。

具体实施方式

本发明提供了一种识别自然语言的智能应答方法，如图1所示，主要包括四个部分：语音转换、问题理解、信息检索、答案抽取。具体的可以参见图中，语音转换包括语音采集设备对语音进行数字化处理，再经过语音的预处理(包括去噪等)后到模型库进行比对，进行语音识别；问题理解阶段包括语句预处理、分词、解析预处理、句式分析、语义分析，句式分析会将语句中涉及的问题分类，然后进行问句扩展，使用语义分析后的结果去数据库获取匹配的答案，实现检索模式，最后选取答案，完成答案抽取。

一、语音转换：

语音识别一般总体分为两步：学习阶段和识别阶段。学习阶段的任务是建立识别基本单元的声学模型以及语言模型，也就是说学习阶段是前期完善数据库语言模型。而识别阶段是将输入的目标语音的特征参数和模型进行比较，得到识别结果。

系统应用了模板匹配法来进行处理。如图2所示，识别阶段的主要步骤如下：

1、系统通过语音采集设备(如话筒，电话)接收到的语音转换成模拟信号；

2、将模拟信号通过滤波、采样A/D转换变成计算机能处理的数字信号；

3、计算机提取语音特征参数与模型库中的参数进行匹配产生识别结果。

以上既为语音转换成文字的步骤，语音转换的结果在后面的处理阶段中都将用到。

二、问题理解：

问题理解部分需要完成以下工作：对问题进行预处理、分词、解析预处理、句式分析、语义分析，使用语义分析的结果去数据库获取匹配的答案，从而得到问题答案的可能形式。如图3所示，其中，分词处理是使用正向最大化匹配原则去数据库查找；把查找的词放入wordElement list，wordElementlist是把句子分词后存入的列表，比如“今天去哪里吃饭”会存入【今天】【去】【哪里】【吃饭】四个列表；在splitedwords(分词结果集)加入数字、字母、未知汉字，Splitedwords是分词结果集，里面包含了wordElementlist和未知字词比如“奤，搙”这种词库里面没有的字和数字、字母。

解析预处理包括数字合并、数字汉字转原型、处理词的多意情况，句式分析包括对语句的分析，分析是否为疑问句，是否为否定句。

具体的主要步骤如下：

1、预处理

首先对问题进行预处理，所述预处理用于判断特殊疑问句与陈述句，然后将特殊疑问句转换成一般疑问句，在句式分析中容易处理，转换成的一般疑问句在句式分析中容易处理，例如将“能否”转换成“能不能”，“可否”转换成“可不可”，然后将所有“any不any”类型转换成“any....吗”。

例如：

“你觉得她长的漂亮不漂亮”转换成“你觉得她长的漂亮吗”。

“能否帮我查询下天气”转换成“能帮我查询下天气吗”。

这一步是区分特殊疑问句与陈述句之间的区别，为之后的问题类型判断做好基础。

2、分词

所述分词用于判断语句的短语，例如：北京的冬季也挺美，会分词成：北京/的/冬季/也/挺美。

词语是信息表达的最小单位，而汉语不同于西方语言,其句子的词语间没有分隔符(空格)，因此需要进行词语进行切分如句子“吃火锅”可切分为“吃/火锅”。

能正确分析该句子为一个动词“吃”和一个名词“火锅”组成，是对问题理解的关键所在。

我们用到的分词技术是使用正向最大化匹配法，例如对“火锅”进行分词，系统会先去数据库中搜索所有“火”开头的词。并且搜索结果长度从大到小排序。

搜索的结果类似下面：

火箭筒

火焰

火锅

火鸡

火

然后循环这个列表与原句中的“火锅”比较，当对比到第三个的时候，就是命中。最后更新数据库词语命中次数。

3、解析预处理

解析预处理是语义分析前的一个操作，包括数字合并、处理词的多意情况。

1、数字合并：将中文数字相邻的合并在一起例如将“113028”转换成“十一万三千二十八”。

2、处理词的多意：由于中文下某个词会有多种词性，比如“打热水”和“打人”两个词中，都存在动词“打”，前者可以理解为“接”，而后者则理解为“打，hit”。

既在该步骤下系统会查询词库中case(case在这里解释为“情况”“关键”的意思，就是一个词比如“打”会根据上下文体现出不通的意思，例如“打水“＝＝“接水”“打人“就是”打人“)字段是否存在多意，如果存在多意，查找多意条件是否满足再进行替换。例如：

词库中的“打”字中case字段添加“酱油,醋,酒＝买；水＝接”；

当问题中遇到“酱油,醋,酒”三个词后自动回把“打”替换成“买”，当问题中遇到“水”后会自动把“打”替换成“接”。

既“我要去打酱油”转换成“我要去买酱油”。“晚上去打水”转换成“晚上去接水”。

4、句式分析

这一步骤是处理需处理的语句是陈述句还是疑问句，并遍历语句分词数组，依次去数据库进行比对判断分词类型是否疑问词，如果有疑问词可初步判定该句为疑问句，然后提取关键词。

例如疑问句中的“怎么”，“吗”为疑问关键词。是否成功匹配出疑问句，是在预处理中把特殊疑问句转换成一般疑问句，例如“能不能一起吃饭”转化成“能一次吃饭吗”，“吗”为关键疑问词。

关键词主要由名词、动词、形容词、限定性副词等组成。但在实际应用中可以把除了疑问词以外的大部分词作为关键词。

5、语义分析

根据第四步判断的句子类型，分别进入对疑问句、陈述句的分析处理过程中。语义解析主要就是按照汉语的语法，来进行计算机建模。建模的过程涉及到数据库，数据库中有一个词库，词库中会对每个字、词进行记录，比如“学校“这个词在数据库中词性为名词，词长为2。

语义解析算法，可以非常复杂，也可以非常简单，越复杂并不一定代表越准确，但越简单一定会导致越不准确。所以需要在这之间进行权衡。

想要实现语义解析，必须对汉语的语法有一定的了解。汉语语法可以简单的归纳为“定主状谓补定宾”。这是一句话的基本结构，其中经过发明人的研究，对人机对话来说，只需要“谓宾”就可以了。例：

(定)主+[状]谓<补>+(定)宾

例如：(我们)学生[一定][要]学<好>(专业)课程。

这是一个完整的例子。最好的情况，当然是像这样全部分析出来，但是想解析成这种程度，难度是非常非常大的，所以就有发明人之前提到的权衡，那么发明人在这个引擎使用的技术，就是只要“谓宾”。上面的例子就可以转化成，“学好专业课程”，其中“学好”在词库中是一个词，做谓语，“专业课程”在词库中是一个词，做宾语。这样做，最大化的简化了句子，简化了分析难度，从而也做到了和原来的意思损失最小。

所以，引擎主要是提取句子中的谓语和宾语部分作为检索条件，这听起来像是关键字检索，但重点是，如何判定一个句子中哪个词算谓语，哪个词算宾语，就是语义解析处理的地方。

主体的思路是，动词、形容词、动词短语等算谓语，在确定谓语后，谓语后面出现的名词、代词、短语等算作宾语。这是主体思路。其中整个系统中，event就代表动作(谓语)、Object就代表对象(宾语)。

三、信息检索

信息检索的任务就是用前面提取出来的关键字到文档库中查找相关的文档并返回一些最相关的文档。文档数量决定于知识库中相关问题的数量，例如问题是：“今天去哪儿吃饭”，会检索出动词为“吃”，“吃饭”，名词为“今天，哪儿”的所有回答。在问答系统中的信息检索模块也可以直接调用已有知识库系统，也可调用Internet上的搜索引擎比如Google。一般搜索引擎返回的是一堆网页，而问答系统需要返回的是简短的、准确性很高的答案。这样通过信息检索模块搜索出来的相关文档就要提交给答案抽取模块来提炼答案。答案可以是一句话，一段文摘，或者是图片。对于那些问时间地点的问题，就可以用很短的语句来回答，而对于询问原因、事件的问题就需要较长的语句才能回答。比如对于问题“帮我介绍下戊戌变法？”就不可能用一句话就能回答的。所以答案的抽取还需要依据问题理解阶段判断得到的问题的类型。

四、答案抽取

答案抽取模块利用在问题理解阶段产生的规则，计算候选答案集中文档与问题的相关度，按权重排序，再从中抽取能作为答案的段落或句子，根据问题理解阶段得到的回答模式规则，进行答案的书写。如果没有合适的规则可用，则截取句子中较重要的一部分作为问题的答案。在研究中发现，答案大都出现在关键词集中的位置附近。根据这一特点，关键词最集中的位置就成为句子中重要的部分，只要将该部分向两个方向进行适当的扩展，则答案基本可以被包含在其中。不同的问题往往有不同的答案形式以及不同的答案抽取方法。因此需要对每类问题制定一个答案抽取规则。根据问题的类型，答案的形式可以是词语、句子、段落或者文摘。另外，对于某些问题类型,答案必须满足特定的条件。以句子或者段落作为答案，处理起来相对比较简单些。段落和句子的处理基本是一样的，这里我们就以句子为例来说明这种类型的答案抽取步骤：

(1)检索出来的文档分成句子；

(2)计算每个句子的权重；

(3)找出满足规则中必需条件的句子；

(4)句子按照权重进行排序；

(5)返回权重最高的句子作为最终答案。

以下是相关的示例：

例如用户问了一个问题：怎么去你们公司？

首先分词成怎么/去/你们/公司？

分词后，“怎么”是疑问词，所以判断为疑问句。

动词为“去”；

名词为“你们”，“公司”；

这样会检索出数据库中所有疑问句中是动词是“去”，名词是“你们”，“公司”的句子。

然后把所有句子中的词计算权重，动词“去”权重最大，其次是疑问词、名词，拟声词，助词等。

根据权重排序以上检索出来的句子。把权重最高的返回给用户。

Claims (10)

1.一种识别自然语言的智能应答方法，包括以下步骤：

1)首先对用户提出的模糊问题进行语音转换，所述语音转换通过建立识别基本单元的声学模型以及语言模型，再将输入的目标语音的特征参数和模型进行比较，从而得到识别结果；

2)对得到识别结果的数据进行问题理解，所述问题理解对模糊问题的语句进行预处理、分词、解析预处理、句式分析、语义分析，使用语义分析的结果去数据库获取匹配的答案；所述预处理用于判断语句是特殊疑问句或陈述句，然后将特殊疑问句转换成在句式分析中容易处理的一般疑问句；所述分词用于判断语句的短语；所述解析预处理用于处理数字合并、处理词的多意情况；所述句式分析用于分析语句是陈述句还是疑问句，并提取语句中的关键词；所述语义分析用于分析语句中作为谓语和宾语的关键词；

3)对关键字进行信息检索，用提取出来的关键字到文档库中查找相关的文档，文档数量决定于知识库中相关问题的数量；

4)根据检索到的文档选取权重最高的语句进行答案抽取，作为最终答案；

5)读出答案，实现智能应答。

2.根据权利要求1所述的识别自然语言的智能应答方法，其特征在于：步骤1)中，所述语音转换的识别包括以下步骤：

(1)硬件系统通过语音采集设备将接收到的语音转换成模拟信号；

(2)将模拟信号通过滤波、采样A/D转换变成计算机能处理的数字信号；

(3)计算机提取语音特征参数与模型库中的参数进行匹配产生识别结果。

3.根据权利要求1所述的识别自然语言的智能应答方法，其特征在于：步骤2)中，所述预处理区分特殊疑问句与陈述句，将所有"any不any"类型转换成“any....吗”类型。

4.根据权利要求1所述的识别自然语言的智能应答方法，其特征在于：步骤2)中，所述分词技术采用正向最大化匹配法。

5.根据权利要求1所述的识别自然语言的智能应答方法，其特征在于：步骤2)中，在解析预处理中，所述数字合并是将中文数字相邻的合并在一起；所述处理词的多意是查询词库中关键字段是否存在多意，如果存在多意，查找多意条件是否满足再进行替换。

6.根据权利要求1所述的识别自然语言的智能应答方法，其特征在于：步骤2)中，所述句式分析是通过遍历语句的分词数组，依次去数据库进行比对判断分词类型是否疑问词，如果有疑问词可初步判定该句为疑问句，然后提取关键词，所述关键词包括名词、动词、形容词、限定性副词。

7.根据权利要求1所述的识别自然语言的智能应答方法，其特征在于：步骤2)中，所述语义解析按照汉语的语法来进行计算机建模，识别作为谓语、宾语的关键词。

8.根据权利要求1所述的识别自然语言的智能应答方法，其特征在于：步骤3)中，所述信息检索能够直接调用已有知识库或者调用Internet上的搜索引擎，搜索出来相关文档，以便进行答案抽取来提炼答案。

9.根据权利要求1所述的识别自然语言的智能应答方法，其特征在于：步骤4)中，所述答案抽取通过计算候选答案集中文档与问题的相关度，按权重排序，再从中抽取能作为答案的段落或句子，根据问题理解阶段得到的回答模式规则进行答案的书写。

10.根据权利要求9所述的识别自然语言的智能应答方法，其特征在于：步骤4)中，在没有合适的规则可用时，则截取句子中重要的部分作为问题的答案，关键词最集中的位置为句子中重要的部分，将该部分向前后两个方向进行适当的扩展，得到包含在其中的答案。