CN1831937A - 语音辨识与语言理解分析的方法与装置 - Google Patents

Abstract

本发明是有关于一种语音辨识与语言理解分析的方法与装置。该语音辨识与语言理解分析的方法依据分段语义概念多联词模型，将语音输入分割成多数个分段语义。将各该些分段语义附上标示，以显示各该些分段语义为有意义分段语义或无意义分段语义。剔除不具意义的分段语义，仅保留有意义的分段语词。依据分段次文法，对有意义分段语词进行语言的理解分析，及其装置有一语音辨识模组，用以接收一语音输入，并依据一分段语义概念多联词模型，将该语音输入分割成多数个分段语义；以及一语音理解分析模组，依据一分段次文法，对该些分段语义进行分析。

Description

语音辨识与语言理解分析的方法与装置

技术领域

本发明涉及一种语音辨识与语言理解分析的方法与系统，且特别是涉及一种使用自然语言对话的语音辨识与语言理解分析的方法与装置。

背景技术

利用语音输入的对话系统已经日渐普及。使用者只要对如电话语音系统之类的系统讲出某项要求，例如想要查车次、航班、表演节目与其他各种问答等，系统便会依据使用者的语音输入，去找出问题的答案。之后，再将答案以语音方式告知使用者。

例如，当使用者使用语音对话系统时，以口语方式输入「某年某月某日某时段，从甲地到乙地的航班资料」时，对话系统便可以从该输入语句去整合出使用者所要的资讯。例如，对话系统会输出「从甲地到乙地，在某年某月某日某时段，有…的航班」的讯息给使用者知道。随着需求渐大，使用者所输入的语句也变相对的复杂，而系统也需要更精确地从使用者所输入的语音语句来整合输出使用者所需要的语音输出资讯。因此，如何辨识使用者的语音输入并将便是相当重要的课题。

请参阅图1所示，一般自然语言对话系统的概念图。此系统包括语音识别引擎(speech recognition)12与语言理解分析器(languageunderstanding)14，分别置放于对话管理系统16的前端。语音识别引擎12的输出是提供给语言理解分析器14做为输入，并于该处做语言分析。分析完毕后，语言理解分析器14的辨识结果便做为最后的对话管理的参考依据。

目前语音识别引擎是采取模型比对技术(pattern recognition)，一般有隐藏式马可夫模型、分段机率式模型与类神经网路技术等等。输入语音讯号的短时特征撷取参数串，输出一个或多个可能的词串，也有的输出一个词网(word graph或word lattice)。一般，输出的词串或词网都只标明词，未有其他的标注。

一般的「语言理解分析器」采用向下(Top-down)，向上(Bottom-up)，或混合式文法分析器(Parser)。将「语音识别引擎」输出的词串或词网，根据预先写定的文法规则，解译成具有文法架构，或语义知识的语句。解译的正确性与成功率，端视分析器的好坏与文法规则的良囿而定。通常，窄域(NarrowDomain)的语言理解容易写成可用的文法规则。然而，宽域(Wide Domain)的文法规则多半有所疏漏，容易挂一漏万。限于专家不易取得，专门知识的培养耗时，发展此类自然语言对话系统很少，且费钱费时。

由此可见，上述现有的语音输入的对话系统在方法、产品及使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决语音输入的对话系统存在的问题，相关厂商莫不费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，而一般的语音输入的对话系统及其装置又没有适切的制造方法及结构能够解决上述问题，此显然是相关业者急欲解决的问题。因此如何能创设一种新型结构的语音辨识与语言理解分析的方法与装置，便成了当前业界极需改进的目标。

有鉴于上述现有的语音输入的对话系统存在的缺陷，本发明人基于从事此类产品设计制造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种新的语音辨识与语言理解分析的方法与装置，能够改进一般现有的语音输入的对话系统，使其更具有实用性。经过不断的研究、设计，并经反复试作及改进后，终于创设出确具实用价值的本发明。

发明内容

本发明的目的在于，克服现有的语音输入的对话系统存在的缺陷，提出一种自然对话系统，其利用前述语音辨识与语言理解分析之方法与装置，以分段语义概念来有效地增加语音辨识效率与正确性，并且使系统能以更接近自然对话方式来与使用者进行对话。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。为了达到上述发明目的，依据本发明的语音辨识与语言理解分析的方法与装置，本发明提出一种语音辨识与语言理解分析的方法，包括：接收语音输入；依据分段语义概念多联词模型，将语音输入分割成多数个分段语义；以及依据分段次文法，对该些分段语义进行分析。

在分析该些分段语义之前，更可以将各分段语义区分为有意义分段语义或无意义分段语义，并且剔除分段语义中的无意义分段语义。此外，有意义分段语义与无意义分段语义是以附加一标示(tag)的方式来进行。

本发明的目的及解决其技术问题还采用以下技术方案来实现。又，为了达到上述发明目的，依据本发明的语音辨识与语言理解分析的方法与装置，本发明更提供一种语音辨识与语言理解分析的装置，包括：语音辨识模组，用以接收语音输入，并依据分段语义概念多联词模型，将语音输入分割成多数个分段语义；以及语音理解分析模组，依据分段次文法，对该些分段语义进行分析。

在上述装置中，语音辨识模组更将各分段语义区分为有意义分段语义与无意义分段语义，并且语音理解分析模组剔除分段语义中的无意义分段语义。此外，语音辨识模组是以附加一标示的方式来区分该有意义分段语义或该无意义分段语义。

本发明的目的及解决其技术问题还采用以下技术方案来实现。又，为了达到上述发明目的，依据本发明的语音辨识与语言理解分析的方法与装置，本发明更提出一种自然对话系统，其包括：语音辨识模组，用以接收语音输入，并依据分段语义概念多联词模型，将语音输入分割成多数个分段语义；语音理解分析模组，其依据分段次文法，对该些分段语义进行分析；对话管理模组，依据语音理解分析模组的输出，从数据库中选出对应的对话输出；以及语音合成模组，依据该话管理模组的对话输出，合成语音输出讯号。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明语音辨识与语言理解分析的方法与装置至少具有下列优点：

分段处理的语言理解，不需要整句的文法规则，故简化了对话系统的设计复杂度，也降低了记忆体使用量的需求与加快了处理的速度。语音辨识输出的语义相关标示，则增加了语句分析时的便利。

「语音识别引擎」使用的分段语义概念多联词模型中，每个分段模型分别附有以其语义概念物件的次语句单位所收集的词库。因为不以整句为单位，与应用范围相关性较弱。所以可从不同的应用范围中收集累积，也可以应用于不同的应用范围中。经过长时间的收集累积之后，将可以增广其词数与相连词频的覆盖范围(coverage)，进而提高其辨识准确性，不仅处理时的速度增快了，发展自然语言对话系统的整体效能更因而提升了。

综上所述，本发明特殊的语音辨识与语言理解分析的方法与装置，其利用分段语义概念，来有效地增加语音辨识效率与正确性。一自然对话系统，其利用前述语音辨识与语言理解分析的方法与装置，以分段语义概念来有效地增加语音辨识效率与正确性，并且使系统能以更接近自然对话方式来与使用者进行对话。

其具有上述诸多的优点及实用价值，并在同类方法及产品中未见有类似的方法及结构设计公开发表或使用而确属创新，其不论在方法、产品结构或功能上皆有较大的改进，在技术上有较大的进步，并产生了好用及实用的效果，且较现有的语音输入的对话系统具有增进的多项功效，从而更加适于实用，而具有产业的广泛利用价值，诚为一新颖、进步、实用的新设计。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是已知的自然语言对话系统的示意图。

图2是本发明的自然语言对话系统的示意图。

图3是分段语义概念多联词模型的概念示意图。

图4是分段次文法的语言理解分析的概念示意图。

12、12’：语音辨识模组

14、14’：语言理解分析模组

16：对话管理模组

18：语音合成

20：数据库

30：多联词模型

50：全句文法分析器

60：分段语义概念多联词模型

70：分段次文法模组

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的语音辨识与语言理解分析的方法与装置其具体实施方式、方法、步骤、结构、特征及其功效，详细说明如后。

首先，「语音辨识」与「语言理解」长久以来被视为两个独立运作的机制，分别由擅长数位讯号处理及计算语言处理的专家各自钻研。壁垒分明的结果，使得语义概念只存在于语言模型中，而与语音辨识机制无缘。然而，人类是很自然的运用这两种技术无间。此一分段语义概念模型中介演算法则，乃针对此一问题研发，改进自然语言对话系统的辨识理解的效能，以及系统发展的效率。此概念即为本发明的要点。

请参阅图2所示，为本发明的系统架构示意图，其中与图1具有相同或类似功能的构件系标上相同的标号。此外，本发明的重点是在于如何使用分段语义来做语音的分析与辨识，亦即在语音辨识12’与语言理解分析14’两个阶段。

请参阅图2所示，自然对话系统100包括语音辨识模组12’、语音理解分析模组14’、对话管理16、语音合成模组18与数据库20。当语音输入至语音辨识模组12’时，语音辨识模组12’时会利用分段语义概念多联词模型(segmental word-concept-tag compound N-gram)来对输入的语音进行辨识，再将最佳语义概念标示顺序(N-best word-concept-tag compoundsequence)的结果传送至语言理解分析模组14’。语言理解分析模组14’便依据分段次文法模组(segmental sub-grammars)70来进行语言理解分析的处理，以输出语义框架(semantic frame)给对话管理模组16。

对话管理模组16便依据输入的语义框架去搜寻数据库20中的资料，便将搜寻结果传送到语音合成模组18，以进行语音合成，之后再将合成的语音输出。藉此，便可以依据使用者语音输入的问题，找出合适的应答，在用语音的方式输出给使用者知道。于是便达到自然语言对话的目的。后段包括对话管理16、语音合成模组18与数据库20的模组可以采用已知的技术去处理，在此便不多做说明与解释。接下来将重点集中于前段的语音辨识模组12’与语音理解分析模组14’。

本发明是利用「分段语义概念多联词模型」60作为语音辨识及语言理解分析的中介枢纽。分段语义概念多联词模型60是采用大词汇连续语音辨识(LVCSR)中普遍使用的多联词模型(N-gram)统计法则。根据以次语句为单位，在各种可能的应用系统中收集累积的词库训练，嵌入语音辨识阶段的语言模型中。这样的分段语义概念多联词模型，取代了传统自然语言对话系统的不分段多联词模型，输出分段的语句转译。

接着详细说明「分段语义概念多联词模型」60，请参考图3，其绘示「分段语义概念多联词模型」60架构的示意图。如图3所示，「分段语义概念多联词模型」60还细分为「一般语言模型语料库」、「语料库分段解析」、「句型及分段语料库组」与「根据句型及分段语料库组进行语言模型训练，最后合并成为单一语言模型」。

一般语言模型语料库中的句子例句如下：

我想在十月三十日搭飞机，从台北到莫斯科。进行人工句子解析后，亦即进行「分段解析」后的结果如下：

句型：我想<时间>搭飞机，<行程>。

上述句子中包含所谓的<时间>词组与<行程>词组两者。其中<时间>词组为「在十月三十日」，<行程>词组为「从台北到莫斯科」。

在图3中的「语料库分段解析」与「句型及分段语料库组」中，建立许多「句型语料库」、「词组语料库」等等以供选择，例如下面的例子。

「句型语料库」的例子如下：

              我想<时间>搭飞机，<行程>。

              我要<时间><行程>的飞机票。

              请给我<时间><行程>的飞机票。

              帮我找<行程>的飞机。

              <时间><行程>。

              <行程>。

         「<时间>词组语料库」的例子如下：

              在十月三十日

          九月三日

          下个星期一

          五月的第二个礼拜天

          明天下午三点钟

     「<行程>词组语料库」的例子如下：

          从台北到莫斯科

          去纽约

          从台北经曼谷到伦敦

          由香港转机上海

          从高雄出发

接着，据句型及分段语料库组进行语言模型训练，最后合并成为单一语言模型。其中一种做法如下：

句型语料库→进行一般语言模型训练→句型的语言模型；

分段语料库→进行一般语言模型训练→分段语料库的语言模型

之后，合并上述语言模型成为单一语言模型，即为分段语义概念多联词模型。

请接着参阅图4说明图2中的分段次文法的语言理解分析。分段次文法包含「辨识的结果分段化」、「各段落用相对的分段次文法进行文法解析」以及「文法解析结果的合并」。

首先，关于辨识的结果分段化，再以上述的例句为例子，辨识的结果标示着<时间>与<行程>的两个词组。

例句：我想在<时间>十月三十日</时间>搭飞机，<行程>从台北到莫斯科</行程>。

此句子便被自动分成下面的句型：

句型：我想<时间>搭飞机，<行程>。

其中的词组如下：

<时间>词组：在十月三十日

<行程>词组：从台北到莫斯科

接着，各段落用相对的分段次文法进行文法解析。以上述例句为例，针对句型、<时间>词组以及<行程>词组三者各自进行语言理解解析。

上述的句型为“我想<时间>搭飞机，<行程>”，用句型文法解析得到概念为<查询某时间某行程的飞机>。

上述<时间>词组为“在十月三十日”，用<时间>词组文法解析后得到概念<月份＝十月>，以及概念<日期＝三十日>。

上述的<行程>词组为“从台北到莫斯科”，用<行程>词组文法解析后得到概念<出发地＝台北>，以及概念<到达地＝莫斯科>。

最后，将文法解析结果进行合并。仍以上述分段次文法解析结果为例。在上述文法解析后所得到的概念如下：

概念：<查询某时间某行程的飞机>；

概念：<月份＝十月>与<日期＝三十日>；以及

概念：<出发地＝台北>与<到达地＝莫斯科>。

另外，当某分段无解析结果时，进行合并的其他分段解析结果并不受影响。例如，在上述例句中不对<时间>词组进行<时间>词组文法解析。解析后的结果如下：

句型“我想<时间>搭飞机，<行程>”用句型文法解析后得到概念<查询某时间某行程的飞机>。<行程>词组“从台北到莫斯科”用<行程>词组文法解析后，得到概念<出发地＝台北>与概念<到达地＝莫斯科>。

将上述解析结果合并，得到以下结果：

概念<查询某时间某行程的飞机>

概念<出发地＝台北>与概念<到达地＝莫斯科>

综上所述，在分段语义概念多联词模型60中，是把输入的语音做有意义的分段，在从各分段中去辨识出它的语义。例如，当使用者输入语音「请问在11月30日那天从台北到洛杉矶的航班时刻表为何」时，里面就可以拆解出例如「在11月30日」「从台北到洛杉矶」「航班时刻表」等之类的有语义分段。换句话说，在某年某月某日可以是一个分段语义、从某地到某地、从几点到几点、某某时刻表等。经由此种方式，语音辨识可以把输入到自然对话系统100中的语音资讯加以分析，撷取出具有意义的分段语义来，而扬弃不需要的语词。

从对话习惯可以知道当一个起始字出现时，后面接着出现的其他字汇有多大的机率。藉由此概念，便可以达到撷取出分段语义的目的。如上例中，当出现「从」时，便可以知道常出现的语义可能会有「从几点到几点」、「从某地到某地」等等之类。语音辨识模组12’于是便可以据此来简化辨识的程序。亦即，只要从一句输入的语音讯息中，撷取出各个分段语义便可以辨识的目的。而且以分段语义的方式来进行时，并不需要对整句进行文法分析，所以错误率可以降低，亦即辨识正确率可以达为提升。例如「从」之后有地名时，便可以辨识出是「从某地到某地」的语义等。

此外，由于人在说话时会有很多不需要且无意义的虚词或语词。若使用全句文法分析，便有可能造成无法分析或分析错误的情形出现。因此，根据本发明的教示，语音辨识模组12’的输出更可以包含词标示(tag)，分段语义概念标示，以及其他语义相关标示。藉由语义概念分段，加强了语音辨识处理的语义处理能力，简化了语言理解处理的复杂度。降低了文法写作的完整性要求，因而提升了发展自然语言对话系统的效率以及效果。

以中文语法为例，一般而言，语法的严谨度较为松散(例如相较于英文而言)，加字或漏字经常发生，使得穷举式的文法写作极为困难，对话系统的成功率也因此低落。换句话说，我们无法针对每一种特例来做出对应的词库以增加成功率。即使我们把每一种情况都考虑，但是最后也会造成数据库或整个对话系统的过度膨胀与负担。

本发明设计的语音辨识的输出词串，包含具有语义重要性的词(标示1)以及不具有语义重要性的词(标示0)。前者例如：从、到、台北、…等等。后者例如：嗯、我是说、…等等。语言理解的语句分析器只理会具有语义重要性的词，而忽略不具有语义重要性的词。因为文法规则不需理会那些不具有语义重要性的词，因而大量降低文法写作的工作，并减少辨识时处理的可能句型总组合数量。

换句话说，当语音输入到语音辨识模组12’后，语音辨识模组12’除了依据分段语义概念多联词模型60来对输入的语音讯号找出各分段语义外，同时也对各个分段词加上标示，以标示出该分段词是有意义或没有意义的。因此，当语言理解分析模组14’接收到语音辨识模组12’所传来的输出结果，边会依据标示将一些没有意义的语词剔除，只留下有意义的分段语义。同时，语言理解分析模组14’仅会针对有意义的分段语义去做语言的理解与分析。此时，语言理解分析模组14’会依循所谓的分段次文法70来进行语言的理解与分析，而不使用传统的全句文法分析器来分析。很明显地，语言理解分析模组14’所要处理的理解分析工作被大为简化。因为在语音辨识模组12’时已经依据分段语义概念多联词模型60来挑出有意义的分段语义，因此语言理解分析模组14’所要处理的部分也就仅仅针对各分段来处理，因而正确率便大为提升。

如上所述，语音辨识输出的分段语义概念标示，自然地提供语言理解处理的分段处理能力。分段处理的语言理解，不需要整句的文法规则，故简化了对话系统的设计复杂度，也降低了记忆体使用量的需求与加快了处理的速度。语音辨识输出的语义相关标示，则增加了语句分析时的便利。

「语音识别引擎」使用的分段语义概念多联词模型中，每个分段模型分别附有以其语义概念物件的次语句单位所收集的词库。因为不以整句为单位，与应用范围相关性较弱。所以可从不同的应用范围中收集累积，也可以应用于不同的应用范围中。经过长时间的收集累积之后，将可以增广其词数与相连词频的覆盖范围(coverage)，进而提高其辨识准确性。

总体而言，不仅处理时的速度增快了，发展自然语言对话系统的整体效能更因而提升了。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (12)

1、一种语音辨识与语言理解分析的方法，其特征在于其包括以下步骤：

接收一语音输入；

依据一分段语义概念多联词模型，将该语音输入分割成多数个分段语义；以及

依据一分段次文法，对该些分段语义进行分析。

2、根据权利要求1所述的语音辨识与语言理解分析的方法，其特征在于在分析该些分段语义之前更包括：

将各该些分段语义区分为一有意义分段语义或一无意义分段语义；以及

剔除该分段语义中的该些无意义分段语义。

3、根据权利要求1所述的语音辨识与语言理解分析的方法，其特征在于其中依据分段语义概念多联词模型的步骤更包括：

从一般语言模型语料库，分析该语音输入的句型；

对该该语音输入的句型进行一语料库分段解析，以得到该些分段语义；以及

利用一句型语分段语料库，对各该些分段语义进行一语言模型训练，再合并成单一语言模型。

4、根据权利要求2所述的语音辨识与语言理解分析的方法，其特征在于其中所述的有意义分段语义或无意义分段语义是以附加一标示(tag)的方式来进行。

5、一种语音辨识与语言理解分析的方法，其特征在于将接收到的一语音输入；依据一分段语义概念多联词模型，将该语音输入分割成多数个分段语义。

6、根据权利要求5所述的语音辨识与语言理解分析的方法，其特征在于其中依据分段语义概念多联词模型的步骤更包括：

从一般语言模型语料库；分析该语音输入的句型；

对该该语音输入的句型进行一语料库分段解析，以得到该些分段语义；以及

利用一句型语分段语料库，对各该些分段语义进行一语言模型训练，再合并成单一语言模型。

7、一种语音辨识与语言理解分析的装置，其特征在于其包括以下步骤：

一语音辨识模组，用以接收一语音输入，并依据一分段语义概念多联词模型，将该语音输入分割成多数个分段语义；以及

一语音理解分析模组，依据一分段次文法，对该些分段语义进行分析。

8、根据权利要求7所述的语音辨识与语言理解分析的装置，其特征在于其中所述的语音辨识模组更将各该些分段语义区分为一有意义分段语义或一无意义分段语义，并且该语音理解分析模组剔除该分段语义中的该些无意义分段语义。

9、根据权利要求8所述的语音辨识与语言理解分析的装置，其特征在于其中所述的语音辨识模组是以附加一标示(tag)的方式来区分该有意义分段语义或该无意义分段语义。

10、一种自然对话系统，其特征在于其包括：

一语音辨识模组，用以接收一语音输入，并依据一分段语义概念多联词模型，将该语音输入分割成多数个分段语义；

一语音理解分析模组，依据一分段次文法，对该些分段语义进行分析；

一对话管理模组，依据该语音理解分析模组的输出，从一数据库中选出对应的对话输出；以及

一语音合成模组，依据该对话管理模组的对话输出，合成一语音输出讯号。

11、根据权利要求10所述的语音辨识与语言理解分析的装置，其特征在于其中所述的语音辨识模组更将各该些分段语义区分为一有意义分段语义或一无意义分段语义，并且该语音理解分析模组剔除该分段语义中的该些无意义分段语义。

12、根据权利要求10所述的语音辨识与语言理解分析的装置，其特征在于其中所述的语音辨识模组是以附加一标示(tag)的方式来区分该有意义分段语义或该无意义分段语义。

Images