CN100517186C - 基于按键和语音识别的文字输入方法及装置 - Google Patents

Abstract

本发明揭示了一种按键输入与语音识别相结合的文字输入方法，包括步骤：利用按键输入目标字的汉字拼音和/或英文字母，以生成包括目标字的候选字；读入目标字的语音；将生成的所述候选字的至少一个读音与读入的所述目标字的语音进行匹配，以筛选出所生成的所述目标字；和显示经筛选出的目标字。本发明还揭示了一种按键输入与语音识别相结合的文字输入装置，以及使用该输入装置的移动电话。

Description

基于按键和语音识别的文字输入方法及装置

技术领域

本发明涉及一种利用按键输入和语音识别技术进行文字输入的方法和装置。特别是一种将使用按键的字符输入法与语音识别技术结合以进行汉语和英语综合输入的方法和装置。

背景技术

目前，移动电话的短消息已逐渐成为一种很方便的信息传送、交流方式。但随着移动电话的尺寸越做越小，按键的尺寸、键盘布局、硬件容量等的限制，通过移动电话进行汉字、英语单词的输入还存在着不便之处。人们常常会为输入某些常见的汉字、英语单词而频繁按键选择。这一方面大大限制了信息输入的速度，另一方面也促使人们在不断努力寻求更好的输入方法，以便以尽量少的按键达到尽量大的目标命中率。

应用于移动电话的较为流行的汉字输入法主要是普通的拼音输入(即，逐个准确地输入拼音字母)、T9拼音输入和笔画输入。较为流行的英语单词输入法主要是普通单词法(即，逐个准确地输入相应字母)、T9单词输入。这其中，T9输入法因其简单易用和相对高的命中率，同时带有后续词的联想功能而逐渐受到多数用户的青睐。但即便如此，T9输入法在多数情况下仍需要用户的多次搜索寻找，尤其是在相应汉字的拼音相对简单的情况下。

另一方面，随着语音识别技术的发展，其适用领域也越来越广泛。应用于PDA(个人数字助理)的限定语句集的汉语语句识别率已可达到90％左右的命中率。这使得语音识别技术很适合应用在一些特定的领域，如航空售票、旅馆服务等。在这些领域中，一般都有比较固定的交流用语集。但在非限定范围的应用中，利用语音识别技术进行汉字输入还很难达到很高的准确率，在识别过程中往往还需要使用者的交互输入来进行相似发音字、词的选择。这还是在基于PC这种大容量、高运算率的设备基础上。对移动电话短信而言，一方面因短信内容的开放性，另一方面因移动电话自身硬件条件的限制，直接利用语音来进行听写式的短信输入还很难达到很理想的水平。就是说，在真正使用的时候，不可避免地需要用户在众多语音识别无法准确命中的被选字、词中进行选择。相对于T9的高命中率，目前纯粹利用语音识别来进行短信输入还很难达到用户满意的程度。

另外，短信交流内容也逐渐成为一种个人隐私，很难想象用户会在一些寂静或者嘈杂的公共场合，会单独采用语音识别方法来进行短信输入。

因此，需要一种综合利用T9输入法和语音识别技术来进行可应用于嵌入式设备的汉语、英语综合输入的方法和装置。

发明内容

本发明的目的是提供一种利用按键输入法和语音识别技术结合的文字输入方法和装置，能够利用按键输入法和语音识别技术各自的优点而提供一种适合于嵌入式设备的汉语、英语输入方法。

本发明的另一个目的是提供一种利用按键输入法和语音识别技术结合的文字输入方法和装置，能够利用T9输入法和语音识别技术各自的优点而提供一种适合于嵌入式设备的汉语、英语输入方法。

根据本发明的一个方面，提供一种按键输入与语音识别相结合的文字输入方法，包括步骤：利用按键输入生成包括目标字的候选字；利用语音读入目标字的语音；将生成的所述候选字的至少一个读音与语音读入的所述目标字的语音进行匹配，以筛选出所生成的所述目标字；和显示经筛选出的目标字。

根据本发明的另一个方面，提供一种按键输入与语音识别相结合的文字输入方法，包括步骤：利用按键输入目标字的汉字拼音和/或英文字母，以生成包括目标字的候选字；读入目标字的语音；将生成的所述候选字的至少一个读音与读入的所述目标字的语音进行匹配，以筛选出所生成的所述目标字；和显示经筛选出的目标字。

根据本发明的另一个方面，提供一种按键输入与语音识别相结合的文字输入方法，包括步骤：利用按键输入法对语音识别求解集进行限制；利用语音识别进行准确和进一步的目标字命中。

根据本发明的另一个方面，提供一种按键输入与语音识别相结合的文字输入装置，包括：按键输入处理装置，用于处理通过按键输入的汉字拼音和/或英文字母；有效字符组合存储装置，用于存储根据按键输入产生的有效字符；语音输入处理装置，用于处理读入的目标字的语音；语音匹配装置，用于将有效字符组合存储装置存储的有效字符的读音与语音输入处理装置输出的对应目标字的语音进行匹配，以筛选出候选字；和备选字存储装置，用于存储与按键输入对应的备选汉字和/或英语单词，和由语音匹配装置筛选出的候选字。

根据本发明的再一个方面，提供一种装配有按键输入与语音识别相结合的文字输入装置的移动电话，所述文字输入装置包括：按键输入处理装置，用于处理通过按键输入的汉字拼音和/或英文字母；有效字符组合存储装置，用于存储根据按键输入产生的有效字符；语音输入处理装置，用于处理读入的目标字的语音；语音匹配装置，用于将有效字符组合存储装置存储的有效字符的读音与语音输入处理装置输出的对应目标字的语音进行匹配，以筛选出候选字；和备选字存储装置，用于存储与按键输入对应的备选汉字和/或英语单词，和由语音匹配装置筛选出的候选字。

本发明的核心是首先利用T9输入法给语音识别求解集进行限制，进而利用语音识别进行准确和进一步的命中。

附图说明

通过阅读和理解下面参考附图所做的详细描述，将使本发明的这些和其它优点对本领域技术人员变得显而易见。其中：

图1是标准的移动电话按键的布局示意图；

图2是表示利用T9输入法按动按键后在移动电话屏幕上显示的候选字的一个实例的示意图；

图3是表示利用T9输入法按动按键后在移动电话屏幕上显示的候选字的另一个实例的示意图；

图4是利用根据本发明的输入法在移动电话的显示屏上得到的候选字的一个实例的示意图；

图5是表示根据本发明实施例执行输入法的文字输入装置的结构方框图；和

图6是表示执行根据本发明实施例的输入法的流程图。

具体实施方式

有关本发明的前述及其它技术内容、特点与功效，通过以下结合附图对优选实施例的详细说明，将会更加清楚。在描述过程中省略了对于本发明来说是不必要的细节和功能，以防止对本发明的理解造成混淆。

下面首先介绍T9输入法。现在移动电话最常用的输入法都是T9输入法。T9实际上是“Text on 9 Keys(9键输入文字)”的缩写，这里的9键泛指移动电话、双向寻呼机、信息家电、移动计算设备等小型电子产品上的标准按键。该技术采用了与语言数据库相集成的专用软件，利用标准的9按键，可以以直观、简捷的方法快速输入简短文字信息。

通常移动电话上的每个按键代表多个字母，例如“5”字键可以代表J、K或L三个字母。在输入英文单词时，包含了语言数据库的T9算法能够根据字母组合的可能性，自动筛选出输入的不同字母，即时拼写出正确的词语。它还可以输入标点符号，并提供了包含大部分姓名的名字库。

目前，T9可以支持汉语、英语、法语、德语、日语、韩语、意大利语等17种语言，其它主要语言的版本正在开发中。T9的文字输入软件的中文版可输入繁体和简体汉字。

对英语输入而言，当移动电话调到T9模式后，要键入“how”这个单词只需按三次键：4-6-9，而且在按键过程中不需要停顿。每个字母只需按一次键，就像使用计算机键盘一样，T9就会显示出所需的内容。T9能够知道与4-6-9这三个按键组合相应的最常用的词是“how”，那也就是T9在显示屏上显示出来的结果。

下面以T9输入法为例对本发明的输入法进行详细描述。应该指出，本发明不限于T9输入法，也可以应用于其它输入法。

首先说明汉字输入的情况。图1示出了标准的移动电话按键的布局示意图。当用户利用T9输入法按下标有‘4ghi’、‘2abc’、‘6mno’键(每个键仅按下一次)时，移动电话屏幕显示如图2所示的内容。在图2所示的屏幕显示中，移动电话的显示屏幕被划分为输入信息显示区和输入选择行。图2中仅在输入选择区中示出了首选行。从图2中可以看出，当用户输入上述三个键时，位于这三个键上的字母可形成如下四种有效拼音组合：hao，gao，gan，han。由于无法通过其他方式将它们再进行有效筛选，所以T9输入法只能在“输入选择区”中交替显示符合这四种拼音组合的汉字。一般的移动电话显示屏幕每行只能显示八个左右的汉字，而汉字的同音字很多，符合条件的汉字只能分行显示，所以用户只能通过移动电话的导航键上下滚行和左右移动光标来选择所需要的汉字。

以上面的按键输入为例，在T9输入法中，除了图2所示的输入区中所示的首选八个汉字外，其余的候选汉字排列顺序如图3所示。如果用户所要选择字的恰好是“好”、“汉”、“敢”等在首选行的汉字，则其只要输入相应的拼音或通过光标就可顺利选择。但如果用户所要输入的是如图3中所示的位于第5选择行的“尴”、“旱”，则用户在输入相应拼音后，还需要连续向下按四次滚行键，再左右移动光标3次左右才能完成一个汉字的选择，这无疑大大影响了汉字的输入速度。

针对上述问题，本发明提出了如下的方法。在用户输入‘4ghi’、‘2abc’、‘6mno’键时，移动电话的屏幕上显示如图2所示的状况时，用户通过语音读入来进行进一步的选择。例如，当用户要选择“好”时，用户可以读入“hao”的读音。在理想的情况下，移动电话就可将T9输入法中列出的“gao”、“gan”、“han”等拼音选项排除，只显示读音为“hao”的汉字，这样候选汉字的排列顺序就会如图4所示，在屏幕上显示“好号毫豪浩耗嚎郝皓”。这样不仅候选汉字大大减少，而且相应目标汉字的顺序也大大提前。

例如，如果用户要输入目标字“皓”字，如果单独采用T9输入法，如图3所示，“皓”字位于第五选择行。而在利用T9输入法的基础上通过语音读入“hao”来进行进一步的选择，如图4所示，目标字“皓”字位于首行，这样用户在同样按‘4ghi’、‘2abc’、‘6mno’三键的情况下，通过同步的语音输入，不用按滚行键就可输入目标汉字。因为按键输入和语音输入几乎可同步进行，与纯粹的T9输入法相比，本方法可以大大加快汉字的输入速度。

即使语音识别技术在“hao”“gao”“gan”“han”范围内，仍无法准确分辨“hao”、“gao”这两个易混音，但它已经可以排除拼音是“gan”、“han”的汉字。与上述同样的原理，目标汉字的排列位置仍可大幅提前。在最差的情况下，假设语音识别结果对几个候选拼音的打分没有明显差别，那它就可以直接采用T9输入法所给出的候选汉字排列方式。与单独采用语音识别技术来进行汉字输入相比，在同样的语音识别技术水平下，本方法显然能给出更为可靠和有效的结果。

综上所述，采用本方法在嵌入式设备中输入汉字，在同样的按键速度下，本方法显然能提供更高的目标汉字命中率和更快的命中速度。

另外，本发明同样可以应用于英文单词的输入。T9输入方法同样在嵌入式设备的英语单词输入过程中得到大量采用。因为T9输入法对汉字和英文的输入选择原理基本类似，而语音识别技术也可同样应用于汉字和英文，只要采取不同的声学模型即可。所以本发明的方法所述的混合输入过程也可同样应用于对英文单词的选择。在某些情况下(或者在大多数情况下)，其语音识别结果比汉字更为理想。

例如，当用户输入‘4ghi’、‘6mno’、‘6mno’、和‘3def’时四个按键时，由它们组成的有效英文单词为“good”、“home”、“gone”、“hood”、“hoof”、“hone”、“goof”七个单词，由于英文单词的特殊性，T9输入法只能通过按一次“滚行键”显示一个单词的方法来让用户作最终的选择。这样，在最坏的情况下，如果用户所要输入的单词是“goof”，那么他就要再按六次“滚行键”才能得到所要的结果。而如果在这种情况下介入语音识别技术，因上述单词相互间的发音差别较大，理想的情况下，二者综合即可立即得到所需的单词。本发明的方法应用于英语单词的输入可能更为理想的原因主要在于：按照目前键盘布局和T9输入法得到的英文单词间的读音要比汉字间的读音差别更大，该结论可从穷举统计的方法得到。

根据T9输入法的原理，键入的按键越多(即，汉字的拼音越复杂，英语单词所含的字母越多)，目标命中率越高。例如，如果输入‘6mno’、‘6mno’、‘6mno’、和‘4ghi’四个键，则有效的拼音组合只有“nong”这一种。当然，这时就不需用户通过语音输入进行进一步的选择了。另外，目前的T9输入法都带有后续字的联想功能。在这种情况下，后续词的输入也不需采用用户读入的方式。这样，用户在输入短信的时候，采用本方法就不需要像单用语音输入方法那样整句整句地读入，在提高命中率和识别速率的情况下，也有效地保护了用户的隐私。

下面参考图5描述根据本发明的T9输入法与语音输入结合的字符输入装置的结构方框图。根据本实施例，本发明的输入装置包括按键输入处理单元1、汉语拼音表2、汉字字库存储单元3、有效字组合存储单元4、备选字存储单元5、显示单元6、语音输入处理单元7、和语音匹配单元8。

另外，汉语拼音表2中还可以存储英语字典。有效字组合存储单元4中存储根据按键输入产生的有效字拼音，有效字可以是拼音或英语单词。备选字存储单元5可以存储与按键的按动对应的备选英语单词或汉字。语音输入处理单元7中具有语音识别单元。

下面参考图5描述本发明的按键和语音识别技术的文字输入装置的操作。用户通过移动电话或者嵌入式设备的键盘进行按键输入，按键输入处理单元1接收用户输入，同时结合汉语拼音表(英语字典)2进行有效拼音(单词)的筛选，并将生成的候选字存储在有效字组合存储单元4中。

如果用户通过按键输入英语单词，按键输入处理单元1则对英语字典表2进行有效的单词筛选，以得到候选的英语单词，将其存储在备选字存储单元5中，同时通过显示单元6进行显示，供用户进行进一步的目标字选择。

如果用户进行的是汉字输入，则需要根据当前得到的有效字组合存储单元4和汉字字库存储单元3来筛选出备选汉字，并将备选汉字存储在备选字存储单元5中，进而通过显示单元6显示，以供用户进行进一步的目标字选择。

以上描述的操作基本上是T9汉语拼音/英语单词输入的处理过程(图中虚线框内的部分)。

根据本发明，在用户进行按键输入的同时，可以通过移动电话及其它嵌入式设备的语音输入设备(内置或者外接的麦克风)来进行相应拼音或者单词的语音输入。由语音输入处理单元7对用户输入的语音进行处理和识别。语音匹配单元8对语音识别的结果和有效字组合存储单元4中存储的、先前得到的有效拼音(或单词)进行比较，保留相似度较高的那个(那些)有效组合，删除相似度较低的那些(那个)有效组合。例如，比较阈值可以以50％为限，但本发明不限于此，也可以更高，或者可以由用户进行调节、设置。语音输入处理单元7可以设置有各种语音识别模型，对用户输入的语音进行语音识别，选出与用户输入的语音对应的汉字或英文单词。

利用语音匹配单元8得到的比较结果，对备选字存储单元5中存储的、先前得到的备选汉字或英语单词再进行进一步的筛选，此后将二次筛选出的结果通过显示单元6进行显示，以供用户进行进一步的选择。

如前所述，经过了本发明所述的二次筛选之后，显示设备6中所显示的汉字或者英语单词就会很容易直接命中用户所需的目标字(词)。其中二次筛选剔除了大量的非目标字(词)，从而大大提高了用户通过移动电话或者其它嵌入式设备输入汉字或者英语单词的速度，为用户带来很大的方便。

下面参考图6描述执行本发明实施例的T9输入法和语音识别结合输入流程。首先，在步骤S601，将移动电话或嵌入式设备切换到字符输入模式，以便在此模式下输入文字或字母。在步骤S602，按动按键，采用T9输入法进行汉字或者英文单词的输入，移动电话或嵌入式设备在显示单元上显示所有汉字或英文候选字。然后，在步骤S603判断显示的候选字的首行中是否有要输入的目标字。如果步骤S603的判断结果为肯定，即，首行中显示了用户要输入的目标字，流程则转到步骤S608，确定目标词，再进行新目标词的输入。如果步骤S603的判断结果为否定，即，首行字中没有目标字，流程则进行到步骤S604，用户利用语音读入相应的目标字(词)。此后，在步骤S605，语音输入处理单元7和语音匹配单元8采用相应语言模型，将用户利用语音读入的音节与利用T9输入法所提供的几种有效候选组合进行匹配比较，将相似度低于预定阈值的组合排除，同时在T9输入法所提供的候选字词中选出与读音对应的汉字或者单词，提供经过过滤后的字词排列显示给用户。此后，在步骤S606，如果T9输入法所提供的几种有效组合与用户语音识别结果的相似度都比较低，则直接选用T9输入法所提供的候选字词排列顺序。然后，在步骤S607，用户在经筛选出后的候选字词中选择目标字词。通常，目标字词会出现在首行或者首词位置。需要的时候，再按“滚行键”来选择一些不常用的字词。最后，在步骤S608，确定目标词，再进行新目标词的输入。

本发明中所述的嵌入式设备包括诸如移动电话、双向寻呼机、信息家电、移动计算设备、PDA之类的小型电子产品。

至此已结合优选实施例对本发明进行了详细描述。应该指出，本发明的按键输入法不限于T9输入法，也可应用其它按键输入法。

根据本发明的输入法可以通过硬件实现。也可以由设置在设备中的处理器通过执行具有相应功能的程序来实现。所述程序可记录在诸如软盘、硬盘、闪盘、CD-ROM、DVD-ROM之类的计算机可读的记录介质上。

虽然参考优选实施例对本发明进行了描述，本发明并不局限于此，而仅由所附权利要求限定，本领域技术人员在不脱离本发明精神的情况下可对本发明的实施例进行各种改变和改进。

Claims (20)

1.一种按键输入与语音识别相结合的文字输入方法，包括步骤：

利用按键输入生成包括目标字的候选字；

利用语音读入目标字的语音；

将生成的所述候选字的至少一个读音与语音读入的所述目标字的语音进行匹配，以筛选出所生成的所述目标字；和

显示经筛选出的目标字。

2.根据权利要求1所述的方法，其中所述按键输入采用利用9键输入文字的T9输入法。

3.一种按键输入与语音识别相结合的文字输入方法，包括步骤：

利用按键输入目标字的汉字拼音和/或英文字母，以生成包括目标字的候选字；

读入目标字的语音；

将生成的所述候选字的至少一个读音与读入的所述目标字的语音进行匹配，以筛选出所生成的所述目标字；和

显示经筛选出的目标字。

4.根据权利要求3所述的方法，其中所述按键输入采用利用9键输入文字的T9输入法。

5.根据权利要求3或4所述的方法，其中在按键输入过程中，进一步包括：当所述按键输入生成的候选字的首行中显示了目标字时，通过导航键选定所述目标字。

6.根据权利要求3或4所述的方法，其中所述将生成的所述候选字的至少一个读音与读入的所述目标字的语音进行匹配的步骤进一步包括：删除所述候选字的读音中和所述目标字的语音之间的匹配度小于预定阈值的读音。

7.根据权利要求3或4所述的方法，其中在按键输入过程中，进一步包括：如果按键输入所提供的候选字的读音与语音识别结果的相似度低于预定阈值，则直接依据按键输入所提供的候选字进行下一步的选择。

8.根据权利要求3所述的方法，其中在按键输入过程中，进一步包括：如果按键输入生成的首行候选字中包括了目标字，则直接确定目标字。

9.根据权利要求3所述的方法，其中在按键输入过程中，进一步包括：根据按键输入的汉字拼音选出备选汉字，并存储备选汉字。

10.一种按键输入与语音识别相结合的文字输入方法，包括步骤：

利用按键输入法对语音识别求解集进行限制；

利用语音识别进行准确和进一步的目标字命中。

11.根据权利要求10所述的方法，其中所述按键输入采用利用9键输入文字的T9输入法。

12.一种按键输入与语音识别相结合的文字输入装置，包括：

按键输入处理装置，用于处理通过按键输入的汉字拼音和/或英文字母；

有效字符组合存储装置，用于存储根据按键输入产生的有效字符；

语音输入处理装置，用于处理读入的目标字的语音；

语音匹配装置，用于将有效字符组合存储装置存储的有效字符的读音与语音输入处理装置输出的对应目标字的语音进行匹配，以筛选出候选字；和

备选字存储装置，用于存储与按键输入对应的备选汉字和/或英语单词，和由语音匹配装置筛选出的候选字。

13.根据权利要求12所述的装置，其中进一步包括汉语拼音表和/或字典，用于存储汉字拼音和/或英语字典。

14.根据权利要求12所述的装置，其中进一步包括汉字字库存储装置，用于存储汉字。

15.根据权利要求12所述的装置，其中进一步包括用于显示生成的候选字和目标字的显示装置。

16.根据权利要求12所述的装置，其中语音输入处理装置具有语音识别单元。

17.根据权利要求14所述的装置，其中有效字符组合存储装置和汉字字库存储装置根据按键输入的汉字拼音选出备选汉字，并将备选汉字存储在备选字存储装置中。

18.根据权利要求12所述的输入装置，其中所述按键输入处理装置使用T9输入法。

19.一种装配有按键输入与语音识别相结合的文字输入装置的移动电话，所述文字输入装置包括：

按键输入处理装置，用于处理通过按键输入的汉字拼音和/或英文字母；

有效字符组合存储装置，用于存储根据按键输入产生的有效字符；

语音输入处理装置，用于处理读入的目标字的语音；

语音匹配装置，用于将有效字符组合存储装置存储的有效字符的读音与语音输入处理装置输出的对应目标字的语音进行匹配，以筛选出候选字；和

备选字存储装置，用于存储与按键输入对应的备选汉字和/或英语单词，和由语音匹配装置筛选出的候选字。

20.根据权利要求19所述的移动电话，其中所述按键输入处理装置使用T9输入法。

Images