CN1731511A - 用于对多语言的姓名进行语音识别的方法和系统 - Google Patents

用于对多语言的姓名进行语音识别的方法和系统 Download PDF

Info

Publication number
CN1731511A
CN1731511A CNA200410056515XA CN200410056515A CN1731511A CN 1731511 A CN1731511 A CN 1731511A CN A200410056515X A CNA200410056515X A CN A200410056515XA CN 200410056515 A CN200410056515 A CN 200410056515A CN 1731511 A CN1731511 A CN 1731511A
Authority
CN
China
Prior art keywords
name
language
speech recognition
orderly
voice unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200410056515XA
Other languages
English (en)
Other versions
CN100592385C (zh
Inventor
任晓林
何昕
孙放
张亚昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Google Technology Holdings LLC
Original Assignee
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Inc filed Critical Motorola Inc
Priority to CN200410056515A priority Critical patent/CN100592385C/zh
Priority to SG200504797A priority patent/SG119358A1/en
Priority to KR1020050071867A priority patent/KR100769029B1/ko
Priority to JP2005228583A priority patent/JP4468264B2/ja
Publication of CN1731511A publication Critical patent/CN1731511A/zh
Application granted granted Critical
Publication of CN100592385C publication Critical patent/CN100592385C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/005Language recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/081Search algorithms, e.g. Baum-Welch or Viterbi

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

一种用于使用混合字母-发音转换器(105)中的多个特定语言的字母-发音转换器对多语言的姓名进行语音识别的方法和系统(100)。根据一个实施例,所述方法包括在电子设备中存储文本,其中所述文本表示由字符组成的多个姓名。然后为每个所述姓名识别出至少一种语言并将每一姓名转换成存储在开放词汇表(110)中的有序的语音单元序列。然后,用与所述电子设备相关联的麦克风(120)接收口述话语并在特征提取器(125)中将所述话语转换成特征向量。然后在自动语音识别引擎(130)中将所述特征向量与至少一个姓名的所述有序的语音单元序列进行匹配。

Description

用于对多语言的姓名进行语音识别的方法和系统
发明领域
本发明总的来说涉及语音识别处理过程。具体的说,本发明用于(但不限于)使用个人电子设备来对姓名进行语音识别,这里所说的姓名是多种语言的姓名。
发明背景
诸如移动电话、个人数字助理(PDAs)和寻呼机这样的个人电子设备在整个工业化社会中已经非常普及了。现在数以百万计的用户依靠这些设备来快速和容易地获取电子信息和进行通信。减小的重量和尺寸使得这些设备容易携带(例如,可以将它们放在口袋和钱包里),从而增加了它们的方便性。然而,设备尺寸减小的缺点是设备上的接触界面(诸如键盘和按钮)通常都非常小并且不便于使用。
因此,语音识别是很多个人电子设备上非常有价值的特征。例如,语音识别能力可以使汽车司机能够向个人电子设备发送简单的命令而不需要将他们的视线从公路上移开。同样,语音识别可以使诸如访问PDA中地址簿条目这样的操作变得更加方便,这是因为可以很容易地执行口头的命令,并且通常比在小键盘上键入指令所需的时间要少得多。
因此语音识别系统是执行计算机程序和访问数据库的一种常用方法。然而,个人电子设备很小的尺寸也会限制嵌入式语音识别系统的性能。有效的语音识别通常需要相对较大的数据库和可观的处理速度才能实现,然而小型电子设备的存储器容量和处理能力通常是有限的。为了克服这种限制,通常都仅为有限的、特定的环境定制个人电子设备的语音识别系统。例如,如同将在下面详细描述的那样,这种系统通常都是讲话者相关的,也就是说设计它们仅仅翻译特定的讲话者的语音模式。同样的,这种系统通常也是语言相关的,并仅仅为有限的词汇设计。这些折中的设计可以使系统能够使用个人电子设备的有限资源来合理地为特定的用途工作。
语音识别系统通常是将输入的话语和存储在数据库中的声学模型进行匹配。然后再进一步将匹配的声学模型与字典数据库中的条目进行匹配来完成单词和句子的识别。声学模型通常由隐藏马尔可夫模型(HMM)构成。HMM是包括均值和方差向量的统计学描述,它描述诸如单词和音素这样的语音单元。然后使用HMM模式匹配来确定语音识别数据库中的声学模型与口述输入话语是否匹配。HMM通常是基于包含被称为高斯混合(Gaussian mixtures)的若干复杂的高斯概率分布函数(PDF)的概率函数的。因此语音模式匹配就是将高斯混合与输入语音话语进行匹配的过程。所以HMM模式与声学模型的匹配的可用复杂性(available sophistication)是语音识别系统的设计者在对性能和存储与处理资源之间进行必要的折中时必须考虑的重要变量。
语音识别系统中的其它折中措施主要关注于系统识别多个用户的语音的能力。因此,可以将语音识别系统进一步划分为讲话者无关的和讲话者相关的。讲话者无关的系统用于识别给定语言下任意讲话者的语音;而讲话者相关的系统是被训练成仅识别一个讲话者的语音的。讲话者无关的系统通常包括声学数据库,这个数据库包含从多个训练讲话者那里得来的多个HMM。从训练讲话者那里得来的多个HMM是意在表示从一大组讲话者中找到的语音模式的高斯混合参数。通常这种系统比讲话者相关的系统的准确性要低,这是因为在语音模型中必须进行折中以适应多种语音属性,并且还因为不为使用这个系统的任意的讲话者的特殊语音属性而调节讲话者无关的系统。
调节讲话者相关的系统以识别单个讲话者的特定语音模式。通常在训练程序中,讲话者要向讲话者相关的系统读一段包含多种语音模式的脚本。然后将训练语音对准脚本,使得为讲话者的特殊语音属性调节系统,然后系统才能在语音识别过程中更准确地识别讲话者的声音。然而,在很多人要使用语音识别系统的情况下讲话者相关的系统通常是不合要求的。例如,嵌入在移动电话中的语音识别系统使得用户能够通过口述之后电话能够识别的命令来操作设备。然而移动电话的主要使用者可能希望自己的很多朋友、同事或家庭成员也能够使用电话的语音识别特征。因为电话的这些次要使用者仅仅需要在很短的时间内使用语音识别特征,所以要求次要使用者在使用语音识别特征之前首先对电话进行训练以识别他或她的声音是不方便的。
最后,语音识别声学模型通常只是为单一语言设计的,因此能够识别多种语言的语音的语音识别系统需要多个声学模型,这同样要增加对存储器的需求和系统的复杂性(sophistication)。
现在已经为个人电子设备开发出来了双语语音识别设备。因此,(例如),移动电话的双语用户可以用两种语言(诸如英语和普通话)中的任意一种来从存储在电话中的地址簿里取出姓名。由于在设备中使用的特定语言的声学模型和词汇数据库是分离的,因此通常用户在使用语音识别特征之前首先要将电话中的语言模式切换到一种特定的语言。然而,(例如)在地址簿中混合包含两种语言的各种姓名或其它通讯信息的情况下,这种预选特定语言的要求是不方便的。同样,这种预选特定语言的要求还使得系统不能用语音识别系统来识别混合的、多语言的两部分姓名—例如,某人的名字是英文的而姓是普通话的。
因此,所需要的是一种讲话者无关的用于语音识别的改进的方法和系统,其能够识别多语言的姓名而不需要手工地在语言模式之间进行切换,并有效地使用个人电子设备中有限的资源。
发明内容
根据本发明的一个方面,本发明是一种用于对多语言的姓名进行语音识别的改进的方法,它包括如下步骤:在电子设备中存储文本,所述文本表示由字符组成的多个姓名;为每个姓名识别至少一种语言;使用特定语言的字母-发音转换器将每个姓名转换成有序的语音单元序列;用与电子设备相关联的麦克风接收口述话语;将话语转换成特征向量;以及将特征向量与至少一个姓名的有序的语音单元序列进行匹配。
优选地,所述多语言包括普通话,并且为每个姓名识别至少一种语言的所述步骤包括:确定姓名中所包含的字符是在汉语字母表中还是在罗马字母表中;和确定在罗马字母表中的姓名是否是汉语拼音。
优选地,所述多种语言包括西方语言和汉语。
优选地,所述多个特定语言的字母-发音转换器包括中文字母-发音转换器和西方语言字母-发音转换器。
优选地,所述中文字母-发音转换器是上下文相关的和所述西方语言字母-发音转换器是上下文无关的。
优选地,将特征向量与至少一个姓名的有序的语音单元序列进行匹配的所述步骤包括通过在自动语音识别引擎中比较特征向量、有序的语音单元序列、和高斯混合参数来解码特征向量。
优选地,所述自动语音识别引擎使用波束搜索(Beam search)、Viterbi算法。
优选地,所述姓名由存储在电子设备中的通讯录中的成分组成。
根据本发明的另一个方面,本发明是一种用于对多语言的姓名进行语音识别的方法,它包括如下步骤:用与电子设备相关联的麦克风接收口述话语;将话语转换成特征向量;以及将特征向量与至少一个姓名的有序的语音单元序列进行匹配,所述姓名是存储在电子设备中的字符表示,其中从所述字符中识别出姓名的至少一种语言,然后使用多个特定语言的字母-发音转换器将所述姓名转换成有序的语音单元序列。
根据本发明的再一个方面,本发明是一种用于对多语言的姓名进行语音识别的系统,它包括:微处理器;与微处理器以可操作的方式连接的至少一个存储器;与微处理器以可操作的方式连接的麦克风;操作所述微处理器以执行存储在存储器中的代码来用麦克风接收口述话语、将话语转换成特征向量;并且将特征向量与至少一个姓名的有序的语音单元序列进行匹配,所述姓名是存储在存储器中的字符表示,其中从所述字符中识别出姓名的至少一种语言,然后使用多个与微处理器以可操作的方式连接的特定语言的字母-发音转换器将所述姓名转换成有序的语音单元序列。
优选地,所述姓名由存储在系统中的通讯录中的成分组成。
优选地,所述系统与移动电话或个人数字助理以可操作的方式连接。
在本说明书(包括权利要求书)中,术语“由...组成(comprise)”、“包含(including)”、“包括(comprising)”或类似的术语意在表示非排他性的包括,因此由一系列元素组成的方法和装置并不只包含这些元素,而且还可以包含其它没有列出的元素。
附图说明
为了让本发明更容易理解和有效地赴诸实践,现在参考附图对优选的实施例进行说明,其中类似的序号表示类似的元素,其中:
图1是图解说明根据本发明的一个实施例的用于对多语言的姓名进行语音识别的系统的功能组件的示意图;
图2是图解说明根据本发明的实施例的两种不同语言的姓名和由有序的语音单元序列组成的与它们的相关发音的列表的表格;
图3是图解说明根据本发明的实施例的字母-发音转换器的工作和组件的示意图;
图4是总结了包括普通话/英语开放词典的根据本发明的实施例的将存储文本转换成语音单元的方法的一般流程图;
图5是图解说明根据本发明的实施例的将口述话语和存储在开放词典中的姓名进行匹配的方法的一般流程图;并且
图6是图解说明根据本发明的实施例的以可以应用语音识别系统的无线电话形式的个人电子设备的示意图。
具体实施方式
参看图1,这是图解说明根据本发明的一个实施例的用于对多语言的姓名进行语音识别的系统100的功能组件的示意图。系统100按如下方式操作。字母-发音转换器105将姓名的文本转换成有序的语音单元序列。姓名通常是作为单独字符的表示存储在诸如移动电话或个人数字助(PDA)这样的个人电子设备中的多个姓名中的一个。例如,姓名可以作为地址簿或通讯录的一部分存储在电子设备中。字母-发音转换器105首先为输入到系统100中的姓名识别至少一种语言。然后将姓名转换成存储在开放词典110中的有序的语音单元序列。系统115还包括混合语言隐藏马尔可夫模型(HMM)集115。HMM集115包括以至少两种语言表示所选语音模式的高斯混合参数。
在将多个姓名和与它们相关联的有序的语音单元序列输入到开放词典110中之后,系统100就在将姓名口述输入到诸如麦克风120的系统100的输入之后识别任意一个姓名的语音表示。麦克风120可能与声音激活设备(VAD)以可操作的方式连接。然后,特征提取器125就根据本领域普通技术人员熟知的现有语音识别技术来提取口述姓名的特征向量。然后,比较特征向量与高斯混合参数的自动语音识别(ASR)引擎130对特征向量进行解码。另外,还以动态语法网络135辅助ASR引擎135,这里动态语法网络135由开放词典110构成并在语音识别过程中对语音模型的搜索进行引导。最后,从系统100中输出来自开放词典的匹配的姓名。然后电子设备就可以使用这个匹配的名字来从通讯录检索(例如)这个人的电话号码或其它联系信息。
因此,本发明在需要对混合的、多语言的单词或姓名进行语音识别的应用中非常有用。例如,在中国出现了讲话者无关的可使用汉语(例如普通话或粤语)和英语ASR的移动电话。但是,这些现有技术的系统通常在一个给定时间只能在一种语言模式下工作。例如,如果用户想要使用ASR特征从使用英文姓名的地址簿中检索信息,那么用户就必须首先将ASR特征设置成英文。如果之后同一个用户要从使用普通话姓名的地址簿中检索信息,那么在能够检索普通话姓名之前用户就必须首先将ASR特征设置成普通话。然而已经发现中国的许多移动电话用户的电话地址簿中包含双语的、两部分的姓名,其中这些姓名的第一部分是英文的,姓名的第二部分是普通话的。因此,现有技术的ASR系统不能对这种双语的、两部分的姓名的语音表示进行自动识别。而另一方面,本发明能够对这种双语的、两部分的姓名进行识别,而且不需要用户手工地将ASR从一种语言切换到另一种语言。
参看图2,这是图解说明两种不同语言的姓名和由有序的语音单元序列组成的与它们相关联的发音的列表的表格。例如,第一个姓名“杨立伟”完全是普通话(中文字符)的,并且它后面跟着由包含单独的汉语音素的有序的语音单元序列组成的发音205。第二个姓名“John Stone”完全是英文的,并且它后面同样跟着由包含单独的英语音素的有序的语音单元序列组成的发音210。由于包含普通话(中文字符)的姓“张”和英文的名字“Jacky”,第三个姓名“Jacky张”是双语、两部分的姓名。不过本发明的方法和系统同样能够对这个既包含了英语音素210又包含了汉语音素205的名字进行定义。现在,将在下面介绍本发明的特征,其可以对双语的、两部分的姓名进行语音学分析,而不需要用户手工地将ASR从一种语言切换到另一种语言。
参看图3,这是图解说明在图1中介绍过的混合的字母-发音转换器105的工作和组件的示意图。作为一个例子,操作在图3中显示的混合的字母-发音转换器105来转换用英语或普通话写成的字符。首先,混合的字母-发音转换器105包含字母表标识符305,对字母表进行识别的字母表标识符305用于定义至少一部分存储在设备中的写入姓名。如果姓名的所存储部分是由中文字符310组成的,那么就将字符310直接输入到特定语言的普通话字母-发音转换器315中。然而,如果姓名的所存储部分是由英文字符320组成的,那么姓名既可以是用汉语拼音书写的,又可能是用英文书写的。因此还需要用拼音标识符325来对姓名的这个部分进行分类。拼音标识符325使用基本能识别所有用拼音表示的(不包含音调的)汉语姓名的408个音节的拼音字典。如果英文字符320是汉语拼音,那么就把它们输入到普通话字母-发音转换器315中。然而,如果英文字符320是英文单词,那么就把它们输入到特定语言的英语字母-发音转换器330中。普通话字母-发音转换器315和英语字母-发音转换器330都可以把姓名转换成唯一的有序的特定语言语音单元序列。本领域普通技术人员应当认可,本公开也可以使用转换各种其它语言字符的其它字母-发音转换器105。因此,本发明的字母-发音转换器105能够将双语的、两部分的姓名解析成单一的有序的语音单元序列。
为了使得本发明能够在不需要用户手工地将系统100在语言模式间切换的情况下操作,混合语言HMM集115完全包括至少两个声学模型组,每一组用于一种语言。例如,根据上述识别英语和普通话姓名的本发明的实施例,HMM集115组合下面两种单一语言的声学模型集:上下文相关的普通话模型和上下文无关的英语模型。这里,上下文是指给定语音单元的左侧和/或右侧紧邻的语音单元。在汉语中,如同将在下面详细介绍的,这些单元被表示为“声母”和“韵母”。三话音(triphone)模型是一种同时考虑左侧和右侧相邻语音单元的语音模型。如果两个语音单元具有相同的标识,但是它们左侧和右侧的上下文不同,那么就认为它们是不同的三话音。
将汉语和诸如英语的西方语言区分开来的一个特征是汉语都是单音节的,并具有带音调的辅音/元音(C/V)结构。因此音节识别是大多数汉语语音识别系统结构的基础。在汉语中总共有1254个音节(408个无音调音节),它们来自22个“声母”(即,音节中元音前的辅音)和38个“韵母”(即,音节中元音后的辅音)的不同组合。在声母中,有21个真声母和一个所谓的“零声母”。根据本发明的优选实施例,将零声母作为真声母来对待。考虑到其中只有有限的训练数据可用的情况,对于汉语的一般观察是音节之中的协同发音(co-articulation)效果要比音节之间的协同发音效果重要得多。这是汉语的单音节结构造成的。同样,音节内声母的声学特征高度依赖于韵母,但是韵母的声学特征对声母的依赖则少得多。例如,音节“ta”中的声母“t”与另一个音节“tu”中相同的声母的发音很不相同;但是音节“ta”中的韵母“a”与“cha”中的“a”的发音几乎相同。因此,在汉语语音识别中的一种合理的方法是认为音节之间的协同发音效果和音节内韵母对前面声母的依赖都是可以忽略的,并让声母与所跟随的韵母的启始音素右上下文相关,并让韵母上下文无关。因此本发明的优选实施例使用包括117个声母和38个韵母的155个子音节。然后将每个音节分解成一对子音节。在表1中显示了本发明的优选实施例的汉语声学模型中使用的这种音节分解的例子。
表1--汉语音节分解的例子
    音节     声母     韵母
    Nei     n_e     Ei
    Tuo     t_u     Uo
    Fa     f_a     A
    Ya     zero_I     Ia
为了减少HMM集115中英语声学模型的体积,从而减少整个系统100所需要的复杂度和计算量,本发明的优选汉语/英语实施例使用了上下文无关的英语声学模型。同样,使用了40个单音素(monophone)作为基本英语建模单元。这种单音素的一个来源是卡内基-梅隆大学(CMU)发音词典。CMU发音词典包含大约127,000个英文单词和它们相应的语音发音。CMU发音词典还定义了英语中的39个单独的音素。作为选择的,也可以使用其它的词典。
现在将更详细地介绍ASR引擎130将有序的语音单元序列与特征向量进行匹配的工作方式。引擎130使用Viterbi型、波束搜索算法来对系统100接收到的口述话语的特征向量的序列进行分析。在语法网络135的引导下,引擎130的目的是找到其相应的状态序列(高斯混合)的高斯参数与输入的语音话语最匹配的有序的语音单元序列。Viterbi搜索是时间同步的搜索算法,它在处理时间t+1之前对时间t进行完全的处理。对于时间t来说,每一状态都用来自时间t-1的所有状态的最高分(而不是使用所有引入路径的和)来更新。在更新的时候,它还记录回溯指针以记住最可能的引入状态。在搜索结束的时候,沿着这些回溯指针就可以恢复最可能的状态序列。在有效修剪技术的帮助下,不需要去探索整个搜索空间或整个框架。取而代之的是,只需要对最有希望的搜索状态空间进行探索。然后,就为系统100产生了全面的HMM集,这个集合与在每次更新开放词典之后在线生成的动态语法的终端元件的声学模型相关联。可以在Jelinek Frederick所著的“Statistical Methods for Speech Recognition”(MIT出版社,1999,ISBN 0-262-10066-5)中找到有关上述算法的更详细的介绍。
为了进一步说明本发明,参看图4,这是总结了根据包括普通话/英语开放词典110的本发明的实施例的将存储文本转换成语音单元的示例性方法400的一般流程图。方法400起始于步骤405,在这里将表示多个由字符组成的姓名的文本存储在电子设备中。在步骤410确定特定的姓名中所包含的字符是在汉语字母表中还是在罗马字母表中。如果组成姓名的字符是中文字符,那么就在步骤415处将姓名的语言识别为普通话。然而如果字符是在罗马字母表中的,那么由于字符可以是汉语拼音,所以仍然没有确定姓名的语言。因此在步骤420处就通过使用基本上标识了所有用拼音表示的(不包括音调)汉语姓名的408个音节的拼音字典来确定字符是否是汉语拼音。如果确定字符是汉语拼音,那么方法400再次前进到步骤415,在这里将姓名的语言识别为普通话。否则,在步骤425处将姓名的语言识别为英语。
如果在步骤415处识别出的语言是普通话。那么方法就继续前进到步骤430,在这里就使用普通话字母-发音转换器315将姓名转换成有序的语音单元序列。然而如果在步骤425处识别出的语言是英语,那么方法就继续前进到步骤435,在这里使用英语字母-发音转换器330将姓名转换成有序的语音单元序列。然后将有序的语音单元序列存储在开放词典110中。
现在参看图5,这是图解说明根据本发明的实施例的将口述话语和存储在开放词典110中的姓名进行匹配的方法500的一般流程图。方法500起始于步骤505,在这里用电子设备的麦克风120接收口述话语,并且在这里设备完全包括用于对多语言的姓名进行语音识别的系统100。在步骤510处将话语转换成特征向量。然后在步骤515处将话语的特征向量与根据上述方法存储到开放词典110中的至少一个姓名的有序语音序列进行匹配。
参看图6,这是图解说明可以应用本发明的语音识别系统100的个人电子设备的一个例子的示意图。这个例子包含了以无线电话形式的个人电子设备600,其完全包括根据本发明的一个实施例的用于对多语言的姓名进行语音识别的系统100。该电话600包含了与处理器603耦合以进行通信的射频通信单元602。该无线电话600还包含与处理器603耦合以进行通信的键区606和显示屏605。如同本领域普通技术人员所了解的,显示屏505可以是触摸屏,这样键区606就是可选的了。
处理器603包含具有相关联的代码只读存储器(ROM)612的编码器/解码器611,代码只读存储器(ROM)612用于存储用于对由无线电话600发射和接收声音或其它信号进行编码和解码的数据。处理器603还包括通过通用数据和地址总线617与编码器/解码器611,字符只读存储器(ROM)614,随机存取存储器(RAM)604,静态可编程存储器616和SIM接口618耦合的微处理器613。与SIM接口618以可操作的方式耦合的静态可编程存储器616和SIM(通常被称为SIM卡)每一都可以将所选的引入文本消息和电话号码数据库(TND)(或地址/电话簿)与其它内容一起存储于其中,电话号码数据库包含用于存储电话号码的号码字段和用于在姓名字段中和一个号码相关联的标识符的姓名字段。例如,电话号码数据库TND的一个条目可能是91999111111(在号码字段中的条目)和在姓名字段中与之相关联的标识符“Steven C!at work”。SIM卡和静态存储器616卡中还可以存储用于允许接入到无线电话600上受密码保护的功能的密码。本发明中诸如字模-发音转换器105、开放词典110、混合语言HMM集115、特征提取器125、ASR引擎130、和动态语法网络135这样的组件都可以部分或全部地存储在一个或多个代码只读存储器(ROM)612、字符只读存储器(ROM)614、随机存储器(RAM)604、静态可编程存储器616、和SIM卡中。
微处理器613具有与键区606、显示屏605和通常包含报警扬声器、振动马达和相关的驱动器的报警装置615耦合的端口。同样,微处理器613还具有与麦克风120和通信扬声器640耦合的端口。字符只读存储器614存储用于对可以由通信单元602接收的文本消息进行编码和解码的代码。在这个实施例中字符只读存储器614还存储用于微处理器613的操作代码(OC)和执行与无线电话600相关联的功能的代码。
射频通信单元602是带有常规天线607的接收器和发射器的组合。通信单元602具有经射频放大器609与天线607耦合的收发器608。收发器608也与组合的调制器/解调器610耦合,并且组合的调制器/解调器610将通信单元602与处理器603耦合起来。
下面给出了用于英语和普通话的本发明的实施例的性能的例子。这里用由包含(包括诸如“cancel”和“castle”这样发音非常相近的容易混淆的单词的)50个词汇的口述话语的特征向量构成测试数据库。数据库包括来自大约200个讲话者的9494条普通话话语,和来自25个讲话者6872条英语话语。为了试图建立真实的环境,这些话语是在六个不同的移动环境中记录的,诸如办公室、汽车、大型购物中心和大街上。在表2中总结出了测试的结果。单语言的结果显示了使用专用单语言语音识别系统进行识别的准确率。混合语言结果包含了使用本发明的混合语言语音识别系统100进行识别的准确率。
表2-系统性能的例子
    准确率     单语言   混合语言   交叉错误
    普通话     98.55%     96.77%     1.78%
    英语     95.01%     94.04%     0.97%
因此本发明是能够识别多语言的口述姓名而不需要用户手工地将系统100在语言模式间进行切换的,改进的语音识别系统100。因此它在(例如)用户可能具有包含多语言姓名的电子地址簿的多语言环境中是非常有用的。由于用户不需要在语言模式间进行切换,所以系统100能够识别甚至是由第一语言的第一部分姓名和第二语言的第二部分姓名组成的复合姓名。同样,也可以通过使用包含上下文相关和上下文无关组件的组合声学模型,节约对系统100的存储器和处理的需求。因此可以在具有有限存储和处理资源的(诸如无线电话或PDA的)个人电子设备上操作系统100。
上面详细的描述只是提供了一个优选的示例性实施例,而不是意在限制本发明的范围、适用性、或配置。更确切地说,关于优选的示例性实施例的详细说明提供了可以让本领域普通技术人员实现本发明的优选的示例性实施例的说明。应当理解,在不背离在附加的权利要求书中提出的本发明的精神和范围的情况下可以对本发明的功能和元件布置和步骤进行各种修改。

Claims (18)

1.一种用于对多语言的姓名进行语音识别的方法,它包括如下步骤:
在电子设备中存储文本,所述文本表示由字符组成的多个姓名;
为每一所述姓名识别至少一种语言;
使用多个特定语言的字母-发音转换器将每一姓名转换成有序的语音单元序列;
用与所述电子设备相关联的麦克风接收口述话语;
将所述话语转换成特征向量;和
将所述特征向量与至少一个姓名的所述有序的语音单元序列进行匹配。
2.如权利要求1所述的方法,其中所述多语言包括普通话,并且为每一所述姓名识别至少一种语言的所述步骤包括:
确定所述姓名中所包含的字符是在汉语字母表中还是在罗马字母表中;和
确定在所述罗马字母表中的姓名是否是拼音。
3.如权利要求1所述的方法,其中所述多语言包括西方语言和汉语。
4.如权利要求3所述的方法,其中所述多个特定语言的字母-发音转换器包括中文字母-发音转换器和西方语言字母-发音转换器。
5.如权利要求4所述的方法,其中所述中文字母-发音转换器是上下文相关的并且所述西方语言字母-发音转换器是上下文无关的。
6.如权利要求1所述的方法,其中将所述特征向量与至少一个姓名的所述有序的语音单元序列进行匹配的所述步骤包括通过在自动语音识别引擎中比较所述特征向量、所述有序的语音单元序列、和高斯混合参数来解码所述特征向量。
7.如权利要求6所述的方法,其中所述自动语音识别引擎使用波束搜索、Viterbi算法。
8.如权利要求1所述的方法,其中所述姓名由存储在所述电子设备中的通讯录中的成分组成。
9.一种用于对多语言的姓名进行语音识别的方法,它包括如下步骤:
用与所述电子设备相关联的麦克风接收口述话语;
将所述话语转换成特征向量;和
将所述特征向量与至少一个姓名的有序的语音单元序列进行匹配,所述姓名是存储在所述电子设备中的字符表示,其中从所述字符中识别出所述姓名的至少一种语言来,然后使用多个特定语言的字母-发音转换器将所述姓名转换成所述有序的语音单元序列。
10.一种用于对多语言的姓名进行语音识别的系统,它包括:
微处理器;
至少一个存储器,与所述微处理器以可操作的方式连接;和
麦克风,与所述微处理器以可操作的方式连接;
操作所述微处理器以执行存储在所述存储器中的代码来用所述麦克风接收口述话语、将所述话语转换成特征向量;和将所述特征向量与至少一个姓名的有序的语音单元序列进行匹配,所述姓名是存储在所述存储器中的字符表示,其中从所述字符中识别出所述姓名的至少一种语言来,然后使用多个与所述微处理器以可操作的方式连接的特定语言的字母-发音转换器将所述姓名转换成所述有序的语音单元序列。
11.如权利要求10所述的系统,其中所述多语言包括普通话,并且通过确定所述姓名是由中文字符还是由所述罗马字母表组成,和确定在所述罗马字母表中的姓名是否是汉语拼音的来识别出所述至少一种语言。
12.如权利要求10所述的系统,其中所述多语言包括西方语言和汉语。
13.如权利要求11所述的系统,其中所述多个特定语言的字母-发音转换器包括中文字母-发音转换器和西方语言字母-发音转换器。
14.如权利要求13所述的系统,其中所述中文字母-发音转换器是上下文相关的并且所述西方语言字母-发音转换器是上下文无关的。
15.如权利要求10所述的系统,其中通过在与所述微处理器以可操作的方式连接的自动语音识别引擎中比较所述特征向量、所述有序的语音单元序列、和高斯混合参数来将所述特征向量与至少一个姓名的所述有序的语音单元序列进行匹配。
16.如权利要求15所述的系统,其中所述自动语音识别引擎使用波束搜索、Viterbi算法。
17.如权利要求10所述的系统,其中所述姓名由存储在所述系统中的通讯录中的成分组成。
18.如权利要求10所述的系统,其中所述系统与移动电话或个人数字助理以可操作的方式连接。
CN200410056515A 2004-08-06 2004-08-06 用于对多语言的姓名进行语音识别的方法和系统 Expired - Lifetime CN100592385C (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN200410056515A CN100592385C (zh) 2004-08-06 2004-08-06 用于对多语言的姓名进行语音识别的方法和系统
SG200504797A SG119358A1 (en) 2004-08-06 2005-08-01 Method and system for voice recognition of names in multiple languages
KR1020050071867A KR100769029B1 (ko) 2004-08-06 2005-08-05 다언어의 이름들의 음성 인식을 위한 방법 및 시스템
JP2005228583A JP4468264B2 (ja) 2004-08-06 2005-08-05 多言語による名称の音声認識のための方法とシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200410056515A CN100592385C (zh) 2004-08-06 2004-08-06 用于对多语言的姓名进行语音识别的方法和系统

Publications (2)

Publication Number Publication Date
CN1731511A true CN1731511A (zh) 2006-02-08
CN100592385C CN100592385C (zh) 2010-02-24

Family

ID=35963852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200410056515A Expired - Lifetime CN100592385C (zh) 2004-08-06 2004-08-06 用于对多语言的姓名进行语音识别的方法和系统

Country Status (4)

Country Link
JP (1) JP4468264B2 (zh)
KR (1) KR100769029B1 (zh)
CN (1) CN100592385C (zh)
SG (1) SG119358A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853779A (zh) * 2012-12-04 2014-06-11 联想(北京)有限公司 一种信息处理方法及电子设备
CN103928024A (zh) * 2013-01-14 2014-07-16 联想(北京)有限公司 一种语音查询方法及电子设备
CN105095509A (zh) * 2015-09-06 2015-11-25 百度在线网络技术(北京)有限公司 语音搜索方法及装置
CN106856091A (zh) * 2016-12-21 2017-06-16 北京智能管家科技有限公司 一种多语言文本的自动播报方法及系统
CN106935239A (zh) * 2015-12-29 2017-07-07 阿里巴巴集团控股有限公司 一种发音词典的构建方法及装置
CN107680581A (zh) * 2012-03-02 2018-02-09 苹果公司 用于名称发音的系统和方法
CN109192202A (zh) * 2018-09-21 2019-01-11 平安科技(深圳)有限公司 语音安全识别方法、装置、计算机设备及存储介质
CN110199349A (zh) * 2017-01-23 2019-09-03 奥迪股份公司 用于运行具有操作设备的机动车的方法
CN110808034A (zh) * 2019-10-31 2020-02-18 北京大米科技有限公司 语音转换方法、装置、存储介质及电子设备
CN112153206A (zh) * 2020-09-23 2020-12-29 北京百度网讯科技有限公司 一种联系人匹配方法、装置、电子设备及存储介质
CN112397051A (zh) * 2019-08-16 2021-02-23 武汉Tcl集团工业研究院有限公司 语音识别方法、装置及终端设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5343744B2 (ja) * 2009-07-24 2013-11-13 富士通株式会社 音声翻訳装置及び音声翻訳方法
JP2011033874A (ja) * 2009-08-03 2011-02-17 Alpine Electronics Inc 多言語音声認識装置及び多言語音声認識辞書作成方法
KR101250897B1 (ko) * 2009-08-14 2013-04-04 한국전자통신연구원 전자사전에서 음성인식을 이용한 단어 탐색 장치 및 그 방법
CN101826325B (zh) * 2010-03-10 2012-04-18 华为终端有限公司 对中英文语音信号进行识别的方法和装置
CN102780653B (zh) * 2012-08-09 2016-03-09 上海量明科技发展有限公司 即时通信中快捷通信的方法、客户端及系统
KR101579533B1 (ko) 2014-10-16 2015-12-22 현대자동차주식회사 차량 및 그 제어 방법
CN104900235B (zh) * 2015-05-25 2019-05-28 重庆大学 基于基音周期混合特征参数的声纹识别方法
KR101664080B1 (ko) * 2015-07-28 2016-10-10 현대자동차 주식회사 음성 다이얼링 시스템 및 방법
CN112652311B (zh) * 2020-12-01 2021-09-03 北京百度网讯科技有限公司 中英文混合语音识别方法、装置、电子设备和存储介质
CN112669841B (zh) * 2020-12-18 2024-07-02 平安科技(深圳)有限公司 多语种语音的生成模型的训练方法、装置及计算机设备
CN113536776B (zh) * 2021-06-22 2024-06-14 深圳价值在线信息科技股份有限公司 混淆语句的生成方法、终端设备及计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0136425B1 (ko) * 1995-01-26 1998-05-15 조백제 의존문법을 후향 언어모델로 사용하는 한국어 연속음성 인식장치 및 방법과 그를 이용한 자동통역시스템
MY119374A (en) * 1995-09-12 2005-05-31 Texas Instruments Inc Method and system for enrolling addresses in a speech recognition database
JP3447521B2 (ja) * 1997-08-25 2003-09-16 Necエレクトロニクス株式会社 音声認識ダイアル装置
US6314165B1 (en) * 1998-04-30 2001-11-06 Matsushita Electric Industrial Co., Ltd. Automated hotel attendant using speech recognition
JP2000047684A (ja) * 1998-07-28 2000-02-18 Nec Corp 音声認識方法および音声サービス装置
JP4053151B2 (ja) * 1998-09-01 2008-02-27 富士通株式会社 放流警報システム
US6502075B1 (en) * 1999-03-26 2002-12-31 Koninklijke Philips Electronics, N.V. Auto attendant having natural names database library
JP2000352990A (ja) * 1999-06-14 2000-12-19 Nippon Telegr & Teleph Corp <Ntt> 外国語音声合成装置
JP2001085233A (ja) * 1999-09-10 2001-03-30 Concorde Denshi Kogyo:Kk 半閉磁路インダクタおよびその製造法。
JP3539548B2 (ja) * 1999-09-20 2004-07-07 Jfeスチール株式会社 加工用高張力熱延鋼板の製造方法
KR100423460B1 (ko) * 2001-07-19 2004-03-18 한국전자통신연구원 주제어 인식이 가능한 음성인식시스템 및 방법
US7496498B2 (en) * 2003-03-24 2009-02-24 Microsoft Corporation Front-end architecture for a multi-lingual text-to-speech system
US7684988B2 (en) * 2004-10-15 2010-03-23 Microsoft Corporation Testing and tuning of automatic speech recognition systems using synthetic inputs generated from its acoustic models

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
CN107680581A (zh) * 2012-03-02 2018-02-09 苹果公司 用于名称发音的系统和方法
CN103853779A (zh) * 2012-12-04 2014-06-11 联想(北京)有限公司 一种信息处理方法及电子设备
CN103928024A (zh) * 2013-01-14 2014-07-16 联想(北京)有限公司 一种语音查询方法及电子设备
CN105095509B (zh) * 2015-09-06 2019-01-25 百度在线网络技术(北京)有限公司 语音搜索方法及装置
CN105095509A (zh) * 2015-09-06 2015-11-25 百度在线网络技术(北京)有限公司 语音搜索方法及装置
CN106935239A (zh) * 2015-12-29 2017-07-07 阿里巴巴集团控股有限公司 一种发音词典的构建方法及装置
CN106856091A (zh) * 2016-12-21 2017-06-16 北京智能管家科技有限公司 一种多语言文本的自动播报方法及系统
CN110199349A (zh) * 2017-01-23 2019-09-03 奥迪股份公司 用于运行具有操作设备的机动车的方法
CN110199349B (zh) * 2017-01-23 2023-03-21 奥迪股份公司 用于运行具有操作设备的机动车的方法
CN109192202A (zh) * 2018-09-21 2019-01-11 平安科技(深圳)有限公司 语音安全识别方法、装置、计算机设备及存储介质
CN112397051A (zh) * 2019-08-16 2021-02-23 武汉Tcl集团工业研究院有限公司 语音识别方法、装置及终端设备
CN112397051B (zh) * 2019-08-16 2024-02-02 武汉Tcl集团工业研究院有限公司 语音识别方法、装置及终端设备
CN110808034A (zh) * 2019-10-31 2020-02-18 北京大米科技有限公司 语音转换方法、装置、存储介质及电子设备
CN112153206A (zh) * 2020-09-23 2020-12-29 北京百度网讯科技有限公司 一种联系人匹配方法、装置、电子设备及存储介质
CN112153206B (zh) * 2020-09-23 2022-08-09 阿波罗智联(北京)科技有限公司 一种联系人匹配方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN100592385C (zh) 2010-02-24
KR100769029B1 (ko) 2007-10-22
JP2006048058A (ja) 2006-02-16
JP4468264B2 (ja) 2010-05-26
KR20060050277A (ko) 2006-05-19
SG119358A1 (en) 2006-02-28

Similar Documents

Publication Publication Date Title
KR100769029B1 (ko) 다언어의 이름들의 음성 인식을 위한 방법 및 시스템
US8364487B2 (en) Speech recognition system with display information
US8290775B2 (en) Pronunciation correction of text-to-speech systems between different spoken languages
US8229747B2 (en) System and method for spelling recognition using speech and non-speech input
EP1291848B1 (en) Multilingual pronunciations for speech recognition
US7818166B2 (en) Method and apparatus for intention based communications for mobile communication devices
US20030023426A1 (en) Japanese language entry mechanism for small keypads
US20020198715A1 (en) Artificial language generation
KR20060043845A (ko) 발음 그래프를 사용한 새 단어 발음 습득 개선 방법 및 시스템
CN101681365A (zh) 用于分布式语音搜索的方法和装置
KR20050071334A (ko) 텍스트 입력 방법
CN1742273A (zh) 多模态语音-语音语言翻译和显示
JP2007538278A (ja) 音声認識システム
CN112580335B (zh) 多音字消歧方法及装置
CN1758211A (zh) 把输入提供给计算设备的有效多方式的方法
CN1359514A (zh) 多模式数据输入设备
CN112489634A (zh) 语言的声学模型训练方法、装置、电子设备及计算机介质
EP3185132A1 (en) Method for writing a foreign language in a pseudo language phonetically resembling native language of the speaker
Mittal et al. Speaker-independent automatic speech recognition system for mobile phone applications in Punjabi
JP2002268680A (ja) 悪環境下でのキーパッド/音声を用いたハイブリッドな東洋文字認識技術
KR20110017600A (ko) 전자사전에서 음성인식을 이용한 단어 탐색 장치 및 그 방법
KR100910302B1 (ko) 멀티모달 기반의 정보 검색 장치 및 방법
CN111489742A (zh) 声学模型训练方法、语音识别方法、装置及电子设备
EP1187431A1 (en) Portable terminal with voice dialing minimizing memory usage
CN1979636A (zh) 一种音标到语音的转换方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MOTOROLA MOBILE CO., LTD

Free format text: FORMER OWNER: MOTOROLA INC.

Effective date: 20110120

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20110120

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY, Inc.

Address before: Illinois, USA

Patentee before: Motorola, Inc.

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY, Inc.

TR01 Transfer of patent right

Effective date of registration: 20160311

Address after: California, USA

Patentee after: Google Technology Holdings LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY LLC

CX01 Expiry of patent term

Granted publication date: 20100224