CN100565671C - 声道谐振跟踪方法 - Google Patents

声道谐振跟踪方法 Download PDF

Info

Publication number
CN100565671C
CN100565671C CNB2004100685999A CN200410068599A CN100565671C CN 100565671 C CN100565671 C CN 100565671C CN B2004100685999 A CNB2004100685999 A CN B2004100685999A CN 200410068599 A CN200410068599 A CN 200410068599A CN 100565671 C CN100565671 C CN 100565671C
Authority
CN
China
Prior art keywords
sound channel
resonant frequency
group
channel resonant
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100685999A
Other languages
English (en)
Other versions
CN1601605A (zh
Inventor
邓立
I·巴齐
A·阿塞罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1601605A publication Critical patent/CN1601605A/zh
Application granted granted Critical
Publication of CN100565671C publication Critical patent/CN100565671C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Particle Accelerators (AREA)
  • Inorganic Insulating Materials (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Complex Calculations (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)
  • Control Of Motors That Do Not Use Commutators (AREA)
  • Measurement Of Resistance Or Impedance (AREA)
  • Compositions Of Oxide Ceramics (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种方法和装置通过对每一个别的声道共振频率/带宽计算单独的函数,并将结果相加形成一模拟特征矢量的元素,将一组声道共振频率连同其对应的带宽一起映射到LPC倒频谱形式的模拟声学特征矢量。模拟特征矢量连同输入特征矢量一起应用到一模型,来确定该组声道共振频率出现在语音信号中的概率。在一个实施例中,该模型包括一目标导向转移模型,它基于过去的声道共振频率以及该声道共振频率的目标提供了声道共振频率的概率。在另一实施例中,由HMM系统提供音素分段,并用于精确地确定在每一帧使用哪一目标值。

Description

声道谐振跟踪方法
技术领域
本发明涉及语音识别系统,尤其涉及利用语音中的声道谐振的语音识别系统。
背景技术
在人类的语音中,大量信息包含在语音信号的前三个或四个共振频率中。特别地,当说话者发出元音时,这些共振的频率(并且至一较低的程度,带宽)指示正在说出哪一元音。
这类共振频率和带宽通常被共同称为共振峰。在通常有声的响音语音中,可发现共振峰为语音信号的频率表示中的频谱突起。然而,在非响音语音中,无法直接发现共振峰为频谱突起。鉴于此原因,术语“共振峰”有时候被解释为仅应用到语音的响音部分。为避免混淆,一些研究人员使用词组“声道共振”来指在响音和非响音语音中出现的共振峰。在两种情况下,共振仅涉及声道的口头通道部分。
为检测共振峰,现有技术的系统分析语音信号的一帧的频谱内容。由于共振峰可以是任一频率,现有技术试图在标识最可能的共振峰值之前限制搜索空间。在现有技术的一些系统中,通过标识该帧的频谱内容中的峰值来减小可能共振峰的搜索空间。通常,通过使用试图找出表示语音信号的帧的频谱内容的多项式线性预测编码(LPC)来完成这一过程。该多项式的每一个根表示该信号中的一个可能的共振频率,并由此表示可能的共振峰。因此,使用LPC,将搜索空间减小到形成LPC多项式的根的那些频率。
在现有技术的其它共振峰跟踪系统中,通过将该帧的频谱内容与其中由专家标识了共振峰的一组频谱模板进行比较,来减小搜索空间。然后选择最接近的“n”个模板,并用于对该帧计算共振峰。因此,这些系统将搜索空间减小到与最接近的模板关联的那些共振峰。
由本发明的发明人开发的现有技术的一个系统使用对输入信号的每一帧相同的一致搜索空间。搜索空间中的每一组共振峰被映射到一特征矢量。然后将每一特征矢量应用到一模型来确定哪一组共振峰是最可能的。
这一系统能较好地起作用,然而在计算上花费较大,因为它通常使用梅尔频率倒频谱系数(Mel-Frequency Cepstral Coefficient)频率矢量,需要将一组频率应用到一基于映射的共振峰组中的所有共振峰的复杂滤波器,并随后应用一加窗步骤和一离散余弦变换步骤以将共振峰映射到特征矢量。这一计算太耗时,以至于无法在运行时刻执行,并且因此在运行时刻之前必须映射所有的共振峰组,并且映射的特征矢量必须储存在一个较大的表格中。这决不理想,因为它需要大量的存储器来储存所有映射的特征矢量。
另外,MFCC系统提供的映射很难逆转的,因为在执行加窗函数之前共振峰被组合成乘积。
由此,需要一种共振峰跟踪系统,它不以使用不同的共振峰搜索空间来标识语音信号的不同帧中的共振峰的方式减少搜索空间,而同时限制了标识这些共振峰所需要的存储器量和计算资源。
另外,过去的共振峰跟踪器在确定随时间推移共振峰中的变化的似然性时不使用共振峰目标。相反,过去的系统使用了一般连续性约束。然而,这类系统在非响音语音区段中不能表现良好。
发明内容
一种方法和装置通过对每一单独的声道共振频率计单独的函数,并将结果相加形成一模拟特征矢量的元素,以将一组声道共振频率映射到模拟特征矢量。模拟特征矢量连同输入特征矢量一起应用到一模型,来确定该组声道共振频率在语音信号中出现的概率。在一个实施例中,该模型包括一目标导向转移模型,它基于一过去声道共振频率和声道共振频率的目标提供一声道共振频率的概率。
附图说明
图1所示是可在其中实践本发明的实施例的通用计算环境的框图。
图2所示是语音信号的幅度谱的曲线图。
图3所示是本发明的方法的流程图。
图4所示是用于在本发明的一个实施例中训练余量模型的训练系统的框图。
图5所示是本发明的一个实施例中共振峰跟踪系统的框图。
具体实施方式
图1示出了适合在其中实现本发明的计算系统环境100的一个示例。计算系统环境100仅为合适的计算环境的一个示例,并非建议对本发明的使用或功能的范围的局限。也不应将计算环境100解释为对示例性操作环境100中示出的任一组件或其组合具有依赖或需求。
本发明可以使用众多其它通用或专用计算系统环境或配置来操作。适合使用本发明的众所周知的计算系统、环境和/或配置包括但不限于:个人计算机、服务器计算机、手持式或膝上设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子设备、网络PC、小型机、大型机、电话系统、包括任一上述系统或设备的分布式计算环境等等。
本发明可在计算机可执行指令的一般上下文环境中描述,计算机可执行指令如程序模块,由计算机执行。一般而言,程序模块包括例程、程序、对象、组件、数据结构等等,执行特定的任务或实现特定的抽象数据类型。设计本发明在分布式计算环境中实践,其中,任务由通过通信网络连接远程处理设备来执行。在分布式计算环境中,程序模块可以位于本地和远程计算机存储媒质中,包括存储器存储设备。
参考图1,用于实现本发明的示例性系统包括以计算机110形式的通用计算装置。计算机110的组件可包括但不限于,处理单元120、系统存储器130以及将包括系统存储器的各类系统组件耦合至处理单元120的系统总线121。系统总线121可以是若干种总线结构类型的任一种,包括存储器总线或存储器控制器、外围总线以及使用各类总线结构的本地总线。作为示例而非局限,这类结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强ISA(EISA)总线、视频电子技术标准协会(VESA)本地总线以及外围部件互连(PCI)总线,也称为Mezzanine总线。
计算机110通常包括各种计算机可读媒质。计算机可读媒质可以是可由计算机110访问的任一可用媒质,包括易失和非易失媒质、可移动和不可移动媒质。作为示例而非局限,计算机可读媒质包括计算机存储媒质和通信媒质。计算机存储媒质包括以用于储存信息的任一方法或技术实现的易失和非易失,可移动和不可移动媒质,信息如计算机可读指令、数据结构、程序模块或其它数据。计算机存储媒质包括但不限于,RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储设备、或可以用来储存所期望的信息并可由计算机110访问的任一其它媒质。通信媒质通常在诸如载波或其它传输机制的已调制数据信号中包含计算机可读指令、数据结构、程序模块或其它数据,并包括任一信息传送媒质。术语“已调制数据信号”指以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非局限,通信媒质包括有线媒质,如有线网络或直接连线连接,以及无线媒质,如声学、RF、红外和其它无线媒质。上述任一的组合也应当包括在计算机可读媒质的范围之内。
系统存储器130包括以易失和/或非易失存储器形式的计算机存储媒质,如只读存储器(ROM)131和随机存取存储器(RAM)132。基本输入/输出系统133(BIOS)包括如在启动时帮助在计算机110内的元件之间传输信息的基本例程,通常储存在ROM 131中。RAM 132通常包含处理单元120立即可访问或者当前正在操作的数据和/或程序模块。作为示例而非局限,图1示出了操作系统134、应用程序135、其它程序模块136和程序数据137。
计算机110也可包括其它可移动/不可移动、易失/非易失计算机存储媒质。仅作示例,图1示出了对不可移动、非易失磁媒质进行读写的硬盘驱动器141、对可移动、非易失磁盘152进行读写的磁盘驱动器151以及对可移动、非易失光盘156,如CD ROM或其它光媒质进行读写的光盘驱动器155。可以在示例性操作环境中使用的其它可移动/不可移动、易失/非易失计算机存储媒质包括但不限于,磁带盒、闪存卡、数字多功能盘、数字视频带、固态RAM、固态ROM等等。硬盘驱动器141通常通过不可移动存储器接口,如接口140连接到系统总线121,磁盘驱动器151和光盘驱动器155通常通过可移动存储器接口,如接口150连接到系统总线121。
图1讨论并示出的驱动器及其关联的计算机存储媒质为计算机110提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如,在图1中,示出硬盘驱动器141储存操作系统144、应用程序145、其它程序模块146和程序数据147。注意,这些组件可以与操作系统134、应用程序135、其它程序模块136和程序数据137相同,也可以与它们不同。这里对操作系统144、应用程序145、其它程序模块146和程序数据147给予不同的标号来说明至少它们是不同的副本。
用户可以通过输入设备,如键盘162、麦克风163和定位设备161,如鼠标、轨迹球或触摸板向计算机110输入命令和信息。其它输入设备(未示出)可包括操纵杆、游戏垫、圆盘式卫星天线、扫描仪等等。这些和其它输入设备通常通过耦合至系统总线的用户输入接口160连接至处理单元120,但是也可以通过其它接口和总线结构连接,如并行端口、游戏端口或通用串行总线(USB)。监视器191或其它类型的显示设备也通过接口,如视频接口190连接至系统总线121。除监视器之外,计算机也包括其它外围输出设备,如扬声器197和打印机196,通过输出外围接口195连接。
计算机110在使用到一个或多个远程计算机,如远程计算机180的逻辑连接的网络化环境中操作。远程计算机180可以是个人计算机、手持式设备、服务器、路由器、网络PC、对等设备或其它公用网络节点,并通常包括许多或所有上述与计算机110相关的元件,图1描述的逻辑连接包括局域网(LAN)171和广域网(WAN)172,但也可包括其它网络。这类网络环境常见于办公室、企业范围计算机网络、内联网以及因特网。
当在LAN网络环境中使用时,计算机110通过网络接口或适配器170连接至LAN 171。当在WAN网络环境中使用时,计算机110通常包括调制解调器172或其它装置,用于通过WAN 173,如因特网建立通信。调制解调器172可以是内置或外置的,通过用户输入接口160或其它合适的机制连接至系统总线121。在网络化环境中,描述的与计算机110相关的程序模块或其部分可储存在远程存储器存储设备中。作为示例而非局限,图1示出了远程应用程序185驻留在远程计算机180上。可以理解,示出的网络连接是示例性的,也可以使用在计算机之间建立通信链路的其它装置。
图2是人类语音的一部分的频谱的曲线图。在图2中,沿水平轴200示出频率,并沿垂直轴202示出频率分量的幅度。图2的曲线图示出响音人类语音包含共振或共振峰,如第一共振峰204、第二共振峰206、第三共振峰208以及第四共振峰210。每一共振峰由其中心频率F及其带宽B描述。
本发明提供了一种识别语音信号,响音语音与非响音语音中的共振峰频率和带宽的方法。由此,本发明能够跟踪声道共振。图3提供了这些方法的一般流程图。
在图3的步骤300中,通过量化可能的声道共振(VTR)频率和带宽来形成一组量化值,然后对量化值的不同组合形成条目,来构造一声道共振(VTR)码本,储存在表中。由此,所得的码本包含作为VTR频率和带宽的矢量的条目。例如,如果码本包含用于四个VTR的条目,则码本中的第i个条目x[i]将是矢量[F1i,B1i,F2i,B2i,F3i,B3i,F4i,B4i],其中,F1i、F2i、F3i和F4i是第一、第二、第三和第四VTR的频率,B1i、B2i、B3i和B4i是第一、第二、第三和第四VTR的带宽。在下文的讨论中,到码本的索引i可交替地用于储存在该索引上的值x[i]。当在下文单独使用该索引时,表示储存在该索引上的值。
在一个实施例中,依照以下表1中的条目量化共振峰和带宽,其中,“最小值(Hz)”是以赫兹表示的频率或带宽的最小值,“最大值(Hz)”是以赫兹表示的最大值,“量化数”是量化状态的数量。对于频率和带宽,将最小和最大之间的范围除以量化状态的数量来提供每一量化状态之间的分隔。例如,对于表1中的带宽B1,范围260Hz均匀地除以5个量化状态,使得每一状态以65Hz从其它状态隔离。(即,40、105、170、235、300)。
  最小值(Hz)   最大值(Hz)   量化数
  F1   200   900   20
  F2   600   2800   20
  F3   1400   3800   20
  F4   1700   5000   40
  B1   40   300   5
  B2   60   300   5
  B3   60   500   5
  B4   100   700   10
表1
表1中的量化状态数可产生总共1亿多个不同的VTR组。然而,由于约束F1<F2<F3<F4,实际上在码本定义的VTR搜索空间中有少得多的VTR组。
在形成码本之后,在步骤302,使用码本中的条目来训练描述余量随机变量的参数。这一余量随机变量是一组观测训练特征矢量和一组模拟特征矢量之差。以公式表示:
vt=ot-C(xt[i])      公式1
其中,vt是余量,ot是t时刻的观测训练特征矢量,C(xt[i])是模拟特征矢量。
如图4所示,在需要时,通过向LPC倒频谱计算器402应用VTR码本400中的一组VRTxt[i],构造模拟特征矢量C(xt[i]),它执行以下计算:
C n ( x t [ i ] ) = Σ k = 1 K 2 n e - πn b k [ i ] f s cos ( 2 πn f k [ i ] f s ) 公式2
其中,Cn(xt[i])是n阶LPC倒频谱特征矢量中的第n个元素,K是VTR的数量,fk是第k个VTR频率,bk是第k个VTR带宽,fs是采样频率,在许多实施例中为8kHz。C0元素被设为等于logG,其中,G是增益。
为产生用于训练余量模型的观测的训练特征矢量ot,说话者412生成一由麦克风416检测的声学信号,它同时也检测附加噪声414。麦克风416将声学信号转化成向模-数(A/D)转化器418提供的模拟电信号。模拟信号由A/D转换器418以采样频率fs进行采样,并将所得的样值转换成数字值。在一个实施例中,A/D转换器418以8Khz、每样值16比特对模拟信号进行采样,由此创建每秒16千字节的语音数据。数字样值被提供到帧构造器420,将这些样值组合成帧。在一个实施例中,帧构造器420每10毫秒创建包含25毫秒数据的新帧。
数据帧被提供到LPC倒频谱特征提取器422,它使用快速傅立叶变换(FFT)424将信号转换到频域,然后使用LPC系数系统426识别表示语音信号的帧的谱内容的多项式。使用递归428将LPC系数转化成LPC倒频谱系数。递归的输出是表示训练语音信号的一组训练特征矢量430。
模拟特征矢量410和训练特征矢量430被提供到余量训练器432,它训练余量vt的参数。
在一个实施例中,vt是具有平均值h和精度D的单个高斯型,其中,h是对特征矢量的每一分量具有分别的平均值的矢量,D是对特征矢量的每一分量具有分别的值的对角精度矩阵。
在本发明的一个实施例中,使用期望值最大化(EM)算法来训练这些参数。在这一算法的E步骤中,确定后验概率 γ t ( i ) = p ( x t [ i ] | o 1 N ) . 在一个实施例中,使用后向-前向递归确定这一后验概率,定义为:
γ t ( i ) = α t ( i ) β t ( i ) Σ i α t ( i ) β t ( i ) 公式3
其中,αt(i)和βt(i)被递归地确定为:
α t ( i ) = Σ j α t - 1 ( j ) p ( x t [ i ] | x t - 1 [ j ] ) p ( o t | x t [ i ] = x [ i ] ) 公式4
β t ( i ) = Σ j α t + 1 ( j ) p ( x t [ i ] | x t + 1 [ j ] ) p ( o t | x t [ i ] = x [ i ] ) 公式5
在本发明的一个方面,使用动态模型中的基于目标的状态公式确定转移概率p(xt[i]|xt-1[j]和p(xt[i]|xt+1[j]),动态模型被参数化为:
xt(i)=rxt-1(j)+(1-r)Ts+wt    公式6
其中,xt[i]是帧t中VTR的值,xt-1[i]是前一帧t-1中VTR的值,r是速率,Ts是VTR的目标,在一个实施例中被约束到与帧t关联的语音单元,wt是帧t的噪声,在一个实施例中被假定为具有精度矩阵B的零均值高斯型。
使用这一动态模型,可以将转移概率描述为高斯函数:
p(xt[i]|xt-1[j])=N(xt[i];rxt-1(j)+(1-r)Ts,B)公式7
p(xt[i]|xt+1[j])=N(xt+1[i];rxt(j)+(1-r)Ts,B)公式8
其中,基于使用隐马尔可夫模型(HMM)分段系统执行的对语音单元的帧的分配来选择Ts。这一HMM系统在本领域中是众所周知的。
可选地,可通过令概率仅依赖于当前观测矢量而非矢量的序列来估算后验概率 γ t ( i ) = p ( x t [ i ] | o 1 N ) , 使得后验概率变为:
γt(i)≈p(xt[i]|ot)公式9
它可被计算为:
p ( x t [ i ] | o t ) = N ( o t ; C ( x t [ i ] ) + h ^ , D ^ ) Σ i - 1 I N ( o t ; C ( x t [ i ] ) + h ^ , D ^ ) 公式10
其中,
Figure C20041006859900113
是余量的平均值,
Figure C20041006859900114
是余量的精度,如从先前的EM算法的迭代确定,或如果是第一次迭代,被初始地设定。
在执行了E步骤来标识后验概率 γ t ( i ) = p ( x t [ i ] | o 1 N ) 之后,执行M步骤,使用以下公式来确定余量的平均值h和方差D-1(精度矩阵的逆)的每一对角元素d-1
h ^ = Σ t = 1 N Σ i - 1 I γ t ( i ) { o t - C ( x t [ i ] ) } N 公式11
d ^ - 1 = Σ t = 1 N Σ i - 1 I γ t ( i ) { o t - C ( x t [ i ] - h ^ ) } 2 N 公式12
其中,N是训练语音中的帧数,I是VTR的量化组合数,ot是t时刻的观测特征矢量,C(xt[i])是对VTRxt[i]的模拟特征矢量。
余量训练器432通过迭代E步骤和M步骤多次更新平均值和协方差,每次使用前一次迭代的平均值和方差。在平均值和方差达到稳定值之后,将它们储存为余量参数434。
一旦构造了余量参数434,它们可以在图3的步骤304用于识别输入语音信号中的VTR。在图5中示出了用于识别共振峰的系统的框图。
在图5中,由说话者生成语音信号512。由麦克风516、A/D转化器518、帧构造器520以及包括FFT 524、LPC系统526和递归528的特征提取器522将语音信号和附加噪声转化成特征矢量流530。注意,麦克风516、A/D转化器518、帧构造器520和特征提取器522以与图4的麦克风416、A/D转化器418、帧构造器420和特征提取器422类似的方式操作。
特征矢量流530连同余量参数434和模拟特征矢量410一起提供到共振峰跟踪器532。共振峰跟踪器532使用动态编程来识别最可能的一列共振峰534。具体地,它使用维特比(Viterbi)解码算法,其中,网格图表中的每一节点具有最优局部得分为:
δ t ( i ) = max x [ i ] 1 t - 1 Π τ = 1 t - 1 p ( o τ | x τ [ i ] ) p ( o t | x t [ i ] = x [ i ] )
× p ( x [ i ] 1 ) Π τ = 2 t - 1 p ( x τ [ i ] | x τ - 1 [ i ] ) p ( x τ [ i ] = x [ i ] | x t - 1 [ i ] ) 公式13
基于最优性原则,处理阶段t+1的最优局部似然性可以使用以下维特比递归来计算:
δ t + 1 ( i ) = max i ′ δ t ( i ′ ) p ( x t + 1 [ i ] = x [ i ] | x t [ i ] = x [ i ′ ] ) p ( o t + 1 | x t + 1 [ i ] = x [ i ] ) 公式14
在公式14中,使用上文的状态公式6来计算“转移”概率p(xt+1[i]=x[i]|xt[i]=x[i′]),得高斯分布:
p(xt+1[i]=x[i]|xt[i]=x[i′])=N(xt+1[i];rxt(i′)+(1-r)Ts,B)公式15
其中,rxt(i′)+(1-r)Ts是该分布的平均值,B是该分布的精度。TS的值基于初始HMM分段来选择,执行初始HMM分段以将帧与语音单元对齐。这类HMM分段系统在本领域中是众所周知的。
公式14的观测概率p(ot+1|xt+1[i]=x[i])作为高斯型来处理,并从观测公式1和余量参数h和D来计算,使得:
p(ot+1|xt+1[i]=x[i])=N(ot+1;C(xt+1[i]+h,D)公式16
公式14中最优量化索引i′的反向跟踪提供了估计的VTR序列。
为减少必须执行的计算的数量,可执行削减束搜索(pruning beam search)来代替严格的维特比搜索。在一个实施例中,使用削减的极端形式,其中,对每一帧仅标识一个索引。
通过在对共振峰确定转移概率时使用基于目标的连续性约束,本发明即使在非响音语音区段中也允许准确地跟踪共振峰。另外,通过使用LPC倒频谱特征矢量,本发明避免了储存大模拟特征矢量的需要。相反,可以在运行时刻使用上文的公式2容易地计算模拟特征矢量。
尽管参考具体的实施例描述了本发明,本领域的技术人员将认识到,可以在不脱离本发明的精神和范围的情况下在形式和细节上作出改变。

Claims (14)

1.一种跟踪语音信号中声道共振频率的方法,其特征在于,所述方法包括:
给定一组声道共振频率,确定一观测声学特征矢量的观测概率;
部分地基于对所述声道共振频率的目标导向约束,确定从第一组声道共振频率转移到第二组声道共振频率的转移概率;以及
使用所述观测概率和所述转移概率来选择对应于观测声学特征矢量的一组声道共振频率。
2.如权利要求1所述的方法,其特征在于,确定观测概率包括利用一组声道共振频率和一特征矢量之间的映射。
3.如权利要求2所述的方法,其特征在于,确定观测概率还包括使用一表示所述语音信号的帧的输入特征矢量和映射自一组声道共振频率的特征矢量之间的差的模型中的余量项。
4.如权利要求2所述的方法,其特征在于,使用映射包括单独为每一声道共振频率计算一个函数,并将每一函数的结果相加来形成一模拟特征矢量的元素。
5.如权利要求4所述的方法,其特征在于,使用映射还包括使用声道共振带宽和模拟特征矢量之间的映射。
6.如权利要求4所述的方法,其特征在于,形成模拟特征矢量的元素包括形成一线性预测编码倒频谱特征矢量的元素。
7.如权利要求1所述的方法,其特征在于,所述转移概率基于一高斯分布,它具有基于第二组声道共振频率的值和第一组声道共振频率的目标的平均值。
8.如权利要求7所述的方法,其特征在于,所述目标基于一与形成所述观测特征矢量的语音的帧关联的语音单元。
9.一种跟踪语音信号中声道共振频率的方法,包括:
接收表示一语音信号的帧的输入特征矢量;
通过为每一个声道共振频率计算单独的函数,并将每一函数的结果相加来形成一模拟特征矢量的元素,以将一组声道共振频率映射到所述模拟特征矢量;以及
向一模型应用所述输入特征矢量和所述模拟特征矢量,以确定该组声道共振频率出现在所述语音信号的所述帧中的概率。
10.如权利要求9所述的方法,其特征在于,映射一组声道共振频率包括将该组声道共振频率映射到线性预测编码倒频谱。
11.如权利要求9所述的方法,其特征在于,确定该组声道共振频率出现在所述帧中的概率还包括确定从前一帧中的一组声道共振频率转移到该组声道共振频率的概率。
12.如权利要求11所述的方法,其特征在于,确定从前一帧中的一组声道共振频率转移的概率包括使用一目标导向约束。
13.如权利要求9所述的方法,其特征在于,映射一组声道共振频率还包括映射与所述声道共振频率关联的带宽。
14.如权利要求13所述的方法,其特征在于,映射包括为每一个声道共振频率以及关联的带宽计算单独的函数,并将每一函数的结果相加来形成一模拟特征矢量的元素。
CNB2004100685999A 2003-08-29 2004-08-27 声道谐振跟踪方法 Expired - Fee Related CN100565671C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/652,976 US7643989B2 (en) 2003-08-29 2003-08-29 Method and apparatus for vocal tract resonance tracking using nonlinear predictor and target-guided temporal restraint
US10/652,976 2003-08-29

Publications (2)

Publication Number Publication Date
CN1601605A CN1601605A (zh) 2005-03-30
CN100565671C true CN100565671C (zh) 2009-12-02

Family

ID=34104764

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100685999A Expired - Fee Related CN100565671C (zh) 2003-08-29 2004-08-27 声道谐振跟踪方法

Country Status (8)

Country Link
US (1) US7643989B2 (zh)
EP (2) EP1693826B1 (zh)
JP (1) JP2005078077A (zh)
KR (1) KR20050021933A (zh)
CN (1) CN100565671C (zh)
AT (2) ATE371923T1 (zh)
DE (2) DE602004008666T2 (zh)
DK (1) DK1511007T3 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100634526B1 (ko) * 2004-11-24 2006-10-16 삼성전자주식회사 포만트 트래킹 장치 및 방법
US7475014B2 (en) * 2005-07-25 2009-01-06 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking signal sources with wrapped-phase hidden markov models
US7653535B2 (en) * 2005-12-15 2010-01-26 Microsoft Corporation Learning statistically characterized resonance targets in a hidden trajectory model
CN101303854B (zh) * 2007-05-10 2011-11-16 摩托罗拉移动公司 用于提供识别的语音输出的方法
TWI396184B (zh) * 2009-09-17 2013-05-11 Tze Fen Li 一種語音辨認所有語言及用語音輸入單字的方法
US9311929B2 (en) * 2009-12-01 2016-04-12 Eliza Corporation Digital processor based complex acoustic resonance digital speech analysis system
US8311812B2 (en) * 2009-12-01 2012-11-13 Eliza Corporation Fast and accurate extraction of formants for speech recognition using a plurality of complex filters in parallel
US8473431B1 (en) 2010-05-14 2013-06-25 Google Inc. Predictive analytic modeling platform
US8438122B1 (en) 2010-05-14 2013-05-07 Google Inc. Predictive analytic modeling platform
US20120116764A1 (en) * 2010-11-09 2012-05-10 Tze Fen Li Speech recognition method on sentences in all languages
US8533222B2 (en) * 2011-01-26 2013-09-10 Google Inc. Updateable predictive analytical modeling
US8595154B2 (en) 2011-01-26 2013-11-26 Google Inc. Dynamic predictive modeling platform
US8533224B2 (en) 2011-05-04 2013-09-10 Google Inc. Assessing accuracy of trained predictive models
US8626791B1 (en) * 2011-06-14 2014-01-07 Google Inc. Predictive model caching
US8489632B1 (en) * 2011-06-28 2013-07-16 Google Inc. Predictive model training management
US9520141B2 (en) * 2013-02-28 2016-12-13 Google Inc. Keyboard typing detection and suppression
CN106251704A (zh) * 2014-12-30 2016-12-21 江苏理工学院 船舶轨迹预测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064958A (en) * 1996-09-20 2000-05-16 Nippon Telegraph And Telephone Corporation Pattern recognition scheme using probabilistic models based on mixtures distribution of discrete distribution
US6502066B2 (en) * 1998-11-24 2002-12-31 Microsoft Corporation System for generating formant tracks by modifying formants synthesized from speech units

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2986792B2 (ja) * 1998-03-16 1999-12-06 株式会社エイ・ティ・アール音声翻訳通信研究所 話者正規化処理装置及び音声認識装置
US6980952B1 (en) * 1998-08-15 2005-12-27 Texas Instruments Incorporated Source normalization training for HMM modeling of speech
US6141644A (en) * 1998-09-04 2000-10-31 Matsushita Electric Industrial Co., Ltd. Speaker verification and speaker identification based on eigenvoices
US6493667B1 (en) * 1999-08-05 2002-12-10 International Business Machines Corporation Enhanced likelihood computation using regression in a speech recognition system
US6499012B1 (en) * 1999-12-23 2002-12-24 Nortel Networks Limited Method and apparatus for hierarchical training of speech models for use in speaker verification
JP3888543B2 (ja) * 2000-07-13 2007-03-07 旭化成株式会社 音声認識装置及び音声認識方法
US7181395B1 (en) * 2000-10-27 2007-02-20 International Business Machines Corporation Methods and apparatus for automatic generation of multiple pronunciations from acoustic data
JP2004309998A (ja) * 2003-02-18 2004-11-04 Nec Corp 確率分布推定装置および異常行動検出装置,ならびにその確率分布推定方法および異常行動検出方法
JP3987927B2 (ja) * 2003-03-20 2007-10-10 独立行政法人産業技術総合研究所 波形認識方法及び装置、並びにプログラム
US6931374B2 (en) * 2003-04-01 2005-08-16 Microsoft Corporation Method of speech recognition using variational inference with switching state space models
JP4400169B2 (ja) * 2003-10-10 2010-01-20 カシオ計算機株式会社 音声認識装置、音声認識方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064958A (en) * 1996-09-20 2000-05-16 Nippon Telegraph And Telephone Corporation Pattern recognition scheme using probabilistic models based on mixtures distribution of discrete distribution
US6502066B2 (en) * 1998-11-24 2002-12-31 Microsoft Corporation System for generating formant tracks by modifying formants synthesized from speech units

Also Published As

Publication number Publication date
CN1601605A (zh) 2005-03-30
JP2005078077A (ja) 2005-03-24
US20050049866A1 (en) 2005-03-03
EP1511007B1 (en) 2007-01-31
DE602004004572T2 (de) 2007-05-24
DE602004008666D1 (de) 2007-10-11
US7643989B2 (en) 2010-01-05
EP1511007A2 (en) 2005-03-02
KR20050021933A (ko) 2005-03-07
EP1511007A3 (en) 2005-04-27
EP1693826B1 (en) 2007-08-29
ATE353156T1 (de) 2007-02-15
ATE371923T1 (de) 2007-09-15
DK1511007T3 (da) 2007-06-04
DE602004004572D1 (de) 2007-03-22
DE602004008666T2 (de) 2007-12-27
EP1693826A1 (en) 2006-08-23

Similar Documents

Publication Publication Date Title
CN100565671C (zh) 声道谐振跟踪方法
Svendsen et al. On the automatic segmentation of speech signals
US7302393B2 (en) Sensor based approach recognizer selection, adaptation and combination
CN1591574B (zh) 用于减少在语音信号中的噪音的方法和系统
CN1584984B (zh) 使用瞬时信噪比作为最优估计的主量的降噪方法
CN100589180C (zh) 使用切换状态空间模型的多模变分推导的语音识别方法
US20060253285A1 (en) Method and apparatus using spectral addition for speaker recognition
JPH05216490A (ja) 音声コード化装置及び方法並びに音声認識装置及び方法
CN101023469A (zh) 数字滤波方法和装置
Dharanipragada et al. Robust feature extraction for continuous speech recognition using the MVDR spectrum estimation method
JP5007401B2 (ja) 発音評定装置、およびプログラム
KR20040088368A (ko) 스위칭 상태 공간 모델들을 갖는 변분 추론을 사용하는음성 인식 방법
Eringis et al. Improving speech recognition rate through analysis parameters
JP2004226982A (ja) 隠れ軌跡隠れマルコフモデルを使用した音声認識の方法
JP4829871B2 (ja) 学習データ選択装置、学習データ選択方法、プログラムおよび記録媒体、音響モデル作成装置、音響モデル作成方法、プログラムおよび記録媒体
US20030171931A1 (en) System for creating user-dependent recognition models and for making those models accessible by a user
JP4753412B2 (ja) 発音評定装置、およびプログラム
Martinčić-Ipšić et al. Croatian large vocabulary automatic speech recognition
Darch et al. MAP prediction of formant frequencies and voicing class from MFCC vectors in noise
JP2007249051A (ja) 音響モデル作成装置、音響モデル作成方法、そのプログラムおよびその記録媒体
CN1624765A (zh) 使用分段线性逼近的连续值声道共振跟踪方法和装置
Koniaris et al. Selecting static and dynamic features using an advanced auditory model for speech recognition
US20070219796A1 (en) Weighted likelihood ratio for pattern recognition
Gump Unsupervised methods for evaluating speech representations
Rajput et al. Speech in Mobile and Pervasive Environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150504

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150504

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091202

Termination date: 20200827