CN1655235A - 基于话音特征自动标识电话呼叫者 - Google Patents

基于话音特征自动标识电话呼叫者 Download PDF

Info

Publication number
CN1655235A
CN1655235A CNA2004100818774A CN200410081877A CN1655235A CN 1655235 A CN1655235 A CN 1655235A CN A2004100818774 A CNA2004100818774 A CN A2004100818774A CN 200410081877 A CN200410081877 A CN 200410081877A CN 1655235 A CN1655235 A CN 1655235A
Authority
CN
China
Prior art keywords
caller
model
acoustic model
identified
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100818774A
Other languages
English (en)
Other versions
CN1655235B (zh
Inventor
A·帕斯科维西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1655235A publication Critical patent/CN1655235A/zh
Application granted granted Critical
Publication of CN1655235B publication Critical patent/CN1655235B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/12—Score normalisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/16—Hidden Markov models [HMM]

Abstract

提供对从呼叫者到接收者的呼叫的呼叫者进行标识的一种方法和装置。从所述呼叫者接收话音输入，并将所述话音输入的特征应用到多个声学模型，以得到多个对应的声学得分，其中，所述多个声学模型包括一通用声学模型和任何先前被标识的呼叫者的声学模型。基于所述多个声学得分，所述呼叫者被标识为先前被标识的呼叫者之一或新的呼叫者。如果呼叫者被标识为新的呼叫者，就为所述新的呼叫者生成一新的声学模型，它对所述新的呼叫者是专用的。

Description

基于话音特征自动标识电话呼叫者
技术领域
本发明涉及基于话音特征对呼入电话呼叫的呼叫者进行自动标识的计算机实现的方法和装置，尤其涉及路由和筛选呼入电话呼叫的计算机化语音识别技术。
背景技术
在电话通信系统中，呼叫中心通常被用于基于呼叫者对自动提示的响应来路由和预筛选呼叫。这种提示—响应机制通常非常耗时，因为呼叫者在被路由到所期望的呼叫接收者或信息数据库前必须通过大量提示。另外，这种机制依赖呼叫者以正确地遵循提示命令。如果呼叫者不和提示命令合作，则呼叫就不能被准确地路由。类似地，呼叫筛选机制依赖于呼叫者真实地响应筛选命令的合作。这使呼叫者和接收者难以准确且有效地路由和筛选呼叫。
所以，已提出了语音识别系统以辅助呼叫路由过程。但是，这种语音识别系统也依赖于提示—响应机制，其中，呼叫者必须响应预定提示。例如，系统可能要求呼叫者陈述呼叫者的名字和/或陈述表示该呼叫的主题或所期望的接收者的身份的预定的单词或单词序列。再一次，这些系统只有在呼叫者真实地响应预定提示时才有效。另外，对不同呼叫者的话音输入特征的广泛范围，用来确定语音的内容的语音识别模型必须能够准确对这些内容进行分段。所以，这种系统可能还保持耗时或不准确，并可能被不合作的呼叫者毫不费力地绕过。
所以，需要基于话音特征对呼入电话呼叫进行自动预筛选和路由的改进的方法和装置。
发明内容
本发明的一个实施例针对一种对从呼叫者到接收者的呼叫的呼叫者进行标识的方法。从呼叫者接收话音输入，并将话音输入的特征应用到多个声学模型，以得到多个相应的声学得分。多个声学模型包括通用声学模型和任何先前被标识的呼叫者的声学模型。基于多个声学得分，呼叫者被标识为先前被标识的呼叫者之一或新的呼叫者。如果呼叫者被标识为新的呼叫者，就为该新的呼叫者生成一新的声学模型，它对该新的呼叫者是专用的。
本发明的另一个实施例针对一种对从呼叫者到接收者的呼叫的呼叫者进行标识的系统。该系统包括接收来自呼叫者的话音输入的接收器，和存储多个声学模型的声学模型库。多个声学模型包括通用声学模型和任何先前被标识的呼叫者的声学模型。该系统还包括用于把话音输入的特征应用到多个声学模型以产生多个对应的声学得分，并用于基于多个声学得分把呼叫者标识为先前被标识的呼叫者之一或新的呼叫者的模块。如果通用声学模型的声学得分好于多个先前被标识的呼叫者的声学模型的声学得分，则声学模型发生器就为新的呼叫者生成新的声学模型。
本发明的又一实施例针对一种包含计算机可执行的指令的计算机可读媒质，当由计算机执行指令时，执行标识呼叫的呼叫者的方法。该方法包括接收来自呼叫者的话音输入，和把话音输入的特征应用到多个声学模型，以得到多个对应的声学得分。多个声学模型包括通用声学模型和任何先前被标识的呼叫者的声学模型。基于多个声学得分，呼叫者被标识为先前被标识的呼叫者之一或新的呼叫者。如果呼叫者被标识为新的呼叫者，就为这个新的呼叫者生成新的声学模型，它对新的呼叫者是专用的。
本发明的再一实施例针对一种对呼叫者进行标识的方法，其中，从呼叫者接收话音输入。使用呼叫者不相关的通用声学模型，话音输入被分割成一已识别语音单元序列。话音输入的特征被应用到在多个声学模型中的已识别语音单元的语音单元模型序列，其中，多个声学模型包括通用声学模型和任何先前被标识的呼叫者的声学模型。基于话音输入的特征吻合多个声学模型的程度，呼叫者被标识为先前被标识的呼叫者之一或新的呼叫者。
附图说明
图1是按照本发明的一个实施例以常规个人计算机形式实现本发明的示例性系统的方框图。
图2是按照本发明的一个实施例标识呼叫者的模块的系统的更详细的方框图。
图3所示是作为时间的函数的从呼叫者接收的声学输入“波”的波形图。
图4所示是为图3所示的声学输入生成的一组特征矢量的图。
图5所示是一个语音单元的基本隐马尔可夫模型(HMM)的状态图。
图6所示是可以用在本发明的一个实施例中的简化语言模型的例子的图。
图7所示是按照本发明的一个实施例对到接收者的电话呼叫的呼叫者进行标识的计算机执行的过程的流程图。
图8所示是按照本发明的一个实施例在图7所示的过程中检测新的呼叫者或先前被标识的呼叫者的流程图。
图9所示是按照本发明的一个实施例训练呼叫者专用语言模型以按呼叫的内容检测呼叫者的流程图。
具体实施方式
图1和相关的论述是为了提供可以在其中实现本发明的合适的计算环境的简短概括的描述。虽然并非所需，本发明将至少部分地在例如由个人计算机或其它计算设备执行的程序模块等计算机可执行指令的通用环境中被描述。一般而言，程序模块包括完成特定任务或实现特定抽象数据类型的例行程序、对象、组件、数据结构等。另外，本领域的技术人员会理解，本发明可以在其它计算机系统配置中被实现，包括手持设备、多处理器系统、基于微处理器或可编程的消费电子设备、网络PC、小型机和大型计算机等等。本发明也可以在由通过通信网络连接的远程处理设备完成任务的分布式计算环境中被实现。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备两者中。
参考图1，实现本发明的示例性系统包括常规个人计算机20形式的通用计算设备，包括处理单元(CPU)21、系统存储器22和把包括系统存储器22在内的各种系统元件耦合到处理单元21的系统总线23。系统总线23可以是任何几种总线结构的一种，包括存储器总线或存储器控制器、外围总线和使用任何各种总线结构的局部总线。系统存储器22包括只读存储器(ROM)24和随机存取存储器(RAM)25。基本输入/输出(BIOS)26，包含例如在启动时帮助在个人计算机20中的元件之间传输信息的基本例程，被存储在ROM 24中。个人计算机20还包括用于对硬盘(未示出)进行读写的硬盘驱动器27、用于对可移动磁盘29进行读写的磁盘驱动器28、以及用于对诸如CD ROM或其它光媒质等可移动光盘31进行读写的光盘驱动器30。硬盘驱动器27、磁盘驱动器28和光盘驱动器30分别通过硬盘驱动器接口32、磁盘驱动器接口33和光盘驱动器接口34连接到系统总线23。驱动器和关联的计算机可读媒质为个人计算机20提供计算机可读指令、数据结构、程序模块和其它数据的非易失性存储。
虽然这里描述的示例性环境使用了硬盘、可移动磁盘29和可移动光盘31，本领域的技术人员应当理解，能够存储计算机能够存取的数据的其它类型的计算机可读媒质也可以被使用在示例性操作环境中，例如磁带盒、闪存卡、数字视频盘、柏努利盒式磁带、随机存取存储器(RAM)和只读存储器(ROM)等。
许多程序模块可以被存储在硬盘、磁盘29、光盘31、ROM 24或RAM 25中，包括操作系统35、一个或多个应用程序36、其它程序模块37和程序数据38。用户可以通过诸如键盘40、定位设备42和麦克风43等本地输入设备向个人计算机20输入命令和信息。其它输入设备包括操纵杆、游戏垫、圆盘式卫星天线和扫描仪等。这些和其它输入设备通常通过被耦合到系统总线23的串行端口接口46被连接到处理单元21，但也可以通过其它接口，例如声卡、并行端口、游戏端口或通用串行总线(USB)连接。监视器47或其它类型的显示设备通过诸如视频适配器48等接口被连接到系统总线23。除了显示器47之外，个人计算机通常可包括其它外围输出设备，例如扬声器45和打印机(未示出)。
个人计算机20可以在使用逻辑连接到例如远程计算机49等一个或多个远程计算机的联网环境中操作。远程计算机49可以是另一台个人计算机、手持设备、服务器、路由器、网络PC、对等设备或其它网络节点，并通常包括上面相对个人计算机20描述的许多或全部元件，虽然在图1中只示出存储器存储设备50。图1中描述的逻辑连接包括局域网(LAN)和广域网(WAN)。这些联网环境常见于办公室、企业范围计算机内联和因特网。
当在LAN联网环境中使用时，个人计算机20通过网络接口或适配器53被连接到局域网51。当在WAN联网环境中使用时，个人计算机20通常包括调制解调器54或其它装置，以通过广域网52，如因特网建立通信。调制解调器54可以内置或外置，通过串行端口接口46被连接到系统总线23。在网络环境中，相对个人计算机20描述的程序模块或其部分，可以被存储在远程存储器存储设备中。可以理解，所示网络连接是示例性的，也可使用在计算机之间建立通信链路的其它方式。例如，在网络的一个或多个部分之间可建立无线通信链路。
虽然图1示出示例性环境，但是本发明不限于数字计算环境。具体地说，本发明可以在模拟设备或混合信号(模拟和数字)设备上被操作。另外，例如，本发明可以在单个集成电路上实现。模块可以用硬件、软件、或硬件和软件的组合来实现。
如上所述，计算机20通常包括各种计算机可读媒质。计算机可读媒质可以是可以由计算机20存取的任何可用媒质，包括易失和非易失媒质、可移动和不可移动媒质。作为例子而非局限，计算机可读媒质可以包括计算机存储媒质和通信媒质。计算机存储媒质包括以任何方法或技术实现来存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的易失和非易失、可移动和不可移动媒质。计算机存储媒质包括但不限于RAM、ROM、EEPROM、闪存或其它存储技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储器、磁盒、磁带、磁盘存储器或其它磁存储设备、或其它任何可以用来存储所需信息并可以由计算机20存取的媒质。通信媒质通常在诸如载波或其它传输机制等已调制数据信号中包含计算机可读指令、数据结构、程序模块或其它数据，并包括任何信息传递媒质。术语“已调制数据信号”是指其一个或多个特征以在信号中编码信息的方式被设置或改变的信号。作为例子而非局限，通信媒质包括诸如有线网络或直接有线连接等有线媒质，和诸如声学、射频、红外或其它无线媒质等无线媒质。上面任何媒质的组合也应该被包括在计算机可读媒质的范围内。
图2提供了用于按照本发明的一个实施例标识呼叫者的可以在参考图1所描述的通用环境中实现的模块100的系统的更详细的方框图。系统100包括接收器102，用于接收从呼叫者到接收者的呼叫的输入语音信号。输入语音信号可以是模拟信号或数字信号的任何形式。输入语音信号可以通过任何通信方法经由任何传输媒质被传输到接收器102。“接收者”可以是例如个别人、一群人、呼叫路由位置或信息数据库。
接收器102可以包括任何合适的接收器，以接收正在传输的语音输入信号的类型。例如，随着启用电话的个人计算机(PC)和附加电话的袖珍PC的出现，接收器102可以包括用于耦合到LAN 51的网络适配器53，或用于耦合到调制解调器54和WAN 52的串行端口接口46。
如果输入语音信号是模拟信号，则系统100包括模—数转换器(A/D)104，以把信号转换为一系列数字数值。在一个实施例中，A/D转换器104以16kHz对模拟信号进行采样，从而产生每秒16千比特的语音数据。但是，也可以使用任何其它采样率。
表示输入语音信号样值的数字信号被提供被计算机20。计算机20包括特征提取模块106、语音识别器(例如解码器)107、训练器模块108、词典模块109、语言模型库110、声学模型库111、呼叫者标识模块112、呼叫路由器113和提示—响应模块114。计算机20的元件被耦合到例如输出设备115和I/O设备116。
应该注意到，整个系统100或系统100的一部分可以在图1所示的环境中实现。特征提取模块106和训练器模块108可以是计算机20中的硬件模块或存储在图1所示的任何信息存储设备中并可以由CPU21或另一合适的处理器存取的软件模块。另外，词典存储模块109、声学模型111和语言模型110也可以较佳地存储在图1所示的任何合适的存储设备中。另外，搜索引擎107可以在CPU 21中实现，CPU 21可以包括一个或多个处理器，或可以由个人计算机20使用的专用语音识别处理器实现。另外，输出设备112和I/O设备113可以包括图1所示的任何I/O设备，例如键盘40、定位设备43、监视器47、打印机或图1所示的任何存储设备。
由接收器102接收或由A/D转换器104生成的数字信号被提供给特征提取模块106。在一个实施例中，特征提取模块106包括常规阵列处理器，它对数字信号进行频谱分析并为频谱的每一频段计算幅度值。
特征提取模块106把数字信号分割成帧，每帧包括多个数字样点。在一个实施例中，每帧持续时间约是10毫秒。然后，帧被编码成反映多个频段的频谱特征的特征矢量。在离散和半连续隐马尔可夫建模的情况下，特征提取模块106也使用矢量量化技术和源自训练数据的码本把特征矢量编码成一个或多个码字。这样，特征提取模块106在其输出为每一发音提供特征矢量(或码字)。特征提取模块106较佳地以例如约每10毫秒一个特征矢量的速率提供特征矢量。
特征提取模块的例子包括用于执行线性预测编码(LPC)、LPC导出的倒谱、感知线性预测(PLP)、听觉模型特征提取、Mel-频率倒谱系数(MFCC)特征提取的模块。注意，本发明不限于这些特征提取模块，在本发明的上下文中其它模块也可以被使用。
由特征提取模块106产生的特征矢量流被提供给语音识别器107，语音识别器107基于特征矢量流、库111中的一个或多个声学模型、库110中的一个或多个语言模型和词典105来标识最可能的语音单元序列，例如单词或音素。呼叫者标识模块112通过把话音输入的特征矢量应用到由语音识别器107标识的存储在库111中的通用和呼叫者专用的语音单元模型，把呼叫者标识为新呼叫者或先前被标识的呼叫者。在一个实施例中，呼叫者标识模块112也使用存储在库110中的通用和呼叫者专用的语言模型以帮助标识。模块112输出呼叫者身份和/或最可能的发音单词序列的文本到呼叫路由器113，或把这些结果存储在例如图1所示的存储设备之一中。结果也可以通过I/O设备115被输出到用户或操作者。然后呼叫路由器113可以基于呼叫者身份和/或呼叫的内容筛选该呼叫或把该呼叫路由到一个或多个选中的目标。
声学模型是指示特征矢量序列由在假设语音单元序列中发现的特定声学单元序列产生的可能性的模型。在本发明的某些实施例中，每一语音单元可以包括任何常用的声学单元，例如音位、音素、双音素、音节或单词。在某些实施例中，每一语音单元是一组子单元的组合。
如上所述，声学模型库111包括每一先前被标识的呼叫者的至少一个声学模型，和代表各种说话人的语音特征的通用模型。每一声学模型包括所要检测的多个预定义语音单元的一组模型，例如隐马尔可夫模型(HMM)。例如，每一HMM可以模拟单个音素。在一个实施例中，语音识别器107把自特征提取模块106接收的特征矢量应用到通用声学模型，以确定表征特示矢量，从而表示接收自呼叫者的发音的最可能音素。
在被用来解码输入特征矢量序列之前，训练典型声学模型。例如，在图2中，这种训练可以由训练器108基于训练文本118、来自声学模型的以前的模型参数和来自特征提取器106的训练特征矢量来完成。在本发明的某些实施例中，通用声学模型使用代表一组通用发言人的通用训练文本来训练。然后这个通用声学模型可以用来形成呼叫者专用声学模型，其中，用为该呼叫者生成的每组特征矢量来更新HMM。在一个实施例中，基于单个发音，例如一个或多个音素的发音，可以为特定呼叫者生成唯的一声学模型。随着从该呼叫者接收到更多呼叫和发音，该呼叫者对应的声学模型继续被更新。
语音识别器引擎107也可以访问存储在库110中的一个或多个语言模型，以帮助标识由输入数据表示的最可能的单词或单词序列。库110可以存储一通用、呼叫者不相关的语言模型，和/或多个呼叫者专用的语言模型。在一个实施例中，每一语言模型包括与上下文无关的语法(CFG)或统计n字母组(n-gram)模型，例如三字母组。三字母组模型基于序列的三单词片段的组合概论来确定单词序列的概率。这种语言模型可以被修改为向每一先前被标识的呼叫者提供唯一模型，如下文详细论述的。呼叫者专用语言模型可以被用来帮助计算机20标识由特定呼叫者经常使用的单词或主题。
通用语言模型可以包括六万单词的三字母组语言模型，例如，源自北美商务新闻，并在题为“CSR-III文本语言模型(CSR-III Text Language Model)”，宾夕法尼亚大学，1994，的出版物中详细陈述。
图3-5说明一组特征矢量的形成，以及隐马尔可夫模型的细节，它们可以按照本发明的一个实施例被使用。图3所示是从呼叫者接收的作为时间的函数的声学输入“波”的波形图。如上所述，声学输入被划分成多个帧，其每一个长例如10毫秒。特征提取模块106为每一10毫秒帧生成一组特征矢量O[k]，k＝1，2，...，如图4所示。特征矢量O[k]通常是声学输入“波”的快速傅里叶变换(FFT)的某种变换，以10毫秒的时隙被加窗。FFT系数反映语音特征，例如说话人的基音或声腔。然后，这些特征矢量可以被应用到对应声学模型的隐马尔可夫模型。
图5所示是一个语音单元(例如音素、音位或三字母组等)的基本隐马尔可夫模型(HMM)的状态图。基本HMM模型是语言不相关单元，它表示发音的声学特性。每一状态可以保持在当前状态，或转移到模型中的下一个状态。每一语音单元有三个状态，在图5中被标记为S1、S2和S3，表示语音单元的“开始”状态、“主要”状态和“结束”状态。每一状态可以只保持在当前状态，或沿图5的箭头转移到下一个状态。从一个状态向下一个状态的转移有P(S1|S2)的概率，P(S1|S2)表示在给定当前状态S1时从状态S1向状态S2转移的条件概率。每一状态还有概率分布B[i]，i＝1到3，表示任何特征矢量O[k]的“输出概率”(在0和1之间的数)，它反映观察到任何可能的特征矢量的可能性。例如，概率分布可以是高斯分布。
库111中的每一声学模型包括每一音素的这种隐马尔可夫模型的集合。例如，之前有音素“B”并之后有音素“H”的音素“AX”(符号B-AX+H，如“bah”中)和之前有音素“L”并之后有音素“H”的音素“AX”(符号L-AX+H，如“blah”的最后部分中)不同。
在使用现有声学模型进行语音识别时，系统的初始状态以概率1为S1，而概率P[i|j]和概率密度B[i]对HMM中的每一状态是已知的。在识别音素时，声学输入被转换成特征矢量o[k]的序列，语音识别器107(在图2中示出)确定给定当前HMM模型时的概率P[o[k]|模型]是多少。
换言之，语音识别器107确定由输入特征矢量序列表示的声音实际上有多大可能是由考虑中的当前HMM建模的音素。由具有最大概率的HMM建模的音素被标识为是所发出的音素。
在训练声学模型时，例如在训练通用模型或更新呼叫者专用的模型时，假设声学输入“波”以及随后的特征矢量o[k]序列是已知的。语音识别器107(或呼叫者标识模块112)生成得观察每一音素的O[k]输出序列的最大概率的模型(每一状态的P′[i|j]和B′[i])。例如，在一个实施例中，呼叫者标识模块112使用鲍姆—韦尔奇(Baum-Welch)HMM重估方法来更新或者调整通用声学模型，以反映特定说话人的特征。例如，特定说话人的声学模型最初可以包括通用声学模型的通用HMM模型，然后，在当前呼叫中发生的音素的HMM模型可以通过鲍姆—韦尔奇HMM重估方法来更新，以反映该呼叫者的语音特征。
图6所示是可以在本发明的一个实施例使用中的简化语言模型的例子的图。在构建三字母组语言模型时，第一步是收集代表语言的大量文本。第二步是构建每一单词W的频数P1[W]、每一双字母组(词对)的频数P2[W|W0]、每一三字母组的频数P3[W|W1，W2]。语音识别器也可以由具有对应语言中可能单词列表的词典(WD)进行限制。下一步，使用折扣策略(discounting strategy)来避免使用所有可能的双或三单词序列，因为它们的数量太大。词典中的所有单词都被分解成音素，以由类似于图5所示的音素HMM来表示其特征。
下一步，通过粘合音素HMM并调整初始概率，以按照该HMM模型的P[W|W1，W0]进入它们的每一起始状态(S1)，从而创建主HMM。在图6所示的简化例子中，只看到过两个单词“at”和“the”，每个词只看到过一次。这样，主HMM将会有独特的启始状态S0，它具有初始概率“1”，以及到“AX”音素HMM和到“TH”音素HMM的转移概率“0.5”。由于只有两个词，“AX”HMM有到“T”HMM的转移概率1.0，“TH”HMM有到“EH”HMM的转移概率1.0。“TH”HMM和“EH”HMM转移到结束状态S3。
在本发明的一个实施例中，通过调整通用语言模型来为每一唯一标识的呼叫者建立唯一语言模型。通过使用所识别的短语以及从该呼叫者的呼入中收集的“大量文本”来调整通用语言模型。这个过程并不发现新单词，而是发现新概率P[W|W1，W0]，因为任何特定呼叫者比其它呼叫者更有可能使用某些单词的组合。另外，在所有实施例中不需要在常规意义上收集“单词”。在一个实施例中，语言模型以与微软公司供应的有其口述语言模型的MS识别器相似的方式收集“单词”。在可选实施例中，语言模型可以仅收集“音素”作为“单词”的音素小组，这和有其发音语言模型的MS识别器相似。后面的实施例有即使呼叫者发出诸如名字等不知道的单词也能提供音素序列的有用概率的优点，但准确度较低。
图7所示是由计算机执行的过程200的流程图，过程200可以作为指令被存储在例如计算机可读媒质中并可以由计算机20执行(在图1中示出)。按照本发明的一个实施例，过程200通过为每一被标识的呼叫者生成唯一声学模型来标识到一个或多个接收者的电话呼叫的呼叫者。
在步骤201，来自呼叫者的呼入呼叫被接收。在步骤202，常规呼叫者身份(callerID)系统被用来捕捉呼入呼叫的电话号码。如果该电话号码和先前定义的可信电话号码相匹配，则在步骤203，系统输出指示检测到可信电话号码的信号。呼叫者身份系统可以被用来标识来自可信源的呼叫，并提供过程200的提早退出，使得从该源接收的呼叫不会被过程200延迟。在步骤203生成的信号可以任何合适的方式使用，例如用来将呼入呼叫路由到特定邮箱，或通过允许该呼叫被路由到接收者的启用电话的设备。
如果呼入呼叫不是可信的，或系统没有用步骤202来配置，则在步骤204，话音输入被应用到语音识别器模块107(在图2中示出)，以分割成已知音素序列。特征提取模块106(也在图2中示出)从话音输入生成对应的特征矢量，并把该特征矢量应用到通用、上下文无关语法(CFG)模块和呼叫者不相关通用声学模型(在图7中被标记为“I-AM”)。上下文无关语法模块可以包括例如自由形态的口述模型或发音随机语言模型。CFG允许任何发音的识别。CFG不必要生成发音的文本形式，只要它产生适度准确的音素分段。
呼叫者不相关、通用声学模型I-AM可以包括能够对任何呼叫者起作用的模型。这种通用声学模型有时被称为“性别无关”的声学模型，它对男、女或儿童呼叫者都起作用。
使用CFG和呼叫者不相关通用声学模型I-AM，语音识别器把语音输入分割成所识别的音素的序列。
例如，如果话音输入包括“I am calling…(我正在呼叫……)”，则语音识别器就生成发音的文本形式(“I am calling…”)加上音素分段(“IX<sil>AX M<sil>CAX L IX N G”)。
在步骤205，呼叫者标识模块112(图2)确定该呼叫者是新的呼叫者还是先前所标识的呼叫者。这个过程参考图8在下文详细描述。如果该呼叫者是新的呼叫者，则过程200转移到步骤206，在步骤206，呼叫者标识模块112把新的声学模型AM[i]添加到声学模型库(图2)，并对模型数量变量NUMMODELS(即先前所标识的呼叫者的数量)递增一。呼叫者标识模块112通过制作通用声学模型AM[0]的副本然后如上所述地更新由呼入呼叫中的呼叫者发音的任何音素的HMM，的生成新的声学模型AM[i]。
在步骤207，呼叫者标识模块112输出指示“新的呼叫者”的信号，该信号可以被呼叫路由模块113(也在图2示出)或另一呼叫管理系统使用以按照要求指引该呼叫。呼叫者标识模块112也可以存储表示语音输入的声音文件和对应的文本(如果在步骤204得到识别)。
在一个实施例中，在步骤208，呼叫者标识模块112要求通过I/O设备115(图2)的呼叫者/文本识别的手动检查。用户或系统操作者可以审阅该呼叫的文本、听该呼叫的声音和/或察看呼叫者标识，并通过I/O设备115做出任何纠正。例如，用户可以审阅和丢弃呼叫，或者接受或否定标识模块所做的分类。在步骤207之后，过程200返回到步骤201，以接收另一个呼入呼叫。
如果在步骤205，呼叫者标识模块112标识该呼叫者不是新的呼叫者，则过程200转移到步骤210，以标识哪一个先前所标识的呼叫者再次呼叫。呼叫者标识模块112确定和该呼入呼叫的发音中的语音特征最接近匹配的呼叫者专用声学模型。在一个实施例中，呼叫者标识模块112把话音特征(例如特征矢量)应用到每个呼叫者专用声学模型中的对应的HMM，并标识有最佳声学分数的声学模型AM[j]，j＝0到NUMMODELS，如图8中详细描述的那样。在步骤211，呼叫者标识模块112输出指示“检测到呼叫者j”的信号，其中“j”对应步骤210中有最佳声学分数的声学模型。
图8所示是按照本发明的一个实施例在图7的步骤205中新的呼叫者或先前标识的呼叫者的检测的流程图。该过程在300进入步骤205。在步骤301，呼叫者标识模块112确定先前标识的呼叫者的声学模型数量NUMMODELS是否大于0。如果不是，则当前呼入呼叫的呼叫者就是新的呼叫者，而过程205就在步骤302退出。如果先前标识的呼叫者的数量NUMMODELS大于0，当前呼叫者就可能是新的呼叫者或先前标识的呼叫者之一。然后过程转移到步骤303。
在步骤303，呼叫者标识模块112为声学模型库111中的每个声学模型AM[j](j＝0到NumModels)下的当前发音计算声学或“alpha”分数A[j]，其中模型AM[0]是呼叫者不相关的通用模型I-AM。alpha分数被称为“前向通过分数”，它是由在图7的步骤204中产生的分段上使用声学模型AM[j]时运行语音识别器解码器或搜索树所得的声学分数(通过呼叫者不相关模型AM[0])。
在步骤303，呼叫者标识模块112确定通用声学模型AM[0]的alpha分数是否有最大的(或者最好的)alpha分数。如果当前发音比任何呼叫者专用声学模型更匹配通用声学模型，则该呼叫者就被标识为新的呼叫者，过程在步骤305退出。如果通用声学模型的alpha分数A[0]不是最大的alpha分数，则该呼叫者就被标识为先前被标识的呼叫者之一，而呼叫者标识模块112转移到步骤306，以标识特定呼叫者。
假设变量“k”等于其alpha分数A[j]为最大的索引(k＝argmax(A[j]))，则呼叫者k被标识为该呼叫者，而呼叫者“k”的对应的呼叫者专用声学模型AM[k]被更新，以反映该新发音的语音特征。以这种方式，每次呼入呼叫都被先前所标识的呼叫者接收，该呼叫者的对应的声学模型基于该呼叫中包含的声学单元被进一步训练，以更好地表示该呼叫者的语音特征。在呼叫者专用声学模型被更新后，过程在步骤205退出。
在一个实施例中，呼叫者专用声学模型AM[k]可以用小至一个发音来创建或更新，这和常规语音识别或口述软件通常要求通过大量发音以及发音的反复来训练相反。单个发音训练可以用当前可用的语音识别软件，例如微软MS识别器，通过多次重复声音输入并把它重复应用到MS识别器，或通过重新配置MS识别器以用信号发音训练来完成。其它类型的语音识别器或解码器也可以被使用在替代性实施例中。
在一个替换实施例中，步骤304可以通过把当前话音输入分割成若干子段，例如两个子段，并用每一声学模型为两个子段计算两个alpha分数A0[j]和A1[j]，来被进一步细化。步骤304只有在A0[j]和A1[j]对同一个索引k都有最大值(argmax(AM[k]))才会返回“否”(通用模型没有最高声学分数)。这个过程有益于对在话音输入中有一个以上说话人的呼叫进行滤波，并有益于进一步细化识别过程。
图9所示是训练呼叫者专用语言模型(“概率性CFG”)以按呼叫的内容(而不是按声学)来检测用户的过程400的流程图。过程400可以和图7所示的过程200一起被用来提高呼叫者标识的准确度，或作为标识呼叫者的替代方法。在步骤401，呼入呼叫被接收。在步骤402，过程400通过运行图7所示的声学呼叫者标识过程得到声学呼叫者标识。在步骤403，过程400把该呼叫(如被图2中的语音识别器107分割)的所标识的“文本”添加到对应的呼叫者专用语言模型的呼叫者文本库。步骤403对应参考图6所描述的“收集大量文本”的步骤。
在步骤404，过程400确定在特定呼叫者文本库中是否有足够的单词来训练语言模型LM(i)。如果没有，则过程400返回到步骤401，以接收更多的来自该呼叫者的呼入呼叫。如果有足够数量的单词，则过程400按照参考图6所述的过程来训练新的语言模型LM[i](用于呼叫者“i”)，并在步骤405把LM[i]添加到语言模型库110。然后，过程400把呼叫者专用语言模型的数量NUMLMMODELS加上一。
在步骤406，过程400输出指示“新语言模型”的信号，并可以在步骤407要求系统用户作呼叫和文本识别的手动审阅。用户可以通过I/O设备115(图2所示)审阅和修订数据。然后过程400返回到步骤401，以接收进一步的呼入呼叫。
过程400示出图7中所示的声学呼叫者标识过程可以如何被用于为每个唯一的用户构建对应的语言模型。为了使用语言模型来标识呼叫者，一旦训练好足够多的语言模型，呼叫者标识模块112就只要运行语音识别器模块107，而通用声学模型和每个呼叫者专用语言模型LM[i]被轮流激活。产生有最高概率的文本识别的语言模型对应于当前呼叫者。
使用呼叫者专用语言模型去标识呼叫者将标识当前呼叫的内容和呼叫者专用语言模型LM[i]之一的语义相似度。但是，情况可能是当前呼叫者是谈论和呼叫者“i”所谈论的同一主题的不同呼叫者(不是呼叫者“i”)。所以，呼叫者专用语言模型较佳地和特定呼叫者声学模型一起使用，以正确标识唯一的呼叫者。例如，在向标识系统报告结果时，可向图7所示的声学呼叫者标识过程给予比图9中被训练的语言模型呼叫者标识过程更大的权值。例如，如果两个标识方法产生不同的结果，则仅当语言模型检测结果比最高得分声学模型的呼叫者专用声学分数有更高的概率时，才会使用它。此外，呼叫中心的系统用户或操作者可以不考虑声学模型标识子系统或语言模型标识子系统所做出的任何分类。
图7-9所示的呼叫者标识过程可为被误认为“新呼叫者”的呼叫者创建多个声学和语言模型。例如，在来自同一呼叫者的两个或多个不同的呼叫的音素或主题不重叠时，就可能发生这一情况。由于声学和语言模型继续用来自先前被标识的呼叫者的每个相继的新呼叫来训练，因此对应同一呼叫者的模型将开始彼此重叠随后并然后可以被合并。呼叫者标识系统可以包括一合并模块，它周期性地审阅所有呼叫者专用模型以基于预定义的标准确定是否有任何模型应该被合并。例如，这些标准可以是给定特征矢量组的模型概率的相似度。
更具体地，音素HMM通常使用由均值矢量和方差矩阵确定的多维高斯分布(在特征矢量空间)为状态转移概率建模。合并模型可以简单地为每个用户的对应音素聚集所述均值矢量和/或方差矩阵，并查看它们是否足够相近以作合并(使用距离函数，如Bhattacharya距离，它最适合比较概率函数分离，不象常规的Euclidean距离)。
此外，呼叫者标识系统可以(在知道两个已被训练的AM彼此太相近后)存储“前任”AM(在图8中的步骤306用作输入到训练模块的那一个)以及被用来训练的“波”(当前用户输入)，而只在“手动审阅”(如图7的步骤208中)来自所述两个呼叫者的样点话音输入后应用训练。这防止由于已训练的呼叫者专用AM成为来自错误呼叫者的反馈话音输入而导致它们逐步退化。到底什么是“太相近”可以使用任何可用的用户标识任务的主体被实验性地量化(属于大量人的大量电话呼叫/“波”文件)。
上述呼叫者标识过程的一个优点是系统能够用少至来自呼叫者的单个发音来标识呼叫者。从那个发音创建新的呼叫者专用声学模型，以标识来自该呼叫者的更多呼叫。同样，即使呼叫者不配合用来路由呼入呼叫的任何提示—响应机制，系统也能够标识呼叫者。任何发音的声学特征，不管该发音是不是提示的正确应答，都为该呼叫者建模。另外，系统能够在不警告呼叫者有标识过程的情况下来标识呼叫者。例如系统可以被用来从来自已知呼叫者的期望呼叫中轻易虑去不想要的电话推销员的呼叫。
同样，大呼叫中心可以使用这个系统以更有效地把呼叫路由到正确的接收者或信息数据库。一些呼叫中心要求呼叫者在被路由到正确的目标前通过冗长的提示迷宫。本系统可以为先前标识的呼叫者提供基于该呼叫者的声波纹和接收人或先前呼叫的主题从提示—响应机制的快速退出。对这种呼叫者标识系统存在大量其它应用。
虽然本发明是参考优选实施例描述的，但是本领域的技术人员会认识到，可以作形式或细节上的变化而不脱离本发明的精神和范围。

Claims (38)

1.一种标识从呼叫者到接收者的呼叫的呼叫者的方法，其特征在于，所述方法包括：
(a)从所述呼叫者接收话音输入；
(b)把所述话音输入的特征应用到多个声学模型以获得多个对应的声学分数，所述多个声学模型包括一通用声学模型和任何先前标识的呼叫者的声学模型；
(c)基于所述多个声学分数，把所述呼叫者标识为所述先前标识的呼叫者之一或新的呼叫者；以及
(d)如果在步骤(c)中所述呼叫者被标识为新的呼叫者，则为所述新的呼叫者生成一新的声学模型，该模型对所述新的呼叫者是专用的。
2.如权利要求1所述的方法，其特征在于，所述(c)中的标识包括：
(c)(1)如果所述相应的声学模型的声学分数好于所述通用声学模型的声学分数，则把所述呼叫者标识为所述先前标识的呼叫者之一；
(c)(2)如果所述通用声学模型的声学分数好于所述多个先前标识的呼叫者的声学模型的声学分数，则把所述呼叫者标识为新的呼叫者。
3.如权利要求1所述的方法，其特征在于：
步骤(a)包括使用所述通用声学模型把所述话音输入分割成识别的语音单元序列；
所述多个声学模型的每一个包括在步骤(a)中分割的所述语音单元的模型；以及
步骤(b)包括把所述话音输入的特征应用到步骤(d)中所分割的所述语音单元的模型的序列。
4.如权利要求1所述的方法，其特征在于，所述多个声学模型的每一个包括语音单元的模型，并且其中，所述方法还包括：
(e)如果在步骤(c)所述呼叫者被标识为所述先前标识的呼叫者之一，则通过基于所述语音输入的特征修改被包括在所述语音输入中的语音单元的模型，来更新所述先前标识的呼叫者的对应的声学模型。
5.如权利要求4所述的方法，其特征在于，步骤(e)包括基于小至单个发音来修改被包括在所述话音输入中的语音单元的模型。
6.如权利要求1所述的方法，其特征在于，它还包括：
(e)和所述多个声学模型一道把所述新的声学模型存储在一声学模型库中，使得所述新的声学模型成为步骤(b)中的所述多个声学模型之一，而所述新的呼叫者作为先前标识的呼叫者被包括在内。
7.如权利要求1所述的方法，其特征在于，所述通用声学模型包括多个语音单元的呼叫者不相关模型，并且其中，步骤(d)包括：
(d)(1)从所述通用声学模型的呼叫者不相关模型生成所述新的声学模型，并修改被包括在所述语音输入中的语音单元的呼叫者不相关模型，以表示接收自所述新的呼叫者的话音输入的特征。
8.如权利要求1所述的方法，其特征在于，执行步骤(a)到(c)，而不使所述呼叫者在所述呼叫期间警觉到所述呼叫者正被标识。
9.如权利要求1所述的方法，其特征在于：
步骤(b)包括将所述语音输入分割成子段，并把所述每一子段的特征应用到所述多个声学模型，以得到表示所述每一分段中的特征与所述对应的声学模型的匹配程度的多个对应的声学分数；以及
步骤(c)包括，对每一子段，标识具有该子段的最好声学分数的声学模型，并仅当所有子段的最好声学分数对应于同一先前标识的呼叫者时，把所述呼叫者标识为所述先前标识的呼叫者之一。
10.如权利要求1所述的方法，其特征在于，它还包括：
(e)基于那些呼叫者的所述话音输入，为所述先前标识的呼叫者的每一个维护一呼叫者专用语言模型；
(f)把所述话音输入的特征应用到所述通用声学模型和所述呼叫者专用语言模型的每一个，以产生多个已被识别的语音单元序列；
(g)选择相对其它所述已被识别的语音单元序列有最高概率的已被识别的语音单元序列；以及
(h)至少部分地基于有所述最高概率的已被识别的语音单元序列来标识所述呼叫者。
11.如权利要求10所述的方法，其特征在于，它还包括：
(i)如果步骤(h)所标识的呼叫者和步骤(c)所标识的呼叫者不同，则生成对下列的至少一个的手动审阅的用户提示：所述话音输入、所述已被识别的语音单元序列、所述被标识的呼叫者、步骤(c)所标识的呼叫者的声学模型、以及步骤(h)所标识的呼叫者的呼叫者专用语言模型。
12.如权利要求1所述的方法，其特征在于，它还包括：
(e)使用所述先前标识的呼叫者的多个声学模型之间的一距离量度，以标记某些声学模型用于合并在一起。
13.如权利要求12所述的方法，其特征在于，步骤(e)包括标记所述某些声学模型用于手动检查。
14.一种标识从呼叫者到接收者的呼叫的所述呼叫者的系统，其特征在于，所述系统包括：
一接收器，用于从所述呼叫者接收话音输入；
一声学模型库，它包括多个声学模型，包括一通用声学模型和任何先前标识的呼叫者的声学模型在内；
用于把所述话音输入的特征应用到所述多个声学模型以产生多个相应的声学分数的装置；
用于基于所述多个声学分数把所述呼叫者标识为所述先前标识的呼叫者之一或新的呼叫者的装置；以及
一声学模型生成器装置，用于如果所述通用声学模型的声学分数好于所述多个先前标识的呼叫者的声学模型的声学分数，则为所述新的呼叫者生成新的声学模型。
15.如权利要求14所述的系统，其特征在于：
所述系统还包括一语音识别器，它使用所述通用声学模型把所述话音输入分割成所识别的语音单元的序列；
所述多个声学模型的每一个包括由所述语音识别器识别的语音单元的模型；以及
用于应用的所述装置包括用于把所述话音输入的特征应用到由所述语音识别器为所述多个声学模型分割的所述语音单元的模型的序列的装置。
16.如权利要求14所述的系统，其特征在于：
所述多个声学模型的每一个包括语音单元的模型；以及
所述系统还包括一声学模型更新模块，如果所述呼叫者被标识为所述先前标识的呼叫者之一，则所述声学模型更新模块通过基于所述语音输入的特征修改被包括在所述语音输入中的语音单元的模型，来更新所述先前标识的呼叫者的相应的声学模型。
17.如权利要求16所述的系统，其特征在于，所述声学模型更新模块能够基于来自所述呼叫者的小至单个发音来修改被包括在所述话音输入中的语音单元的模型。
18.如权利要求14所述的系统，其特征在于，所述声学模型生成器装置把所述新的声学模型存储在所述声学模型库中，使得所述新的声学模型成为所述多个声学模型之一，并且所述新的呼叫者作为先前标识的呼叫者被包括在内。
19.如权利要求18所述的系统，其特征在于：
所述通用声学模型包括多个语音单元的呼叫者不相关模型；以及
所述声学模型生成器从所述通用声学模型的呼叫者不相关模型生成所述新的声学模型，并修改被包括在所述语音输入中的语音单元的呼叫者不相关模型，以表示自所述新的呼叫者接收的话音输入的特征。
20.如权利要求14所述的系统，其特征在于，所述系统被配置成接收所述话音输入并标识所述呼叫者，而在所述呼叫期间不使所述呼叫者警觉到所述呼叫者正被标识。
21.如权利要求14所述的系统，其特征在于：
用于应用的所述装置包括用于将所述语音输入拆分成子段，并把每一子段的特征应用到所述多个声学模型，以得到表示所述每一分段中的特征与所述对应的声学模型的匹配程度的多个对应的声学分数的装置；以及
用于标识的所述装置包括，对每一子段，用于标识具有该子段的最好声学分数的声学模型的装置，和用于仅当所有子段的最好声学分数对应于同一先前标识的呼叫者时把所述呼叫者标识为所述先前标识的呼叫者之一的装置。
22.如权利要求14所述的系统，其特征在于，它还包括：
一语言模型库，用于基于来自那些呼叫者的所述话音输入为所述先前标识的呼叫者的每一个存储一呼叫者专用语言模型；
用于把所述话音输入的特征应用到所述通用声学模型和所述呼叫者专用语言模型的每一个以产生多个已被识别的语音单元序列的装置；以及
用于选择相对其它已被识别的语音单元序列有最高概率的已被识别的语音单元序列的装置，其中，用于标识的所述装置至少部分地基于有所述最高概率的已被识别的语音单元序列来标识所述呼叫者。
23.如权利要求22所述的系统，其特征在于，用于标识的所述装置包括用于生成对下列至少一个的手动审阅的用户提示的装置：(1)所述话音输入，有所述最高概率的已被识别的语音单元序列、(2)产生有所述最高概率的已被识别的语音单元序列的呼叫者专用语言模型、(3)有所述最好声学分数的声学模型，如果有所述最高概率的呼叫者专用语言模型和(3)中有所述最好声学分数的声学模型对应不同的呼叫者
24.如权利要求14所述的方法，其特征在于，它还包括：
基于所述多个声学模型之间的一距离量度标记某些声学模型用于合并在一起的装置。
25.如权利要求24所述的方法，其特征在于，用于标记的所述装置包括标记所述某些声学模型用于手动检查的装置。
26.一种包括计算机可执行指令的计算机可读媒质，其特征在于，当所述指令由计算机执行时，执行以下方法：
(a)接收来自呼叫者的呼叫的话音输入；
(b)把所述话音输入的所述特征应用到多个声学模型，所述多个声学模型包括一通用声学模型和任何先前标识的呼叫者的声学模型，以得到表示所述特征与所述对应的声学模型的匹配程度的多个对应的声学分数；
(c)基于所述多个声学分数，把所述呼叫者标识为所述先前标识的呼叫者之一或新的呼叫者；以及
如果在步骤(c)所述呼叫者被标识为新的呼叫者，则为所述新的呼叫者生成一新的声学模型，它对所述新的呼叫者是专用的。
27.如权利要求26所述的计算机可读媒质，其特征在于：
步骤(a)包括使用所述通用声学模型把所述话音输入分割成所识别的语音单元的序列；
所述多个声学模型的每一个包括在步骤(a)中分割的所述语音单元的模型；以及
步骤(b)包括把所述话音输入的特征应用到步骤(a)中为所述多个声学模型分割的所述语音单元的模型的序列。
28.如权利要求26所述的计算机可读媒质，其特征在于，所述多个声学模型的每一个包括语音单元的模型，并且其中，所述方法还包括：
(e)如果在步骤(c)所述呼叫者被标识为所述先前标识的呼叫者之一，则通过基于所述语音输入的特征修改被包括在所述语音输入中的语音单元的模型，来更新所述先前标识的呼叫者的相应的声学模型。
29.如权利要求26所述的计算机可读媒质，其特征在于，所述方法还包括：
(e)和所述多个声学模型一起把所述新的声学模型存储在一声学模型库中，使得所述新的声学模型成为步骤(b)中的所述多个声学模型之一，并且所述新的呼叫者作为先前标识的呼叫者被包括在内。
30.如权利要求29所述的计算机可读媒质，其特征在于，所述通用声学模型包括多个语音单元的呼叫者不相关模型，并且其中，步骤(d)包括：
(d)(1)从所述通用声学模型的呼叫者不相关模型生成所述新的声学模型，并把修改被包括在所述语音输入中的语音单元的呼叫者不相关模型，以表示自所述新的呼叫者接收的话音输入的特征。
31.如权利要求26所述的计算机可读媒质，其特征在于，所述方法还包括：
(e)为所述先前标识的呼叫者的每一个维护一呼叫者专用语言模型；以及
(f)至少部分地基于由自所述话音输入的呼叫者专用语言模型产生的已被标识的语音单元序列的概率来标识所述呼叫者。
32.如权利要求31所述的计算机可读媒质，其特征在于，所述方法还包括：
(g)如果步骤(f)所标识的呼叫者和步骤(c)所标识的呼叫者不同，则生成对下列至少一个的手动审阅的用户提示：所述话音输入、所述已被识别的语音单元序列、所述已被标识的呼叫者、步骤(c)所标识的呼叫者的声学模型、以及步骤(f)所标识的呼叫者的呼叫者专用语言模型。
33.如权利要求26所述的计算机可读媒质，其特征在于，所述方法还包括：
(e)使用所述先前标识的呼叫者的多个声学模型之间的一距离量度，以标记某些声学模型用于合并在一起。
34.如权利要求33所述的计算机可读媒质，其特征在于，步骤(e)包括标记所述某些声学模型用于手动检查。
35.一种对从呼叫者到接收者的呼叫的所述呼叫者进行标识的方法，其特征在于，所述方法包括：
(a)接收话音输入；
(b)使用一呼叫者不相关的、通用声学模型把所述话音输入分割成已识别的语音单元的序列；
(c)把所述话音输入的特征应用到多个声学模型中的已识别的语音单元的语音单元模型的序列，所述多个声学模型包括一通用声学模型和任何先前标识的呼叫者的声学模型；以及
(d)基于所述话音输入的特征与所述多个声学模型的吻合程度，把所述呼叫者标识为所述先前标识的呼叫者之一或新的呼叫者。
36.如权利要求35所述的方法，其特征在于，它还包括：
(e)如果在步骤(d)所述呼叫者被标识为新的呼叫者，则通过修改被包括在所述语音输入中的语音单元的语音单元模型以表示自所述新的呼叫者接收的话音输入的特征，从所述通用声学模型为所述新的呼叫者生成一新的声学模型；以及
(f)把所述新的声学模型存储在一声学模型库中，使得所述新的声学模型成为步骤(c)中的所述多个声学模型之一，并且所述新的呼叫者作为先前标识的呼叫者被包括在内。
37.如权利要求35所述的方法，其特征在于，它还包括：
(e)基于那些呼叫者的所述话音输入为所述先前标识的呼叫者的每一个维护一呼叫者专用语言模型；
(f)把所述话音输入的特征应用到所述通用声学模型和所述呼叫者专用语言模型的每一个，以产生多个已被识别的语音单元序列；
(g)选择相对其它已被识别的语音单元序列有最高概率的已被识别的语音单元序列；
(h)基于有所述最高概率的已被识别的语音单元序列来标识所述呼叫者；以及
(i)如果步骤(h)所标识的呼叫者和步骤(c)所标识的呼叫者不同，则生成对下列至少一个的手动审阅的用户提示：所述话音输入、所述已被识别的语音单元序列、所述被标识的呼叫者、步骤(d)所标识的呼叫者的声学模型、以及步骤(h)所标识的呼叫者的呼叫者专用语言模型。
38.如权利要求35所述的计算机可读媒质，其特征在于，所述方法还包括：
(e)使用所述先前标识的呼叫者的多个声学模型之间的一距离量度来标记某些声学模型用于合并在一起。
CN2004100818774A 2004-02-12 2004-12-31 基于话音特征自动标识电话呼叫者 Expired - Fee Related CN1655235B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/777,322 US7231019B2 (en) 2004-02-12 2004-02-12 Automatic identification of telephone callers based on voice characteristics
US10/777,322 2004-02-12

Publications (2)

Publication Number Publication Date
CN1655235A true CN1655235A (zh) 2005-08-17
CN1655235B CN1655235B (zh) 2012-01-25

Family

ID=34701375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004100818774A Expired - Fee Related CN1655235B (zh) 2004-02-12 2004-12-31 基于话音特征自动标识电话呼叫者

Country Status (11)

Country Link
US (1) US7231019B2 (zh)
EP (1) EP1564722B1 (zh)
JP (1) JP4221379B2 (zh)
KR (1) KR101120716B1 (zh)
CN (1) CN1655235B (zh)
CY (1) CY1113168T1 (zh)
DK (1) DK1564722T3 (zh)
ES (1) ES2391454T3 (zh)
PL (1) PL1564722T3 (zh)
PT (1) PT1564722E (zh)
SI (1) SI1564722T1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102522084A (zh) * 2011-12-22 2012-06-27 广东威创视讯科技股份有限公司 一种将语音数据转换为文本文件的方法和系统
CN102117614B (zh) * 2010-01-05 2013-01-02 索尼爱立信移动通讯有限公司 个性化文本语音合成和个性化语音特征提取
TWI403304B (zh) * 2010-08-27 2013-08-01 Ind Tech Res Inst 隨身語能偵知方法及其裝置
CN103578467A (zh) * 2013-10-18 2014-02-12 威盛电子股份有限公司 声学模型的建立方法、语音辨识方法及其电子装置
CN103856626A (zh) * 2012-11-29 2014-06-11 北京千橡网景科技发展有限公司 个性声音的定制方法和装置
CN104137178A (zh) * 2011-12-19 2014-11-05 斯班逊有限公司 声学处理单元接口
CN104221078A (zh) * 2012-04-09 2014-12-17 歌乐株式会社 声音识别服务器综合装置以及声音识别服务器综合方法
CN105096941A (zh) * 2015-09-02 2015-11-25 百度在线网络技术（北京）有限公司 语音识别方法以及装置
CN108962261A (zh) * 2018-08-08 2018-12-07 联想(北京)有限公司 信息处理方法、信息处理装置和蓝牙耳机
CN111480197A (zh) * 2017-12-15 2020-07-31 三菱电机株式会社 语音识别系统

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7869588B2 (en) * 2004-05-03 2011-01-11 Somatek System and method for providing particularized audible alerts
US8036893B2 (en) 2004-07-22 2011-10-11 Nuance Communications, Inc. Method and system for identifying and correcting accent-induced speech recognition difficulties
US7640159B2 (en) * 2004-07-22 2009-12-29 Nuance Communications, Inc. System and method of speech recognition for non-native speakers of a language
US8099279B2 (en) * 2005-02-09 2012-01-17 Microsoft Corporation Interactive clustering method for identifying problems in speech applications
US7643995B2 (en) * 2005-02-09 2010-01-05 Microsoft Corporation Method of automatically ranking speech dialog states and transitions to aid in performance analysis in speech applications
US7574358B2 (en) 2005-02-28 2009-08-11 International Business Machines Corporation Natural language system and method based on unisolated performance metric
US7453992B2 (en) * 2005-04-14 2008-11-18 International Business Machines Corporation System and method for management of call data using a vector based model and relational data structure
WO2006119122A2 (en) * 2005-05-02 2006-11-09 Graham Shapiro Statistical machine learning system and methods
US20090024183A1 (en) * 2005-08-03 2009-01-22 Fitchmun Mark I Somatic, auditory and cochlear communication system and method
US7908132B2 (en) * 2005-09-29 2011-03-15 Microsoft Corporation Writing assistance using machine translation techniques
WO2007057879A1 (en) * 2005-11-17 2007-05-24 Shaul Simhi Personalized voice activity detection
KR100717385B1 (ko) * 2006-02-09 2007-05-11 삼성전자주식회사 인식 후보의 사전적 거리를 이용한 인식 신뢰도 측정 방법및 인식 신뢰도 측정 시스템
US8625749B2 (en) * 2006-03-23 2014-01-07 Cisco Technology, Inc. Content sensitive do-not-disturb (DND) option for a communication system
US8396711B2 (en) * 2006-05-01 2013-03-12 Microsoft Corporation Voice authentication system and method
ES2286943B1 (es) * 2006-05-19 2008-10-16 Agnitio, S.L. Procedimiento de identificacion de voz.
US20080010065A1 (en) * 2006-06-05 2008-01-10 Harry Bratt Method and apparatus for speaker recognition
US7809170B2 (en) * 2006-08-10 2010-10-05 Louisiana Tech University Foundation, Inc. Method and apparatus for choosing and evaluating sample size for biometric training process
US8086461B2 (en) 2007-06-13 2011-12-27 At&T Intellectual Property Ii, L.P. System and method for tracking persons of interest via voiceprint
US8229085B2 (en) * 2007-07-31 2012-07-24 At&T Intellectual Property I, L.P. Automatic message management utilizing speech analytics
US8219404B2 (en) * 2007-08-09 2012-07-10 Nice Systems, Ltd. Method and apparatus for recognizing a speaker in lawful interception systems
JP5327054B2 (ja) * 2007-12-18 2013-10-30 日本電気株式会社 発音変動規則抽出装置、発音変動規則抽出方法、および発音変動規則抽出用プログラム
US20090190735A1 (en) * 2008-01-24 2009-07-30 General Motors Corporation Method and system for enhancing telematics services
JP5024154B2 (ja) * 2008-03-27 2012-09-12 富士通株式会社 関連付け装置、関連付け方法及びコンピュータプログラム
US8818802B2 (en) * 2008-10-10 2014-08-26 Spansion Llc Real-time data pattern analysis system and method of operation thereof
WO2010042631A2 (en) 2008-10-10 2010-04-15 Fastow Richard M Real-time data pattern analysis system and method of operation thereof
JP5042194B2 (ja) * 2008-10-27 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 話者テンプレートを更新する装置及び方法
US8391445B2 (en) * 2008-11-10 2013-03-05 International Business Machines Corporation Caller identification using voice recognition
US8645140B2 (en) * 2009-02-25 2014-02-04 Blackberry Limited Electronic device and method of associating a voice font with a contact for text-to-speech conversion at the electronic device
US8160877B1 (en) * 2009-08-06 2012-04-17 Narus, Inc. Hierarchical real-time speaker recognition for biometric VoIP verification and targeting
US8442827B2 (en) 2010-06-18 2013-05-14 At&T Intellectual Property I, L.P. System and method for customized voice response
CN102779509B (zh) * 2011-05-11 2014-12-03 联想(北京)有限公司 语音处理设备和语音处理方法
CN102781075B (zh) * 2011-05-12 2016-08-24 中兴通讯股份有限公司 一种降低移动终端通话功耗的方法及移动终端
US9147400B2 (en) * 2011-12-21 2015-09-29 Sri International Method and apparatus for generating speaker-specific spoken passwords
US9147401B2 (en) * 2011-12-21 2015-09-29 Sri International Method and apparatus for speaker-calibrated speaker detection
AU2013203139B2 (en) * 2012-01-24 2016-06-23 Auraya Pty Ltd Voice authentication and speech recognition system and method
US9711167B2 (en) * 2012-03-13 2017-07-18 Nice Ltd. System and method for real-time speaker segmentation of audio interactions
EP2831759A2 (en) * 2012-03-30 2015-02-04 Sony Corporation Data processing apparatus, data processing method, and program
US20140088965A1 (en) * 2012-09-27 2014-03-27 Polaris Wireless, Inc. Associating and locating mobile stations based on speech signatures
US9294616B2 (en) * 2013-06-30 2016-03-22 International Business Machines Corporation Identifying a contact based on a voice communication session
US20150046164A1 (en) * 2013-08-07 2015-02-12 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for text-to-speech conversion
KR102225404B1 (ko) * 2014-05-23 2021-03-09 삼성전자주식회사 디바이스 정보를 이용하는 음성인식 방법 및 장치
JP6596924B2 (ja) * 2014-05-29 2019-10-30 日本電気株式会社 音声データ処理装置、音声データ処理方法、及び、音声データ処理プログラム
CH709795B1 (fr) * 2014-06-18 2021-02-26 Katia Sa Procédé et système de filtrage d'appels téléphoniques entrants indésirables.
EP3010017A1 (en) 2014-10-14 2016-04-20 Thomson Licensing Method and apparatus for separating speech data from background data in audio communication
CN104821934B (zh) * 2015-03-20 2018-11-20 百度在线网络技术（北京）有限公司 基于人工智能的声纹登录方法和装置
US9485354B1 (en) * 2015-05-08 2016-11-01 Marchex, Inc. Identifying call features and associations to detect call traffic pumping and take corrective action
WO2016209888A1 (en) * 2015-06-22 2016-12-29 Rita Singh Processing speech signals in voice-based profiling
US10750251B2 (en) * 2015-09-03 2020-08-18 Nec Corporation Information providing apparatus, information providing method, and storage medium
CN105513597B (zh) * 2015-12-30 2018-07-10 百度在线网络技术（北京）有限公司 声纹认证处理方法及装置
EP3816996B1 (en) * 2018-06-27 2023-03-01 NEC Corporation Information processing device, control method, and program
RU2744063C1 (ru) 2018-12-18 2021-03-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и система определения говорящего пользователя управляемого голосом устройства
US20200220869A1 (en) * 2019-01-08 2020-07-09 Fidelity Information Services, Llc Systems and methods for contactless authentication using voice recognition
US11962718B2 (en) * 2022-01-04 2024-04-16 Centurylink Intellectual Property Llc Automated robocall detection

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3050934B2 (ja) * 1991-03-22 2000-06-12 株式会社東芝 音声認識方式
US5710866A (en) 1995-05-26 1998-01-20 Microsoft Corporation System and method for speech recognition using dynamically adjusted confidence measure
US5825977A (en) * 1995-09-08 1998-10-20 Morin; Philippe R. Word hypothesizer based on reliably detected phoneme similarity regions
US6088669A (en) * 1997-01-28 2000-07-11 International Business Machines, Corporation Speech recognition with attempted speaker recognition for speaker model prefetching or alternative speech modeling
US5946654A (en) * 1997-02-21 1999-08-31 Dragon Systems, Inc. Speaker identification using unsupervised speech models
US5893059A (en) * 1997-04-17 1999-04-06 Nynex Science And Technology, Inc. Speech recoginition methods and apparatus
EP0949827A1 (fr) * 1998-04-07 1999-10-13 Koninklijke Philips Electronics N.V. Equipment téléphonique, système de communications radio et procédé d'identification de l'appelant
US6141641A (en) 1998-04-15 2000-10-31 Microsoft Corporation Dynamically configurable acoustic model for speech recognition system
US6292799B1 (en) * 1998-06-05 2001-09-18 Netnumber.Com, Inc. Method and apparatus to automatically address a voice mail reply to a voice mail message
US6684186B2 (en) * 1999-01-26 2004-01-27 International Business Machines Corporation Speaker recognition using a hierarchical speaker model tree
US6978238B2 (en) * 1999-07-12 2005-12-20 Charles Schwab & Co., Inc. Method and system for identifying a user by voice
US20010029452A1 (en) * 2000-02-01 2001-10-11 I-Cheng Chen Method and system for improving speech recognition accuracy
US6629073B1 (en) 2000-04-27 2003-09-30 Microsoft Corporation Speech recognition method and apparatus utilizing multi-unit models
US6754626B2 (en) * 2001-03-01 2004-06-22 International Business Machines Corporation Creating a hierarchical tree of language models for a dialog system based on prompt and dialog context
US7440900B2 (en) 2002-03-15 2008-10-21 Microsoft Corporation Voice message processing system and method
US7162421B1 (en) * 2002-05-06 2007-01-09 Nuance Communications Dynamic barge-in in a speech-responsive system

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117614B (zh) * 2010-01-05 2013-01-02 索尼爱立信移动通讯有限公司 个性化文本语音合成和个性化语音特征提取
TWI403304B (zh) * 2010-08-27 2013-08-01 Ind Tech Res Inst 隨身語能偵知方法及其裝置
US8712760B2 (en) 2010-08-27 2014-04-29 Industrial Technology Research Institute Method and mobile device for awareness of language ability
CN104137178A (zh) * 2011-12-19 2014-11-05 斯班逊有限公司 声学处理单元接口
CN102522084B (zh) * 2011-12-22 2013-09-18 广东威创视讯科技股份有限公司 一种将语音数据转换为文本文件的方法和系统
CN102522084A (zh) * 2011-12-22 2012-06-27 广东威创视讯科技股份有限公司 一种将语音数据转换为文本文件的方法和系统
CN104221078B (zh) * 2012-04-09 2016-11-02 歌乐株式会社 声音识别服务器综合装置以及声音识别服务器综合方法
CN104221078A (zh) * 2012-04-09 2014-12-17 歌乐株式会社 声音识别服务器综合装置以及声音识别服务器综合方法
US9524718B2 (en) 2012-04-09 2016-12-20 Clarion Co., Ltd. Speech recognition server integration device that is an intermediate module to relay between a terminal module and speech recognition server and speech recognition server integration method
CN103856626A (zh) * 2012-11-29 2014-06-11 北京千橡网景科技发展有限公司 个性声音的定制方法和装置
CN103578467A (zh) * 2013-10-18 2014-02-12 威盛电子股份有限公司 声学模型的建立方法、语音辨识方法及其电子装置
CN105096941A (zh) * 2015-09-02 2015-11-25 百度在线网络技术（北京）有限公司 语音识别方法以及装置
CN105096941B (zh) * 2015-09-02 2017-10-31 百度在线网络技术（北京）有限公司 语音识别方法以及装置
CN111480197A (zh) * 2017-12-15 2020-07-31 三菱电机株式会社 语音识别系统
CN111480197B (zh) * 2017-12-15 2023-06-27 三菱电机株式会社 语音识别系统
CN108962261A (zh) * 2018-08-08 2018-12-07 联想(北京)有限公司 信息处理方法、信息处理装置和蓝牙耳机

Also Published As

Publication number Publication date
KR101120716B1 (ko) 2012-03-23
EP1564722A1 (en) 2005-08-17
JP2005227758A (ja) 2005-08-25
CY1113168T1 (el) 2016-04-13
EP1564722B1 (en) 2012-08-08
JP4221379B2 (ja) 2009-02-12
SI1564722T1 (sl) 2012-11-30
DK1564722T3 (da) 2012-09-03
US20050180547A1 (en) 2005-08-18
CN1655235B (zh) 2012-01-25
KR20060041829A (ko) 2006-05-12
ES2391454T3 (es) 2012-11-26
PT1564722E (pt) 2012-09-25
US7231019B2 (en) 2007-06-12
PL1564722T3 (pl) 2013-01-31

Similar Documents

Publication Publication Date Title
CN1655235B (zh) 基于话音特征自动标识电话呼叫者
US20230012984A1 (en) Generation of automated message responses
US11594215B2 (en) Contextual voice user interface
US10074369B2 (en) Voice-based communications
US10140973B1 (en) Text-to-speech processing using previously speech processed data
US10917758B1 (en) Voice-based messaging
US6910012B2 (en) Method and system for speech recognition using phonetically similar word alternatives
US10339920B2 (en) Predicting pronunciation in speech recognition
US7103542B2 (en) Automatically improving a voice recognition system
US6839667B2 (en) Method of speech recognition by presenting N-best word candidates
US10176809B1 (en) Customized compression and decompression of audio data
US9224387B1 (en) Targeted detection of regions in speech processing data streams
US20130090921A1 (en) Pronunciation learning from user correction
US20040210438A1 (en) Multilingual speech recognition
US20050091054A1 (en) Method and apparatus for generating and displaying N-Best alternatives in a speech recognition system
US11093110B1 (en) Messaging feedback mechanism
US11798559B2 (en) Voice-controlled communication requests and responses
US10866948B2 (en) Address book management apparatus using speech recognition, vehicle, system and method thereof
EP3507796A1 (en) Voice-based communications
Rahim et al. Robust numeric recognition in spoken language dialogue
US10854196B1 (en) Functional prerequisites and acknowledgments
US11176930B1 (en) Storing audio commands for time-delayed execution
Dua et al. Implementation and performance evaluation of speaker adaptive continuous Hindi ASR using tri-phone based acoustic modelling
CN116844536A (zh) 一种语音处理方法、装置及电子设备
KR20050066805A (ko) 음절 음성인식기의 음성인식결과 전달 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150428

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150428

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120125

Termination date: 20191231