CN100565670C

CN100565670C - 用于用户模型化以增强对命名实体识别的系统和方法

Info

Publication number: CN100565670C
Application number: CNB2004100457013A
Authority: CN
Inventors: 俞栋; P·K·L·毛; K·王; M·马哈詹; A·阿塞罗
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2003-05-27
Filing date: 2004-05-27
Publication date: 2009-12-02
Anticipated expiration: 2024-05-27
Also published as: JP2004355003A; US7289956B2; EP1482415A2; KR101099278B1; EP1482415B1; US20040243407A1; EP1482415A3; ES2622448T3; KR20040102330A; CN1573923A

Abstract

本发明利用用户模型化对用户的行为模式进行模型化。随后使用用户的行为模式影响命名实体(NE)的识别。

Description

用于用户模型化以增强对命名实体识别的系统和方法

技术领域

本发明涉及命名实体识别，尤其涉及对用户模式进行模型化以增强对命名实体的识别。

背景技术

命名实体(NE)是特定的语言项，比如专有名称、公司名称、电子邮件地址、地点等，它被应用看作为一个单元。命名实体识别器是已知的，并且可知命名实体处理是语言分析的重要阶段。

当前NE识别以多种方法进行。一些NE识别的方法在NE是固定的(或静态的)时使用列表查询，如城市名、国家名、名字、公司名、类似产品名的固定项等。其他方法使用常规表达和语法规则，其能够将句法信息与词典或列表查询相结合以识别NE。大多数公知的方法直接从训练数据中建立有限状态的识别器。

个人信息管理(PIM)一直是自动语音识别的主要应用区域。在PIM系统中，NE识别是一项重要的任务。例如，语音激活电子邮件程序依靠NE识别。这些应用中的处理需要许多NE的识别，例如电子邮件接收方。类似地，一些PIM涉及电话的话音拨打、调度等，这些也需要NE识别。

一般在语音识别引擎的领域中，NE识别引起许多问题。首先，NE用户可以使用组成NE的许多名称和其他项。例如，在任何已知的公司或社团中具有许多区别的专有名称。这导致NE识别中大量混淆，从而导致NE识别任务中的极大差错率。

另一困难涉及不在标准词典中的名称。创建包含世界上每个名称或者包含所有英语发音名称的词典是非常困难的。即使存在这样的词典，由于包含大量可能的发音，使用这样的词典也会大大降低识别的精度。

还有一个存在于NE识别的困难是有许多不同的方式称呼一个人。例如不同人以不同的方法称呼一个人。一些人用他或她的名字称呼一个人，而其他人用姓和名称呼一个人，另外还有其他人以不同的方式称呼同一个人，如使用名字以及姓的首字母，或者使用昵称等。此外，一个人可以用多种不同的方式称呼其他人。例如，一个人仅仅使用名字称呼他或她的邻居或同事中的一个，而仅仅使用姓称呼另一个邻居或同事。

再有一个存在于NE识别的困难是使用名字时的不定性。由许多共用的名字，即使NE识别器(如自动语音识别系统)正确识别构成名字的单词，用户仍旧是无法确定的。例如，如果用户说出单词“David”，自动语音识别系统可以精确地将“David”识别为NE。然而，在大公司中，由许多人的名字是“David”，并且需要用户搜索存在于识别器中的“David”的列表(通常以姓的字母顺序排列)以找到合适的一个。

发明内容

本发明利用用户模型化以对用户的行为模式进行模型化。随后使用用户的行为模式影响命名实体(NE)的识别。

在一实施例中，跨应用进行用户模型化。在该实施例中，从不同源取得从用户产生的数据或以某种方式与用户相关的数据。这些源包括语音识别系统、应用和其他源。在数据中标识命名实体，并且对每一标识的命名实体产生概率。利用所产生的概率影响后续的命名实体的识别。

在一实施例中，在所收集的数据中间歇地根据各种不同的触发器，标识命名实体。触发器可包括用户操作、应用操作、定时器、所收集的数据量或另一触发器。

在一实施例中，与命名实体相关的概率根据语境和创建数据的时间而变化。在另一实施例中，所收集的数据是根据数据源而加权的。

在另一实施例中，命名实体与语法结合，如与概率语境无关的语法。命名实体还可与语言模型结合，如口述语言模型，或者将命名实体添加到用户词典中。此外，命名实体可以其他方式结合，如链接到文本框作为降序列表的一部分(或者其他控制以提供由学习概率排序的自动完成列表)，或者命名实体用于命令和控制作为指令的一部分。

附图说明

图1是使用本发明的一示例环境的框图。

图2使用与产生命名实体列表(或命名实体模型)的系统框图。

图3是示出图2所示系统操作的流程图。

图4是示出为了取得和结合NE列表而进行的NE分析的流程图。

图5是NE列表或NE模型的一个示例性实施例。

图6示出通过将NE列表链接到文本框的NE列表结合。

具体实施方式

本发明涉及使用用户模型化以产生命名实体(NE)列表(或NE模型)的系统。本发明还涉及用于结合和使用NE模型的系统。但是在详细讨论本发明之前，描述可使用本发明的一个示例环境。

图1描述了可实现本发明的合适的计算系统环境100的一个示例。该计算系统环境100只是合适的计算环境的一个示例，并非想局限本发明的使用或功能范围。也不应认为计算环境100对示例操作环境100所描述的任一组件或其组合具有任何依赖性和需求。

本发明在众多其它通用或专用计算系统环境或配置中都是可操作的。适合使用本发明的众所周知的计算系统、环境、和/或配置的示例包括但不限于，个人计算机、服务器计算机、手持式或膝上设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费类电子产品、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算系统等等。

在计算机可执行指令的通常环境下描述本发明，计算机可执行指令如由计算机执行程序模块。程序模块通常包括例程、程序、对象、组件、数据结构等等，它们完成特定的任务或实现特定的抽象数据类型。本发明也可以在分布式计算环境中实现，在该环境中，任务由通过通信网络链接的远端处理装置来完成。在分布式计算环境中，程序模块可以同时位于本地和远端计算机存储介质中，包括存储器装置。

参考图1，实现本发明的一个示例系统包括以计算机110的形式表示的通用计算装置。计算机110的组件包括但不限于，处理单元120、系统存储器130以及将包括系统存储器在内的各种系统组件耦合至处理单元120的系统总线121。系统总线121可以是几种总线结构的任何一种，包括存储器总线或存储器控制器、外部总线，以及使用任意总线结构的本地总线。作为示例，但非局限，这类结构包括工业标准体系结构(ISA)总线、微通道结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线、以及外围部件互联(PCI)总线，也称Mezzanine总线。

计算机110通常包括各种计算机可读介质。计算机可读介质可以是任何可由计算机110存取的可用介质，包括易失性介质和非易失性介质，可移动介质和不可移动介质。作为示例，并非局限，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括在任意用于存储信息的方法或技术中实现的易失性介质和非易失性介质、可移动介质和不可移动介质，这些信息包括计算机可读指令、数据结构、程序模块或其它数据。计算机存储介质包括但不限于，RAM、ROM、EEPROM、按块擦除存储器或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或任何其它可以用于储存需要的信息并可由计算机110存取的介质。通信介质通常包括计算机可读指令、数据结构、程序模块或其它已调制数据信号如载波或其它传输机制中的数据，包括任何信息传送介质。术语“已调制数据信号”表示一种信号，该信号具有一个或多个通过对信号中的信息进行编码而设定或改变的特征。作为示例，并非局限，通信介质包括有线介质，如有线网络或直接连线连接，以及无线介质，如声学、RF、红外以及其它无线介质。上述介质的组合也应当包含在计算机可读介质的范围内。

系统存储器130包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)131和随机存取存储器(RAM)132。基本输入/输出系统133(BIOS)通常储存在ROM 131中，包含协助在计算机110内如启动时在元件之间进行信息传输的基本例程。RAM 132通常包含处理单元120立即可存取和/或当前正操作的程序模块。作为示例，并非局限，图1描述了操作系统134、应用程序135、其它程序模块136以及程序数据137。

计算机110也可包括其它可移动/不可移动的易失性/非易失性计算机存储介质。仅作示例，图1描述了硬盘驱动器141，对不可移动、非易失性磁介质进行读写；磁盘驱动器151，对可移动、非易失性磁盘152进行读写；以及光盘驱动器155，对可移动、非易失性光盘156如CD-ROM或其它光学介质进行读写。其它可在示例操作环境中使用的可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字视频磁带、固态RAM、固态ROM等等。硬盘驱动器141通常通过不可移动存储器接口，如接口140，连接至系统总线121。磁盘驱动器151和光盘驱动器155通常通过可移动存储器接口，如接口150，连接至系统总线121。

以上讨论并在图1中描述的驱动器连同其相关的计算机存储介质为计算机110提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图1中，将硬盘驱动器141描述为储存操作系统144、应用程序145、其它程序模块146以及程序数据147。值得注意，这些组件可以与操作系统134、应用程序135、其它程序模块136以及程序数据137相同，也可以不同。此处为操作系统144、应用程序145、其它程序模块146以及程序数据147标上不同的号码，以至少表明它们是不同的副本。

用户可以通过输入设备，如键盘162、话筒163、以及定位设备161，如鼠标、跟踪球或触摸板，向计算机110输入命令和信息。其它输入设备(未示出)可包括操纵杆、游戏操纵杆、卫星式圆盘、扫描仪等等。这些或其它输入设备通常通过耦合至系统总线的用户输入接口连接至处理单元120，也可以通过其它接口和总线接口来连接，如并行端口、游戏端口或通用串行总线(USB)。监视器191或其它类型的显示设备也通过接口，如视频接口190，连接至系统总线121。除监视器之外，计算机也可以包括其它外围输出设备，如扬声器197和打印机196，通过输出外围接口190连接。

计算机110可以采用逻辑连接至一个或多个远端计算机，如远端计算机180，在建立网络的环境中操作。远端计算机180可以是个人计算机、手持式设备、服务器、路由器、网络PC、对等装置或其它常见网络节点，通常包括上文描述的同计算机110相关的许多或所有元件。图1描述的逻辑连接包括局域网(LAN)171和广域网(WAN)173，也可以包括其它网络。这类联网环境在办公室、企业范围计算机网络、企业内部互联网和因特网中是常见的。

当在LAN网络环境中使用时，计算机110通过网络接口或适配器170同LAN 171相连接。当在WAN网络环境中使用时，计算机110通常包括调制解调器172或其它用于通过WAN 173，如因特网，建立通信的装置。调制解调器172可以是内置的，也可以是外置的，通过用户输入接口160或其它合适的机制连接至系统总线121。在建立网络的环境中，所述的同计算机110或其部分相关的程序模块可以储存在远端存储器设备中。作为示例，并非限制，图1描述远端应用程序185驻留于远程计算机180中。此处所示的网络连接是示例性的，也可使用其它在计算机之间建立通信链路的装置。

值得注意的是，本发明在计算机系统上执行，如图1所述的。然而，本发明也可在服务器、专用于消息处理的计算机，或分布式系统上执行，其中在分布式计算系统的不同部分执行本发明的不同部分。

图2是用于产生命名实体(NE)列表或NE模型202的系统200。系统200包括传感器204，它由各种不同的可选触发器中的一个触发，如事件触发器206，用户触发器208、定时器210或一些其他的触发器212。系统200还包括记录器214、分析器216和可选的缓冲器218。值得注意的是，虽然分别示出了传感器204、记录器214和分析器216，但是其可进行组合或在一些实现中省略。图2还示出了从各种源收集数据，如应用220、语音识别引擎222或其他NE的源。

图3是示出图2所示系统200操作一个实施例的流程图。如以下所述，系统200对用户的使用模式进行模型化以标识NE和计算与每一NE相关的概率。随后将这个NE列表与相关的概率(或NE模型)202用于跨不同应用或不同环境中的NE识别。

为了产生NE模型202，收集表示特定用户使用模式的数据。这由图3中框230表示。图2示出源可包括应用220，如字文档、电子邮件应用、元数据或来自电子邮件应用中不同域(如“to”域、“cc”域或“from”域)的信息，该信息对应用、联系列表等进行调度。另外，应用220可以是地图或地理应用，在此情况下，从该应用收集城市、州和其他地点名称。

类似地，图2示出由用户使用的系统包括语音识别引擎222，其中显示用户使用模式的收集数据的一个源可以是语音识别引擎222。通过语音激活应用220或直接从语音识别引擎222向传感器204提供表示识别结果的数据。

其他NE源224还向传感器204提供数据，该数据表示用户使用模式。当然，可直接从源220、222和224向传感器204提供数据，或者在可选的缓冲器218中缓冲数据。

在一示例实施例中，NE的所有源220、222和224提供与被模型化的特定用户有关的NE。例如，在电子邮件应用的“to”、“cc”或“from”域中所标识的电子邮件接收方来自于由该用户产生或接收的电子邮件。此外，用户联系列表或标识用户经常联系的人的类似类型的数据库也可用作为NE的源。类似地，也可使用公司范围的姓名目录。在许多公司中，姓名目录是以电子形式的，并以工作组、部门或其他合作单位或工作单位进行排列。在这种情况下，用户所在单位中的姓名可作为与该用户密切相关的NE源。此外，如果NE源是地图应用，则由用户选择或“选中“的地点可作为与该用户密切相关的信息。另外，也可使用紧密接近用户地点的地点，或者由定位系统提供的地点，如全球定位系统(GPS)。

除了与特定用户紧密相关的NE源之外，也可是用于该用户不是紧密相关的其他NE源。例如，可使用公司范围地址簿中的所有姓名。类似地，可使用地图应用中普通和著名的地点，即使它们与特定用户不是紧密相关。此外，在包括与用户非紧密相关的信息作为NE源的情况下，可对该信息进行加权，其权重要小于与该用户紧密相关的信息。例如，如果公司范围的地址簿用作NE源，则给予地址簿中所有其它姓名的权重要小于该特定用户所在工作组中的姓名的权重，或小于来自另一紧密相关源的姓名的权重，如用户的电子邮件应用。类似地，在将地图应用中普通或著名地点用作NE源的情况下，其权重小于用户在地图应用中实际选择或“点击”的地点。这样，本发明并不仅限于与特定用户紧密相关的NE源。

还可使用其它的NE源。一些字处理器和操作系统保留“常用列表”，它是经常使用的项(如文档)的列表。诸如浏览器的其他系统保留“历史列表”，它列出了最近使用的项(如最近访问的站点)。从这些源中取得的NE可以是一些名称，如标识文档、web地址、项目名，用户名等的名称。

当然，应该理解，这里所述的NE并不限于专有名词，而是还包括对人、地点等的其他指代。例如，命名实体可标识为“我的经理”或“Joe的经理”。命名实体还可标识为“我的指导报告”，等等。

在任何情况下，一旦收集了反映用户使用模式的信息，传感器204就接收传感器的触发输入，表示这是处理所收集信息以标识其中的NE的时间了。这由图3中的框232表示。图2示出具有多种触发机构用于触发传感器204以识别收集的数据中的NE。例如，时间触发器206是应用产生的触发器，它根据应用的事件触发传感器204。例如在电子邮件应用中，发送和接收都可以是触发传感器204搜索所收集数据以标识NE的事件。当然，事件触发器206还可包括多种其他事件的任何一种，如开启、关闭、操作系统事件等。

触发器还包括用户产生的触发器208。用户产生的触发器208的一个例子就是在字处理应用中用户保存文档。一旦用户开始了保存操作，就可提供该文档到传感器204(可选地通过缓冲器218)，并且传感器随后处理该文档(以及其他所收集信息)标识其中的NE。

另外的触发器包括定时器。在该实施例中，每当传感器204处理了所收集数据，定时器就简单重置。当定时器210过时了，它就再次触发传感器204检查所收集数据中的NE。

还有其他的触发器212可用于触发传感器204。例如，当使用语音识别引擎222时，语音识别引擎222示例性地输出一指示，说明它取得了识别结果。该指示用作对传感器204的触发，并且随后处理该识别结果以标识其中的NE。

其他触发器可包括多种附加的触发器。例如，在缓冲器218中仅根据其容量监测所收集的数据量。当收集了足够量的数据时，就可将其用于触发传感器204处理所收集的数据以标识NE。

当然，还应注意，可以使用任何触发器206-212本身，或它们与任何或所有其他或附加触发器的组合。

一旦触发了传感器204，它就处理收集来自源220、222和224的数据并在该数据中标识NE。这由图3中的框234表示。可以以多种已知方式的任何一种进行NE的标识，并且由传感器204标识NE所使用的特定方法不构成本发明的一部分。例如，一些系统通过对考虑中的文本进行语言分析而标识NE。该语言分析具有定义指定NE的准则算法。

在任何情况下，一旦由传感器204标识NE，就将它们提供到记录器214。记录器214处理并可选地存储NE，以由分析器216进行进一步分析。在一实施例中，记录器214对NE进行归一化以进一步进行分析，如通过将NE中的字转换为规范形式。随后记录器214存储归一化的NE直到由分析器216对它们进行检索。在该实施例中，记录器214以任何合适的形式存储NE，如XML文件或其他形式。另外，记录器214向分析器216提供归一化的NE以立即进行分析。

分析器216对由记录器214提供的归一化NE进行分析，并且创建或更新NE列表(或NE模型)202。随后NE模型202可用于系统中需要对其加以利用的任何其他部件，如应用220、语音识别引擎222、其他源224或由用户使用的任何其他的系统部件。由图4中框238表示分析NE以取得新的NE列表。由框240表示可用于系统其他部件的新的或更新的NE列表202。

在更详细讨论NE分析之前，应当注意可以离线、在线或两者兼而有之产生NE模型。例如，在一实施例中，一开始离线创建NE模型202并随后进行优化。在该实施例中，通过处理来自源220-224的信息而离线建立初始模型，这些源可用于离线环境。这样的源包括诸如过去由特定用户发送的电子邮件、用户的联系列表、用户的公司目录，先前由用户创作的文档等。类似地，可用来自其他源的某些信息对NE模型202进行初始化，如来自地图应用的著名地点，靠近用户的地理区域中的城市等。

尽管初始模型202是离线产生和适配的，但企业可以在在线环境中产生和适配。这可以如图2和3所示进行。换言之，提供实时触发使得感应、记录和分析与系统操作同时进行。

现在针对图4更详细地讨论由分析器216所进行的NE分析。图4示出了描述分析NE的多个不同实施例流程图。在一实施例中，首先由分析器216将由记录器214提供的归一化NE分类合并为多个不同的类别。这由图4中的框242表示。

一些示例的类别包括人的类和地点类。人的类包括诸如人的专有名称，还包括对人的从属指代，如“我的老板”等。地点类包括城市、州、学校和其他地点，它不需要是专有名称，如吸引人的地方和普通地点。

还可根据所属类别将NE与属性相关。例如，人的类可以具有诸如名字、姓和电子邮件地址的属性。地点类可包括诸如地址、地理区域等的属性。

可以以多种形式的任何一种进行分类合并。一个进行分类合并的示例方法是基于信息所提取自的环境。例如，来自联系或邮件列表的姓名可置于人的类，基于它们来自于联系或邮件列表这一事实。来自于地图应用的城市名置于地点类，基于它们来自地图应用这一事实。例如，从地质簿地址字段所获得的地址也可置于地点类。类似地，分类合并可基于所分析文档的语言分析。例如，如果文本或字处理文档是经过分析的，则语言分析会指示特定命名实体是地点。该指示可由分析器216使用而将该命名实体分类合并为合适的类别。

当然应当注意，一些命名实体可置于几个不同的类别。例如，一些命名实体在不同环境中具有不同的含义。例如，如果从地图应用中检索到字“Washington”，则它可置于地点类。而如果还从联系列表中检索到字“Washington”，则它最好置于人的类。

将NE分类合并为不同的类别的一个理由是不仅为了提高模型202操作的效率，还为了协助将模型结合到不同类型的使用场合。例如，类别具有语义。这样NE所处的类别就可用作基于类的语言模型中的类。类似地，该类别可用作与环境无关的语法中的类。

图5示出了进行分类合并后NE模型202的示图。将NE分类合并为模型202中所示的簇1-n。当然，如上所述，某些NE还可分类合并为多个不同的簇。

在任何情况下，一旦将NE分类合并为类别，就可对NE计算概率。这由图4中的框244表示。此概率可基于用户使用特定NE的频率。然而，概率还可基于其他因素。例如，不同NE在由不同应用和环境使用时具有不同的概率估计。例如，在地图应用中，地点NE的概率不仅基于当前用户访问特定地点NE的频率，还基于表示该地点在一般公众中的普及率的普及测量，以及基于表示从用户住处或当前住所到该地点距离的距离测量。

又如，用于电子邮件应用的NE具有一概率，该概率不仅基于用户对特定NE产生电子邮件的频率，还基于公司组织图中该特定NE对特定用户的接近度，以及最近使用NE的时间与现在的接近度。NE越接近用户，概率就越高。

当然，这些仅是例子，根据使用NE模型202的特定应用，如何计算概率会有所不同。

此外，为了计算NE的概率，分析器216对来自不同源的信息进行不同的加权。例如，如以上简述，当计算从不同NE源提取的NE的概率时，可根据其对特定用户的接近度对信息进行加权。例如，如果在计算概率时使用的NE是从电子邮件应用中提取的，则对那些位于用户特定姓名短列表中的姓名给予最高权重，该短列表仅包括用户过去已向其发送电子邮件的姓名。对从发送到用户的电子邮件或用户工作组目录中相关姓名取得的NE给予第二最高权重。对从公司范围地址簿提取的NE给予最低权重。

类似地，可根据特定NE的符合率确定权重。换言之，如果NE符合从用户的NE短列表产生的电子邮件接收方语法，则其被赋予一特定权重。如果它符合对用户的工作组列表产生的接收方语法，则其被赋予第二权重，如果它符合对公司范围地址簿产生的语法，则其被赋予第三权重。权重可使用拒绝阈值作为基数，并且在词汇表之外的NE仍旧具有一些估计的概率以将未见的训练数据考虑在内。

一个特定的例子是有帮助的。假设一般的语音识别引擎根据以下准则识别语音：

等式1：

\hat{w} = \arg \max_{w} P (A | w) P (w)

其中A是所接收的声学特征表示，w是候选字，而P(w)是候选w的先验概率(如语言模型概率)。

根据本发明一实施例的用户模型化根据用户的使用历史估计先验概率，并因此减少混淆并增加识别精度。以下讨论针对一个例子，其中电子邮件接收方的语音识别是所论述的任务。在NE识别任务中估计两个概率：接收方的概率和接收方以某种方式被读出的概率。

估计接收方的概率的问题描述如下：给定以时间排序的接收方序列，每一接收方是下一个接收方的概率是多少。一般，接收方i是否在时间t出现可表示如下：

等式2：

x_{i} (t) = \underset{k}{Σ} δ (t - t_{ik})

其中t_ik表示用户第k次将电子邮件发送到接收方i的时间，而δ是Kroneckerdelta。在时间T内接收方i出现的总次数可表示如下：

c_{i} (T) = \underset{t}{Σ} x_{i} (t) w (T - t) = \underset{k}{Σ} \underset{t}{Σ} δ (t - t_{ik}) w (T - t)

等式3：

= \underset{k}{Σ} w (T - t_{ik})

其中w(t)是所施加的窗函数。这样接收方的概率可估计如下：

等式4：

{\hat{p}}_{i} = \frac{c_{i} (T)}{\underset{j}{Σ} c_{j} (T)} = \frac{\underset{k}{Σ} w (T - t_{ik})}{\underset{j}{Σ} \underset{k}{Σ} w (T - t_{jk})}

如果基本随机过程是固定的，则w(t)就应是矩形窗，并且以上估计可简化为：

等式5：

{\hat{p}}_{i} = \frac{n_{i}}{\underset{j}{Σ} n_{i}}

其中n_i是过去接收方i出现的次数。

但是，接收方i是下一个接收方的概率是随时间变化的，这是因为用户的使用模式是变化的。此外，变化的模式对于不同的接收方是不同的。例如，当用户改变了组，则用户不需要像以前一样经常对旧组中的同事发送电子邮件。但是用户可以继续向非工作的朋友或家人发送电子邮件，就向他或她过去经常做的一样。

为了补偿基本随机过程的时变特性，施加如下指数窗：

等式6：w(t)＝e^-λt

其中λ是遗忘因子，选择遗忘因子使得最近的数据具有较高的权重。λ越大，对新数据赋予的权重越大。但是，对新数据的偏移太大会引起过当。因此如下，在一示例实施例中，λ是缓慢变化的参数，它由控制数据组进行自动调整以最小化控制数据组的KL距离：

等式7：

\hat{E} = \underset{i}{Σ} {\overset{&OverBar;}{p}}_{i} \log \frac{{\overset{&OverBar;}{p}}_{i}}{{\hat{p}}_{i}}

其中p_i是根据控制组中接收方的出现估计如下：

等式8：

{\overset{&OverBar;}{p}}_{i} = \frac{n_{i}}{\underset{j}{Σ} n_{i}}

系统可以多种不同的方式调整λ。在一实施例中，使用梯度下降算法，其中梯度定义如下：

\frac{d \hat{E}}{dλ} = \frac{d (- \underset{i}{Σ} {\overset{&OverBar;}{p}}_{i} \log {\hat{p}}_{i})}{dλ} = - \underset{i}{Σ} \frac{{\overset{&OverBar;}{p}}_{i}}{{\hat{p}}_{i}} \cdot \frac{d {\hat{p}}_{i}}{dλ}

等式9：

= \underset{i}{Σ} \frac{{\overset{&OverBar;}{p}}_{i}}{{\hat{p}}_{i}} \cdot (\frac{\underset{k}{Σ} (T - t_{ik}) e^{- λ (T - t_{ik})} - {\hat{p}}_{i} \underset{j}{Σ} \underset{k}{Σ} (T - t_{ik}) e^{- λ (T - t_{jk})}}{\underset{j}{Σ} \underset{k}{Σ} e^{- λ (T - t_{jk})}})

= \frac{\underset{i}{Σ} \frac{{\overset{&OverBar;}{p}}_{i}}{{\hat{p}}_{i}} \underset{k}{Σ} (T - t_{ik}) e^{- λ (T - t_{ik})} - \underset{j}{Σ} \underset{k}{Σ} (T - t_{jk}) e^{- λ (T - t_{jk})}}{\underset{j}{Σ} \underset{k}{Σ} e^{- λ (T - t_{jk})}}

从这点来看，该模型对用户过去实际向其发送过电子邮件的接收方进行处理。但是，在用户联系列表中的所有人以及向用户发送电子邮件的所有人都是潜在的接收方，即使用户过去从没有向他们发送过电子邮件。对于这些人，系统示例性地提供一基础概率，它等于用户在过去的预定时间(如100天之前)曾经向接收方发送电子邮件的概率。对于这样的潜在接收方r，此概率可如下计算：

等式10：

{\hat{p}}_{r} = \frac{\underset{k}{Σ} w (T - t_{ik})}{\underset{j}{Σ} \underset{k}{Σ} w (T - t_{jk})} = \frac{e^{- 100 λ}}{\underset{j}{Σ} \underset{k}{Σ} w (T - t_{jk})}

根据另一实施例，在学习过程中，系统200还学习由被模式化的特定用户称呼接收方的方式。系统可示例性地以一组规则开始，该组规则提供对于称呼给定接收方所有方式的先验概率。该系统随后记录使用特定方式称呼每一接收方的频率，并由此更新与概率环境无关的语法(PCFG)中与称呼接收方不同方式相关的概率。当然，语音识别引擎可利用PCFG识别任何NE。

当然可以理解，以上讨论的用于产生与NE相关的概率的算法仅仅是用于产生这样概率的示例性算法。也可利用其他需要的算法产生这些概率。

在对每一NE计算了概率之后，将NE和相关概率与不同使用场合结合。当然结合新的NE列表以及相关概率的特定使用场合是依赖于配置为使用NE列表202的特定应用或其他部件的。以下仅仅为了示例讨论多种示例性的结合。

在一实施例中，利用NE列表202和相关概率产生与概率环境无关的语法(PCFG)。这由图4中的框246示出。可以以多种不同的方式使用这样的PCFG。一个示例性的方式就是用于名称识别。例如，在语音激活电子邮件程序中，当用户说出接收方是“Peter”时，就不需要为用户提供公司或用户联系列表中按字母排序的所有“Peter”的冗长列表，用户也不需要从中选择，PCFG会偏向用户最经常将他作为电子邮件接收方的这一特定的“Peter”，同时对应于该“Peter”的NE会置于列表的顶端。

另一示例就是用于命令和控制。例如，在语音激活命令和控制系统中，用户可以发出请求“向Peter发送电子邮件”。系统就无需要求用户指定是使用公司或用户联系列表中众多“Peter”中哪一个，而是默认具有最高概率的“Peter”，从而通过减少所需的用户交互同时不增加总的差错率，来增加用户的满意度。

另一结合NE列表和相关概率的示例是将它们用于NE的口述产生基于类的口述语言模型。尽管基于类的语言模型是已知的，还是示例性地对基于类的语言模型进行简要讨论。在传统的语言模型中(如在双字母组或三字母组语言模型中)，模型分别提供向对于一个或两个其他字有关的字的概率。在基于类的语言模型中，模型还提供一个字属于特定语义类的概率和/或类彼此相关和特定字处于这些类的概率。图4中的框248示出了口述模型(或基于类的语言模型)的产生和更新。

在将NE和相关概率结合到使用场合中的另一实施例中，使用NE和相关概率对用户词典进行扩充。换言之，简单地将NE列表和相关概率作为新字直接附加到语音识别引擎222中的用户词典中。图4中的框250示出了使用NE和概率产生和扩充用户词典。

将NE和概率与使用场合结合的还有一种方式就是将它们与控制结合。例如，即使不使用语音识别引擎，也可将NE和相关概率链接到不同应用和操作系统的控制。将NE列表链接到控制的一个例子就是将其链接到文本框。在一个示例实施例中，由开发者用类属性定义文本框，该类属性具有开发者指定的值。图6示出了文本框252的一个实施例，其具有类属性254，其值标识为“州”。类属性中的值对应于由分析器216将NE分类合并到的类别。这样，当用户选择文本框252并开始对其进行输入时，NE模型202就输出用于自动完成文本框252的候选NE列表。在图6所示的例子中，用户打入了字母“MI”。NE模型202就自动输出对应于州的NE列表，其按照与每一NE相关的概率顺序排列。由于与NE“Minnesota”相关的概率最高，就在用于自动完成文本框252的NE降序列表256中首先显示该NE。

应该注意，即使用户以前从未对文本框进行输入，NE也会以概率的顺序加以显示。这是因为NE不具有仅仅根据先前对文本框252的输入计算的概率。而是从对用户使用模式进行最佳模式化的多个不同源提取数据，从这些数据中计算概率。因此，即使用户过去从未调用文本框252，该用户仍旧使降序列表256进行显示，其具有根据跨多个源的用户使用模式，以最大可能的顺序排列的NE。

图4中框258示出了将NE链接到控制。

上述NE列表和相关概率与其他的结合仅是示例性的。当然，可以根据需要访问NE和概率的特定部件进行NE的其他结合。这由图4中的框260所示。

由此可见，根据本发明的一个实施例，NE识别基于用户模型化而不是应用模型化。从多个由用户使用的源收集信息，并将其用于产生于NE相关的概率。当然，不仅可使用针对给定用户的信息，还可使用更一般性质的其他信息。另外，如上所述，在计算NE相关概率时给予较一般信息的权重小于给予较特定信息的概率。一旦产生了NE列表和相关概率，可以跨所有所需的应用和在所有期望环境中使用该列表。这样，本发明作为一般的解决方法解决了与NE识别相关的困难。

最后，应该注意，NE列表产生和适配系统可位于用户专用机。另外，也可用于服务器上，或者与NE产生和适配有关的功能可在服务器之间或一个或多个服务器和用户专用机之间分离。

例如，在一示例实施例中，可在服务器上实现分析器216，分析器216从多个不同的用户专用的记录器214收集归一化的NE。对所有信息进行集中分析并重新分配给用户，或者从多个用户收集一些信息，在服务器级对这些信息进行分析，同时在用户专用级上分析其他信息。此外，当然也可在用户专用级上分析所有信息。

通过利用本发明，可以发现特定用户所需的NE数量比通用NE模型所需的NE数量要小得多。例如，公司范围的目录所具有的条目数与公司的雇员数一样多。例如，在具有20000个条目的公司中，从公司目录提取的NE数就为20000。然而，通过分析用户的使用模式，可以发现，用户仅需要使用其中的250个。因此根据本发明，模型中的NE数比先前系统中的要小得多。

此外，本发明彻底减少了与先前系统有关的词汇表之外的比率。例如，即使用户具有与整个公司目录有关的NE(例如，其数目为20000)，但是该用户也仅仅想要向熟人或家人发送电子邮件，他们并没有出现在公司目录中。然而，通过分析用户的使用模式，就可以标识这些NE并将他们添加到用户专用NE列表中。这样，即使用户列表中的NE数比先前系统大大减少了，但是词汇表之外的比率也彻底减少了。减少了混淆，增加了精度。

尽管本发明是参考特定实施例来描述的，对本领域的熟练技术人员来说，可以在不背离本发明精神和范围的情况下以任何形式和细节作出改变。

Claims

1.一种命名实体列表发生器，包括：

命名实体标识器，配置为从多个不同的源接收信息，并在信息中标识命名实体，至少部分信息对应于特定用户组；以及

分析器，用于计算与所标识命名实体相关的概率，以获得具有相关概率的特定组命名实体列表。

2.如权利要求1所述的命名实体列表发生器，其特征在于所述特定用户组包括单一特定用户。

3.如权利要求1所述的命名实体列表发生器，其特征在于将传感器配置为根据触发输入在信息中标识命名实体。

4.如权利要求3所述的命名实体列表发生器，其特征在于所述多个不同源的至少一个包括应用程序。

5.如权利要求4所述的命名实体列表发生器，其特征在于所述触发输入包括：

应用产生的触发输入，它是由应用程序产生的。

6.如权利要求5所述的命名实体列表发生器，其特征在于所述应用包括电子邮件应用，并且所述应用产生的触发包括发送或接收事件。

7.如权利要求3所述的命名实体列表发生器，其特征在于所述触发输入包括用户产生的触发输入。

8.如权利要求7所述的命名实体列表发生器，其特征在于所述多个不同源的至少一个包括字处理应用，并且所述用户产生的触发输入包括保存文档输入。

9.如权利要求3所述的命名实体列表发生器，其特征在于所述源的至少一个包括语音识别引擎。

10.如权利要求9所述的命名实体列表发生器，其特征在于所述触发输入包括来自所述语音识别引擎的识别结果指示。

11.如权利要求3所述的命名实体列表发生器，其特征在于所述触发输入包括定时器输入，它表示所需时间段已过。

12.如权利要求3所述的命名实体列表发生器，其特征在于所述触发输入是基于为由所述命名实体标识器进行处理而收集的信息量。

13.如权利要求1所述的命名实体列表发生器，其特征在于将所述分析器配置为通过根据信息源对信息进行加权而计算所述概率。

14.如权利要求13所述的命名实体列表发生器，其特征在于多个信息源的第一个提供密切相关信息，它与所述特定用户组密切相关，并且多个信息源的第二个提供弱相关信息，其与所述特定用户组的相关性与所述密切相关信息相比更弱。

15.如权利要求14所述的命名实体列表发生器，其特征在于将所述分析器配置为在计算所述概率时对所述密切相关信息赋予的权重与所述弱相关信息相比更大。

16.如权利要求1所述的命名实体列表发生器，其特征在于所述命名实体列表和概率用于与多个不同系统部件结合，并且所述分析器根据所述命名实体列表和概率所结合的系统部件计算所述概率。

17.如权利要求1所述的命名实体列表发生器，其特征在于将所述分析器配置为从所述命名实体列表和概率中产生与概率环境无关的语法。

18.如权利要求1所述的命名实体列表发生器，其特征在于将所述分析器配置为将所标识的命名实体分类合并为各个组。

19.如权利要求18所述的命名实体列表发生器，其特征在于将所述分析器配置为从所述命名实体和概率产生基于类的语言模型，并且所述组的每一个对应于所述基于类的语言模型中的一语义类。

20.如权利要求1所述的命名实体列表发生器，其特征在于将所述分析器配置为根据所述命名实体和概率产生语音识别引擎的词典。

21.如权利要求1所述的命名实体列表发生器，其特征在于将所述分析器配置为将所述命名实体列表和概率链接到控制。

22.一种产生命名实体模型的方法，包括：

从表示特定用户使用模式的源中接收信息；以及

根据所接收的信息产生用户特定命名实体模型；

其中产生所述用户特定命名实体模型进一步包括：

在所接收的信息中标识命名实体；以及

根据所接收的信息计算与每一命名实体相关的概率。

23.如权利要求22所述的方法，其特征在于，接收信息包括：

从多个不同的源接收信息。

24.如权利要求22所述的方法，其特征在于，计算概率包括：

通过根据信息接收来自的源对不同接收的信息进行加权而计算所述概率。

25.如权利要求22所述的方法，其特征在于，产生用户特定命名实体模型包括：

将所标识的命名实体分类合并为多个簇中的一个或多个。

26.如权利要求25所述的方法，其特征在于，分类合并包括：

根据所标识的命名实体来自的源将命名实体置于簇中。

27.如权利要求22所述的方法，其特征在于，产生用户特定命名实体模型包括：

产生与概率环境无关的语法。

28.如权利要求22所述的方法，其特征在于，产生用户特定命名实体模型包括：

产生基于类的语言模型。

29.如权利要求22所述的方法，其特征在于，产生用户特定命名实体模型包括：

产生用于语音识别引擎中的词典。

30.如权利要求22所述的方法，其特征在于，产生用户特定命名实体模型包括：

将用户特定命名实体模型链接到控制。