CN1591567A - 开放式词汇表语音识别 - Google Patents

开放式词汇表语音识别 Download PDF

Info

Publication number
CN1591567A
CN1591567A CN03156092.XA CN03156092A CN1591567A CN 1591567 A CN1591567 A CN 1591567A CN 03156092 A CN03156092 A CN 03156092A CN 1591567 A CN1591567 A CN 1591567A
Authority
CN
China
Prior art keywords
individual character
model
vocabulary
tabulation
sound model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN03156092.XA
Other languages
English (en)
Other versions
CN1327406C (zh
Inventor
张亚昕
何昕
任晓林
孙放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Google Technology Holdings LLC
Original Assignee
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Inc filed Critical Motorola Inc
Priority to CNB03156092XA priority Critical patent/CN1327406C/zh
Priority to US10/925,601 priority patent/US20050049870A1/en
Publication of CN1591567A publication Critical patent/CN1591567A/zh
Application granted granted Critical
Publication of CN1327406C publication Critical patent/CN1327406C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephone Function (AREA)

Abstract

本发明描述了一种由电子设备(100)执行的开放式词汇表语音识别方法300。该方法(300)包含接收一个发音波形(320)和处理该波形(350),以便提供描述该波形的特征向量。然后,执行比较步骤(360),将特征向量与链接单字声音模型列表中的多个链接单字声音模型进行比较,以选出一个适合的链接单字声音模型。然后,提供响应步(370),用于提供根据适合的链接单字声音模型的响应。该响应通常是一个用于激励设备(100)中的功能的控制信号。

Description

开放式词汇表语音识别
技术领域
本发明涉及开放式词汇表语音识别。本发明特别适用于,但并不限于,由具有有限存储器和计算能力的便携式电子设备进行的开放式词汇表语音识别。
背景技术
大词汇表语音识别系统能识别出很多接收到的被说出的词。相反,有限的词汇表语音识别系统就被限制为只能识别相对少量的可以被说出和识别的词。有限词汇表语音识别系统的应用包含对少量命令和名字的识别。
大词汇表语音识别系统正在被越来越多的采用并且被应用于很多不同的应用中。这种语音识别系统需要能够在提供适当的反应之前,无显著延时的识别出已接收到的被说出的词。
大词汇表语音识别系统通常使用相关性技术来决定被说出的词(输入语音信号)和词在声音空间中的特征之间的似然值。这些特征可以由声音模型来产生,这些声音模型需要来自于一个或多个讲话人的训练数据,并且因而被称为大词汇表非特定人语音识别系统。
大词汇表非特定人语音识别系统需要大量的语音模型,以便在声音空间中充分归纳出被说出的输入语音信号中不同的声音性质在声音空间中的特征。例如,尽管是由同一个讲话人说出,单音/a/在词“had”和“bad”中的声音性质就不同。于是,作为依赖于上下文的单音,需要单音单元模拟不同词中相同单音的不同发音。
大词汇表非特定人语音识别系统通常花费大部分的不必要的时间在似然值技术中寻找一个在输入语音信号和该系统所用的每个声音模型之间的匹配值。每个声音模型通常都用一个多重高斯概率密度函数(PDF)来描述,这里每个高斯函数又是用均值向量和协方差矩阵来描述的。为了找到输入语音信号和给定模型之间的似然值,必须将输入语音信号和每个高斯函数进行匹配。然后得到模型中每个高斯函数成员的值的加权和的形式的最终似然值。每个模型中高斯函数的个数的通常在6至64之间。
在封闭词汇表语音识别系统和方法中采用了预定义固定词汇表。在使用中,这种固定词汇表可以很大,但是并不详尽,因此,例如一个人的姓和地名就不能包括。相反,开放式词汇表语音识别系统和方法具有一个可变词汇表,可以由用户或者用其他方法在词汇表中增加新的词和短语。然而,目前的开放式词汇表语音识别系统和方法需要相对高的计算开销,而这并不是便携式电子设备如个人数字助理、膝上型电脑、无线电话和其他的便携式计算设备所能接受的。
在本说明书,包括权利要求中,术语“包含”、“包括”或相近术语都是非排他性的包含,这样,一种方法或者包含一些元件的设备并不只包含那些已列出的元件,还可以包含其他没有列出的元件。
发明内容
根据本发明的一个方面,提供了一种由电子设备执行的开放式语音识别的方法,该方法包含:
接收到一个发音波形;
对该波形进行处理,以便提供表示该波形的特征向量;
将这些特征向量与链接的(concatenated)单字声音模型列表中的多个链接单字声音模型相比较,选出适当的链接单字声音模型;以及
根据所述适当链接单字声音模型提供一个响应。
链接单字声音模型列表可以用如下步骤来产生:
从词汇存储器中得到文本;
将文本转换为多个音素;以及
根据这些音素,将这些音素模型连接到链接单字模型中,形成链接单字声音模型列表。
可以用在存储器中存储多个链接单字模型的方法来产生列表。或者通过将音素模型存储器中的已选模型编入索引中的方法来产生列表。
声音模型列表最好是大小可变的。声音模型列表可以在接收步骤的执行之前生成。
词汇表可以是一个开放式词汇表。该词汇表可以包含增加的文本输入。该文本可以是电子设备的使用者增加性的输入的。
语音模型存储器可以包含隐藏马尔可夫模型。
该响应最好包含用于激活该设备功能的控制信号。
或者根据本发明的另一方面,提供了一种用于开放式词汇表语音识别的电子设备。该设备可以适当实现任意或者全部上述步骤。
附图说明
为了更好的理解本发明并且将本发明付诸实践,下面根据附图对优选实施例进行说明,其中:
图1是根据本发明的一个电子设备的示意框图;
图2是根据本发明的链接单字声音模型列表的产生方法的流程图,所述列表是由图1设备使用的;
图3是根据本发明的在图1设备中执行的开放式词汇表语音识别方法的流程图;
图4是存储在图1设备的固定音素存储器中的一个音素声音模型的状态图;
图5是链接单字声音模型的状态图。
优选实施例的详细说明
参见图1,图中所示是一个电子设备100,该设备包含一个通过总线103与用户接口104相连的设备处理器102,用户接口104通常是触摸屏或者显示屏和小键盘。用户接口104通过总线103与词隐藏马尔可夫模型合成器110中的开放式词汇存储器112相连。词隐藏马尔可夫模型合成器110还包含一个转换器114,转换器114的一个输入与开放式词汇存储器112的一个输出相连。转换器114的一个输出与链接处理器116的一个输入相连。链接处理器116与固定语音隐藏马尔可夫模型存储器118相连,并且链接处理器116的一个输出与一个声音模型列表存储器122相连,声音模型列表存储器122是单字识别器120的一个组成部分。
单字识别器120还包含一个与前端信号处理器124相连的麦克风106,前端信号处理器124的一个输出与单字识别器126的一个输入相连。单字识别器126与声音模型列表存储器122相连,并且单字识别器126的一个输出还通过总线103与设备处理器102相连。总线103还将设备处理器与前端信号处理器124和转换器114相连。在本实施例中,存储器122最好也通过总线103与设备处理器102相连。
参见图2,图中所示是用于产生设备100使用的链接单字声音模型列表的方法200的流程图。在开始步骤210,通过给设备100供电或者当用户通过用户接口104将一个新的词或者短语输入到开放式词汇表存储器112中时,调用该方法,于是产生链接单字声音模型列表。在开始步骤210之后,方法200执行步骤220,从开放式词汇存储器112中得到文本。然后由转换器114执行步骤230,将文本从字母转换为相应的多个音素。然后,链接处理器116执行步骤240,根据这些音素,将音素模型连接到单字声音模型中。例如,如果在开放式词汇存储器中的一个词是“but”,那么就在步骤230将该词转化为三个音素/b/、/ah/和/t/。
参见图4,图中是隐藏马尔可夫模型(HMM)的状态图,图解了一个存储在固定音素存储器118中的音素模型(音素声音模型)。该状态图是用三个状态S1、S2、S3模拟的一个可能的音素/b/。与每个状态相关联的是转移概率,其中a11和a12是状态S1的转移概率,其中a21和a22是状态S2的转移概率,其中a31和a32是状态S3的转移概率。这样,对于本领域技术人员来说,显然状态图是依赖于上下文的三音,每个状态S1、S2、S3通常具有6至64个分量的高斯混和。同样,中间状态S2被看作是音素HMM的稳定状态,而其他两个状态是用来描述两个音素间互连的转换状态。
再参见图2,用于链接的步骤240会得到图5中的音素/b/、/ah/和/t/的相链接的单字声音模型状态图。如图所示,每个状态图或者HMM用直接级连的方法连接起来。然后,方法200提供步骤250,产生一个包含多个链接单字声音模型的链接单字声音模型列表。该列表通常被存储在存储器中,这个存储器最好是声音模型列表存储器122。也可以用将固定音素隐藏马尔可夫模型存储器118中的已选模型编入索引中的方法来产生列表,这样就用存储器118内一个索引隐藏马尔可夫模型连接了这些链接单字声音模型。方法200然后在结束步骤260终止,当以后设备100被供电或者当用户将一个新词或短语输入到开放式词汇表存储器112中时,将再次调用该方法。
参见图3,图中给出了由电子设备100执行的开放式词汇表语音识别方法300。在开始步骤310之后,通常由用户在接口104提供的激励信号调用,方法300在步骤320接收在麦克风106输入的发音波形。然后前端信号处理器124进行采样并且在步骤330将发音波形进行数字化,然后在步骤340对其进行分割,在步骤350对其进行处理以得到描述波形的特征向量。应当注意,步骤320至350在本领域中是公知的,因此,并不需要详细的说明。
然后,在步骤360,方法300将这些特征向量与链接单字声音模型列表中的多个链接单字声音模型进行比较,以选出合适的链接单字声音模型。这里所说的比较是由单字识别器126通过对存储在声音模型存储器122中的声音模型列表进行搜索实现的。然后,识别器126执行提供步370来提供一个基于在步骤360选出的合适的链接单字声音模型的响应(识别结果信号)。
本发明允许用开放式词汇表语音识别执行设备100的命令。这些命令通常是由麦克风106检测到的用户发音,或者通过其他的输入方法,如通过无线或网络连接的通信链路远程接收到的语音。方法300在步骤320有效接收到一个发音,并在步骤370做出反映,这些反映包括提供用于控制设备100或者激励设备100的一个功能的控制信号。这样的功能可以是横过一个菜单或者根据与在步骤320接收到的发音相符合的名字选出一个相应的电话号码。
本发明允许开放式词汇表语音识别,其中该开放式词汇表存储器112可以包含由电子设备100的用户输入到词汇存储器112的增加性文本输入。同样,链接单字声音模型列表是通过对设备100供电或当用户通过用户接口104将一个新词或者短语输入到词汇表存储器112中时产生的。于是,链接单字声音模型列表是在接收步骤320的操作之前激活的。从而,本发明减轻了与现有技术开放式词汇表语音识别相关的某些相对较高计算运行时间的消耗。
该详细的说明书只提供了优选范例实施例,但这并不打算限制本发明的范围、应用、或者配置。相反,该优选范例实施例的详细说明给本领域技术人员提供了可以用于实现本发明优选范例实施例的描述。应该明白,在不背离所附权利要求中列出的本发明的精神和范围的前提下,可以对本发明中要素的功能和配置进行不同的修改。

Claims (11)

1.一种由电子设备执行的开放式语音识别的方法,该方法包含:
接收一个发音波形;
对该波形进行处理,以便提供表示该波形的特征向量;
将这些特征向量与链接单字声音模型列表中的多个链接单字声音模型相比较,选出适当的链接单字声音模型;以及
根据所述适当链接单字声音模型提供一个响应。
2.如权利要求1所述的方法,其中链接单字声音模型列表用如下步骤来产生:
从词汇存储器中得到文本;
将文本转换为多个音素;以及
根据这些音素,将这些音素模型连接到链接单字模型中,形成链接单字声音模型列表。
3.如权利要求2所述的方法,其中用在存储器中存储多个链接单字模型的方法来产生列表。
4.如权利要求2所述的方法,其中通过将音素模型存储器中的已选模型编入索引中的方法来产生列表。
5.如权利要求2所述的方法,其中声音模型列表是大小可变的,声音模型列表可以在接收步骤的执行之前生成。
6.如权利要求1所述的方法,其中词汇表可以是一个开放式词汇表。
7.如权利要求2所述的方法,其中词汇表可以是一个开放式词汇表。
8.如权利要求2所述的方法,其中词汇表包含增加性的文本输入。
9.如权利要求8所述的方法,其中文本是电子设备的使用者增加性的输入的。
10.如权利要求2所述的方法,其中模型存储器包含隐藏马尔可夫模型。
11.如权利要求2所述的方法,其中响应包含用于激活该设备功能的控制信号。
CNB03156092XA 2003-08-29 2003-08-29 开放式词汇表语音识别的方法 Expired - Lifetime CN1327406C (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CNB03156092XA CN1327406C (zh) 2003-08-29 2003-08-29 开放式词汇表语音识别的方法
US10/925,601 US20050049870A1 (en) 2003-08-29 2004-08-24 Open vocabulary speech recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB03156092XA CN1327406C (zh) 2003-08-29 2003-08-29 开放式词汇表语音识别的方法

Publications (2)

Publication Number Publication Date
CN1591567A true CN1591567A (zh) 2005-03-09
CN1327406C CN1327406C (zh) 2007-07-18

Family

ID=34201026

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB03156092XA Expired - Lifetime CN1327406C (zh) 2003-08-29 2003-08-29 开放式词汇表语音识别的方法

Country Status (2)

Country Link
US (1) US20050049870A1 (zh)
CN (1) CN1327406C (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9838877B2 (en) 2008-04-02 2017-12-05 Yougetitback Limited Systems and methods for dynamically assessing and mitigating risk of an insured entity
US9886599B2 (en) 2008-04-02 2018-02-06 Yougetitback Limited Display of information through auxiliary user interface
US20090253406A1 (en) * 2008-04-02 2009-10-08 William Fitzgerald System for mitigating the unauthorized use of a device
US9916481B2 (en) 2008-04-02 2018-03-13 Yougetitback Limited Systems and methods for mitigating the unauthorized use of a device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
WO2010019831A1 (en) * 2008-08-14 2010-02-18 21Ct, Inc. Hidden markov model for speech processing with training method
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) * 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
CN108288470B (zh) * 2017-01-10 2021-12-21 富士通株式会社 基于声纹的身份验证方法和装置
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5033087A (en) * 1989-03-14 1991-07-16 International Business Machines Corp. Method and apparatus for the automatic determination of phonological rules as for a continuous speech recognition system
US5345535A (en) * 1990-04-04 1994-09-06 Doddington George R Speech analysis method and apparatus
US5502790A (en) * 1991-12-24 1996-03-26 Oki Electric Industry Co., Ltd. Speech recognition method and system using triphones, diphones, and phonemes
US5825978A (en) * 1994-07-18 1998-10-20 Sri International Method and apparatus for speech recognition using optimized partial mixture tying of HMM state functions
US6553342B1 (en) * 2000-02-02 2003-04-22 Motorola, Inc. Tone based speech recognition

Also Published As

Publication number Publication date
US20050049870A1 (en) 2005-03-03
CN1327406C (zh) 2007-07-18

Similar Documents

Publication Publication Date Title
CN1327406C (zh) 开放式词汇表语音识别的方法
Rudnicky et al. Survey of current speech technology
EP1047046B1 (en) Distributed architecture for training a speech recognition system
Deng et al. Challenges in adopting speech recognition
US6845357B2 (en) Pattern recognition using an observable operator model
CN1110789C (zh) 有集成化音调分类器的连续汉语普通话语音识别系统
CN110277088B (zh) 智能语音识别方法、装置及计算机可读存储介质
US7471775B2 (en) Method and apparatus for generating and updating a voice tag
Cohen Embedded speech recognition applications in mobile phones: Status, trends, and challenges
WO1996023298A2 (en) System amd method for generating and using context dependent sub-syllable models to recognize a tonal language
EP1922653A1 (en) Word clustering for input data
CN1132147C (zh) 语音识别系统中的特征提取方法
CN108346426B (zh) 语音识别装置以及语音识别方法
US6473734B1 (en) Methodology for the use of verbal proxies for dynamic vocabulary additions in speech interfaces
JPS62232000A (ja) 音声認識装置
US20060235686A1 (en) Speech recognition device
EP1074019B1 (en) Adaptation of a speech recognizer for dialectal and linguistic domain variations
US7467086B2 (en) Methodology for generating enhanced demiphone acoustic models for speech recognition
Joshi et al. Voice recognition system
JP2996925B2 (ja) 音素境界検出装置及び音声認識装置
JP3526549B2 (ja) 音声認識装置、方法及び記録媒体
JP2561553B2 (ja) 標準話者選択装置
Liu et al. Improved phonotactic language recognition based on RNN feature reconstruction
López-Cózar et al. A new technique based on augmented language models to improve the performance of spoken dialogue systems.
CN1746970A (zh) 移动通讯终端机的语音识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MOTOROLA MOBILE CO., LTD.

Free format text: FORMER OWNER: MOTOROLA INC.

Effective date: 20110110

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: ILLINOIS, USA TO: ILLINOIS STATE, USA

TR01 Transfer of patent right

Effective date of registration: 20110110

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY, Inc.

Address before: Illinois Instrunment

Patentee before: Motorola, Inc.

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY, Inc.

TR01 Transfer of patent right

Effective date of registration: 20160315

Address after: California, USA

Patentee after: Google Technology Holdings LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY LLC

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20070718