CN103282957B - 基于上下文自动监测话音输入 - Google Patents

基于上下文自动监测话音输入 Download PDF

Info

Publication number
CN103282957B
CN103282957B CN201180047154.0A CN201180047154A CN103282957B CN 103282957 B CN103282957 B CN 103282957B CN 201180047154 A CN201180047154 A CN 201180047154A CN 103282957 B CN103282957 B CN 103282957B
Authority
CN
China
Prior art keywords
mobile computing
computing device
user
speech
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180047154.0A
Other languages
English (en)
Other versions
CN103282957A (zh
Inventor
M·J·勒博
J·N·吉特科夫
D·伯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201610473719.6A priority Critical patent/CN106126178B/zh
Publication of CN103282957A publication Critical patent/CN103282957A/zh
Application granted granted Critical
Publication of CN103282957B publication Critical patent/CN103282957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H04W4/046—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/04—Supports for telephone transmitters or receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72445—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Abstract

在一个实现中，计算机实现的方法包括检测与移动计算设备相关联的当前上下文，并且基于该当前上下文确定是否将移动计算设备从当前操作模式切换至第二操作模式，在第二操作模式期间移动计算设备针对话音输入监测环境声音，该话音输入指示用于执行操作的请求。响应于确定是否切换至第二操作模式，该方法可以进一步包括激活与所述移动计算设备相关联的一个或多个麦克风和语音分析子系统，以便移动计算设备接收音频数据流。该方法还可以包括在移动计算设备上提供响应于话音输入的输出，所述话音输入被检测在所述音频数据流中并且指示用于执行操作的请求。

Description

基于上下文自动监测话音输入
相关申请的交叉引用
本申请要求于2010年8月6日提交的、名称为“AUTOMATICALLYMONITORINGFORVOICEINPUTBASEDONCONTEXT”的美国申请序列No.12/852,256的优先权，其公开内容通过引入并入于此。
技术领域
本文档总体上描述了用于使用移动计算设备(诸如，移动电话)自动地监测话音输入的方法、系统和技术。
背景技术
移动计算设备(例如，移动电话、智能电话、个人数字助理(PDA)、便携式媒体播放器等)已经被配置为在用户明确提示接收并处理话音或话语输入时对话音或话语输入接收并处理。例如，移动计算设备已经被配置为响应于用户按压并保持按钮按下阈值时间(例如，一秒)开始监测话音。例如，如果用户期望向此类移动计算设备提交口头搜索请求，则用户需要在提交话音输入之前按压并保持按钮按下至少阈值时间，否则话音输入将不会被移动计算设备接收继而搜索请求也不会被处理。
发明内容
通过本文档中描述的技术，计算设备的上下文(诸如，移动电话(例如，智能电话或应用程序电话))将被考虑以便自动确定何时监测话音输入，诸如口头搜索请求。自动确定是不需要明确用户指导的确定。通过本文档中描述的技术，移动计算设备可以基于与该移动计算设备相关联的当前上下文自动确定何时监测话音输入，而不是等待用户提示该移动计算设备开始监测话音输入(例如，按压并保持按钮阈值时间)。与移动计算设备(和/或该移动计算设备的用户)相关联的当前上下文可以包括：设备外部上下文(诸如表示设备周围的环境)，或者设备内部上下文(诸如存储在设备中关于该设备的历史信息)。设备外部上下文例如可以包括移动计算设备所处的物理位置(例如，由设备中GPS或其他技术确定的家庭、单位、汽车等)，以及移动计算设备的运动状态(例如，加速、静止等)。设备内部上下文可以包括移动计算设备上的最近活动(例如，社交网络活动、发送/接收的电子邮件、拨打/接听的电话呼叫等)。移动计算设备(和/或其用户)的当前上下文独立于指导设备听取话语输入的用户输入本身。
例如，设想用户带着他/她的移动计算设备下班回家以及该用户开始做晚饭。在检测到移动计算设备位于用户家中(该移动计算设备的上下文)之后，在此示例中该移动计算设备自动开始监测来自用户的话音输入。该设备例如可以经由GPS读数或者通过确定其停驻特定音乐码头(dock)或特定类型音乐码头来确定其上下文。用户在做晚饭时意识到其无法记下应该向盘中添加多少特定配料。用户可以简单地询问应当向盘中添加多少配料而不是需要停止准备饭菜去查找食谱(例如，洗手并且找到书中或电子文档中的食谱)，这是因为移动计算设备已经在监测话音输入，该移动计算设备可以接收并处理口头请求。例如，移动计算设备可以定位包含该食谱的电子文档，标识所述配料的用量，以及通过用量信息(例如，“你的食谱要求1杯糖”)听觉上响应用户。通过本文档中描述的技术，该示例中的用户能够获取其问题的答案而不需要中断其饭菜准备(例如，不需要首先物理上提示移动计算设备接收话音输入)。
继续上段示例，移动计算设备可以基于该移动计算设备在用户家中被放置的码头类型确定其位于用户的家中。例如，移动计算设备可以基于彼此匹配的码头和设备上的物理电接触或者经由码头和设备之间的电子通信(例如，经由BLUETOOTH或RFID)标识码头的类型。例如，码头上可以提供旨在家庭使用的特定管脚布置，而可以向旨在和销售用于车内使用的码头提供不同布置。
通过仅在用户可以限定的特定上下文中启用此类侦听，这里的技术提供了强大的用户接口同时还允许用户控制对其信息的访问。因此，此类监测可以被提供作为启用侦听之前用户必须主动配置其设备支持的选项，以便给予用户对该特征的控制。另外，当设备进入侦听模式时，该设备可以向用户大声宣布。另外，这里所述处理可以被分离在设备和该设备与之通信的任意服务器系统之间，以便监测可以在该设备上发生，并且当此类监测触发要求与服务器系统通信的动作时，该设备可以向用户宣布此事实和/或从该用户寻求批准。此外，使用这里所述技术可以由设备采取的特定动作可以由用户预先限定(例如，在列表中)，以便用户可以包括该用户可舒服执行的动作(例如，取得针对天气、电影时间、航班的信息以及用户确定不牵连隐私问题的类似动作)。
在一个实现中，计算机实现的方法包括检测与移动计算设备相关联的当前上下文，所述上下文在所述移动设备外部并且指示所述设备在其周围环境的当前状态，并且基于所述当前上下文确定是否将所述移动计算设备从当前操作模式切换至第二操作模式，在所述第二操作模式期间所述移动计算设备针对话音输入监测环境声音，所述话音输入指示用于执行操作的请求。响应于确定是否切换至所述第二操作模式，该方法可以进一步包括激活与所述移动计算设备相关联的一个或多个麦克风和语音分析子系统，以便所述移动计算设备接收音频数据流。该方法还可以包括在所述移动计算设备上提供响应于话音输入的输出，所述话音输入被检测在所述音频数据流中并且指示用于执行操作的请求。
在另一实现中，一种用于自动监测话音输入的系统包括移动计算设备以及一个或多个麦克风，所述一个或多个麦克风被配置为接收环境音频信号并且向所述移动计算设备提供电子音频数据。该系统还可以包括上下文确定单元，被配置为检测与所述移动计算设备相关联的当前上下文，所述上下文在所述移动设备外部并且指示所述设备在其周围环境中的当前状态，以及模式选择单元，被配置为基于由所述上下文确定单元确定的所述当前上下文确定是否将所述移动计算设备从当前操作模式切换至第二操作模式，在所述第二操作模式期间所述移动计算设备针对话音输入监测环境声音，所述话音输入指示用于执行操作的请求。该系统可以进一步包括所述移动计算设备的输入子系统，被配置为响应于确定是否切换至所述第二操作模式，激活与所述移动计算设备相关联的一个或多个麦克风和语音分析子系统，以便所述移动计算设备接收音频数据流。该系统还可以包括所述移动计算设备的输出子系统，被配置为在所述移动计算设备上提供响应于话音输入的输出，所述话音输入被检测在所述音频数据流中并且指示用于执行操作的请求。
在又一实现中，一种用于自动监测话音输入的系统包括移动计算设备以及一个或多个麦克风，所述一个或多个麦克风被配置为接收环境音频信号并且向所述移动计算设备提供电子音频数据。该系统还可以包括上下文确定单元，被配置为检测与所述移动计算设备相关联的当前上下文，所述上下文在所述移动设备外部并且指示所述设备在其周围环境中的当前状态，以及用于基于所述当前上下文确定是否将所述移动计算设备从当前操作模式切换至第二操作模式的装置，在所述第二操作模式期间所述移动计算设备针对话音输入监测环境声音，所述话音输入指示用于执行操作的请求。该系统可以进一步包括所述移动计算设备的输入子系统，被配置为响应于确定是否切换至所述第二操作模式，激活与所述移动计算设备相关联的一个或多个麦克风和语音分析子系统，以便所述移动计算设备接收音频数据流。该系统还可以包括所述移动计算设备的输出子系统，被配置为在所述移动计算设备上提供响应于话音输入的输出，所述话音输入被检测在所述音频数据流中并且指示用于执行操作的请求。
一个或多个实施方式的细节在以下附图和描述中进行了阐述。各种优势可以通过某些实现方式得以实现，诸如在向计算设备提供话音输入时向用户提供更好的便利性。当他/她需要话音输入时，用户可以简单地提供话音输入，而不是首先必须经过形式步骤提示移动计算设备接收话音输入。另外，移动计算设备可以推断用户何时期望提供话音输入并且在那些时间段期间监测话音输入。考虑到监测话音输入可以使得移动计算设备消耗比该设备处于待机模式更多的功率，此特征可以帮助保存被移动计算设备消耗的能量，尤其在移动计算设备正在使用便携式电源(诸如，电池)时。
在附图和下文描述中阐述一个或者多个实施方式的细节。通过描述和附图容易理解本发明的其他特征、目的和优点。
附图说明
图1A至图1C是用于基于上下文自动监测话音输入的示例移动计算设备的概念图。
图2A至图2B是用于基于与移动计算设备相关联的当前上下文自动监测话音输入的示例系统的示图。
图3A至图3C是用于基于移动计算设备的上下文自动监测话音输入的示例技术的流程图。
图4是可以用来实施本文档中描述的技术、系统、机制和方法的系统的概念图。
图5是作为客户端或者作为一个或者多个服务器的、可以用来实施本文档中描述的系统和方法的计算设备的框图。
各图中的相似参考符号指示相似元件。
具体实施方式
本文档描述了用于自动监测对移动计算设备(例如，移动电话、智能电话(例如，IPHONE、BLACKBERRY)、个人数字助理(PDA)、便携式媒体播放器(例如，IPOD)等)的话音/话语输入的技术、方法、系统和机制。关于何时开始和结束监测话音输入的确定可以基于与移动计算设备(和/或移动计算设备的用户)相关联的上下文。例如，当与移动计算设备(和/或移动计算设备的用户)相关联的上下文指示用户期望提供话音输入和/或提供基于话音的特征将对用户便利时，该移动计算设备可以自动监测话音输入。
随着移动计算设备变得更加强大，由移动计算设备提供的话音相关特征的数目也增多了。例如，用户可以采用话音命令指导移动计算设备发起电话呼叫(例如，“呼叫Bob”)以及播放音乐(例如，“播放Beck的音乐”)。然而，移动计算设备已经被配置为仅在由用户提示这样做时才会监测此类话音输入。例如，用户可能需要按压移动计算设备上的按钮或者激活特定应用上的话音特征用于移动计算设备接收并处理此类话音输入。
本文档中描述的技术、方法、系统和机制允许用户提供话音输入而不需要附加与提示移动计算设备使用话音输入相关联的手续。相反，移动计算设备可以基于与该移动计算设备(和/或该移动计算设备的用户)相关联的当前上下文确定何时开始监测话音输入，而不需要在确定时明确的用户指导。针对移动计算设备的当前上下文可以包括与该移动计算设备和/或该移动计算设备的用户相关联的各种信息。此类信息可以在设备外部并且由设备中的传感器标识，诸如当前物理位置(例如，家庭、单位、汽车、位于无线网络“testnet2010”附近等)、设备移动的方向和速率(例如，以20英里每小时北行)、当前地理位置(例如，第十街与Marquette大道的拐角)、移动计算设备停驻的码头类型(例如，汽车适配码头)、环境噪声(例如，低沉的嗡嗡声、音乐等)以及来自移动计算设备相机的当前图像。
上下文可以在设备内部，诸如设备关于时间和日期(例如，2010年7月29日下午2:00)、即将到来和/或近期约会日程安排(例如，2010年7月29日下午2:30与John见面)、近期设备活动(例如，向John发送关于2:30见面的电子邮件)以及来自移动计算设备相机没有反映该设备周围当前状态的历史图像进行的确定。
例如，移动计算设备可以基于所检测的该设备移动的高速率(例如，使用作为该设备标准组件的各种运动传感器中的任意传感器)和/或基于该设备正停驻在适配汽车的移动设备码头(例如，检测移动计算设备与码头之间物理电子连接的管脚布置)确定其当前在汽车中移动。移动计算设备可以基于该当前上下文确定是否监测话音输入。
各种方法可以用于确定哪些上下文允许话音输入监测以及哪些上下文不允许。例如，移动计算设备可以尝试推断当前上下文是否指示该用户至少具有提供话音输入的阈值可能性，并且如果是这样则作为响应监测话音输入。在另一示例中，移动计算设备可以尝试基于当前上下文推断监测话音输入是否可以向用户至少提供阈值水平的便利性，并且如果是这样则监测话音输入。在另一示例，预先标识和/或用户标识的上下文可以用于确定何时监测话音输入。还可以使用用于确定何时监测话音输入的其他技术。
对上文汽车上下文示例进行扩展，基于确定移动计算设备位于汽车中，移动计算设备可以推断用户能够提供话音输入非常方便(并且安全)。基于关于所确定上下文的本推断，移动计算设备可以开始监测并处理用户的话音输入。移动计算设备可以继续监测话音输入直到各种结束事件发生，诸如移动计算设备的当前上下文改变(例如，用户将移动计算设备从汽车中移除)，用户指示其期望话音输入监测结束(例如，用户提供用于提供诸如“停止监测话音输入”的指示的话音输入)，移动计算设备的电池即将用尽所存储的电量(例如，电池剩余电量在25％以下)等。
监测话音输入可以涉及将话音输入从可以由移动计算设备接收的其他环境噪声(例如，背景音乐、汽车喇叭等)分离，继而确定该话音输入是否可应用于该移动计算设备。例如，当两个用户在正在监测话音输入的移动计算设备前进行交谈时，该移动计算设备可以确定哪些话音输入是用户交谈的一部分以及哪些是请求移动计算设备执行操作。各种技术可以用于进行此类确定，诸如监测特定关键字(例如，“搜索”、“移动设备”等)、检查语法(例如，标识问题、标识命令等)等。
如下文进一步详细所述，移动计算设备可以在该移动计算设备本地和/或结合远离该移动计算设备的计算机系统监测并处理话音输入。例如，移动计算设备可以确定其当前上下文，确定是否监测话音输入，标识用于移动计算设备的话音输入，以及使得与话音输入相关联的命令作为单独设备(例如，不需要通过网络与其他设备交互)和/或通过与远程服务器系统交互来执行。
图1A至图1C是用于基于上下文自动监测话音输入的示例移动计算设备102a-b、142和162a-d的概念图100、140和160。参考图1A，示图100描绘了监测话音输入的示例，其中移动计算设备102a-b(旨在指代相同计算设备)在两个不同的上下文(上下文A104和上下文B106)中。
在上下文A104中，移动计算设备102a被描绘为正被用户的手108持有而没有物理连接或系至其他设备或线。移动计算设备102a在该示例中被描绘为使用移动电源(例如，电池)进行操作。
在上下文B106中，移动计算设备102b被描绘为正停驻在包括扬声器112和麦克风114和116的移动设备码头110中。移动计算设备102b被描绘为与码头110的移动设备接口118电子物理接触。移动计算设备102b和码头110可以通过该电子物理连接进行通信。例如，移动设备102b可以通过与接口118的连接将音频数据流传输到码头110，其可以使得码头110使用扬声器112播放音乐。类似地，码头110可以向移动设备102b提供通过扬声器114和116以及接口118接收的音频数据。
进一步针对上下文B106，码头110被描绘为从插入电源插座122的电源线120接收功率。移动计算设备102b可以通过码头110的接口118从外部电源(例如，直接从码头110，间接从电源线122等)接收功率。
基于上下文104和106，移动计算设,102a-b确定是否自治地(不需要首先由用户提示或指示如何做)监测话音输入。针对上下文A104，移动计算设备102a至少基于设备使用便携式电源(电池)而不是外部电源确定不监测话音输入。对于便携式电源，电源供应是有限的。然而，监测话音输入可以比移动计算设备102a的正常待机操作耗费更多的功率，并且可能继续不确定的时间量。因此，在上下文A104中，移动计算设备102a可以确定对于用户监测话音输入的任意潜在便利性被在相对短时间(与待机操作相比时短)内潜在耗费电池对移动计算设备102a的非便利性超过。另外，移动计算设备102a可以确定由用户提供的任意话音输入基于依赖于其自己的麦克风(与外部麦克风不同，如麦克风114和116)的移动计算设备102a将无法足够清楚地接收以准确处理。因此，上下文A104中的移动计算设备102a不监测话音输入，如符号124所示。
与此相反，参考上下文B106，移动计算设备102b基于正连接至码头110的移动计算设备102b确定监测话音输入(如不存在像上下文A104中符号124的符号所示)。如上文所述，移动计算设备102b可以基于接口118中使用的管脚布置将码头110标识为特定类型的码头。通过与码头110连接，移动计算设备102b接收外部电源(例如，码头110、插座122)和外部麦克风114和116的益处。在该示例中，移动计算设备102b可以基于连接码头110、移动计算设备102b连接的码头类型(例如，家庭立体声码头)、外部电源的可用性和外部麦克风114和116的可用性的任意组合监测话音输入。作为监测话音输入的一部分，移动计算设备102b可以从麦克风114和116接收音频数据流，从中用于标识(并处理)话音输入。同样，通过限制监测特定上下文B，系统可以帮助确保用户意识到被系统监测(当其发生时)。
设备102b还可以宣布何时其切换至监测模式。例如，当设备已经停驻时，码头上的扬声器可以宣布“设备现在监测请求-请说停止监测来禁用特征”。此类宣布可以向用户提供监测正在发生的附加通知，以便用户可以获得监测的优势，同时维持对监测内容的控制。
所描绘的Alice126与Bob128之间的交谈演示了由移动计算设备102a-b执行的话音输入监测。Alice向Bob说“你好，Bob。最近怎么样？”(130)。Alice回答“还不错。你呢？”(132)。Alice回答“不错。你知道本周末的天气预报吗？”(134)，而Bob说“不知道。稍等，我查下移动设备。本周末的天气预报是什么？”(136)。
如符号124所示，基于确定不监测话音输入Alice126与Bob128之间的交谈130-136没有被上下文A104中的移动计算设备102a接收。
相反，Alice126与Bob128之间的交谈130-136被接收作为由移动计算设备102b使用码头110的接口118和麦克风114和116接收的音频数据流的一部分。移动计算设备102b可以使用语音分析子系统从其他环境噪声(诸如，背景音乐)中检测话音输入130-136，并且标识话音输入130-136中的任意输入是否为对移动计算设备102b的请求。
如早先所述，移动计算设备102b可以使用各种技术来标识话音输入130-136中的任意输入是否为对移动计算设备102b的请求。例如，移动计算设备102b可以针对关键字扫描话音输入130-136，例如，命令“搜索附近餐馆”中使用的词语“搜索”，以及问题“移动设备，篮球比赛的当前比分是多少？”中使用的词语“移动设备”。在另一示例中，移动计算设备102b可以监测话音输入130-136的语法来尝试标识语音中可以用于移动计算设备102b的多个部分，诸如问题和命令。在又一示例中，移动计算设备102b可以基于话音输入结构中的改变(诸如，停顿(例如，用户等待来自移动计算设备102b的响应))，音频信号明显方向上的改变(例如，当提供命令时用户面向移动计算设备102b)，递送速度的改变(例如，当用于移动计算设备102b时用户减慢速度)，音调和声调的改变(例如，当处理移动计算设备102b时，用户降低音调并且减少声调水平)等透露某些话音输入被用于移动计算设备102b。还可以使用其他技术以及技术的组合。
在该示例中，Alice126与Bob128之间的话音输入130-136中存在多个问题，但只有话音输入136中的问题用于移动计算设备102b。使用先前段落中所述技术的任意组合，移动计算设备102b能够将该话音输入136正确地隔离作为移动计算设备102b执行操作的请求。例如，移动计算设备102b可以从Bob的话音输入136中标识短语“移动设备”，继而分析话音输入136的语法来将问题“本周末的天气预报是什么？”隔离用于移动计算设备102b。
响应于进行此类标识，移动计算设备102b可以发起搜索用于确定针对即将来临的周末移动计算设备102b当前地理位置的天气预报。移动计算设备102b可以本地(例如，查询移动计算设备102b上周期性获取并存储天气预报的天气应用)和/或通过经由网络(例如，因特网、蜂窝网络、3G/4G网络等)与远程信息服务器系统交互来标识该信息。
移动计算设备102b可以使用各种可用输出设备中的任意设备向Alice126和Bob128提供所请求的天气信息，所述输出设备诸如显示器(例如，移动计算设备102b的显示器、计算机监视器、电视等)、扬声器系统(例如，移动计算设备102b上的内部扬声器、码头110的扬声器112等)、投影仪(例如，作为移动计算设备102b和/或码头110的一部分的投影仪)等。在此示例中，移动计算设备102b使用移动计算设备118的文本到语音(TTS)子系统和码头110的扬声器112听觉上输出天气信息(138)。
参考图1B，示图140描绘了确定是否监测话音输入、标识来自话音输入的用户请求以及提供响应于该用户请求的输出的移动计算设备142的示例。
在步骤A，移动计算设备142检测移动计算设备142以及与该移动计算设备相关联的用户(未示出)的当前上下文(144)。如示例当前上下文146中所示，移动计算设备142当前位于用户的家(148a)，当前日期和时间为星期一下午7:00(148b)，用户周一剩余时间的日程安排没有约会(148c)，以及移动计算设备142当前使用90％充电的电池作为其电源(148d)。移动计算设备142的当前位置可以通过各种方式确定，诸如使用地理位置信息(例如，地理定位系统(GPS)信息)，标识周围计算设备和/或无线网络(例如，检测用户家中出现的无线网络)，移动计算设备142正位于特定类型的码头(例如，码头110)等。
在步骤B，移动计算设备142基于该设备142及其用户的当前上下文146确定是否针对用户请求监测音频信号(150)。如上文参考图1A所述，各种技术可以用于确定是否监测来自用户的话音输入。在此示例中，移动计算设备142基于推断用户将向该用户和移动计算设备142两者提供用户请求和便利性的可能性(如上下文146所示)确定继续针对用户请求监测环境音频信号。提供用户请求的可能性可以至少从时间(下午7点)和用户的日程安排推断。虽然是在晚上，但用户可能还没有入睡(仅下午7点)以及该用户在该夜晚的剩余时间没有任何约会-用户在接下来若干小时期望自由时间可以至少指示向移动计算设备142提供基于话音请求的阈值可能性。至少基于移动计算设备142正位于用户家中，监测话音输入可以方便用户，其中用户可以与移动计算设备142大于一臂长度(例如，用户可以在房屋周围移动以便可以更方便用户简单地说出他/她的请求而不是需要定位移动计算设备142来针对每个请求手动提示计算设备142)。另外，至少基于电池至少具有阈值电荷并且基于监测将仅持续有限时间段(例如，移动计算设备142可以预测用户可能在若干小时后入睡)的推测，监测话音输入可以方便移动计算设备。
响应于确定监测音频信号，在步骤C，移动计算设备可以激活可用于移动计算设备的麦克风和语音分析子系统(152)。麦克风和/或语音分析子系统可以位于和/或远离移动计算设备142。例如，移动计算设备142使用的麦克风可以体现在移动计算设备中和/或远离移动计算设备(例如，码头110的麦克风114和116)。在另一示例中，语音分析子系统远程实现，移动计算设备142可以向远程语音分析子系统提供接收的音频信号，并且作为响应，接收指示是否已经检测到任意话音输入的信息。
移动计算设备142可以向用户显示指示正在进行针对用户请求监测音频信号的消息153。如果用户不期望上述操作发生，这可以向用户提供取消该操作的机会。
在步骤D，针对用户请求，移动计算设备142继续接收和监测环境音频信号(154)。例如，电视156a、人156b和宠物156c可以分别产生由移动计算设备142接收并检查的音频信号158a-c。
在所有这些音频信号当中，用户156b向移动计算设备142提出问题“缅因州的首府是？”(158b)作为用户请求。移动计算设备142(可能结合远程语音分析子系统)可以使用如上文参考图1A所述的各种技术中的任意技术从音频信号158a-c检测该用户请求。移动计算设备142继而可以本地(例如，搜索本地存储的信息数据库)或者通过与远程信息服务器系统交互来处理该用户请求。
获得了所标识用户请求的响应，如步骤F所示移动计算设备可以提供针对用户请求的输出(162)。在本示例中，移动计算设备在该移动计算设备142的显示器上显示用户问题的答案164。如上文参考图1A所述，还可以是向移动计算设备142提供此类输出的其他方式。
参考图1C，示图170描绘了使用四个不同上下文(上下文A174、上下文B176、上下文C178和上下文D180)中移动计算设备172a-d(旨在作为各不同上下文中描绘的单个移动计算设备)监测话音输入的示例。
参考上下文A174，移动计算设备172a被描绘为正位于用户办公室182。在此示例中，移动计算设备172a能够基于出现的与办公室182相关联的无线网络“workwifi”184标识其当前位置。如符号186所示，移动计算设备172a基于上下文A174确定不在用户办公室182监测话音输入。该确定可以基于上文参考图1A至图1B所述各种因素中的任意因素。
参考上下文B176，移动计算设备172b被描绘为正位于用户汽车188中。在此示例中，移动计算设备172b可以至少基于与汽车适配停驻/充电线缆190连接确定其当前上下文。如出现的如符号186的符号所示，移动计算设备172b基于上下文B176确定监测在用户汽车188内部进行的用户请求。该确定可以基于上文参考图1A至图1B所述各种因素中的任意因素。
上下文C178描绘了移动计算设备172c正位于用户的家192中。移动计算设备172能够至少基于出现的与用户家192相关联的无线网络“homenet”193以及设备172c正置于移动设备码头194中确定其当前上下文。如先前所示，移动设备172可以基于各种因素(诸如，不同的管脚布置)区分与汽车适配停驻/充电线缆190连接还是与移动设备码头194连接。如不存在像符号186的符号所示，移动计算设备172c基于上下文C178确定监测在用户家192内部进行的用户请求。该确定可以基于上文参考图1A至图1B所述各种因素中的任意因素。
上下文D180示出了移动计算设备172d正位于购物中心195。移动计算设备172d至少基于相对高水平环境噪声196(例如，在购物中心195中说话的其他购物者、进入购物中心195中的背景音乐等)以及多个可用无线网络197确定其当前上下文。基于环境噪声196和无线网络197，移动设备172d可以大体上推断其位于公共区域。基于上下文D180，如符号198所示，移动计算设备可以确定不监测话音输入。
移动计算设备172可以随着该移动计算设备172的上下文改变在监测话音输入与不监测用户请求之间切换。例如，当用户带着移动计算设备172离开办公室182进入汽车188时，移动计算设备172可以从不监测用户请求(在办公室182中)切换至监测用户请求(在汽车188中)。
其中移动计算设备172监测用户请求的上下文可以在设备和/或相关联的用户之间不同，并且可以随时间改变。反馈环路可以用于连续细化其中移动计算设备172监测话音输入的上下文。例如，如果用户超时没有向上下文C178中的计算设备172提供多个基于话音的请求，则移动计算设备172可以停止在上下文C178中监测话音输入。相反，如果用户频繁地手动提示计算设备172在上下文A174中接收话音输入，则移动计算设备172可以开始在上下文A174中监测话音输入。
图2A至图2B是用于基于与移动计算设备202相关联的当前上下文自动监测话音输入的示例系统200的示图。在此示例中，移动计算设备202被配置为基于与移动计算设备和/或该移动计算设备的用户相关联的当前上下文自动确定何时开始以及何时结束监测话音输入，类似于上文参考图1A至图1C所述的移动计算设备102、142和172。
移动计算设备202被描绘为包括输入子系统，通过该输入子系统话音输入(以及其他类型的输入)可以由移动计算设备202接收。参考图2B，输入子系统204被描绘为包括麦克风206a(被配置为接收基于音频的输入)、键盘206b(被配置为接收基于按键的输入)、触摸屏206c(被配置为接收基于屏幕触摸的输入)、加速度计206d(被配置为接收基于运动的输入)、追踪球206e(被配置为接收基于GUI指针的输入)、相机206f(被配置为接收视觉输入)和光传感器206g(被配置为接收基于光强的输入)。输入子系统204还包括网络接口208(例如，无线网络接口、通用串行总线(USB)接口、BLUETOOTH接口、公共交换电话网(PSTN)接口、以太网接口、蜂窝网络接口、3G和/或4G网络接口等)，被配置为接收基于网络的输入和输出。没有提到的其他类型的输入设备也可以作为输入子系统204的一部分。
移动计算设备202的输入解析器210可以被配置为从输入子系统204接收输入(诸如电子音频数据)，并且确定接收的音频数据是否包括话音输入。输入解析器210可以包括语音分析子系统212。该语音分析子系统212可以在监测用户请求时分析并确定麦克风206a接收的音频数据中是否存在任意话音输入。输入解析器210可以包括没有描绘用于解释通过输入子系统204接收的用户输入的其他模块，诸如计算机视觉模块，用于解释通过相机206f得到的图像，以及手势模块，用于解释由加速度计206d提供的物理移动数据。
移动设备上下文确定单元214可以确定移动计算设备202的当前上下文。该移动设备上下文确定单元214可以使用由输入子系统204接收并且由输入解析器210解释的输入以及移动计算设备202的各种上下文监测单元来确定移动设备202的当前上下文。
例如，全球定位系统(GPS)单元216可以向移动设备上下文确定单元214提供地理位置信息，以及功率/连接管理单元217可以提供关于移动计算设备的当前电源和/或功率状态的信息(例如，连接至外部电源、电池充电80％等)，以及关于移动计算设备202的充电和/或通信连接的信息(例如，设备被停驻、设备被连接至无线网络等)。移动监测单元218(结合移动数据仓库220)可以提供与当前正在移动的路线以及移动计算设备202移动的习惯路线有关的信息。活动监测单元222(结合活动数据仓库224)可以提供与移动设备202上最近和习惯用户活动(例如，使用的应用、多次访问的特定信息等)有关的信息。位置监测单元226可以提供关于移动计算设备202当前物理位置(例如，家、单位、汽车中等)的信息。位置监测单元226可以使用位置数据仓库227确定当前物理位置。位置数据仓库227可以将关于移动计算设备202检测到周围事物(例如，可用无线网络、周围声音、附近计算设备等)的信息与物理位置相关联。位置监测单元226还可以标识物理上位于该移动设备202附近的实体(例如，企业、公园、节庆场所、公共交通等)。
时间和日期单元228可以提供当前时间和日期信息，以及日历单元230(结合日历数据仓库232)可以提供与用户约会有关的信息。电子邮件单元234(结合电子邮件数据仓库236)可以通过电子邮件有关的信息(例如，最近发送/接收的电子邮件)。移动上下文确定单元214可以从没有提到或描绘的其他上下文监测单元接收信息。
在某些实现中，上下文监测单元216-236可以部分或整体远离移动计算设备202实现。例如，电子邮件单元234可以为仅显示由远程服务器系统维护并提供的电子邮件相关数据的瘦客户端。在此示例中，电子邮件单元234可以与远程服务器系统交互获得用于向移动设备上下文确定单元214提供的电子邮件相关信息。
模式选择单元238可以使用移动设备202的当前上下文(由移动设备上下文确定单元214确定)确定开始还是停止针对话音输入监测音频数据，话音输入指示针对移动计算设备202的用户请求。模式选择单元238可以确定是否从至少音频监测模式(期间针对用户请求监测音频数据)和非监测模式(期间移动计算设备202不监测音频数据)中进行选择。确定是否在模式(开始还是停止音频监测)之间进行切换可以基于如上文参考图1A至图1C所述从移动设备202(和/或与移动设备202相关联的用户)的当前上下文采取的各种考虑和推断中的任意考虑和推断。
除了使用当前上下文，模式选择单元238还可以基于用户行为数据仓库242中存储的与音频数据监测相关联的用户行为数据来确定开始还是停止针对用户请求监测音频数据。用户行为数据仓库242可以记录先前模式选择、进行模式选择时移动设备202的上下文以及针对所选模式用户的后续行为(例如，用户在音频监测模式期间有或者没有通过话音输入提供请求、用户手动切换至不同的操作模式、在处于非监测模式时用户手动提示设备接收并处理话音输入等)。用户行为数据仓库242中存储的用户行为数据可以指示基于设备202的上下文选择的模式是否被正确地推断出对用户有用和/或方便。上文参考图1C描述了使用用户行为数据选择操作模式的示例。
关于模式选择，模式选择单元238可以至少通知输入子系统204和输入解析器210。例如，响应于通知移动计算设备202被切换至音频监测模式，输入子系统204可以激活麦克风206a开始接收音频数据，并且输入解析器210可以激活语音分析子系统处理由麦克风206a提供的音频数据。在另一示例中，响应于通知移动计算设备202被切换至非监测操作模式，输入子系统204可以解激活麦克风206a，并且输入解析器210可以解激活语音分析子系统。
当至少麦克风206a和语音分析子系统212在音频监测操作模式期间被激活并且语音分析子系统212从麦克风206a和输入子系统204提供的音频数据流检测话音输入时，用户请求标识器241可以被通知该标识。用户请求标识器241可以确定所检测话音输入是否指示用户向移动计算设备请求执行操作(例如，搜索信息、播放媒体文件、提供行车路线等)。用户请求标识器241可以使用各种子系统辅助确定特定话音输入是否指示用户请求，诸如关键字标识器242a、语法模块242b和话音结构分析模块242c。
关键字标识器242a可以基于特定话音输入中存在关键字仓库243中存储的预先确定的关键字分组中的关键字来确定该特定话音输入是否用于移动计算设备202。例如，用户用于指代移动计算设备202的名称(例如，“移动设备”)可以是关键字仓库243中的关键字。在另一示例中，可以被移动计算设备202频繁处理的命令(诸如“搜索”(如在“搜索本地新闻”中)和“播放”(如在“播放Beatles的歌曲”中))可以包括在关键字仓库243。关键字仓库243中的关键字可以被预先确定和/或用户限定，并且关键字可以随时间改变。例如，反馈环路可以用于确定基于关键字的用户请求标识是否正确(例如，用户期望话音输入被标识为用户请求？)。此反馈环路可以使用从随后用户动作得到的推断来确定关键字是否应当被添加至关键字仓库243或者从关键字仓库243移除。例如，如果用户对响应于标识用户语音中词语“搜索”提供的搜索结果频繁给出古怪的响应(诸如，“哈？”和“那是什么？”)，则词语“搜索”可以从关键字仓库243移除。
类似于使用上文针对图1A提供的语法和话音输入结构的论述，语法模块242b可以分析话音输入的语法，并且话音结构分析模块242c可以分析话音输入结构以确定该话音输入是否可能用于移动计算设备202。类似于关键字标识器242a，语法模块242b和/或话音结构分析模块242c可以使用反馈环路随时间将话音输入的标识细化为用户请求。
使用用户请求标识器241标识的用户请求，输入处理单元244可以处理用户请求。在某些实现中，输入处理单元244可以向与用户输入相关联的应用和/或服务转发用户请求(例如，向音乐播放器应用提供用于播放音乐的用户请求)。在某些实现中，输入处理单元244可以使得与用户请求相关联的一个或多个操作被执行。例如，输入处理单元244可以与远程服务器系统通信，该远程服务器系统被配置为至少执行与用户输入相关联的操作的一部分。
如上文针对图1A至图1C所述，与上下文确定、模式选择、话音输入标识、用户请求标识和/或用户请求处理相关联的操作可以在移动计算设备202本地和/或远离移动计算设备202执行。例如，在日历应用在移动计算设备202本地实现的实现中，针对日历信息的用户请求可以在移动计算设备202本地执行(例如，针对日历数据仓库232中存储的相关日历信息查询日历单元230)。在另一示例中，在针对日历应用的日历数据在远程服务器系统上提供的实现中，移动计算设备202可以与远程服务器系统交互以访问相关日历信息。
移动计算设备202的输出子系统246可以向设备202的用户提供由输入处理单元244获得的输出。输出子系统246可以包括各种输出设备，诸如显示器248a(例如，液晶显示器(LCD)、触摸屏)、投影仪248b(例如，能够向设备202外部投射图像的图像投影仪)、扬声器248c、耳机插孔248d等。网络接口208还可以作为输出子系统246的一部分并且可以被配置为提供由输入处理单元244获得的结果(例如，向BLUETOOTH头戴耳机传输结果)。输出子系统246还可以包括文本到语音(TTS)模块248e，被配置为将文本转换成可以由扬声器248c输出的音频数据。例如，TTS模块248e可以将输入处理单元244处理用户请求生成的基于文本的输出转换成可以向移动计算设备202的用户播放的音频输出。
参考图2A，移动计算设备202可以与无线发射器250(例如，蜂窝网络收发器、无线网络路由器等)无线通信，并且获得对网络252(例如，因特网、PSTN、蜂窝网络、局域网(LAN)、虚拟专用网(VPN)等)的访问。通过网络252，移动计算设备202可以与移动设备服务器系统254(一个或多个联网的服务器计算机)通信，其可以被配置为向移动设备202提供移动设备相关服务和数据(例如，提供日历数据、电子邮件数据、将电话呼叫连接到其他电话等)。
移动设备202还可以通过网络252与一个或多个信息服务器系统256通信。信息服务器系统256可以作为提供可以与处理用户请求有关的信息的服务器系统。例如，信息服务器系统256可以提供当前交通状况、最新行车路线、天气预报以及与位于移动设备202当前地理位置附近的企业有关的信息。
图3A至图3C是用于基于移动计算设备的上下文自动监测话音输入的示例技术300、330和350的流程图。示例技术300、330和350可以由各种移动计算设备中的任意移动计算设备执行，诸如上文针对图1A至图1C描述的移动计算设备102、142和172和/或上文针对图2A至图2B描述的移动计算设备202。
参考图3A，示例技术300总体上用于基于移动计算设备的上下文自动监测话音输入。技术300通过检测与移动计算设备(和/或与移动计算设备相关联的用户)相关联的当前上下文从步骤302开始。例如，移动设备上下文确定单元214可以基于如针对图2B所述的各种上下文相关信息源(诸如，输入子系统204和上下文监测单元216-236)检测与移动计算设备202和/或移动计算设备202的用户相关联的当前上下文。
基于当前上下文可以确定是否从当前操作模式切换至第二操作模式(304)。例如，移动计算设备202的模式选择单元238可以基于由移动设备上下文确定单元214确定当前上下文确定是否开始监测话音输入(从当前操作模式切换至第二操作模式)。
响应于确定是否切换至第二操作模式可以激活一个或多个麦克风和/或语音分析子系统(306)。例如，响应于确定开始监测话音输入，模式选择单元238可以指示输入子系统204和输入解析器210激活麦克风206a和语音分析子系统212。
继续监测从激活麦克风提供的音频数据流可以为监测话音输入(308)。例如，语音分析子系统212可以监测由激活麦克风提供的音频数据流以从包括在该流中的其他声音和噪声中检测话音输入。
可以确定在继续监测期间检测的话音输入是否指示用于执行操作的请求(310)。例如，用户请求标识器241可以检查由语音分析子系统212标识的话音输入来确定话音输入是否指示用户请求移动计算设备202执行操作。
响应于确定用户请求被所检测话音输入指示，可以使得由用户请求指示的所请求操作被执行(312)。例如，用户请求标识器241可以指示输入处理单元244执行用户请求指示的操作。在某些实现中，输入处理单元244可以在移动计算设备202本地执行操作(例如，访问本地数据、服务和/或应用以执行操作)。在某些实现中，输入处理单元244可以与移动设备服务器系统254和/或信息服务器系统256交互以执行所请求操作。
响应于由所检测话音输入指示的用户请求的输出可以被提供(314)。例如，输出子系统246可以基于所请求操作的性能使用子系统246的组件248a-e中的一个或多个组件提供输出。
对于移动计算设备(和/或移动计算设备的用户)的当前上下文的改变可以被检测(316)。例如，由输入子系统204和/或上下文监测单元216-234生成的事件可以使得移动设备上下文确定单元214评估针对移动计算设备和/或移动计算设备的用户的上下文是否已经改变。
响应于检测上下文中的(至少阈值)改变，可以基于改变的上下文确定是否切换至第三操作模式(318)。例如，模式选择单元238可以检查移动计算设备202改变的上下文以确定是否停止监测话音输入(切换至第三操作模式)。
基于确定切换至第三操作模式，可以解激活一个或多个麦克风和/或语音分析子系统(320)。例如，在确定停止监测话音输入(切换至第三操作模式)之后，模式选择单元238可以指示输入子系统204和输入解析器210分别解激活麦克风206a和语音分析子系统212。
参考图3B，示例技术330总体上用于基于移动计算设备的当前上下文确定是否开始监测话音输入(从当前操作模式切换至第二操作模式)。示例技术330可以被执行作为上文针对图3A所述技术300的一部分。例如，技术330可以在技术300的步骤304执行。
技术330可以通过标识与当前上下文有关的用户行为数据从步骤332开始。例如，基于如上下文确定单元214确定的移动计算设备202的当前上下文，模式选择单元238可以从与类似于当前上下文的上下文相关联的用户行为数据仓库240访问用户行为数据。
基于各种因素(诸如，标识为与当前上下文有关的用户行为数据)可以确定用户是否至少具有提供话音输入的阈值可能性(334)。例如，如果移动计算设备202开始监测话音输入，则模式选择单元238可以基于各种因素(诸如，响应于话音监测先前在相似上下文中执行的先前用户动作(用户行为数据))确定用户是否将可能提供话音输入。如果至少存在用户提供话音输入的阈值可能性，则模式选择单元238可以开始监测话音输入。
可以确定监测话音输入是否将至少具有针对用户和移动计算设备阈值水平的便利性(336)。例如，类似于上文针对图1B中所示步骤B150所述，模式选择单元238可以检查监测话音输入是否将方便移动计算设备202的用户以及/或者监测话音输入是否将方便移动计算设备202(例如，检查移动计算设备202是否具有足够的电源供应用于继续监测话音输入)。
参考图3C，示例技术350总体上用于确定监测音频数据时检测的话音输入是否为用于执行操作的用户请求。示例技术350可以被执行作为上文针对图3A所述技术300的一部分。例如，技术350可以在技术300的步骤310执行。
技术350可以通过标识预先确定的关键字分组中的一个或多个关键字是否存在于所检测的话音输入从步骤352开始。例如，用户请求标识器241的关键字标识器242a可以检查关键字数据仓库243中存储的一个或多个关键字是否存在于继续监测话音输入时语音分析子系统212检测的话音输入中。
基于话音输入的语法可以确定该话音输入是命令还是问题(354)。例如，语法模块242b可以确定语音分析子系统212所检测话音输入的语法是指示用户用于移动计算设备202的命令还是问题。
与话音输入相关联的结构中的改变可以被标识(356)，并且基于所标识的改变，可以确定该话音输入是否用于移动计算设备(358)。例如，用户请求标识器241的话音结构分析模块242c可以确定由语音分析子系统212检测的话音输入的结构是否已经以指示话音输入用于移动计算设备202的方式改变。
图4是可以用来实施本文档中描述的技术、系统、机制和方法的系统的概念图。移动计算设备410可以与基站440无线通信，该基站可以通过网络450向移动计算设备提供对多个服务460的访问。
在这一例示中，将移动计算设备410描绘为手持移动电话(例如，智能电话或者应用电话)，该手持移动电话包括用于向移动计算设备410的用户呈现内容的触摸屏显示设备412。移动计算设备410包括用于接收对移动计算设备410的操作有影响的用户输入的各种输入设备(例如，键盘414和触摸屏显示设备412)。在更多实现方式中，移动计算设备410可以是膝上型计算机、平板计算机、个人数字助理、嵌入式系统(例如，汽车导航系统)、台式计算机或者计算机化工作站。
移动计算设备410可以包括各种视觉、听觉和触觉用户输出机制。示例视觉输出机制是可以可视地显示视频、图形、图像和文本的显示设备412，该视频、图形、图像和文本组合以提供可视用户界面。例如，显示设备412可以是3.7英寸AMOLED屏幕。其他可视输出机制可以包括LED状态灯(例如，在已经接收语音邮件时闪烁的灯)。
示例触觉输出机制是小型电马达，其连接到失衡重物以提供振动提醒(例如，振动以便向用户提醒传入电话呼叫或者确认用户与触摸屏412接触)。另外，移动计算设备410可以包括将电信号转换成声音(例如，电话呼叫中的音乐、可听提醒或者个人的语音)的一个或者多个扬声器420。
用于接收用户输入的示例机制包括键盘414，其可以是全qwerty键盘或者是包括数字“0-9”、“*”和“#”的传统小键盘。键盘414在用户物理地接触或者按下键盘键时接收输入。用户操控轨迹球416或者与轨迹板交互让用户能够向移动计算设备410供应方向和旋转速率信息(例如，以操控光标在显示设备412上的位置)。
移动计算设备410可以能够确定与触摸屏显示设备412的物理接触的位置(例如，手指或者触笔的接触的位置)。使用触摸屏412可以产生各种“可视”输入机制，其中用户通过接触在触摸屏412上描绘的图形用户接口元件来与图形用户接口元件交互。“可视”输入机制的示例是“软件键盘”，其中键盘显示于触摸屏上并且用户通过按压触摸屏412的与每个键对应的区域来选择键。
移动计算设备410可以包括机械或者触敏按钮418a-418d。此外，移动计算设备可以包括用于调整一个或者多个扬声器420的音量输出的按钮和用于打开或者关闭移动计算设备的按钮。麦克风422允许移动计算设备410将可听声音转换成可以在计算机可读存储器中数字编码和存储的或者向另一计算设备传输的电信号。移动计算设备410还可以包括数字罗盘、加速计、邻近传感器和环境光传感器。
操作系统可以提供在移动计算设备的硬件(例如，输入/输出机制和执行从计算机可读介质取回的指令的处理器)与软件之间的接口。示例操作系统包括ANDROID移动计算设备平台；APPLEIPHONE/MACOSX操作系统；MICROSOFTWINDOWS7/WINDOWSMOBILE操作系统；SYMBIAN操作系统；RIMBLACKBERRY操作系统；PALMWEB操作系统；多种支持UNIX的操作系统；或者用于计算机化设备的私有操作系统。操作系统可以提供用于执行应用程序的平台，这些应用程序有助于在计算设备与用户之间的交互。
移动计算设备410可以呈现与触摸屏412的图形用户界面。图形用户界面是一个或者多个图形界面元件的汇集并且可以是静态的(例如，显示器看来在时间段内保持相同)或者可以是动态的(例如，图形用户界面包括在没有用户输入时动画的图形界面元件)。
图形界面元件可以是文本、线条、形状、图形或者其组合。例如，图形界面元件可以是显示于桌面上的图标和图标的相关联的文本。在一些示例中，可用用户输入来选择图形界面元件。例如，用户可以通过按压触摸屏的与图形界面元件的显示对应的区域来选择图形界面元件。在一些示例中，用户可以操控轨迹球以醒目显示单个图形界面元件为具有聚焦。用户选择图形界面元件可以调用移动计算设备的预定义动作。在一些示例中，可选图形界面元件还对应于或者备选地对应于键盘404上的按钮。用户选择按钮可以调用预定义动作。
在一些示例中，操作系统提供在打开移动计算设备410时、在从睡眠状态激活移动计算设备410时、在“解锁”移动计算设备410时或者在接收用户对“home”按钮418c的选择时显示的“桌面”用户界面。桌面图形界面可以显示在用用户输入来选择时调用对应应用程序的若干图标。调用的应用程序可以呈现代替桌面图形界面的图形界面直至应用程序终止或者从视图中被隐藏。
用户输入可以操控移动计算设备410的操作序列。例如，单动作用户输入(例如，触摸屏的单敲、扫过触摸屏、与按钮接触或者这些动作的同时组合)可以调用使用户界面的显示改变的操作。在没有用户输入时，用户界面可能尚未在特定时间改变。例如，用触摸屏412的多触摸用户输入可以调用绘图应用以“放大”位置，即使绘图应用可以已经在若干秒之后默认放大。
桌面图形界面也可以显示“配件”。配件是与已经被执行的应用程序相关联并且在由执行应用程序控制的桌面内容上显示的一个或者多个图形界面元件。不同于直至用户选择对应图标才可以调用的应用程序，配件的应用程序可以始于移动电话。另外，配件可以不进行全显示的聚焦。备选地，配件可以仅“拥有”桌面的小部分，从而在桌面的该部分内显示内容并且接收触摸屏用户输入。
移动计算设备410可以包括一个或者多个位置标识机制。位置标识机制可以包括提供操作系统和应用并且对移动电话的地理位置的估计编程的硬件和软件的汇集。位置标识机制可以运用基于卫星的定位技术、基站传输天线标识、多基站三角测量、因特网访问点IP位置确定、基于搜索引擎查询对用的位置的推理标识以及用户供应的位置的标识(例如，通过向位置“签到”)。
移动计算设备410可以包括其他应用模块和硬件。呼叫处理单元可以接收传入电话呼叫的指示并且向用户提供应答传入电话呼叫的能力。媒体播放器可以允许用户收听音乐或者播放电影，这些音乐和电影在移动计算设备410的本地存储器中存储。移动电话410可以包括数字相机传感器以及对应的图像和视频捕获和编辑软件。因特网浏览器可以让用户能够通过键入与网页对应的地址或者选择指向网页的链接来查看来自网页的内容。
移动计算设备410可以包括向基站440无线传达信息的天线。基站440可以是基站汇集(例如，移动电话蜂窝网络)中的许多基站之一，该基站汇集使移动计算设备410能够在移动计算设备在地理上移动时维持与网络450的通信。计算设备410可以备选地或者附加地还通过Wi-Fi路由器或者有线连接(例如，以太网、USB或者FIREWIRE)与网络450通信。计算设备410还可以使用蓝牙协议来与其他计算设备通信或者可以运用自组织无线网络。
操作基站的网络的服务提供商可以将移动计算设备410连接到网络450以实现在移动计算设备410与提供服务460的其他计算机化设备之间的通信。虽然可以通过不同网络(例如，服务提供商的内部网络、公共交换电话网络和因特网)提供服务460，但是将网络450图示为单个网络。服务提供商可以操作服务器系统452，该服务器系统452在移动计算设备410和与服务460相关联的计算设备之间对信息分组和语音数据路由。
网络450可以将移动计算设备410连接到公共交换电话网络(PSTN)462以便建立在移动计算设备410与另一计算设备之间的语音或者传真通信。例如，服务提供商服务器系统452可以从PSTN462接收用于移动计算设备410的传入呼叫的指示。相反地，移动计算设备410可以向服务提供商服务器系统452发送通信，该通信发起用如下电话号码的电话呼叫，该电话号码与通过PSTN462可访问的设备相关联。
网络450可以连接移动计算设备410与网际协议语音(VoIP)服务464，该VoIP服务通过IP网络对语音通信路由，这有别于PSTN。例如，移动通信设备410的用户可以调用VoIP应用并且使用程序来发起呼叫。服务提供商服务器系统452可以向VoIP服务转发来自呼叫的语音数据，该VoIP服务可以潜在地将PSTN用于连接的最终支路通过因特网将呼叫向对应计算设备路由。
应用商店466可以向移动计算设备410的用户提供浏览用户可以通过网络450下载并且在移动计算设备410上安装的、远程存储的应用程序的列表的能力。应用商店466可以作为由第三方应用开发者开发的应用的贮存库。在移动计算设备410上安装的应用程序可以能够通过网络450与针对应用程序而指派的服务器系统通信。例如，可以从应用商店466下载VoIP应用程序从而让用户能够与VoIP服务464通信。
移动计算设备410可以通过网络450访问因特网468上的内容。例如，移动计算设备410的用户可以调用web浏览器应用，该web浏览器应用请求来自在指派的通用资源位置可访问的远程计算设备的数据。在各种示例中，服务460中的一些服务通过因特网可访问。
移动计算设备可以与个人计算机470通信。例如，个人计算机470可以是用于移动计算设备410的用户的家用计算机。因此，用户可以能够从他的个人计算机470用流传输媒体。用户也可以查看他的个人计算机470的文件结构并且在计算机化设备之间传输所选文档。
话音识别服务472可以接收用移动计算设备的麦克风422记录的语音通信数据，并且将语音通信转译成对应的文本数据。在一些示例中，向搜索引擎提供转译的文本作为web查询，并且向移动计算设备410传输响应搜索引擎搜索结果。
移动计算设备410可以与社交网络474通信。社交网络可以包括多个成员，这些成员中的一些成员已经同意作为相识者来相关。移动计算设备410上的应用程序可以访问社交网络474以基于移动计算设备的用户的相识取回信息。例如，“地址簿”应用程序可以取回用于用户的相识者的电话号码。在各种示例中，可以基于从用户到其他成员的社交网络距离向移动计算设备410递送内容。例如，可以基于与用户“接近”的成员(例如，作为“好友”或者“好友的好友”的成员)与这样的内容的交互水平针对用户选择广告和新闻文章内容。
移动计算设备410可以通过网络450访问个人联系人集476。每个联系人可以标识个人并且包括关于该个人的信息(例如，电话号码、电子邮件地址和生日)。由于与移动计算设备410远程托管联系人集，所以用户可以跨越若干设备访问和维护联系人476作为共同联系人集。
移动计算设备410可以访问基于云的应用程序478。云计算提供与移动计算设备410远程托管的应用程序(例如，字处理器或者电子邮件程序)，并且可以由设备410使用web浏览器或者专用程序来访问。作为示例的基于云的应用程序包括GOOGLEDOCS字处理器和电子数据表服务、GOOGLEGMAIL网页邮件服务和PICASA图片管理器。
绘图服务480可以向移动计算设备410提供街道地图、路线规划信息和卫星图像。示例绘图服务是GOOGLEMAPS。绘图服务480也可以接收查询并且返回位置专属结果。例如，移动计算设备410可以向绘图服务480发送移动计算设备的估计的位置和用户录入的用于“披萨店”的查询。绘图服务480可以返回街道地图，该街道地图具有在地图上叠加的“标记”，这些“标记”标识附近“披萨店”的地理位置。
分路段服务482可以向移动计算设备410提供去往用户供应的目的地的分路段指引。例如，分路段服务482可以将设备的估计的位置的街道级示图与用于提供音频命令的数据和将设备410的用户引向目的地的叠加箭头一起向设备410用流传输。
移动计算设备410可以请求各种形式的流媒体484。例如，计算设备410可以请求用于预记录视频文件、实况电视节目或者实况电台节目的流。提供流媒体的示例服务包括YOUTUBE和PANDORA。
微博服务486可以从移动计算设备410接收用户输入公告，该公告未标识公告的接收者。微博服务486可以向微博服务486的同意向用户订阅的其他成员散布公告。
搜索引擎488可以从移动计算设备410接收用户录入的文本或者口头查询、确定响应于查询的因特网可访问文档集并且向设备410提供用于显示用于响应文档的搜索结果的列表的信息。在其中接收口头查询的示例中，话音识别服务472可以将接收的音频转译成向搜索引擎发送的文本查询。
这些和其他服务可以实施于服务器系统490中。服务器系统可以是提供服务或者服务集的硬件与软件的组合。例如，物理上分离和联网的计算机化设备集可以一起作为逻辑服务器系统单元来操作以处理为了向数以百计个别计算设备提供服务而必需的操作。
在各种实现方式中，如果在先操作未成功(例如，如果未执行确定)，则不执行“响应于”另一操作(例如，确定或者标识)而执行的操作。在本文档中的用条件语言描述的特征可以描述可选的实现方式。在一些示例中，从第一设备向第二设备“传输”包括第一设备将数据放入网络中，但是可以不包括第二设备接收数据。相反地，从第一设备“接收”可以包括从网络接收数据，但是可以不包括第一设备传输数据。
图5是可以用来将在本文档中描述的系统和方法实施为客户端或者一个或者多个服务器的计算设备500、计算设备550的框图。计算设备500旨在于代表各种形式的数字计算机，比如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、主机和其他适当计算机。计算设备550旨在于代表各种形式的移动设备，比如个人数字助理、蜂窝电话、智能电话和其他相似计算设备。此外，计算设备500或者计算设备550可以包括通用串行总线(USB)快闪驱动。USB快闪驱动可以存储操作系统和其他应用。USB快闪驱动可以包括输入/输出部件，比如可以向另一计算设备的USB端口中插入的无线发射器或者USB连接器。这里所示部件、它们的连接和关系以及它们的功能仅为了举例说明而并非为了限制本文档中描述和/或要求保护的实现方式。
计算设备500包括处理器502、存储器504、存储设备506、连接到存储器504和高速扩展端口510的高速接口508以及连接到低速总线514和存储设备506的低速接口512。部件502、504、506、508、510和512中的每个部件使用各种总线来互连，并且可以装配于共同母板上或者如适合的那样以其他方式来装配。处理器502可以处理用于在计算设备500内执行的指令，这些指令包括存储于存储器504中或者存储设备506上以用于在外部输入/输出设备(比如耦合到高速接口508的显示器516)上显示用于GUI的图形信息的指令。在其他实现方式中，多个处理器和/或多个总线可以如适合的那样与多个存储器和存储器类型一起使用。也可以连接多个计算设备500而每个设备提供必需操作的部分(例如，作为服务器组、一组刀片服务器或者多处理器系统)。
存储器504存储计算设备500内的信息。在一个实现方式中，存储器504是一个或者多个易失性存储器单元。在另一实现方式中，存储器504是一个或者多个非易失性存储器单元。存储器504也可以是另一形式的计算机可读介质，比如磁盘或者光盘。
存储设备506能够提供用于计算设备500的海量存储。在一个实现方式中，存储设备506可以是或者包含计算机可读介质，比如软盘设备、硬盘设备、光盘设备或者带设备、闪存或者其他相似固态存储器设备或者设备阵列，该设备阵列包括存储区域网络或者其他配置中的设备。计算机程序产品可以有形地体现于信息载体中。计算机程序产品也可以包含在被执行时执行一种或者多种方法(比如上文描述的方法)的指令。信息载体是计算机或者机器可读介质(比如存储器504、存储设备506或者在处理器502)上的存储器。
高速控制器508管理用于计算设备500的带宽密集操作，而低速控制器512管理更低带宽密集操作。这样的功能分配仅为示例。在一个实现方式中，高速控制器508耦合到存储器504、显示器516(例如，通过图形处理器或者加速器)和可以接受各种扩展卡(未示出)的高速扩展端口510。在该实现方式中，低速控制器512耦合到存储设备506和低速扩展端口514。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或者多个输入/输出设备(比如键盘、指示设备、扫描仪)或者联网设备(比如交换机或者路由器)。
如图所示，可以用多个不同形式实施计算设备500。例如，它可以被实施为标准服务器520或者多次实施于一组这样的服务器中。它也可以被实施为机架服务器系统524的部分。此外，它还可以被实施于个人计算机(比如膝上型计算机522)中。备选地，来自计算设备500的部件可以与移动设备(未示出)(比如设备550中的其他部件)组合。这样的设备中的每个设备可以包含计算设备500、550中的一个或者多个计算设备，并且整个系统可以由相互通信的多个计算设备500、550组成。
计算设备550包括处理器552、存储器564、输入/输出设备(比如显示器554)、通信接口566和收发器568以及其他部件。设备550也可以具有用于提供附加存储的存储设备(比如微驱动)或者其他设备。使用各种总线来互连部件550、552、564、554、566和568中的每个部件，并且部件中的若干部件可以装配于共同母板上或者如适合的那样以其他方式来装配。
处理器552可以执行计算设备550内的指令，这些指令包括存储于存储器564中的指令。处理器可以被实施为包括单独以及多个模拟和数字处理器的芯片组。此外，还可以使用多种架构中的任何架构来实施处理器。例如，处理器410可以是CISC(复杂指令集计算机)处理器、RISC(精简指令集计算机)处理器或者MISC(最小指令集计算机)处理器。处理器可以例如提供协调设备550的其他部件、比如控制用户接口、设备550运行的应用和设备550的无线通信。
处理器552可以通过控制接口558和耦合到显示器554的显示接口556与用户通信。显示器554可以例如是TFT(薄膜晶体管液晶显示器)显示器或者OLED(有机发光二极管)显示器或者其他适当显示技术。显示接口556可以包括用于驱动显示器554以向用户呈现图形和其他信息的适当电路。控制接口558可以从用户接收命令并且转换它们以用于向处理器552提交。此外，还可以提供与处理器552通信的外部接口562以便实现设备550与其他设备的近场通信。外部接口562可以例如在一些实现方式中提供有线通信或者在其他实现方式中提供无线通信，并且也可以使用多个接口。
存储器564存储计算设备550内的信息。存储器564可以被实施为一个或者多个计算机可读介质、一个或者多个易失性存储器单元或者一个或者多个非易失性存储器单元中的一个或者多个介质或者单元。也可以提供扩展存储器574并且通过扩展接口572连接到设备550，该扩展接口可以例如包括SIMM(单列存储器模块)卡接口。这样的扩展存储器574可以提供用于设备550的额外存储空间或者也可以存储用于设备550的应用或者其他信息。具体而言，扩展存储器574可以包括用于实现或者补充上文描述的过程的指令并且也可以包括安全信息。因此，例如，可以提供扩展存储器574作为用于设备的安全模块，并且可以用允许安全使用设备550的指令对扩展存储器574编程。此外，还可以经由SIMM卡将安全应用与附加信息一起提供，比如以不可黑客方式将标识信息放置于SIMM卡上。
如下文讨论的那样，存储器可以例如包括闪存和/或NVRAM存储器。在一个实现方式中，计算机程序产品有形地体现于信息载体中。计算机程序产品包含在被执行时执行一种或者多种方法(比如上文描述的方法)的指令。信息载体是计算机或者机器可读介质，比如存储器564、扩展存储器574或者可以例如通过收发器568或者外部接口562接收的在处理器552上的存储器。
设备550可以通过通信接口566无线通信，该通信接口可以在必需时包括数字信号处理电路。通信接口566可以提供在各种模式或者协议(比如GSM语音呼叫、SMS、EMS或者MMS消息接发、CDMA、TDMA、PDC、WCDMA、CDMA2000或者GPRS)以及其他模式或者协议之下的通信。这样的通信可以例如通过射频收发器568发生。此外，近程通信可以比如使用蓝牙、WiFi或者其他这样的收发器(未示出)来发生。此外，GPS(全球定位系统)接收器模块570可以向设备550提供附加的与导航和位置有关的无线数据，该数据可以如适当的那样由在设备550上运行的应用使用。
设备550还可以使用音频编码解码器560来可听地通信，该音频编码解码器可以从用户接收口述信息并且将它转换成可用数字信息。音频编码解码器560可以类似地比如通过例如设备550的听筒中的扬声器生成用于用户的可听声音。这样的声音可以包括来自语音电话呼叫的声音、可以包括记录的声音(例如，语音消息、音乐文件等)并且也可以包括由在设备550上操作的应用所生成的声音。
如图中所示，可以用多个不同形式实施计算设备550。例如，它可以被实施为蜂窝电话580。它也可以被实施为智能电话582、个人数字助理或者其他相似移动设备的部分。
这里描述的系统和技术的各种实现方式可以实现于数字电子电路、集成电路、特殊设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中。这些各种实现方式可以包括在可编程系统上可执行和/或可解译的一个或者多个计算机程序中的实现方式，该可编程系统包括可以是特殊或者专用的至少一个可编程处理器、至少一个输入设备和至少一个输出设备，该至少一个可编程处理器被耦合成从存储系统接收数据和指令以及向存储系统传输数据和指令。
这些计算机程序(也称为程序、软件、软件应用或者代码)包括用于可编程处理器的机器指令并且可以用高级过程和/或面向对象编程语言和/或用汇编/机器语言来实施。如这里所用，术语“机器可读介质”、“计算机可读介质”指代任何用来向可编程处理器提供机器指令和/或数据的计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，该计算机程序产品、装置和/或设备包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”指代任何用来向可编程处理器提供机器指令和/或数据的信号。
为了提供与用户的交互，这里描述的系统和技术可以实施于计算机上，该计算机具有用于向用户和键盘显示信息的显示设备(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)以及用户可以用来向计算机提供输入的键盘和指示设备(例如鼠标或者轨迹球)。其他种类的设备也可以用来提供与用户的交互；例如，向用户提供的反馈可以是任何形式的感测反馈(例如，可视反馈、可听反馈或者触觉反馈)；并且可以用包括声学、话音或者触觉输入的任何形式接收来自用户的输入。
这里描述的系统和技术可以实施于计算系统中，该计算系统包括后端部件(例如，作为数据服务器)或者包括中间件部件(例如，应用服务器)或者包括前端部件(例如，具有图形用户界面或者web浏览器的客户端计算机，用户可以通过该图形用户界面或者web浏览器与这里描述的系统和技术的实现方式交互)或者这样的后端、中间件或者前端部件的任何组合。系统的部件可以由任何数字数据通信形式或者介质(例如通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)、对等网络(具有自组织或者静态成员)、网格计算基础结构和因特网。
计算系统可以包括客户端和服务器。客户端和服务器一般相互远离并且通常通过通信网络交互。客户端和服务器的关系借助在相应计算机上运行并且相互具有客户端-服务器关系的计算机程序来产生。
虽然上文已经具体描述数个实现方式，但是其他修改是可能的。另外，可以使用其他用于自动监测话音输入的机制。此外，在图中描绘的逻辑流程无需所示特定顺序或者依序顺序以实现希望的结果。可以提供其他步骤或者可以从描述的过程消除步骤，并且可以向描述的系统添加或者从描述的系统去除其他部件。

Claims (15)

1.一种计算机实现的方法，包括：
检测与移动计算设备相关联的上下文；
至少基于与所述移动计算设备相关联的所述上下文，确定从第一操作模式自动切换至第二操作模式，在所述第一操作模式中环境声音不被监测以确定所述环境声音是否包括与用户请求所述移动计算设备执行操作对应的一个或多个触发术语，在所述第二操作模式中所述环境声音被监测以确定所述环境声音是否包括与所述用户请求所述移动计算设备执行操作对应的所述一个或多个触发术语；
响应于确定自动切换至所述第二操作模式，激活一个或多个麦克风以接收所述环境声音，并且激活用于确定所述环境声音是否包括与所述用户请求所述移动计算设备执行所述操作对应的所述一个或多个触发术语的语音分析系统；
接收指示所述语音分析系统确定所述环境声音包括与所述用户请求所述移动计算设备执行所述操作对应的所述一个或多个触发术语的数据；以及
至少基于接收指示所述语音分析系统确定所述环境声音包括与所述用户请求所述移动计算设备执行所述操作对应的所述一个或多个触发术语的数据，提供响应于所述请求的输出。
2.根据权利要求1所述的计算机实现的方法，包括使用结合单独计算机系统的所述移动计算设备监测指示所述用户请求所述移动计算设备执行操作的话音输入。
3.根据权利要求1所述的计算机实现的方法，包括通过与信息服务器系统交互的所述移动计算设备处理所述用户请求所述移动计算设备执行操作。
4.根据权利要求1所述的计算机实现的方法，包括在与所述移动计算设备分离的输出设备上提供所述输出。
5.根据权利要求1所述的计算机实现的方法，包括在显示器上提供所述输出。
6.根据权利要求1所述的计算机实现的方法，其中与所述移动计算设备相关联的所述上下文指示所述移动计算设备所处的物理位置。
7.根据权利要求1所述的计算机实现的方法，其中与所述移动计算设备相关联的所述上下文指示所述移动计算设备位于车辆中。
8.根据权利要求7所述的计算机实现的方法，包括至少部分基于计算的所述移动计算设备的速度来检测所述移动计算设备正在所述车辆中移动。
9.根据权利要求1所述的计算机实现的方法，进一步包括：
自动确定从所述第二操作模式切换至所述第一操作模式；以及
响应于自动确定切换至所述第一操作模式，解激活所述一个或多个麦克风并且解激活所述语音分析系统。
10.根据权利要求1所述的计算机实现的方法，包括在解激活所述语音分析系统之后，使用所述语音分析系统分析并确定由所述一个或多个麦克风接收的音频数据中是否存在任何话音输入。
11.根据权利要求1所述的计算机实现的方法，包括显示当前正在进行音频信号监测的消息。
12.一种计算机实现的设备，包括：
用于检测与移动计算设备相关联的上下文的装置；
用于至少基于与所述移动计算设备相关联的所述上下文，确定从第一操作模式自动切换至第二操作模式的装置，在所述第一操作模式中环境声音不被监测以确定所述环境声音是否包括与用户请求所述移动计算设备执行操作对应的一个或多个触发术语，在所述第二操作模式中所述环境声音被监测以确定所述环境声音是否包括与所述用户请求所述移动计算设备执行操作对应的所述一个或多个触发术语；
用于响应于确定自动切换至所述第二操作模式，激活一个或多个麦克风以接收所述环境声音，并且激活用于确定所述环境声音是否包括与所述用户请求所述移动计算设备执行所述操作对应的所述一个或多个触发术语的语音分析系统的装置；
用于接收指示所述语音分析系统确定所述环境声音包括与所述用户请求所述移动计算设备执行所述操作对应的所述一个或多个触发术语的数据的装置；以及
用于至少基于接收指示所述语音分析系统确定所述环境声音包括与所述用户请求所述移动计算设备执行所述操作对应的所述一个或多个触发术语的数据，提供响应于所述请求的输出的装置。
13.根据权利要求12所述的设备，包括用于使用结合单独计算机系统的所述移动计算设备监测指示所述用户请求所述移动计算设备执行操作的话音输入的装置。
14.根据权利要求12所述的设备，包括用于通过与信息服务器系统交互的所述移动计算设备处理所述用户请求所述移动计算设备执行操作的装置。
15.根据权利要求12所述的设备，包括用于在与所述移动计算设备分离的输出设备上提供所述输出的装置。
CN201180047154.0A 2010-08-06 2011-08-04 基于上下文自动监测话音输入 Active CN103282957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610473719.6A CN106126178B (zh) 2010-08-06 2011-08-04 基于上下文自动监测话音输入

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/852,256 US8359020B2 (en) 2010-08-06 2010-08-06 Automatically monitoring for voice input based on context
US12/852,256 2010-08-06
PCT/US2011/046616 WO2012019020A1 (en) 2010-08-06 2011-08-04 Automatically monitoring for voice input based on context

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610473719.6A Division CN106126178B (zh) 2010-08-06 2011-08-04 基于上下文自动监测话音输入

Publications (2)

Publication Number Publication Date
CN103282957A CN103282957A (zh) 2013-09-04
CN103282957B true CN103282957B (zh) 2016-07-13

Family

ID=45556503

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610473719.6A Active CN106126178B (zh) 2010-08-06 2011-08-04 基于上下文自动监测话音输入
CN201180047154.0A Active CN103282957B (zh) 2010-08-06 2011-08-04 基于上下文自动监测话音输入

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610473719.6A Active CN106126178B (zh) 2010-08-06 2011-08-04 基于上下文自动监测话音输入

Country Status (6)

Country Link
US (5) US8359020B2 (zh)
EP (5) EP2601650A4 (zh)
KR (2) KR20160033233A (zh)
CN (2) CN106126178B (zh)
AU (1) AU2011285702B2 (zh)
WO (1) WO2012019020A1 (zh)

Families Citing this family (493)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6630800A (en) * 1999-08-13 2001-03-13 Pixo, Inc. Methods and apparatuses for display and traversing of links in page character array
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US7669134B1 (en) * 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US7764641B2 (en) * 2005-02-05 2010-07-27 Cisco Technology, Inc. Techniques for determining communication state using accelerometer data
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8073700B2 (en) 2005-09-12 2011-12-06 Nuance Communications, Inc. Retrieval and presentation of network service results for mobile device using a multimodal browser
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7477909B2 (en) * 2005-10-31 2009-01-13 Nuance Communications, Inc. System and method for conducting a search using a wireless mobile device
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080075237A1 (en) * 2006-09-11 2008-03-27 Agere Systems, Inc. Speech recognition based data recovery system for use with a telephonic device
US20080129520A1 (en) * 2006-12-01 2008-06-05 Apple Computer, Inc. Electronic device with enhanced audio feedback
US7912828B2 (en) * 2007-02-23 2011-03-22 Apple Inc. Pattern searching methods and apparatuses
US8843376B2 (en) * 2007-03-13 2014-09-23 Nuance Communications, Inc. Speech-enabled web content searching using a multimodal browser
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) * 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) * 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8352268B2 (en) * 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US20100082328A1 (en) * 2008-09-29 2010-04-01 Apple Inc. Systems and methods for speech preprocessing in text to speech synthesis
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8352272B2 (en) * 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8355919B2 (en) * 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8396714B2 (en) * 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US8983640B2 (en) * 2009-06-26 2015-03-17 Intel Corporation Controlling audio players using environmental audio analysis
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110010179A1 (en) * 2009-07-13 2011-01-13 Naik Devang K Voice synthesis and processing
US20110066438A1 (en) * 2009-09-15 2011-03-17 Apple Inc. Contextual voiceover
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US9183580B2 (en) 2010-11-04 2015-11-10 Digimarc Corporation Methods and systems for resource management on portable devices
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
KR101605347B1 (ko) 2009-12-18 2016-03-22 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US8600743B2 (en) * 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
JP2012047924A (ja) * 2010-08-26 2012-03-08 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US9484046B2 (en) 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
US8855919B2 (en) * 2010-12-02 2014-10-07 Telenav, Inc. Navigation system with destination-centric en-route notification delivery mechanism and method of operation thereof
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US20120191454A1 (en) * 2011-01-26 2012-07-26 TrackThings LLC Method and Apparatus for Obtaining Statistical Data from a Conversation
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US20120278078A1 (en) * 2011-04-26 2012-11-01 Avaya Inc. Input and displayed information definition based on automatic speech recognition during a communication session
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US20120310642A1 (en) 2011-06-03 2012-12-06 Apple Inc. Automatically creating a mapping between text data and audio data
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
CN103765913B (zh) * 2011-08-25 2018-01-12 Lg电子株式会社 移动终端、安装在车辆上的图像显示设备及使用其的数据处理方法
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
EP2758956B1 (en) * 2011-09-23 2021-03-10 Digimarc Corporation Context-based smartphone sensor logic
US8798995B1 (en) * 2011-09-23 2014-08-05 Amazon Technologies, Inc. Key word determinations from voice data
US20130079029A1 (en) * 2011-09-28 2013-03-28 Royce A. Levien Multi-modality communication network auto-activation
US9906927B2 (en) 2011-09-28 2018-02-27 Elwha Llc Multi-modality communication initiation
US9002937B2 (en) 2011-09-28 2015-04-07 Elwha Llc Multi-party multi-modality communication
US9503550B2 (en) 2011-09-28 2016-11-22 Elwha Llc Multi-modality communication modification
US9788349B2 (en) * 2011-09-28 2017-10-10 Elwha Llc Multi-modality communication auto-activation
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US9477943B2 (en) 2011-09-28 2016-10-25 Elwha Llc Multi-modality communication
US9794209B2 (en) 2011-09-28 2017-10-17 Elwha Llc User interface for multi-modality communication
US9699632B2 (en) 2011-09-28 2017-07-04 Elwha Llc Multi-modality communication with interceptive conversion
US9992745B2 (en) 2011-11-01 2018-06-05 Qualcomm Incorporated Extraction and analysis of buffered audio data using multiple codec rates each greater than a low-power processor rate
US20130120106A1 (en) 2011-11-16 2013-05-16 Motorola Mobility, Inc. Display device, corresponding systems, and methods therefor
US9214157B2 (en) * 2011-12-06 2015-12-15 At&T Intellectual Property I, L.P. System and method for machine-mediated human-human conversation
JP2015501106A (ja) 2011-12-07 2015-01-08 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ デジタル化された音声ストリームを分析するための低電力集積回路
KR101912409B1 (ko) * 2012-01-06 2018-10-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US20130201316A1 (en) * 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9317605B1 (en) 2012-03-21 2016-04-19 Google Inc. Presenting forked auto-completions
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11023520B1 (en) 2012-06-01 2021-06-01 Google Llc Background audio identification for query disambiguation
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9142215B2 (en) * 2012-06-15 2015-09-22 Cypress Semiconductor Corporation Power-efficient voice activation
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9218333B2 (en) * 2012-08-31 2015-12-22 Microsoft Technology Licensing, Llc Context sensitive auto-correction
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR102070196B1 (ko) 2012-09-20 2020-01-30 삼성전자 주식회사 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
US9922646B1 (en) * 2012-09-21 2018-03-20 Amazon Technologies, Inc. Identifying a location of a voice-input device
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
CN103701981B (zh) * 2012-09-27 2016-05-25 中兴通讯股份有限公司 一种实现语音识别功能的方法及装置
KR102009423B1 (ko) 2012-10-08 2019-08-09 삼성전자주식회사 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치
US9104467B2 (en) 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US9477993B2 (en) 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
US9124795B2 (en) * 2012-10-26 2015-09-01 Nokia Technologies Oy Method and apparatus for obtaining an image associated with a location of a mobile terminal
KR102211595B1 (ko) * 2012-12-07 2021-02-04 삼성전자주식회사 음성 인식 장치 및 그 제어 방법
KR102091003B1 (ko) * 2012-12-10 2020-03-19 삼성전자 주식회사 음성인식 기술을 이용한 상황 인식 서비스 제공 방법 및 장치
US20140181715A1 (en) * 2012-12-26 2014-06-26 Microsoft Corporation Dynamic user interfaces adapted to inferred user contexts
US10424291B2 (en) * 2012-12-28 2019-09-24 Saturn Licensing Llc Information processing device, information processing method, and program
KR102009316B1 (ko) * 2013-01-07 2019-08-09 삼성전자주식회사 대화형 서버, 디스플레이 장치 및 그 제어 방법
DE102013001219B4 (de) * 2013-01-25 2019-08-29 Inodyn Newmedia Gmbh Verfahren und System zur Sprachaktivierung eines Software-Agenten aus einem Standby-Modus
AU2021202255B9 (en) * 2013-02-07 2022-06-09 Apple Inc. Voice trigger for a digital assistant
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US9622365B2 (en) 2013-02-25 2017-04-11 Google Technology Holdings LLC Apparatus and methods for accommodating a display in an electronic device
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
CN104035550B (zh) * 2013-03-07 2017-12-22 腾讯科技（深圳）有限公司 信息提供模式切换方法及装置
US9310957B2 (en) * 2013-03-07 2016-04-12 Tencent Technology (Shenzhen) Company Limited Method and device for switching current information providing mode
US9112984B2 (en) 2013-03-12 2015-08-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
WO2014159581A1 (en) * 2013-03-12 2014-10-02 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US11393461B2 (en) * 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
EP3611627A1 (en) * 2013-03-13 2020-02-19 INTEL Corporation Device resource management based on contextual planning
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9674922B2 (en) 2013-03-14 2017-06-06 Google Technology Holdings LLC Display side edge assembly and mobile device including same
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US9380039B2 (en) * 2013-03-15 2016-06-28 Google Inc. Systems and methods for automatically logging into a user account
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN110096712B (zh) 2013-03-15 2023-06-20 苹果公司 通过智能数字助理的用户培训
US10078487B2 (en) 2013-03-15 2018-09-18 Apple Inc. Context-sensitive handling of interruptions
CN105027197B (zh) 2013-03-15 2018-12-14 苹果公司 训练至少部分语音命令系统
US9626963B2 (en) * 2013-04-30 2017-04-18 Paypal, Inc. System and method of improving speech recognition using context
US9892729B2 (en) 2013-05-07 2018-02-13 Qualcomm Incorporated Method and apparatus for controlling voice activation
CN104142791A (zh) * 2013-05-09 2014-11-12 腾讯科技（深圳）有限公司 资源更换方法、装置及终端
WO2014185922A1 (en) * 2013-05-16 2014-11-20 Intel Corporation Techniques for natural user interface input based on context
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
US9747899B2 (en) 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
US9997160B2 (en) * 2013-07-01 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for dynamic download of embedded voice components
US9646606B2 (en) 2013-07-03 2017-05-09 Google Inc. Speech recognition using domain knowledge
US9575721B2 (en) * 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US9002835B2 (en) * 2013-08-15 2015-04-07 Google Inc. Query response using media consumption history
WO2015029362A1 (ja) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 機器制御方法及び機器制御システム
US9928851B2 (en) * 2013-09-12 2018-03-27 Mediatek Inc. Voice verifying system and voice verifying method which can determine if voice signal is valid or not
US9240182B2 (en) * 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
KR102158315B1 (ko) * 2013-10-14 2020-09-21 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
TWI502487B (zh) * 2013-10-24 2015-10-01 Hooloop Corp 語音管理方法，及其相關裝置與電腦程式產品
CN103578474B (zh) * 2013-10-25 2017-09-12 小米科技有限责任公司 一种语音控制方法、装置和设备
US9400634B2 (en) * 2013-10-28 2016-07-26 Google Technology Holdings LLC Systems and methods for communicating notifications and textual data associated with applications
US10158730B2 (en) 2013-10-30 2018-12-18 At&T Intellectual Property I, L.P. Context based communication management
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
CN104715757A (zh) * 2013-12-13 2015-06-17 华为技术有限公司 一种终端声控操作方法及装置
US10720153B2 (en) * 2013-12-13 2020-07-21 Harman International Industries, Incorporated Name-sensitive listening device
US10147441B1 (en) * 2013-12-19 2018-12-04 Amazon Technologies, Inc. Voice controlled system
US9484001B2 (en) 2013-12-23 2016-11-01 Google Technology Holdings LLC Portable electronic device controlling diffuse light source to emit light approximating color of object of user interest
US8938394B1 (en) * 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
KR20150087544A (ko) 2014-01-22 2015-07-30 엘지이노텍 주식회사 제스처 장치, 그 동작 방법 및 이를 구비한 차량
US9516165B1 (en) * 2014-03-26 2016-12-06 West Corporation IVR engagements and upfront background noise
US10133332B2 (en) 2014-03-31 2018-11-20 Intel Corporation Location aware power management scheme for always-on-always-listen voice recognition system
US9372851B2 (en) * 2014-04-01 2016-06-21 Microsoft Technology Licensing, Llc Creating a calendar event using context
US9430461B2 (en) 2014-04-11 2016-08-30 International Business Machines Corporation Mobile based lexicon and forecasting
US10770075B2 (en) * 2014-04-21 2020-09-08 Qualcomm Incorporated Method and apparatus for activating application by speech input
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) * 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9697828B1 (en) * 2014-06-20 2017-07-04 Amazon Technologies, Inc. Keyword detection modeling using contextual and environmental information
US9632748B2 (en) * 2014-06-24 2017-04-25 Google Inc. Device designation for audio input monitoring
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9361442B2 (en) 2014-08-12 2016-06-07 International Business Machines Corporation Triggering actions on a user device based on biometrics of nearby individuals
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US10575117B2 (en) 2014-12-08 2020-02-25 Harman International Industries, Incorporated Directional sound modification
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
CN105788598B (zh) * 2014-12-19 2019-12-24 联想(北京)有限公司 一种语音处理方法和电子设备
CN104601818B (zh) * 2015-01-26 2018-02-13 宇龙计算机通信科技(深圳)有限公司 一种在通讯过程中切换操作系统的方法及装置
US9633661B1 (en) * 2015-02-02 2017-04-25 Amazon Technologies, Inc. Speech-responsive portable speaker
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) * 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US10275369B2 (en) * 2015-03-23 2019-04-30 International Business Machines Corporation Communication mode control for wearable devices
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10504509B2 (en) * 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US9807045B2 (en) 2015-06-10 2017-10-31 Google Inc. Contextually driven messaging system
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR102505347B1 (ko) 2015-07-16 2023-03-03 삼성전자주식회사 사용자 관심 음성 알림 장치 및 방법
CN106469040B (zh) 2015-08-19 2019-06-21 华为终端有限公司 通信方法、服务器及设备
CN105161111B (zh) * 2015-08-25 2017-09-26 百度在线网络技术（北京）有限公司 基于蓝牙连接的语音识别方法和装置
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
JP6227209B2 (ja) * 2015-09-09 2017-11-08 三菱電機株式会社 車載用音声認識装置および車載機器
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
EP3179472B1 (en) * 2015-12-11 2020-03-18 Sony Mobile Communications, Inc. Method and device for recording and analyzing data from a microphone
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10380208B1 (en) * 2015-12-28 2019-08-13 Amazon Technologies, Inc. Methods and systems for providing context-based recommendations
US10599390B1 (en) 2015-12-28 2020-03-24 Amazon Technologies, Inc. Methods and systems for providing multi-user recommendations
EP3414759B1 (en) 2016-02-10 2020-07-01 Cerence Operating Company Techniques for spatially selective wake-up word recognition and related systems and methods
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10097939B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Compensation for speaker nonlinearities
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
KR20170100309A (ko) 2016-02-25 2017-09-04 삼성전자주식회사 음성 인식 제어를 제공하는 전자 장치 및 그 동작 방법
US10140988B2 (en) * 2016-03-01 2018-11-27 Microsoft Technology Licensing, Llc Speech recognition
US10192550B2 (en) * 2016-03-01 2019-01-29 Microsoft Technology Licensing, Llc Conversational software agent
US10140986B2 (en) * 2016-03-01 2018-11-27 Microsoft Technology Licensing, Llc Speech recognition
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US11176930B1 (en) * 2016-03-28 2021-11-16 Amazon Technologies, Inc. Storing audio commands for time-delayed execution
US10880833B2 (en) * 2016-04-25 2020-12-29 Sensory, Incorporated Smart listening modes supporting quasi always-on listening
US9989376B2 (en) * 2016-05-12 2018-06-05 Tata Consultancy Services Limited Systems and methods for generating signature ambient sounds and maps thereof
US11416212B2 (en) 2016-05-17 2022-08-16 Microsoft Technology Licensing, Llc Context-based user agent
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US11600269B2 (en) 2016-06-15 2023-03-07 Cerence Operating Company Techniques for wake-up word recognition and related systems and methods
CN105939424B (zh) * 2016-06-23 2019-12-27 北京小米移动软件有限公司 应用切换方法及装置
US11232136B2 (en) * 2016-06-27 2022-01-25 Google Llc Contextual voice search suggestions
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10438583B2 (en) 2016-07-20 2019-10-08 Lenovo (Singapore) Pte. Ltd. Natural language voice assistant
US20180025725A1 (en) * 2016-07-22 2018-01-25 Lenovo (Singapore) Pte. Ltd. Systems and methods for activating a voice assistant and providing an indicator that the voice assistant has assistance to give
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10147423B2 (en) 2016-09-29 2018-12-04 Intel IP Corporation Context-aware query recognition for electronic devices
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10951720B2 (en) 2016-10-24 2021-03-16 Bank Of America Corporation Multi-channel cognitive resource platform
CN111971742A (zh) 2016-11-10 2020-11-20 赛轮思软件技术(北京)有限公司 与语言无关的唤醒词检测的技术
US10332523B2 (en) 2016-11-18 2019-06-25 Google Llc Virtual assistant identification of nearby computing devices
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US9940930B1 (en) * 2016-12-07 2018-04-10 Google Llc Securing audio data
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10747423B2 (en) 2016-12-31 2020-08-18 Spotify Ab User interface for media content playback
US11514098B2 (en) 2016-12-31 2022-11-29 Spotify Ab Playlist trailers for media content playback during travel
US10489106B2 (en) * 2016-12-31 2019-11-26 Spotify Ab Media content playback during travel
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10359993B2 (en) 2017-01-20 2019-07-23 Essential Products, Inc. Contextual user interface based on environment
US10166465B2 (en) 2017-01-20 2019-01-01 Essential Products, Inc. Contextual user interface based on video game playback
US9924313B1 (en) * 2017-02-23 2018-03-20 International Business Machines Corporation Location based generation of pertinent information
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
KR102398649B1 (ko) 2017-03-28 2022-05-17 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
CN107122179A (zh) * 2017-03-31 2017-09-01 阿里巴巴集团控股有限公司 语音的功能控制方法和装置
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US10628570B2 (en) 2017-05-15 2020-04-21 Fmr Llc Protection of data in a zero user interface environment
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US11221823B2 (en) * 2017-05-22 2022-01-11 Samsung Electronics Co., Ltd. System and method for context-based interaction for electronic devices
US10664533B2 (en) * 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
US20180350360A1 (en) * 2017-05-31 2018-12-06 Lenovo (Singapore) Pte. Ltd. Provide non-obtrusive output
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10652170B2 (en) 2017-06-09 2020-05-12 Google Llc Modification of audio-based computer program output
KR102471071B1 (ko) * 2017-06-09 2022-11-25 구글 엘엘씨 오디오 기반 컴퓨터 프로그램 출력의 수정
US10922051B2 (en) 2017-07-05 2021-02-16 Hewlett-Packard Development Company, L.P. Application-specific profile managers
US20190019505A1 (en) * 2017-07-12 2019-01-17 Lenovo (Singapore) Pte. Ltd. Sustaining conversational session
EP3574634A4 (en) 2017-07-28 2020-08-19 Hewlett-Packard Development Company, L.P. GENERATION OF INTERFERENCE
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
KR102389041B1 (ko) * 2017-08-11 2022-04-21 엘지전자 주식회사 이동단말기 및 머신 러닝을 이용한 이동 단말기의 제어방법
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10504513B1 (en) * 2017-09-26 2019-12-10 Amazon Technologies, Inc. Natural language understanding with affiliated devices
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
WO2019070230A1 (en) 2017-10-03 2019-04-11 Google Llc COORDINATION OF MULTIPLE DIGITAL ASSISTANT IN VEHICULAR ENVIRONMENTS
WO2019089001A1 (en) * 2017-10-31 2019-05-09 Hewlett-Packard Development Company, L.P. Actuation module to control when a sensing module is responsive to events
CN107833574B (zh) * 2017-11-16 2021-08-24 百度在线网络技术（北京）有限公司 用于提供语音服务的方法和装置
KR102517219B1 (ko) 2017-11-23 2023-04-03 삼성전자주식회사 전자장치 및 그 제어방법
US11140450B2 (en) 2017-11-28 2021-10-05 Rovi Guides, Inc. Methods and systems for recommending content in context of a conversation
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
JP7192208B2 (ja) * 2017-12-01 2022-12-20 ヤマハ株式会社 機器制御システム、デバイス、プログラム、及び機器制御方法
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10690863B1 (en) * 2017-12-13 2020-06-23 Amazon Technologies, Inc. Communication cable identification
US11409816B2 (en) 2017-12-19 2022-08-09 Motorola Solutions, Inc. Methods and systems for determining an action to be taken in response to a user query as a function of pre-query context information
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
KR102508677B1 (ko) * 2018-03-08 2023-03-13 삼성전자주식회사 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10885910B1 (en) 2018-03-14 2021-01-05 Amazon Technologies, Inc. Voice-forward graphical user interface mode management
US10877637B1 (en) 2018-03-14 2020-12-29 Amazon Technologies, Inc. Voice-based device operation mode management
US11127405B1 (en) 2018-03-14 2021-09-21 Amazon Technologies, Inc. Selective requests for authentication for voice-based launching of applications
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10930278B2 (en) * 2018-04-09 2021-02-23 Google Llc Trigger sound detection in ambient audio to provide related functionality on a user interface
US11145299B2 (en) 2018-04-19 2021-10-12 X Development Llc Managing voice interface devices
KR102612835B1 (ko) * 2018-04-20 2023-12-13 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
WO2019235858A1 (en) 2018-06-05 2019-12-12 Samsung Electronics Co., Ltd. A voice assistant device and method thereof
WO2019235863A1 (en) 2018-06-05 2019-12-12 Samsung Electronics Co., Ltd. Methods and systems for passive wakeup of a user interaction device
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
CN109068276B (zh) * 2018-06-28 2020-09-11 维沃移动通信有限公司 一种消息转换方法及终端
CN110689882A (zh) * 2018-07-04 2020-01-14 上海博泰悦臻网络技术服务有限公司 车辆及其播放设备和多媒体播放自动控制方法
JP7055721B2 (ja) * 2018-08-27 2022-04-18 京セラ株式会社 音声認識機能を有する電子機器、その電子機器の制御方法およびプログラム
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
NO20181210A1 (en) * 2018-08-31 2020-03-02 Elliptic Laboratories As Voice assistant
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11094327B2 (en) * 2018-09-28 2021-08-17 Lenovo (Singapore) Pte. Ltd. Audible input transcription
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
WO2020096218A1 (en) * 2018-11-05 2020-05-14 Samsung Electronics Co., Ltd. Electronic device and operation method thereof
US10971160B2 (en) * 2018-11-13 2021-04-06 Comcast Cable Communications, Llc Methods and systems for determining a wake word
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US10984791B2 (en) 2018-11-29 2021-04-20 Hughes Network Systems, Llc Spoken language interface for network management
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
CN109671427B (zh) * 2018-12-10 2021-02-02 珠海格力电器股份有限公司 一种语音控制方法、装置、存储介质及空调
US11242032B2 (en) * 2018-12-11 2022-02-08 GM Global Technology Operations LLC Custom vehicle alarm based on electronic device identifier
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
CN111475206B (zh) * 2019-01-04 2023-04-11 优奈柯恩(北京)科技有限公司 用于唤醒可穿戴设备的方法及装置
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
JP7205697B2 (ja) * 2019-02-21 2023-01-17 株式会社リコー 通信端末、共用システム、表示制御方法およびプログラム
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN110001558A (zh) * 2019-04-18 2019-07-12 百度在线网络技术（北京）有限公司 用于控制车辆的方法和装置
US11817194B2 (en) * 2019-04-30 2023-11-14 Pixart Imaging Inc. Smart control system
US11137770B2 (en) * 2019-04-30 2021-10-05 Pixart Imaging Inc. Sensor registering method and event identifying method of smart detection system
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US10839060B1 (en) 2019-08-27 2020-11-17 Capital One Services, Llc Techniques for multi-voice speech recognition commands
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11749265B2 (en) * 2019-10-04 2023-09-05 Disney Enterprises, Inc. Techniques for incremental computer-based natural language understanding
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11489794B2 (en) 2019-11-04 2022-11-01 Bank Of America Corporation System for configuration and intelligent transmission of electronic communications and integrated resource processing
US11061958B2 (en) 2019-11-14 2021-07-13 Jetblue Airways Corporation Systems and method of generating custom messages based on rule-based database queries in a cloud platform
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN111081225B (zh) * 2019-12-31 2022-04-01 思必驰科技股份有限公司 技能语音唤醒方法及装置
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
CN111312239B (zh) 2020-01-20 2023-09-26 北京小米松果电子有限公司 响应方法、装置、电子设备及存储介质
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11290834B2 (en) 2020-03-04 2022-03-29 Apple Inc. Determining head pose based on room reverberation
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
JP7152043B2 (ja) 2020-09-08 2022-10-12 株式会社ユピテル 装置及びプログラム
US20220157315A1 (en) * 2020-11-13 2022-05-19 Apple Inc. Speculative task flow execution
EP4002061A1 (en) * 2020-11-24 2022-05-25 Inter IKEA Systems B.V. A control device and a method for determining control data based on audio input data
US11250855B1 (en) * 2020-12-23 2022-02-15 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
EP4220628A1 (en) 2021-02-19 2023-08-02 Samsung Electronics Co., Ltd. Electronic device for supporting service for artificial intelligent agent that talks with user
KR20230023212A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 상태 변경에 따라 음성 명령 처리 결과를 출력하는 전자 장치 및 그의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6615170B1 (en) * 2000-03-07 2003-09-02 International Business Machines Corporation Model-based voice activity detection system and method using a log-likelihood ratio and pitch
CN1623152A (zh) * 2002-01-24 2005-06-01 英特尔公司 基于上下文的信息处理
CN1692407A (zh) * 2002-06-20 2005-11-02 英特尔公司 改善移动设备的语音识别
US7523226B2 (en) * 2005-11-09 2009-04-21 Microsoft Corporation Controlling an auxiliary display user interface based on usage context

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3674990B2 (ja) 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
EP0847003A3 (en) * 1996-12-03 2004-01-02 Texas Instruments Inc. An audio memo system and method of operation thereof
SE9902229L (sv) * 1999-06-07 2001-02-05 Ericsson Telefon Ab L M Apparatus and method of controlling a voice controlled operation
US6904405B2 (en) * 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
US20020055844A1 (en) * 2000-02-25 2002-05-09 L'esperance Lauren Speech user interface for portable personal devices
KR20010094229A (ko) * 2000-04-04 2001-10-31 이수성 전화기의 음성인식 조작 방법 및 시스템
US20020077830A1 (en) 2000-12-19 2002-06-20 Nokia Corporation Method for activating context sensitive speech recognition in a terminal
DE10164799B4 (de) * 2001-03-21 2006-03-30 Audioton Kabelwerk Gmbh Mobiltelefoneinrichtung mit mehradrigen elektrischen Verbindungseinrichtungen
US20030101060A1 (en) * 2001-11-29 2003-05-29 Bickley Corine A. Use of historical data for a voice application interface
CN100578151C (zh) * 2002-03-15 2010-01-06 三菱电机株式会社 车辆用导航装置
US7200413B2 (en) * 2002-07-31 2007-04-03 Interchange Corporation Methods and system for enhanced directory assistance using wireless messaging protocols
US6993615B2 (en) * 2002-11-15 2006-01-31 Microsoft Corporation Portable computing device-integrated appliance
EP1611504B1 (en) * 2003-04-07 2009-01-14 Nokia Corporation Method and device for providing speech-enabled input in an electronic device having a user interface
US8244536B2 (en) * 2003-08-27 2012-08-14 General Motors Llc Algorithm for intelligent speech recognition
US7418392B1 (en) * 2003-09-25 2008-08-26 Sensory, Inc. System and method for controlling the operation of a device by voice commands
US20060085199A1 (en) * 2004-10-19 2006-04-20 Yogendra Jain System and method for controlling the behavior of a device capable of speech recognition
US20060287864A1 (en) * 2005-06-16 2006-12-21 Juha Pusa Electronic device, computer program product and voice control method
US20070011133A1 (en) 2005-06-22 2007-01-11 Sbc Knowledge Ventures, L.P. Voice search engine generating sub-topics based on recognitiion confidence
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
DE112006002989T5 (de) * 2005-12-14 2009-02-19 Mitsubishi Electric Corp. Spracherkennungsvorrichtung
US20070299670A1 (en) * 2006-06-27 2007-12-27 Sbc Knowledge Ventures, Lp Biometric and speech recognition system and method
US8041025B2 (en) * 2006-08-07 2011-10-18 International Business Machines Corporation Systems and arrangements for controlling modes of audio devices based on user selectable parameters
KR101327445B1 (ko) * 2006-09-15 2013-11-11 삼성전자주식회사 자동 착신 알림 전환 모드를 수행하는 이동통신 단말기 및그 방법
US7581188B2 (en) * 2006-09-27 2009-08-25 Hewlett-Packard Development Company, L.P. Context-based user interface system
US8880402B2 (en) * 2006-10-28 2014-11-04 General Motors Llc Automatically adapting user guidance in automated speech recognition
DE102008051757A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US8958848B2 (en) * 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
US9152208B2 (en) * 2008-04-10 2015-10-06 Here Global B.V. Methods, apparatuses and computer program products for updating a content item
US8121586B2 (en) 2008-09-16 2012-02-21 Yellowpages.Com Llc Systems and methods for voice based search
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
US8428759B2 (en) * 2010-03-26 2013-04-23 Google Inc. Predictive pre-recording of audio for voice input
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6615170B1 (en) * 2000-03-07 2003-09-02 International Business Machines Corporation Model-based voice activity detection system and method using a log-likelihood ratio and pitch
CN1623152A (zh) * 2002-01-24 2005-06-01 英特尔公司 基于上下文的信息处理
CN1692407A (zh) * 2002-06-20 2005-11-02 英特尔公司 改善移动设备的语音识别
US7523226B2 (en) * 2005-11-09 2009-04-21 Microsoft Corporation Controlling an auxiliary display user interface based on usage context

Also Published As

Publication number Publication date
EP3182408B1 (en) 2018-12-26
CN106126178B (zh) 2019-09-06
AU2011285702B2 (en) 2014-08-07
EP3182408A1 (en) 2017-06-21
KR101605481B1 (ko) 2016-03-22
US8918121B2 (en) 2014-12-23
US8326328B2 (en) 2012-12-04
US9105269B2 (en) 2015-08-11
US20120035931A1 (en) 2012-02-09
CN103282957A (zh) 2013-09-04
US20150310867A1 (en) 2015-10-29
CN106126178A (zh) 2016-11-16
US20120034904A1 (en) 2012-02-09
EP3748630A2 (en) 2020-12-09
EP3432303A2 (en) 2019-01-23
US20130095805A1 (en) 2013-04-18
EP2601650A1 (en) 2013-06-12
EP3432303B1 (en) 2020-10-07
EP3432303A3 (en) 2019-03-20
KR20160033233A (ko) 2016-03-25
WO2012019020A1 (en) 2012-02-09
KR20130100280A (ko) 2013-09-10
EP3998603A2 (en) 2022-05-18
EP3748630B1 (en) 2021-12-22
US9251793B2 (en) 2016-02-02
US20150112691A1 (en) 2015-04-23
US8359020B2 (en) 2013-01-22
EP2601650A4 (en) 2014-07-16
AU2011285702A1 (en) 2013-03-07
EP3748630A3 (en) 2021-03-24
EP3998603A3 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
CN103282957B (zh) 基于上下文自动监测话音输入
CN103404118B (zh) 移动计算设备上的自知简档切换
US11350253B2 (en) Active transport based notifications
US10795541B2 (en) Intelligent organization of tasks items
KR101539687B1 (ko) 파라미터리스 검색 쿼리에 대한 결과 제공 방법
CN105955703B (zh) 依赖于状态的查询响应
US20140372115A1 (en) Self-Directed Machine-Generated Transcripts
JP2020537198A (ja) 音楽を特定の歌曲として識別する
CN109952772A (zh) 一种信号质量的提醒方法、终端以及服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.

CP01 Change in the name or title of a patent holder