CN110244931A - 用于音频输入监视的装置 - Google Patents

用于音频输入监视的装置 Download PDF

Info

Publication number
CN110244931A
CN110244931A CN201910375095.8A CN201910375095A CN110244931A CN 110244931 A CN110244931 A CN 110244931A CN 201910375095 A CN201910375095 A CN 201910375095A CN 110244931 A CN110244931 A CN 110244931A
Authority
CN
China
Prior art keywords
computing device
audio input
audio
processing
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910375095.8A
Other languages
English (en)
Other versions
CN110244931B (zh
Inventor
亚历山大·法贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=54869674&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN110244931(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Google LLC filed Critical Google LLC
Publication of CN110244931A publication Critical patent/CN110244931A/zh
Application granted granted Critical
Publication of CN110244931B publication Critical patent/CN110244931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请涉及用于音频输入监视的装置。一种计算装置,所述计算装置包括至少一个处理器,以及至少一个模块,所述至少一个模块可由所述至少一个处理器操作以从多个计算装置中指定特定计算装置处理音频输入,其中,所述计算装置包括所述多个计算装置中的第一计算装置。所述至少一个模块进一步可由所述至少一个处理器操作以:如果所述特定计算装置不是所述第一计算装置,则停止对音频输入的处理,并且如果所述特定计算装置是所述第一计算装置,则接收第一音频输入并且处理所述第一音频输入以确定所述第一音频输入是否包括预定音频命令。

Description

用于音频输入监视的装置
分案说明
本申请属于申请日为2015年6月22日的中国发明专利申请No.201580034078.8的分案申请。
背景技术
计算装置(例如,移动电话、平板计算机等)可以使用户能够提供音频输入。该音频输入可以使计算装置执行与接收到的音频输入相关联的一个或者多个动作,诸如执行应用或者创建日历预约条目。在一些情况下,计算装置可以监视包括预定音频命令的音频输入的环境,并且,如果检测到预定音频命令,则执行对应动作。通过监视包括预定音频命令的音频输入,计算装置可以允许用户在提供包括预定音频命令的音频输入之后提供一个或者多个其他音频命令,而用户无需按下按钮或者指示将要提供音频命令。在一些情况下,与用户相关联的两个或者更多个计算装置可以监视音频输入的相同环境,这可能引起各个计算装置基于预定音频输入来执行动作。
发明内容
在一个示例中,一种方法,该方法包括由多个计算装置中的第一计算装置从多个计算装置中指定特定计算装置处理音频输入。该方法进一步包括:如果特定计算装置不是第一计算装置,则第一计算装置停止对音频输入的处理;并且如果特定计算装置是第一计算装置:则第一计算装置接收第一音频输入,并且第一计算装置处理该第一音频输入以确定该第一音频输入是否包括预定音频命令。
在另一示例中,计算装置包括至少一个处理器和至少一个模块,该至少一个模块可由该至少一个处理器来操作以从多个计算装置中指定特定计算装置处理音频输入,其中,计算装置包括多个计算装置中的第一计算装置。该至少一个模块进一步可由该至少一个处理器来操作以:如果特定计算装置不是第一计算装置,则停止对音频输入的处理,并且如果特定计算装置是第一计算装置,则接收第一音频输入并且处理该第一音频输入以确定该第一音频输入是否包括预定音频命令。
在另一示例中,计算机可读存储介质编码有指令,该指令在被执行时使第一计算装置的至少一个处理器从第二计算装置接收对多个计算装置中的、处理音频输入的特定计算装置的指定。计算机可读存储介质可以进一步编码有指令,该指令在被执行时使计算装置的至少一个处理器:如果特定计算装置不是第一计算装置,则停止对音频输入的处理,并且如果特定计算装置是第一计算装置,则接收第一音频输入并且处理该第一音频输入以确定该第一音频输入是否包括预定音频命令。
在附图和下面的描述中阐述了一个或者多个示例的细节。其他特征、目的、和优点将通过描述和附图、以及权利要求书而变得显而易见。
附图说明
图1是图示了根据本公开的一种或者多种技术的包括被配置为处理音频输入的多个计算装置的示例计算环境的概念图。
图2是图示了根据本公开的一种或者多种技术的被配置为处理音频输入的计算装置的一个示例的细节的概念图。
图3是图示了根据本公开的一种或者多种技术的被配置为处理音频输入的计算装置的一个示例和用于配置装置类型优先级的示例图形用户界面(GUI)的概念图。
图4是图示了根据本公开的一种或者多种技术的被配置为处理音频输入的计算装置的示例操作的流程图。
图5是图示了根据本公开的一种或者多种技术的被配置为处理音频输入的计算装置的示例操作的流程图。
具体实施方式
通常,本公开的技术可以使多个计算装置中的一个或者多个计算装置能够指定特定计算装置监视和/或作用于音频输入,该音频输入可用于发起与多个计算装置中的至少一个计算装置的交互。例如,多个计算装置(例如,智能电话、智能手表、和车载娱乐/导航系统)可以分别操作以监视和/或作用于包括一个或者多个预定音频命令的音频输入。一个或者多个计算装置(例如,智能电话、智能电话和智能手表等)可以使用本文描述的技术来将多个计算装置中的特定计算装置(例如,车载系统)指定为用于监视包括一个或者多个预定音频命令的音频输入的环境音频的最佳候选。响应于指定特定计算装置监视一个或者多个预定音频输入,多个计算装置(例如,智能电话和智能手表)中的其他计算装置可以暂时停止监视音频输入。此后,特定装置可以是多个计算装置中唯一监视音频输入的计算装置,并且在一些实例中,在接收到包括预定音频命令的音频输入的指示时,特定装置可以是多个计算装置中唯一响应于此执行一个或者多个动作的计算装置。
通过指定用于监视音频输入和/或处理音频输入的指示的(例如,监视一个或者多个预定音频命令,诸如,“热门词汇”或者“音频触发语”)特定计算装置并且向其他非指定计算装置发送用于暂时停止监视音频输入的指令,采用本文描述的技术的计算装置和/或系统可以提高计算效率(通过,例如,避免冗余处理、避免对相同数据进行操作的并行处理隐患、和/或提高装置电池寿命)。即,当超过一个计算装置可操作以监视和/或作用于包括预定音频命令的音频输入时,指定单个装置来做这件事可以确保单个装置在过程中耗尽能量,并且确保单个装置响应于接收到预定音频命令而执行动作。
图1是图示了根据本公开的一种或者多种技术的包括被配置为处理音频输入的多个计算装置2A至2C(统称为“计算装置2”)的示例计算环境1的概念图。计算装置2的示例可以包括,但不限于,便携式装置、移动装置或者其他装置,诸如,移动电话(包括智能电话)、可穿戴计算装置(例如,智能手表、头戴式装置等)、个人数字助理(PDA)、车载装置(例如,立体声系统、导航系统等)、平板计算机、智能电视平台、膝上型计算机、台式计算机、服务器计算机、大型机等。例如,在图1的示例中,计算装置2A可以是智能电话,计算装置2B可以是车载立体声/导航系统,并且计算装置2C可以是智能手表。在其他示例中,计算装置2可以包括附加的计算装置、不同的计算装置、或者更少的计算装置。即,虽然在图1的示例中参照三个计算装置对计算装置2进行了描述,但是计算装置2可以包括两个计算装置、四个计算装置、或者更多个各种类型的计算装置。
如在图1的示例中示出的,计算装置2包括相应的通信单元4A至4C(统称为“通信单元4”)。各个通信单元4可以操作以通过传输和/或接收在一个或者多个网络上的网络信号来经由一个或者多个有线和/或无线网络与外部装置进行通信。通信单元4的示例包括网络接口卡(例如,诸如,以太网卡)、光学收发器、射频收发器、GPS接收器、或者可以发送和/或接收信息的任何其他类型的装置。通信单元4的附加示例可以包括近场通信(NFC)单元、蓝牙无线电装置、短波无线电装置、蜂窝数据无线电装置、无线网络(WiFi)无线电装置、红外通信端口、以及通用串行总线(USB)控制器。换句话说,各个通信单元4可以是计算装置2中的一个相应计算装置可以通过其与任何其他装置(诸如,彼此)进行通信的装置。
在图1的示例中,计算装置2包括相应的音频输入模块6A至6C(统称为“音频输入模块6”)。各个音频输入模块4可以操作以对于音频输入监视相应计算装置的环境并且处理音频输入以确定该音频输入是否包括预定音频命令。计算装置的环境可以表示直接围绕计算装置的真实世界区域(例如,在计算装置的1米内、在计算装置的5米内、在与计算装置相同的房间内、或者其他指定区域)。通常,预定音频命令可以是可用于发起与计算装置的交互的任何音频输入(例如,单词、短语等)。换句话说,预定音频命令可以是特定音频输入,计算装置可以对于该特定音频输入监视环境音频,并且用户可以使用该特定音频输入而无需另外通知计算装置他或者她将提供音频输入。
音频输入模块6中的一个或者多个可以将预定音频命令与待由相应计算装置执行的动作相关联。例如,音频输入模块6中的一个或者多个可以将单词或者短语(例如,“您好,电话”,“好的,车辆”等)与进入音频输入模式相关联,从而允许用户提供进一步的音频输入。预定音频输入和相关联的动作的其他示例可以包括使计算装置应答电话呼叫的单词或者短语(例如,“应答”)、使计算装置提供方向的单词或者短语(例如,“导航”,“方向”等)、使计算装置发送消息的单词或者短语(例如,“发送电子邮件”、“发送文本消息”等)、和其他单词或者短语。在一些示例中,预定音频命令可以是用户可配置的。即,用户可以创建、修改、启用、禁用、或者丢弃各种预定音频命令。在一些示例中,可以(例如,通过计算装置)基于许多其他准则来确定计算装置被配置为对哪个预定音频命令起作用,该其他准则诸如为安装在计算装置处的应用、在计算装置处执行的应用、当日时间、或者其他准则。
在监视音频输入之前,各个音频输入模块4可以向计算装置2中的一个相应计算装置的用户要求权限。即,音频输入模块4中的每一个可以在对于音频输入监视相应计算装置周围的环境和/或处理音频输入以确定该音频输入是否包括预定音频命令之前,执行从用户获取权限的操作。例如,音频输入模块4A可以使计算装置2A向用户输出提示,该提示请求监视来自计算装置2A的环境的音频的权限。音频输入模块4A可以响应于从用户接收到确认而仅监视音频输入。在一些示例中,监视环境音频的权限可以是短暂的或者是针对特定情况的。在其他示例中,该权限可以更持久。即,在各种示例中,用户可以授予在短时间段内、在长时间段内、仅在特定情况下监视环境音频的权限、和/或一直授予监视环境音频的权限直到用户撤销权限为止。
通常,响应于从用户接收到权限,音频输入模块可以通过从相应计算装置周围的环境获取音频(例如,经由麦克风或者其他音频传感器)并且处理所获得的音频输入以确定在音频输入中是否包括预定音频命令,来监视音频输入。例如,音频输入模块可以操作以利用语音识别技术来确定来自所获得的音频输入的文本,并且将该文本与一组预定音频命令(例如,存储在相应计算装置或者其他位置处)相比较以确定所获得的音频输入是否包括预定音频命令。
当彼此独立地操作时,计算装置2可以监视包括预定音频命令的音频输入的所有环境音频。即,在一些示例中,计算装置2可以不彼此通信或者不按照任何方式彼此相关联,并且,因此,各个音频输入模块4可以对于包括预定音频命令的音频输入监视相应计算装置的环境。如果各个音频输入模块4正在监视不同环境,那么由计算装置2之一接收到的音频输入不可以被另一计算装置2接收到。例如,用户可以在身处其厨房中的同时正穿戴着计算装置2C(智能手表)。计算装置2A(智能电话)可以在用户的卧室中,并且计算装置2B(车载立体声/导航系统)可以在用户的车库中。在这种实例中,计算装置2C可以接收包括预定音频命令(例如,“您好,装置”)的音频输入,而计算装置2A和2B各自接收不包括预定音频命令的音频输入。因此,仅计算装置2C可以执行对应的动作(例如,进入音频输入模式),这是因为只有计算装置2C正在监视使用预定音频命令的环境(例如,厨房)。
然而,如果计算装置2中的两个或者更多个正在监视相同环境,那么由计算装置2之一接收到的音频输入可以由一个或者多个其他计算装置2接收到。在这种实例中,两个或者更多个计算装置2可以各自处理音频输入以确定该音频输入是否包括预定音频命令。该两个或者更多个计算装置可以各自确定音频输入包括预定音频命令,并且可以各自执行对应的动作。监视包括预定音频命令的音频输入的相同环境的两个或者更多个计算装置可能由于对环境音频的重复监视以及通过对接收到的音频输入的重复处理而浪费处理能力和/或电池寿命。
此外,在一些示例中,执行相同动作的两个或者更多个计算装置可能会引起并行处理问题。例如,在一些示例中,如果两个计算装置接收到预定音频命令“您好,装置”,那么两个计算装置都可以进入音频输入模式。此后,可以通过这两个计算装置接收包括在音频输入中的任何音频命令(例如,“播放歌曲1”)。为了执行对应的动作,这两个计算装置可以几乎同时尝试访问“歌曲1”的音频文件(例如,位于远程位置)。在一些示例中,一个计算装置可以开始播放“歌曲1”,而另一计算装置返回错误。在其他示例中,这两个计算装置都可以开始播放“歌曲1”。在再一示例中,这两个计算装置都可以返回错误。并行处理问题的其他示例可以包括:两个或者更多个计算装置尝试发起电话呼叫,两个或者更多个计算装置尝试创建或者修改日历条目或者创建、访问、修改、或者删除相同数据。仅通过单个计算装置来监视包括预定音频命令的音频输入的环境可以减少浪费的能量,避免并行处理问题,并且总体上改进用户体验。
在图1的示例中,可以将各个计算装置2与彼此相关联。例如,可以基于各个计算装置2与相同用户相关联的事实来将计算装置2与彼此相关联。作为另一示例,可以基于在计算装置2之间经由一个或者多个无线或者有线(例如,物理)链路建立的通信链路来将计算装置2与彼此相关联。在一些示例中,可以通过通信单元4来建立和/或维持连接。例如,在图1的示例中,可以通过诸如,蓝牙协议或者蓝牙低能量(BLE)协议的短距离通信来对计算装置2进行配对或者分组。在其他示例中,可以通过使用另一协议来对计算装置2进行配对、分组、或者将其通信地连接至彼此。链接计算装置2中的两个或者更多个的有线或者无线连接的其他示例可以包括经由基于分组的网络连接(例如,TCP/IP等)或者传送数据的任何其他装置形成的一个或者多个连接。在一些示例中,各个连接可以独立地工作。例如,计算装置2A可以经由第一连接来与计算装置2B进行通信并且经由第二连接来与计算装置2C进行通信。在一些示例中,所有计算装置2都可以经由一个或者多个共享连接来进行通信。例如,计算装置2可以经由总线结构、令牌环结构、星形网络结构、或者用于两个或者更多个装置之间的共享通信的任何其他结构来各自与彼此进行通信。
在一些示例中,当计算装置2彼此相关联时,计算装置2可以确定它们是否在物理上彼此接近。即,计算装置2中的一个或者多个可以确定计算装置2是否彼此靠近。例如,在图1的经由短距离通信来连接计算装置2的示例中,计算装置2可以基于短距离通信的信号强度来确定物理接近度。在图1的示例中,用户可能在驾驶他的或者她的车辆(车载立体声/导航系统)时正穿戴着计算装置2C(智能手表),而同时计算装置2A(智能电话)在他的或者她的口袋中。因此,计算装置2可以确定各个计算装置2在物理上彼此接近。
在一些示例中,计算装置2可以另外地或者可替代地基于物理位置来确定物理接近度。即,各个计算装置2可以包括用于确定相应计算装置的物理位置的模块(例如,经由GPS或者其他装置),并且当两个计算装置的物理位置大体上相同时(例如,在彼此的5米内、在彼此的50米内、或者在一些其他距离内),计算装置2可以确定这两个装置在物理上接近。在一些示例中,计算装置2可以通过另外地或者可替代地经由链路8进行通信来确定物理接近度。例如,计算装置2可以比较从环境接收到的音频输入,并且,如果音频输入被确定为大体上相同,那么计算装置2可以确定它们在物理上彼此接近。在一些示例中,计算装置2可以另外地或者可替代地基于其他准则来确定物理接近度,其他准则诸如为一个或者多个无线网络的存在或者不存在、从用户接收到的一个或者多个输入、或者其他准则。在一些示例中,计算装置2可以在不需要确定物理接近度的情况下执行本公开的技术。
根据本文描述的技术,多个计算装置中的一个或者多个计算装置可以从多个计算装置中指定特定计算装置处理音频输入以确定该音频输入是否包括预定音频命令。在图1的示例中,例如,计算装置2中的一个或者多个(例如,计算装置2A、计算装置2A和计算装置2B等)可以指定计算装置2中的一个特定的计算装置(例如,计算装置2B)监视音频输入和/或处理音频输入以确定该音频输入是否包括预定音频命令。即,计算装置2可以指定计算装置2B的音频输入模块6B来对于预定音频命令监视环境音频。对计算装置2B的指定可以反映如下事实:当开车行进时,相较于智能电话或者智能手表,车载立体声/导航系统可以提供更佳的麦克风布置和音频接收特性以便进行语音识别。即,当开车行进时,可能的是:用户的手腕将靠近方向盘并远离用户的嘴。此外,因为可以将系统设计为考虑到道路噪声、回声、和车载体验所特有的其他特性,所以,虽然可以将用户的智能电话充分地放置以接收环境音频,但是可能的是:将车载导航系统更好地配置为监视车辆中的音频,并且处理音频输入以确定该音频输入是否包括预定音频命令。
在一些示例中,可以通过单个计算装置来执行对用于监视和/或处理音频输入的特定计算装置的指定。例如,计算装置2A(智能电话)可以单独进行该指定。在其他示例中,可以通过计算装置2中的两个或者更多个联合执行对用于监视和/或处理音频输入的特定计算装置的指定。例如,计算装置2可以在它们自己之间执行仲裁过程以确定应该将计算装置2中的哪一个指定为特定计算装置。在一些示例中,各个计算装置2可以独立地确定应该将计算装置2中的哪一个指定为用于监视和/或处理音频输入的特定计算装置。
在各种示例中,计算装置2中的一个或者多个可以基于各种准则来指定用于监视和/或处理音频输入的特定计算装置。在一些示例中,对特定计算装置的指定可以基于装置类型(例如,“智能电话”、“智能手表”、“耳机”、“平板”、“膝上型计算机”、“台式计算机”、“车载系统”等)的配置层级。例如,可以将计算装置2中的一个或者多个配置有装置类型的排名列表,该排名列表指示可用于监视和/或处理音频输入的各种装置类型的相应优先级。各个计算装置2可以将其相应装置类型的指示(例如,通过使用通信单元4)传送至其他计算装置2。该一个或者多个计算装置2可以将在列表上排名最高的装置类型的计算装置指定为特定计算装置。例如,如果各个计算装置2都配置有排名列表,那么各个相应计算装置可以发送相应装置类型并且接收其他计算装置的装置类型。各个相应计算装置可以确定相应计算装置是否是在列表上排名最高的装置类型。如果相应计算装置是在列表上排名最高的装置类型,那么相应计算装置可以指定其自身来监视和/或处理音频输入。如果相应计算装置不是排名最高的装置类型,那么相应计算装置可以不指定其自身。
在一些示例中,计算装置2中的一个或者多个可以另外地或者可替代地基于与计算装置2中的一个或者多个相关联的音频输入质量的等级来指定用于监视和/或处理音频输入的特定计算装置。例如,计算装置2中的一个或者多个可以从环境获取音频输入(例如,经由音频输入模块6中的相应音频输入模块),并且与其他计算装置2进行通信以比较音频输入和/或其中包括的语音的质量。计算装置2可以通过使用例如音量、信噪比、和/或其他参数的各种量词来确定和/或比较音频输入质量。该计算装置2中的一个或者多个可以将具有最高等级的音频输入质量的计算装置指定为用于监视和/或处理音频输入的特定计算装置。
在一些示例中,计算装置2中的一个或者多个可以另外地或者可替代地基于各个计算装置2可以操作以所作用的预定音频命令的数量,来指定用于监视和/或处理音频输入的特定计算装置。即,在一些示例中,该计算装置2中的一个或者多个可以将配置有最大数量的预定音频命令的计算装置指定为特定计算装置。这可以反映如下事实:更可能的是:用户将使配置有最大数量的预定音频命令的计算装置执行动作。
在一些示例中,计算装置2中的一个或者多个可以另外地或者可替代地基于计算装置2中的一个或者多个的确定场境,来指定用于监视和/或处理音频输入的特定计算装置。计算装置的场境可以由任何数量的场境信息项组成。示例场境信息项可以包括如下的类集:表示计算装置的位置(例如,GPS位置)的数据(例如,文本数据结构、数字数据结构、或者其他数据结构)、指示由计算装置确定的时间的信息、指示安装在计算装置处的一个或者多个应用的信息、指示当前在计算装置处执行的一个或者多个应用的信息、指示计算装置可用的一个或者多个网络(例如,无线网络)的信息、表示接近计算装置(例如,在10英尺内、在100英尺内、或者在其他距离内)的一个或者多个其他计算装置的数据、表示计算装置的操作模式(例如,静音模式、飞行模式、驱动模式、待机模式、低电量模式、或者任何其他操作模式)的数据、从计算装置的一个或者多个传感器得到的数据(例如,温度数据、环境噪声等级数据、光等级数据、加速度/移动数据、图像/视频数据、和其他数据)、或者关于计算装置的状态或者当前状态的任何其他数据。
在一些示例中,另外或者替代地,场境信息项可以是表示关于计算装置的用户的信息的数据,关于计算装置的用户的信息诸如为用户的姓名、用户的用户识别(UID)、来自与用户相关联的一个或者多个社交媒体网络服务账户的信息、来自与用户相关联的一个或者多个日历或者调度应用的信息、指示用户的一种或者多种社会或者职业关系(例如,用户联系人)的信息、或者关于用户的任何其他信息。
作为基于场境来指定用于监视和/或处理音频输入的特定计算装置的一个示例,计算装置2之一(例如,计算装置2A)可以确定指示计算装置2A处于特定位置的场境信息项和指示用户的工作场所与该特定位置对应的场境信息项。至少部分地基于计算装置2A的确定场境,计算装置2中的一个或者多个可以将计算装置2C指定为用于监视和处理音频输入的特定计算装置。这可以反映如下事实:当用户在工作时,他或者她不太可能靠近他的或者她的车辆。此外,在工作时,用户可能想要轻柔地说话并且避免将他的或者她的智能电话紧靠在他的或者她的脸部以避免引起别人注意。即,当用户正在提供音频输入时,智能手表可以是最靠近用户的嘴的装置,并且因此,计算装置2可以基于计算装置2A的确定场境来将计算装置2C指定为用于监视和处理音频输入的特定计算装置。
响应于指定用于监视和/或处理音频输入的特定计算装置,本公开的技术可以包括:对于多个计算装置中的、除了特定计算装置之外的各个相应计算装置,暂时停用在相应计算装置中包括的相应模块。在图1的示例中,例如,因为计算装置2B被指定为用于监视和/或处理音频输入的特定计算装置,所以可以暂时停用音频输入模块6A和6C,而音频输入模块6B保持活动。通过将音频输入模块6A和6C示出为具有虚线的阴影元件,而音频输入模块6B保持实线和非阴影,在图1的示例中对此进行了图示。在一些示例中,指定特定计算装置的一个或者多个相同的计算装置可以暂时停用在除了特定计算装置之外的计算装置中包括的音频输入模块。在一些示例中,指定的特定计算装置可以向除了特定计算装置之外的计算装置输出指令以使除了特定计算装置之外的相应计算装置暂时停用相应的音频输入模块。在一些示例中,除了特定计算装置之外的各个计算装置可以基于该指定来暂时停用自己的音频输入模块。换句话说,可以通过计算装置2中的一个或者多个来暂时停用音频输入模块6中除了指定的计算装置之外的一个计算装置2(例如,计算装置2B)中包括的那些音频输入模块6。即,计算装置2可以暂时停止监视和/或处理音频输入。由于计算装置2可以在稍后(例如,在已经经过了指定的时间段之后、在从另一计算装置接收到指示时、在确定没有其他计算装置2在附近时、或者基于一个或者多个其他准则)重新开始监视和/或处理音频输入,因此,停用可以是暂时的。
本公开的技术可以包括:通过特定计算装置接收音频输入。在图1的示例中,例如,音频输入模块6B可以继续对于音频输入监视计算装置2B的环境。用户可以说出预定音频命令(例如,“请给我指出方向”)。音频输入模块6B可以(例如,从麦克风或者其他音频输入装置)接收包括预定音频命令的音频输入。音频输入模块6A和6B可以保持停用,并且因此不接收包括预定音频命令的音频输入。
根据本文描述的技术,特定计算装置可以处理音频输入以确定该音频输入是否包括预定音频命令。在图1的示例中,音频输入模块6B可以处理接收到的音频输入,并且确定该音频输入包括预定音频命令“请给我指出方向”。因为音频输入模块6A和6C被暂时停用,所以音频输入模块6A和音频输入模块6C都不会浪费处理能力和/或电池电量来监视音频输入和/或处理音频输入。
按照这种方式,本公开的技术可以使多个计算装置能够更有效地监视音频输入和/或处理接收到的音频输入以识别包括在音频输入中的预定音频命令。通过指定用于监视和/或处理音频输入的特定计算装置和暂时停止其他计算装置的监视和/或处理,本文描述的技术可以减少浪费的能量(例如,电池电量)并且避免潜在的并行处理问题。此外,通过基于各种准则指定用于监视音频输入和/或处理音频输入的特定计算装置,本公开的技术可以通过改进在各种实例中的语音识别来改进用户体验。
图2是图示了根据本公开的一种或者多种技术的被配置为处理音频输入的计算装置2A的一个示例的细节的概念图。下面在图1的场境内对图2的示例进行描述。图2图示了计算装置2A的仅一个特定示例,并且在其他实例中可以使用计算装置2A的许多其他示例。在一些示例中,计算装置2A可以包括比在图2的示例中示出的部件更少的部件或者在图2的示例中未示出的附加部件。
如在图2的示例中示出的,计算装置2A包括一个或者多个处理器20、一个或者多个输入装置22、和一个或者多个输出装置24。计算装置2还包括一个或者多个通信单元4A、一个或者多个传感器26、和一个或者多个存储装置28。存储装置28包括用户界面(UI)模块32、装置场境模块36、应用模块34A至34N(统称为“应用模块34”)、和音频输入模块6A。音频输入模块6A又包括监视和执行模块38和协商模块40。通信单元4A可以具有与先前关于图1描述的功能相同或者类似的功能。
通信信道(COMM.CHANNELS)30可以将部件4A、6A、20、22、24、26、28、32、34、36、38、和/或40互连以便进行部件间通信(在物理上、通信地、和/或可操作地)。在一些示例中,通信信道30可以包括:系统总线、网络连接、进程间通信数据结构、或者用于传送数据的任何其他装置。
在图2的示例中,一个或者多个处理器20可以在计算装置2A内实施功能和/或执行指令。例如,处理器20可以接收和执行实施模块6A、32、34、36、38、和/或40的功能的、存储装置28存储的指令。由处理器20执行的这些指令可以使计算装置2A在程序执行期间对存储在存储装置28内的信息进行读取/写入/等。处理器20可以执行模块6A、32、34、36、38、和/或40的指令以使计算装置2A(通过其自身或者与其他计算装置相关联地)指定特定计算装置,该特定计算装置用于监视和/或处理音频输入、接收音频输入、处理音频输入以确定音频输入是否包括预定音频命令、暂时停止监视和/或处理音频输入、和/或执行其他动作。即,模块6A、32、34、36、38、和/或40可由处理器20来操作以执行计算装置2A的各种动作或者功能。
在图2的示例中,一个或者多个输入装置22可以操作以接收输入。输入的示例是触觉、音频、和视频输入。在一个示例中,输入装置22包括:存在敏感显示器或者触摸敏感显示器、鼠标、键盘、语音响应系统、摄像机、麦克风或者其他音频传感器、或者用于检测来自人或者机器的输入的任何其他类型的装置。例如,输入装置22可以是或者可以包括麦克风、或者可操作以从计算装置2A周围的环境接收音频输入的其他音频传感器。
在一些示例中,存在敏感输入装置可以检测在屏幕处和/或附近的物体。作为一个示例范围,存在敏感输入装置可以检测物体,诸如在屏幕的2英寸或者小于2英寸内的手指或者触控笔。存在敏感输入装置可以确定检测到物体的屏幕的位置(例如,(x,y)坐标)。在另一示例范围中,存在敏感输入装置可以检测与屏幕相距六英寸或者更小距离的物体,并且其他范围也是可能的。存在敏感输入装置可以通过使用电容、电感、和/或光学识别技术来确定用户的手指所选择的屏幕的位置。在一些示例中,存在敏感输入装置还可以通过使用如关于输出装置24描述的触觉、音频、或者视频刺激来向用户提供输出。
在图2的示例中,一个或者多个输出装置24可以操作以生成输出。输出的示例是触觉、音频、和视频输出。在一个示例中,输出装置24包括存在敏感显示器、声卡、扬声器、视频图形适配卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)、或者用于向人或者机器生成输出的任何其他类型的装置。
虽然被图示为计算装置2A的内部部件,但是一个或者多个输入装置22和/或输出装置24还可以表示与计算装置2A共享数据路径的外部部件以便传输和/或接收输入和输出。即,在一些示例中,输入装置22和/或输出装置24可以表示位于计算装置2A的外部封装内并且在物理上连接至计算装置2的外部封装的计算装置2A的内置部件(例如,在移动电话上的屏幕)。在另一示例中,输入装置22和/或输出装置24可以表示位于计算装置2A的封装外并且与计算装置2A的封装在物理上分离的计算装置2A的外部部件(例如,监视器、投影仪、或者与平板计算机共享有线和/或无线数据路径的其他显示装置)。
在图2的示例中,一个或者多个传感器26可以操作以生成用于由计算装置2A的部件使用的数据。传感器26可以包括能够获取如下数据的任何装置或者部件:关于计算装置2A的数据、关于计算装置2A所在的环境的数据、关于计算装置2A的用户的数据、或者其他数据。在一些示例中,传感器26可以获取提供有关计算装置2A的场境信息的数据,例如,诸如温度数据、环境噪声等级数据、光等级数据、加速度/移动数据、或者图像/视频数据中的一个或者多个。任何传感器26都可以是用于获取信息的硬件、固件、软件、或者其组合。传感器26的示例可以包括:GPS传感器、位置传感器、加速度计或者其他运动传感器、照相机、指南针、磁力计、光传感器、红外传感器、麦克风或者其他音频传感器、辐射传感器、温度传感器、气压计、高度计、或者其他数据采集部件。
在图2的示例中,一个或者多个存储装置28可以操作以存储在计算装置2A的操作期间进行处理的信息。例如,在计算装置2A上执行期间计算装置2A可以存储模块6A、32、36、和/或34可以访问的数据。在一些示例中,存储装置28表示暂时存储器,这意味着存储装置28的主要目的不是长期存储。例如,计算装置2A的存储装置28可以是易失性存储器,这意味着如果存储装置28掉电,则不会保留已存储的内容。易失性存储器的示例包括:随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、和在本领域中已知的其他形式的易失性存储器。
在一些示例中,存储装置28还包括一种或者多种计算机可读存储介质。可以将存储装置28配置为比易失性存储器存储更大量的信息。可以将存储装置48进一步配置为长期存储信息。在一些示例中,存储装置28包括非易失性存储器,这意味着存储装置28可以通过上电/掉电周期来维持信息。非易失性存储器的示例包括磁硬盘、光盘、软盘、闪速存储器、或者电可编程存储器(EPROM)或者电可擦除可编程(EEPROM)存储器的形式。在一些示例中,诸如在程序执行期间,存储装置28可以存储与模块6A、32、34、36、38、和/或40相关联的程序指令和/或信息(例如,数据)。
在图2的示例中,UI模块32可由处理器20来操作以执行一种或者多种功能,诸如,接收输入(例如,从输入装置22)并且将这种输入的指示发送至诸如应用模块34的与计算装置2A相关联的其他部件。UI模块32还可以接收来自诸如模块6A和/或34的与计算装置2A相关联的部件的数据。通过使用接收到的数据,UI模块32可以使诸如输出装置24的与计算装置2A相关联的其他部件基于该数据来提供输出。例如,UI模块32可以接收来自应用模块34之一的数据以在输出装置24之一处显示GUI。
如在图1的示例中示出的,应用模块8可以包括用于在计算装置2上执行任何种类的操作的功能。例如,应用模块8可以包括:单词处理应用、电子邮件应用、网络浏览器应用、多媒体播放器应用、闹钟应用、日历应用、操作系统、分布式计算应用、图形设计应用、视频编辑应用、网络开发应用、导航或者地图应用、或者任何其他应用。
在图2的示例中,装置场境模块36可由处理器20来操作以执行用于确定计算装置2A的当前场境的操作。即,如果计算装置2A的用户给予了权限,那么装置场境模块36可以操作以从计算装置2A的其他部件(例如,应用模块34、通信单元4A、传感器26等)和/或从其他计算装置获取信息,以确定描述计算装置2A的当前场境、计算装置2A所在的环境、计算装置2A当前正进行的活动、计算装置2A的用户、计算装置2A的用户当前正从事的活动、和/或其他信息。
作为一个示例,装置场境模块36可以与输入装置22和/或UI模块32进行通信以获取指示用户是否正在与计算装置2A进行交互的信息。装置场境模块36可以与通信单元4A之一(例如,蓝牙无线电装置)进行通信并且获取指示一个或者多个其他计算装置是否接近计算装置2A的信息。装置场境模块36可以与传感器26中的一个或者多个进行通信以获取关于计算装置2A所在的物理环境的信息(例如,光等级、环境噪声等级、温度等级、湿度等级、位置等)。在一些示例中,装置场境模块36可以不与传感器26直接通信。在一些示例中,装置场境模块36可以从计算装置2A中处理从传感器26接收到的传感器数据的模块(未示出)获取数据。
作为另一示例,装置场境模块36可以与应用模块34中的一个或者多个进行通信以获取哪些(如果有)应用模块正在计算装置2A处进行执行的指示、获取用户当前正在使用的任何应用的指示(例如,在输出装置24处正显示有哪些应用或者哪些应用正处于“焦点”中)、和/或这种应用正在执行的活动的指示。例如,装置场境模块36可以获取指示如下情况的数据:应用34A(例如,音频播放器应用)和应用34B(例如,电子邮件客户端应用)当前正在计算装置2A处执行、应用34B当前正处于焦点、以及应用34A当前正在播放音轨而同时应用程序34B正在提供起草电子邮件的用户界面。应用可以执行的其他示例活动包括玩游戏、浏览网站、搜索信息、预约旅行预订、或者其他活动。在一些示例中,装置场境模块36可以获取与应用正在执行的活动有关的信息,诸如正在编写或者读取的电子邮件的接收方或者发送方、正在玩的游戏的用户名或者等级、正在播放的歌曲的题目或者艺术家姓名、正在观看的网站URL、正在执行的搜索查询、或者其他细节。
作为装置场境模块36可以用来确定当前场境的信息的再一示例,装置场境模块36可以与应用模块34和/或通信单元6A进行通信以确定有关计算装置2A的用户的场境信息。例如,装置场境模块36可以从电子邮件应用获取有关用户是其成员的社交媒体网络服务的信息、有关用户订阅的电子邮件列表的信息、或者其他信息。装置场境模块36还可以从日历应用获取有关用户可能具有的约会的信息。装置场境模块36可以与通信单元6A进行通信以从一个或者多个其他计算装置或者系统获取信息。例如,如果从用户接收到权限,那么装置场境模块36可以使通信单元6A从用户的社交媒体网络服务账户、用户的电子邮件账户、或者其他信息源获取信息。
基于获得的场境信息项,装置场境模块36可以确定当前场境。作为一个示例,装置场境模块36可以通过确定一个或者多个场境类别的值以及各个类别的相应权重来确定当前场境。即,装置场境模块36可以基于获得的信息来确定值,并且基于关联值的预测精确度和/或预测重要性来对各个类别进行加权。例如,场境类别可以指示正在计算装置2A处执行的应用的类型和/或名称、计算装置2A的位置、接近计算装置2A的一个或者多个计算装置的指示、计算装置2A当前正在从事的活动或者任务或者在计算装置2A处应用执行正在从事的活动或者任务、当日时间或者当前时间、计算装置2A的用户的用户识别号、用户正在从事的预测活动或者任务、预测的用户的行进模式、预测的用户的当前可用性、或者各种其他信息。
施加给场境类别的权重可以指示对于类别所确定的值的重要性。例如,可以按照标尺(例如,0至10、1至100、或者其他标尺)来限定权重。如果类别的值被预测为当前场境的重要部分和/或被确定为非常可能是真实的,那么该类别可以接收较重的权重——朝向标尺的一端(例如,一百中的九十)。如果类别的值未被预测为非常重要和/或被确定为包括不确定性,那么该类别可以接收较轻的权重——处于标尺的另一端(例如,一百中的十)。按照这种方式,装置场境模块36可以在确定当前场境时将一些信息的优先级设为高于其他信息。
在图2的示例中,装置场境模块36可以确定当前位置类别的值。例如,基于指示计算装置2A在夜间时段期间按常规位于指定位置处并且计算装置2A当前正位于相同的指定位置处的信息(例如,从在传感器26中包括的GPS位置传感器获得的信息)、以及指示用户的家庭地址在地理上大体上位于相同的指定位置的信息(例如,从用户的联系人信息或者从用户的电子邮件应用获得的信息),装置场境模块36可以确定当前位置类别的值为“家”。
装置场境模块36可以确定当前位置类别的对应权重。在图2的示例中,装置场境模块36可以确定相对较重的权重,因为位置信息(例如,不基于GPS数据)是相对准确的,并且存在指示相同结果的多条信息(例如,计算装置2A处于用户的家中)。在诸如位置信息基于其他不太准确的数据(例如,仅当日时间和先前的位置数据)的其他示例中,可以向当前位置类别的值赋予不太重的权重。
在图2的示例中,装置场境模块36还可以确定指示计算装置2A是否正在移动的移动类别的值。例如,基于从加速度计(例如,传感器26之一)获得的信息和/或其他输入,装置场境模块36可以将移动类别的值确定为“无”。即,装置场境模块36可以确定计算装置2A当前未移动。装置场境模块36可以向移动类别分配较重的权重,因为该信息不太可能是不正确的(例如,因为该信息是从计算装置2A的传感器26直接获得的)。
在各种示例中,装置场境模块36可以确定附加场境类别或者替代场境类别的值和权重。在任何情况下,在确定当前场境之后,装置场境模块36可以向音频输入模块6A提供当前场境的至少一个指示。例如,装置场境模块36可以发送指示如下的数据:各个场境类别、对于该类别所确定的关联值、和对于该类别所确定的关联权重。
如在图2的示例中示出的,音频输入模块6A包括监视和执行模块38。当处于活动状态时,监视和执行模块38可以由处理器20操作以处理音频输入的指示,以确定音频输入是否包括预定音频命令。在一些示例中,监视和执行模块38可以执行与在接收到的音频输入中包括的预定音频命令对应的一个或者多个动作。例如,输入装置22和/或传感器26中的一个或者多个可以表示能够接收连续音频输入的低功率或者超低功率音频麦克风。监视和执行模块38可以接收来自麦克风的音频输入,并且可以处理音频输入。在一些示例中,监视和执行模块38可以通过执行一次或者多次语音到文本转换以获取与接收到的音频输入对应的文本数据,来处理音频输入。在其他示例中,监视和执行模块38可以执行其他音频分析以辨认和识别语音,诸如执行频率分析以识别存在于音频输入中的音调特性或者其他声音标识符。
监视和执行模块38可以使用处理过的输入来确定在接收到的音频输入的至少一部分中是否包括预定音频命令。例如,监视和执行模块38可以将处理过的音频输入与对应于预定音频命令的一组指示(例如,文本、音调特性、或者其他声音标识符)相比较。如果监视和执行模块38确定音频输入包括预定音频命令,那么在一些示例中,监视和执行模块38可以执行相关联的动作。
根据本文描述的技术,音频输入模块6A(例如,协商模块40)在由处理器20执行时可以从多个计算装置中指定或者帮助指定用于监视和/或处理音频输入的特定计算装置。在图2的示例中,例如,计算装置2A可以是智能电话,计算装置2B可以是台式计算机,并且计算装置2C可以是智能手表。可以将计算装置2A、2B、和2C彼此相关联或者通信地耦合。协商模块40可以与计算装置2B和2C进行通信以指定这三个计算装置中的哪一个将监视并且处理音频输入以确定音频输入是否包括预定音频命令。
在一些示例中,音频输入模块6A可以响应于接收到计算装置2B和2C的指示而使协商模块40指定或者帮助指定用于监视和/或处理音频输入的特定计算装置。音频输入模块6A可以从通信单元4A、传感器26、应用模块34、和/或其他源来接收指示计算装置2B和2C的存在和/或与计算装置2B和2C的关联的信息。作为一个示例,音频输入模块6A可以接收计算装置2B和2C在物理上接近计算装置2A的指示。在一些示例中,音频输入模块6A可以接收计算装置2B和2C正在使用计算装置2A所连接到的有线或者无线网络(例如,由用户的无线路由器提供的网络)的指示。在一些示例中,计算装置2A可以接收计算装置2B和2C与计算装置2A所关联的用户账户(例如,电子邮件账户、社交网络服务账户等)相关联的指示。换句话说,在一些示例中,音频输入模块6A可以接收计算装置2A、2B、和2C以某种方式相关联的一些指示。
在一些示例中,协商模块40可以(例如,单独地或者结合计算装置2B和/或2C的协商模块)至少部分地基于从装置场境模块36接收到的场境,来指定用于监视和/或处理音频输入的特定计算装置。例如,因为计算装置2A的场境指示计算装置2A在用户的家庭位置处并且计算装置2A当前未移动,所以协商模块40可能不太可能将计算装置2A指定为特定计算装置。这可以反映如下事实:基于场境,可能的是:用户在房子附近未随身携带其智能电话,而是将智能电话放在了某处。在该示例中,协商模块40可以将计算装置2B(例如,台式计算机)或者计算装置2C(例如,智能手表)指定为用于监视和/或处理音频输入的特定计算装置。
在一些示例中,协商模块40可以接收计算装置2B和2C的确定场境的指示。例如,计算装置2B和2C可以各自包括类似于计算装置2A的模块36、6A、38、和/或40的模块。在这种实例中,计算装置2B和/或2C的相应装置场境模块可以向相应音频输入模块发送相应场境的指示,并且相应协商模块可以向计算装置2A的协商模块40发送相应场境的指示。在图2的示例中,智能手表和台式计算机的相应场境可以指示相应计算装置的装置类型。相应场境还可以指示智能手表和台式计算机都没有在移动。此外,智能手表和台式计算机的相应场境可以指示在彼此的阈值距离内(例如,0.5米内、3英尺内、或者其他距离内)但不在计算装置2A的阈值距离内的位置(例如,GPS位置)。
至少部分地基于计算装置2A、2B、和2C的相应场境,协商模块40可以(例如,单独地或者结合计算装置2B的协商模块和/或计算装置2C的协商模块)指定用于监视音频输入和/或处理音频输入的特定计算装置。在图2的示例中,例如,协商模块40可以基于场境来将计算装置2B(台式计算机)指定为特定计算装置。这可以反映如下事实:用户可能正在使用计算装置2B(例如,因为智能手表在台式计算机的附近)并且计算装置2A可能不在用户的附近(例如,因为智能手表和台式计算机不在智能电话的附近)。此外,对监视和/或处理音频输入的计算装置2B的指定可以反映如下事实:计算装置2B可能不是靠电池供电的装置。即,相较于计算装置2A和2C,计算装置2B不太可能具有有限的可用电力。
作为另一示例,协商模块40可以另外地或者可替代地基于与计算装置2A、2B、和2C中的一个或者多个相关联的音频输入质量,来指定用于监视音频输入和/或处理音频输入的特定计算装置。例如,协商模块40可以将计算装置2A、2B、和2C中的每一个的音频输入质量相比较,并且将与最佳音频输入质量相关联的计算装置指定为用于监视和处理音频输入的特定计算装置。为了比较音频输入质量,协商模块40可以从传感器26中的一个或者多个获取音频输入并且确定该音频输入的音频输入质量等级。在这种示例中,协商模块40可以确定音频输入的强度(例如,以分贝为单位)、在音频输入中包括的语音与其他声音(例如,背景噪声或者静电)之间的比例、或者其他测量。在一些示例中,协商模块40可以向计算装置2B和2C中的一个或者多个发送计算装置2A的确定的音频输入质量的指示。协商模块40还可以接收由计算装置2B和/或2C确定的音频输入质量的指示。协商模块40然后可以将计算装置2A的音频输入质量与计算装置2B和2C的音频输入质量相比较以确定哪个计算装置与最佳音频输入质量相关联。协商模块40可以将与最佳音频输入质量(例如,最高音频强度、最佳语音噪声比等)相关联的计算装置指定为用于监视和/或处理音频输入的特定计算装置。
作为另一示例,协商模块40可以另外地或者可替代地基于装置类型的配置层级来指定用于监视音频输入和/或处理音频输入的特定计算装置。例如,配置层级可以将台式计算机排名为高于智能电话或者智能手表,并且因此协商模块40可以将计算装置2B指定为特定计算装置。即,基于层级,如果台式计算机可用的话,协商模块40可以更可能将台式计算机指定为特定计算装置,并且不太可能指定智能电话或者智能手表。这可以反映如下事实:台式计算机可以具有用于监视音频输入和/或处理音频输入的更多资源(例如,电力、处理能力等)。在一些示例中,计算装置2的各个协商模块可以独立地操作以确定计算装置2中的哪一个是具有最高装置优先级等级的类型,并且因此指定哪个计算装置来监视和/或处理音频输入。在一些示例中,计算装置2的协商模块可以与彼此进行通信(例如,经由通信单元4)以协作地确定哪个计算装置是具有最高装置优先级等级的类型。
在一些示例中,协商模块40可以基于装置类型的层级和/或排名表并且基于一个或者多个计算装置2的场境来指定用于监视音频输入和/或处理音频输入的特定计算装置。例如,可以将计算装置2A配置有多个配置层级。第一层级可以将台式计算机排名为高于智能电话或者智能手表,但仅在满足某些场境准则的情况下。如果台式计算机的场境指示台式计算机包括麦克风或者其他音频输入装置,则可以满足准则,并且协商模块40可以基于第一层级来指定台式计算机。如果台式计算机的场境指示台式计算机不包括麦克风,则不能满足准则,并且协商模块40可以基于不同的配置层级或者以某种其他方式来指定特定计算装置。
在图2的示例中,协商模块40可以向计算装置2B和2C的相应协商模块发送指定的指示(例如,经由通信单元4A)。即,在一些示例中,从多个计算装置指定用于监视和/或处理音频输入的特定计算装置的一个或者多个计算装置可以向多个计算装置中的其他计算装置发送该指定的指示。在一些示例中,被指定为特定计算装置的计算装置可以发送该指定的指示。即,在一些示例中,响应于正被指定为特定计算装置,该特定计算装置可以向多个计算装置中的、除了特定计算装置之外的各个相应计算装置发送该指定的至少一个指示。按照这种方式,多个计算装置中的每个计算装置都可以接收该指定的指示。
在图2的示例中,协商模块40还可以由处理器20操作以暂时停用用于监视和/或处理音频输入的模块。例如,响应于将除了计算装置2A之外的计算装置指定为用于监视和处理音频输入的特定装置,协商模块40可以暂时停用监视和执行模块38。按照类似的方式,响应于接收到一个或者多个其他计算装置2已经将除了计算装置2A之外的一个计算装置2指定为特定计算装置的指示,协商模块40可以暂时停用监视和执行模块38。例如,计算装置2可以各自将包括在指示中的装置标识符与其自己的装置标识符相比较。响应于确定装置标识符不匹配,相应计算装置(例如,协商模块)可以各自确定指定的计算装置是不同的计算装置,并且可以停用用于监视和/或处理音频输入的相应模块(例如,监视和执行模块38)。即,在一些示例中,协商模块40可以从一个或者多个其他计算装置2接收使协商模块40暂时停用监视和执行模块38的指示。当被停用时,监视和执行模块38不可以监视音频输入或者处理音频输入以确定音频输入是否包括预定音频命令。即,当被停用时,监视和执行模块38可以暂时停止监视预定音频命令。响应于确定包括在指示中的装置标识符确实与其装置标识符匹配,计算装置可以不停用其用于监视和/或处理音频输入的模块,而是将继续监视音频输入和/或处理音频输入。
在一些示例中,计算装置2A可以将计算装置2A指定为用于监视和/或处理音频输入的特定计算装置,和/或接收一个或者多个其他计算装置2已经将计算装置2A指定为特定计算装置的指示。响应于将计算装置2A指定为用于监视音频输入和处理音频输入的特定计算装置,监视和执行模块38可以继续监视音频输入的环境并且处理音频输入以确定音频输入是否包括预定音频命令。
在将计算装置2A指定为特定计算装置之后,监视和执行模块38可以接收音频输入的指示(例如,从传感器26之一)。监视和执行模块38可以处理音频输入,并且将处理过的输入与对应于预定音频命令的一组指示相比较以确定音频输入是否包括预定音频命令。在一些示例中,与预定音频命令对应的该一组指示可以表示计算装置2A被配置为对其做出响应的预定音频命令。在一些这种示例中,如果监视和执行模块38确定在音频输入中不包括表示的预定音频命令,那么监视和执行模块38可以使音频输入模块6A向其他计算装置2发送(例如,经由通信单元4A)处理过的输入。即,在一些示例中,特定计算装置可以处理音频输入以确定音频输入是否包括特定计算装置被配置为对其做出响应的预定音频命令,并且,如果音频输入不包括特定计算装置被配置为对其做出响应的预定音频命令,那么特定计算装置可以将处理过的输入发送至多个计算装置中的其他计算装置。
在一些示例中,特定计算装置可以确定音频输入是否包括多个计算装置中的任何计算装置配置为对其做出响应的预定音频命令。例如,计算装置2A可以接收其他计算装置2被配置为对其做出响应的预定音频命令的指示。作为另一示例,计算装置2A可以接收其他计算装置2的装置类型的指示,并且可以将计算装置2A配置有将各种预定音频命令与各种装置类型相关联的列表。即,特定计算装置可以操作以确定音频输入是否包括预定音频命令,特定计算装置可以被配置为不对该预定音频命令做出响应,但是另一计算装置可以被配置为对该预定音频命令做出响应。
如果监视和执行模块38确定音频输入包括特定音频命令,那么在一些示例中,监视和执行模块38可以使计算装置2A执行与接收到的预定音频命令相关联的动作或者操作。例如,如果监视和执行模块38确定音频输入包括计算装置2A被配置为对其做出响应的预定音频命令,那么监视和执行模块38可以使计算装置2A执行与接收到的预定音频命令相关联的一个或者多个动作。在一些示例中,如果监视和执行模块38确定音频输入模块包括另一计算装置2被配置为对其做出响应的预定音频命令,那么监视和执行模块38可以使音频输入模块6A向其他计算装置发送所包括的预定音频命令的指示。
例如,监视和执行模块38可以接收音频输入的指示并且处理音频输入。在一些示例中,预定音频命令可以指示附加音频输入,该附加音频输入指示命令将遵循预定音频命令,并且在其他示例中,预定音频命令其本身可以表示命令。
在一个示例中,监视和执行模块38可以确定音频输入包括计算装置2C被配置为对其做出响应(但是计算装置2A被配置为不对其做出响应)的预定音频命令“几点了”。响应于确定已经使用预定音频命令“几点了”,监视和执行模块38可以向计算装置2C发送接收到的预定音频命令的指示,从而使计算装置2C执行与预定音频命令对应的一个或者多个动作或者操作,诸如提供当前时间的音频输出。例如,响应于接收到预定音频命令的指示,计算装置2C可以向应用模块(例如,时钟或者闹钟应用)发送指示该应用模块输出音频的信息。按照这种方式,计算装置2A可以从多个计算装置中指定监视和/或处理音频输入的特定计算装置,并且如果未被指定为特定计算装置,那么计算装置2A可以暂时停止监视和/或处理音频输入。如果被指定为特定计算装置,那么计算装置2A不可以停止监视和/或处理音频输入,并且可以监视和接收音频输入。计算装置2A可以处理音频输入以确定该音频输入是否包括预定音频命令,并且,如果输入包括预定音频命令,那么计算装置2A可以执行与预定音频命令相关联的动作和/或向多个计算装置中的一个或者多个其他计算装置发送所包括的预定音频命令的指示。
图3是图示了根据本公开的一种或者多种技术的被配置为监视和/或处理音频输入的计算装置2A的一个示例和用于配置装置类型优先级的示例图形用户界面(GUI)50的概念图。仅出于说明之目的,下面在图1和图2的场境内对图3的示例进行描述。
在图3的示例中,可以通过在一个或者多个输出装置24处的应用模块34之一来输出GUI 50以便显示。例如,用户配置或者设置应用(例如,应用模块34C)可以向UI模块32发送待输出的信息。UI模块32可以接收数据并且使存在敏感显示器(例如,输出装置24A)显示GUI50。
如在图3的示例中示出的,GUI 50包括排名的装置类型条目52A至52G(统称为“装置类型条目52”)的列表。各个装置类型条目52可以与装置的类型对应。例如,装置类型条目52A可以与包括诸如蓝牙耳机或者其他头戴式计算装置、可穿戴计算装置的装置的限定装置类型对应。在一些示例中,装置类型条目52A可以与诸如计算装置2B的包括车载导航系统和/或立体声系统的限定装置类型对应。在一些示例中,装置类型条目52C可以与包括诸如智能手表的穿戴在用户的手腕上的任何计算装置的限定装置类型对应。在一些示例中,可以由用户通过与计算装置2A进行交互(例如,通过使用应用模块34C)和/或通过与各个相应装置进行交互来限定装置的装置类型。在一些示例中,可以对装置类型进行预配置(例如,由相应计算装置的制造商或者零售商)。
在图3的示例中,在已经添加了装置类型条目52A至52C和52E至52G之后(例如,由计算装置2A的用户、由装置制造商或者零售商预先填充、或者以某种其他方式),GUI 50可以表示排名的装置类型的列表。即,在一些示例中,在计算装置上的列表或者排名后的装置类型最初可以仅包括计算装置的装置类型条目。在一些示例中,可以在计算装置与新装置类型进行通信时自动添加装置类型条目(例如,当经由短距离通信方法进行配对时、当接收到用户的其他装置的指示时、或者以其他方式)。在一些示例中,可以另外地或者可替代地手动添加装置类型条目。例如,在图3的示例中,计算装置2A的用户可以选择图形元素60以使计算装置2A显示允许用户添加新装置类型条目的GUI。
如在图3的示例中示出的,GUI 50包括优先级等级54。优先级等级54可以表示各个装置类型条目52的相对优先级。例如,装置类型条目52A的相对优先级等级为1(该相对优先级等级指示最高优先级)。装置类型条目52F的相对优先级等级为7。在一些示例中,较低优先级等级可以指示相应装置类型条目指示更可能被根据本文描述的技术指定为用于监视和/或处理音频输入的特定计算装置的装置类型。即,在一些示例中,优先级等级54可以表示如何对不同的装置类型进行优先级排序以便指定用于监视和/或处理音频输入的特定计算装置的排名顺序。在图3的示例中,例如,音频输入模块6A可以将具有“耳机”装置类型的计算装置指定为特定计算装置,如果该计算装置被包括在多个计算装置中和/或被计算装置2A检测到的话。如果没有具有“耳机”装置类型的计算装置被包括在多个计算装置中,那么音频输入模块6A可以将车载立体声/导航系统指定为特定计算机等,如果其被包括在多个计算装置中和/或被计算装置2A检测到的话。按照这种方式,音频输入模块6A可以在指定用于监视和/或处理音频输入的指示的特定计算装置时使用装置类型条目52的优先级等级54。
在一些示例中,排名的装置类型的列表可以是用户可配置的。在图3的示例中,例如,GUI 50包括移除元素56和箭头58。移除元素56可以用户可选择的,以允许计算装置2A的用户从列表中移除装置类型条目52A至52C和/或52E至52G中的一个或者多个。在图3的示例中,装置类型条目52D可以是不可移除的,因为计算装置2A与“智能电话”装置类型对应。即,在一些示例中,对于其正修改排名的装置类型的列表的、与计算装置对应的装置类型条目可以是不可移除的。在其他示例中,仅某些装置类型条目可以是可移除的,所有装置类型条目都可以是可移除的,或者没有装置类型条目可以是可移除的。
在图3的示例中,箭头58可以是用户可选择元素,该元素使计算装置2A修改对应装置类型条目的优先级等级54之一。例如,选择装置类型条目52D的向上箭头(在图3的示例中示出为未填充)可以使计算装置2A将装置类型条目52D的优先级从4降低至3,并且将装置类型条目52C的优先级从3提高至4。因此,相较于具有“智能手表”装置类型的计算装置,具有“智能电话”装置类型的计算装置更可能被指定为特定计算装置。
在一些示例中,可以将在GUI 50中示出的排名装置类型条目的列表存储在计算装置2A处。即,当修改列表时,可以将这些改变保存在计算装置2A处(例如,在存储装置28处)。在这种实例中,计算装置2A的音频输入模块6A可以指定用于监视和/或处理音频输入的特定计算装置。在一些示例中,可以将在GUI 50中示出的排名的装置类型条目的列表存储在另一计算装置2(例如,计算装置2B、计算装置2C)处、外部计算装置(例如,中央服务器或者云计算系统)处或者多个计算装置处。即,当修改列表时,可以将改变从计算装置2A发送(经由通信单元4A)至一个或者多个其他计算装置。例如,在图3的示例中,可以由计算装置2A来存储排名的装置类型条目52的列表,并且由计算装置2A将其发送至计算装置2B和2C中的每一个以便存储。在这种实例中,计算装置2A、2B、和2C中的每一个可以独立地指定用于监视和/或处理音频输入的特定计算装置。即,因为各个计算装置2包括排名的装置类型的列表,所以各个计算装置2可以操作以在指定特定计算装置时使用列表,并且因此各自将正确的计算装置指定为特定计算装置。
在一些示例中,可以将各个装置类型条目52与不同于每个其他装置类型条目的对应优先级等级相关联。即,优先级等级54可以是唯一的。在一些示例中,可以将两个或者更多个装置类型条目52与相同的对应优先级等级相关联。另外地或者可替代地,在一些示例中,可以将与相同装置类型相关联的两个计算装置包括在多个计算装置中。在这种实例中,一个或者多个计算装置2可以基于仲裁过程、基于循环选择、基于随机选择、基于各个计算装置的当前场境、或者以其他方式来指定用于监视和/或处理输入的特定计算装置。例如,如果计算装置2包括具有相同优先级等级的两个计算装置,那么可以将用户最近使用的计算装置指定为特定计算装置。因此,给定在GUI 50中示出的排名装置类型条目的列表,如果用户具有两个具有“耳机”装置类型的计算装置,那么可以将用户最近使用过的耳机指定为用于监视和/或处理音频输入的特定计算装置。
通过使用排名的装置类型的列表,一个或者多个计算装置可以从多个计算装置中指定用于监视和/或处理音频输入的特定计算装置。此后,除了特定计算装置之外的多个计算装置中的每一个计算装置都可以暂时停止监视和/或处理音频输入的指示。指定的计算装置可以接收音频输入,并且处理该音频输入以确定该音频输入是否包括预定音频命令。在图3的示例中描述的排名的装置类型的列表表示可以根据其来进行对特定计算装置的指定的仅一个示例准则。如本文描述的,可以在各种示例中使用各种可替代的或者另外的准则。
图4是图示了根据本公开的一种或者多种技术的被配置为监视和/或处理音频输入的计算装置的示例操作的流程图。仅出于说明之目的,下面在图1和图2的场境内对图4的示例进行描述。在图4的示例中,多个计算装置(例如,计算装置2)可以包括计算装置2A、计算装置2B、和计算装置2C。可以将计算装置2A至2C彼此相关联。作为一个示例,可以将计算装置2A至2C中的每一个与相同用户相关联。作为另一示例,计算装置2A至2C中的每一个可以在物理上彼此接近。作为另一示例,可以经由一个或者多个有线或者无线连接来将计算装置2A至2C中的每一个通信地连接至彼此。
在图4的示例中,计算装置2中的一个或者多个可以指定计算装置2之一来监视音频输入和/或处理音频输入(80)。例如,计算装置2A的协商模块40可以指定计算装置2B来监视和/或处理音频输入。在各种示例中,可以至少部分地基于一个或者多个计算装置2的当前场境、至少部分地基于与各个计算装置2相关联的装置类型、和/或基于各种其他准则来指定用于监视和/或处理音频输入的计算装置。
在图4的示例中,计算装置2B和2C(例如,在相应协商模块处)可以接收指定的特定计算装置监视和/或处理音频输入的指示(82A、82B)。在一些示例中,计算装置2B和2C可以从计算装置2C接收指示,诸如,当经由一个或者多个通信链路来通信地连接计算装置2时。在一些示例中,计算装置2B和2C可以从另一计算装置接收指示,诸如,各个计算装置2被配置为与其进行通信的远程装置(例如,服务器系统、“云计算”系统等)。
在图4的示例中,响应于对用于监视和/或处理音频输入的指示的计算装置2B的指定,计算装置2A和2C可以各自停用用于监视和/或处理音频输入的相应模块(84A、84B)。例如,计算装置2A、2B、和2C可以各自将包括在指示中的装置标识符与其自己的装置标识符相比较。响应于确定装置标识符不匹配(如在计算装置2A和2C的情况下),相应计算装置可以各自确定指定的计算装置是不同的计算装置,并且可以停用用于监视和/或处理音频输入的相应模块。按照这种方式,相应计算装置可以暂时停止对音频输入的处理。
响应于确定包括在指示中的装置标识符确实与其装置标识符匹配(例如,计算装置2B是被指定为监视和/或处理音频输入的计算装置),计算装置2B将不停用其用于监视和/或处理音频输入的模块,而将继续监视音频输入和/或处理音频输入。即,当指定的计算装置可以继续监视预定音频命令时,除了指定的计算装置之外的、多个计算装置中的计算装置可以停止监视预定音频命令。例如,计算装置2A可以停用监视和执行模块38,并且计算装置2C可以停用类似的计算装置2C的监视和执行模块。
在图4的示例中,计算装置2B可以接收音频输入(86)。即,因为计算装置2B确实没有停用其用于监视和/或处理音频输入的相应模块,所以计算装置2B的相应模块(例如,监视和执行模块)可以接收音频输入的指示。计算装置2B可以处理音频输入并且确定该音频输入包括预定音频命令(88)。例如,计算装置2B可以确定音频输入包括预定音频命令“打电话”。
在图4的示例中,计算装置2B可以确定与包括在音频输入中的预定音频命令相关联的动作。例如,计算装置2B可以基于预定音频命令本身和/或随后的音频输入来确定动作。作为基于预定音频命令本身确定的动作的一个示例,预定音频命令可以是短语“保持安静”,并且动作可以是进入静音模式。即,动作(例如,进入静音模式)基于预定音频命令(例如,“保持安静”)。作为基于预定音频命令和随后的音频输入确定的动作的示例,预定音频输入命令可以是单词“播放”,并且随后的音频输入可以是歌曲的题目、电视节目、或者其他媒体内容项。在这种实例中,动作(例如,播放指定的内容项)可以基于预定音频命令和随后的音频输入两者。在图4的示例中,计算装置2B可以基于预定音频命令“打电话”来确定执行电话应用的动作。
在图4的示例中,计算装置2B可以确定执行与包括在音频输入中的预定音频命令对应的动作的计算装置(90)。即,至少部分地基于预定音频命令和/或相关联的动作,计算装置2B可以确定计算装置2中的哪一个应该执行动作。在一些示例中,确定执行与预定音频命令相关联的动作的计算装置可以基于一个或者多个计算装置2的当前场境。例如,计算装置2B可以确定计算装置2中的哪一个可操作以执行对应动作、各个计算装置2的相应电源、或者其他场境信息。在一些示例中,确定执行动作的计算装置可以基于另外的或者可替代的准则。在图4的示例中,计算装置2B可以确定计算装置2A(例如,智能电话)将执行与预定音频命令(例如,“打电话”)相关联的动作。
在图4的示例中,计算装置2B可以向计算装置2A发送待执行的动作的指示(92)。即,在确定了哪个计算装置将执行动作之后,指定的计算装置可以向确定的计算装置发送动作的指示。确定的计算装置可以接收待执行的动作的指示(94)并且可以执行动作(96)。按照这种方式,被指定为监视音频输入和/或处理音频输入的指示的计算装置不必是用于执行与包括在接收到的音频输入中的预定音频命令相关联的动作的计算装置。即,监视预定音频命令的计算装置可以根据本文描述的技术操作以使多个计算装置中的另一计算装置执行与接收到的命令对应的动作。
图5是图示了根据本公开的一种或者多种技术的被配置为监视和/或处理音频输入的计算装置的示例操作的流程图。仅处于说明之目的,下面在图1和图2的场境内对图5的示例操作进行描述。在图5的示例中,计算装置2A可以是多个计算装置(例如,计算装置2)中的一个计算装置。可以将多个计算装置中的各个相应计算装置配置为处理音频输入以确定该音频输入是否包括预定音频命令。
在图5的示例中,计算装置2A(例如,音频输入模块6A的协商模块40)可以从多个计算装置中指定特定计算装置处理音频输入(100)。在一些示例中,计算装置2A可以单独执行该指定。在一些示例中,计算装置2A可以与其他计算装置2进行通信以执行该指定。在一些示例中,两个或者更多个计算装置2可以独立地执行该指定。
响应于将多个计算装置中的另一计算装置指定为特定计算装置(操作102的“否”分支),在图5的示例中,计算装置2A可以暂时停止对音频输入的处理(104)。即,如果计算装置2A确定其未被指定为特定计算装置,那么计算装置2A可以暂时停用音频输入模块6A。换句话说,如果特定计算装置不是计算装置2A,那么计算装置2A可以停止对音频输入的处理。在一些示例中,计算装置2A另外可以向除了特定计算装置之外的各个计算装置2发送使计算装置暂时停止对音频输入的处理的指示。
在图5的示例中,响应于将计算装置2A指定为特定计算装置(操作102的“是”分支),计算装置2A可以接收第一音频输入(106)。即,计算装置2A可以确定其是指定的特定计算装置。换句话说,如果特定计算装置是计算装置2A,那么计算装置2A可以接收第一音频输入。计算装置2A可以处理第一音频输入以确定该第一音频输入是否包括预定音频命令(108)。
可以通过下面的一个或者多个示例来进一步对图5的示例操进行描述。
示例1:一种方法,该方法包括:由多个计算装置中的第一计算装置从多个计算装置中指定特定计算装置处理音频输入;如果该特定计算装置不是第一计算装置,那么该第一计算装置停止对音频输入的处理;以及如果该特定计算装置是第一计算装置:那么第一计算装置接收第一音频输入;并且第一计算装置处理第一音频输入以确定该第一音频输入是否包括预定音频命令。
示例2:根据示例1的方法,其进一步包括:如果特定计算装置是第一计算装置,那么该第一计算装置向多个计算装置中的第二计算装置发送用于使该第二计算装置停止对音频输入的处理的指令。
示例3:根据示例1至2中任一项的方法,其进一步包括:第一计算装置确定多个计算装置中的第二计算装置的当前场境,其中,指定特定计算装置处理音频输入是至少部分地基于第二计算装置的当前场境。
示例4:根据示例3的方法,其中,确定第二计算装置的当前场境包括确定以下中的一个或者多个:第二计算装置的位置、第二计算装置所限定的当前时间、安装在第二计算装置处的一个或者多个应用、当前在第二计算装置处执行的一个或者多个应用、可用于第二计算装置的一个或者多个网络、接近第二计算装置的一个或者多个其他计算装置、第二计算装置的操作模式、第二计算装置的位置的环境温度、第二计算装置的位置的环境噪声等级、第二计算装置的位置的环境光等级、第二计算装置的移动、第二计算装置的用户的名称、用户的用户标识(UID)、与用户相关联的社交媒体网络服务账户、与用户相关联的一个或者多个日历、或者用户的一个或者多个社交关系。
示例5:根据示例1至4中任一项的方法,其进一步包括:响应于确定第一音频输入包括预定音频命令,第一计算装置确定与预定音频命令相关联的动作;以及第一计算装置至少部分地基于与预定音频命令相关联的动作来确定用于执行该动作的第二计算装置。
示例6:根据示例5的方法,其中,第一计算装置不同于第二计算装置,该方法进一步包括:第一计算装置向第二计算装置发送动作的指示。
示例7:根据示例1至6中任一项的方法,其进一步包括第一计算装置确定与多个计算装置中的第二计算装置相关联的音频输入质量,其中,指定特定计算装置处理音频输入是至少部分地基于与第二计算装置相关联的音频输入质量。
示例8:根据示例1至7中任一项的方法,其中,指定特定计算装置处理音频输入包括至少部分地基于两个或者更多个装置类型的配置层级来指定特定计算装置处理音频输入。
示例9:根据示例8的方法,其中,至少部分地基于用户输入来配置两个或者更多个装置类型的配置层级。
示例10:根据示例1至9中任一项的方法,其中,指定特定计算装置处理音频输入包括:第一计算装置从第二计算装置接收到与该第二计算装置相关联的装置类型的指示。
示例11:一种计算装置,该计算装置包括:至少一个处理器;以及至少一个模块,该至少一个模块可由至少一个处理器来操作以:从多个计算装置中指定特定计算装置处理音频输入,其中,计算装置包括多个计算装置中的第一计算装置,如果特定计算装置不是第一计算装置,则停止对音频输入的处理,并且如果特定计算装置是第一计算装置:接收第一音频输入;并且处理该第一音频输入以确定该第一音频输入是否包括预定音频命令。
示例12:根据示例11的计算装置,其中,可操作以指定特定计算装置处理音频输入的至少一个模块可由至少一个处理器来操作以:从多个计算装置中的第二计算装置接收与该第二计算装置相关联的装置类型的指示,并且至少部分地基于与第二计算装置相关联的装置类型来指定特定计算装置处理音频输入。
示例13:根据示例11的计算装置,其中,至少一个模块进一步可由至少一个处理器来操作以确定多个计算装置中的第二计算装置的当前场境,其中,可操作以指定特定计算装置处理音频输入的至少一个模块可由至少一个处理器来操作以至少部分地基于第二计算装置的当前场境指定特定计算装置。
示例14:根据示例13的计算装置,其中,可操作以确定第二计算装置的当前场境的至少一个模块可由至少一个处理器来操作以确定以下中的一个或者多个:第二计算装置的位置、第二计算装置所限定的当前时间、安装在第二计算装置处的一个或者多个应用、当前在第二计算装置处执行的一个或者多个应用、可用于第二计算装置的一个或者多个网络、接近第二计算装置的一个或者多个其他计算装置、第二计算装置的操作模式、第二计算装置的位置的环境温度、第二计算装置的位置的环境噪声等级、第二计算装置的位置的环境光等级、第二计算装置的移动、第二计算装置的用户的名称、用户的用户标识(UID)、与用户相关联的社交媒体网络服务账户、与用户相关联的一个或者多个日历、或者用户的一个或者多个社交关系。
示例15:根据示例11的计算装置,其中,至少一个模块进一步可由至少一个处理器来操作以:响应于确定第一音频输入包括预定音频命令,确定与该预定音频命令相关联的动作;并且至少部分地基于与预定音频命令相关联的动作来确定用于执行该动作的第二计算装置。
示例16:根据示例15的计算装置,其中,第一计算装置不同于第二计算装置,并且其中,至少一个模块进一步可由至少一个处理器来操作以:向第二计算装置发送动作的指示。
示例17:根据示例11的计算装置,其中,可操作以指定特定计算装置处理音频输入的至少一个模块可由至少一个处理器来操作以至少部分地基于两个或者更多个装置类型的配置层级来指定特定计算装置处理音频输入。
示例18:根据权利要求11至17中任一项的计算装置,其进一步包括用于执行示例1至10中的任一方法的装置。
示例19:一种编码有指令的计算机可读存储介质,该指令在被执行时使第一计算装置的至少一个处理器:从第二计算装置接收对多个计算装置中的、处理音频输入的特定计算装置的指定;如果特定计算装置不是第一计算装置,则停止对音频输入的处理;并且如果特定计算装置是第一计算装置:接收第一音频输入,并且处理该第一音频输入以确定该第一音频输入是否包括预定音频命令。
示例20:根据示例19的计算机可读存储介质,其进一步编码有指令,该指令在被执行时使该至少一个处理器:确定第一计算装置的当前场境,并且向第二计算装置发送第一计算装置的当前场境的指示,其中,接收对特定计算装置的指定包括响应于发送当前场境的指示而接收指定。
示例21:根据示例19的计算机可读存储介质,其进一步编码有指令,该指令在被执行时使该至少一个处理器:从多个计算装置中的第三计算装置接收与该第三计算装置相关联的装置类型的指示,并且将该与第三计算装置相关联的装置类型的指示发送至第二计算装置,其中,接收对特定计算装置的指定包括响应于发送与第三计算装置相关联的装置类型的指示而接收指定。
示例22:根据示例19至21中任一项的计算机可读存储介质,其进一步编码有指令,该指令在被执行时使该至少一个处理器执行示例1至10中任一项所叙述的方法。
在一个或者多个示例中,可以在硬件、软件、固件、或者其任何组合中实施描述的功能。如果实施在软件中,则可以将功能作为一个或者多个指令或者代码存储在计算机可读介质上或者通过计算机可读介质传输并且由基于硬件的处理单元来执行。计算机可读介质可以包括计算机可读存储介质,该计算机可读存储介质与诸如数据存储介质或者通信介质的有形介质对应,并且包括促进例如根据通信协议将计算机程序从一个地方传送至另一地方的任何介质。按照这种方式,计算机可读介质通常可以与(1)非暂时性的有形计算机可读存储介质或者(2)诸如信号或者载波的通信介质对应。数据存储介质可以是可以通过一个或者多个计算机或者一个或者多个处理器访问以检索用于实施本公开描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读存储介质。
例如,但不限于,这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或者其他光盘存储装置、磁盘存储装置、或者其他磁存储装置、闪速存储器、或者可以用于以指令或者数据结构的形式存储期望的程序代码并且可通过计算机来访问的任何其他介质。同样,任何连接被恰当地称为计算机可读介质。例如,如果指令是通过使用同轴电缆、光缆、双绞线、数字用户线(DSL)、或者诸如红外、无线电、和微波的无线技术来从网站、服务器、或者其他远程源传输的,那么同轴电缆、光缆、双绞线、DSL、或者诸如红外、无线电、和微波的无线技术被包括在介质的定义中。然而,应该理解的是,计算机可读存储介质和数据存储介质不包括连接、载波、信号、或者其他暂时性介质,而是涉及非暂时性有形存储介质。本文所使用的磁盘和光盘包括:压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘,其中,磁盘通常磁性地复制数据,而光盘利用激光光学地复制数据。上述的组合还应该被包括在计算机可读介质的范围内。
可以通过一个或者多个处理器来执行指令,诸如,一个或者多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或者其他等效的集成或者离散逻辑电路系统。因此,本文所使用的术语“处理器”可以指任何前述的结构或者适用于实施本文描述的技术的任何其他结构。另外,在一些方面中,可以将本文描述的功能提供在专用的硬件模块和/或软件模块内。同样,可以将该技术充分地实施在一个或者多个电路或者逻辑元件中。
可以在各种装置或者设备中实施本公开的技术,包括,无线手机、集成电路(IC)或者一组IC(例如,芯片集)。在本公开中,将各种部件、模块、或者单元描述为用于强化被配置为执行所公开的技术的装置的功能方面,但并不一定需要通过不同的硬件单元的实现。相反,如上所述,结合合适的软件和/或固件,可以将各种单元组合在硬件单元中或者可以通过包括上文描述的一个或者多个处理器的交互操作的硬件单元的集合来提供各种单元组合。
已经对各种示例进行了描述。这些和其他实施例落入以下权利要求书的范围内。

Claims (16)

1.一种方法,所述方法包括:
由多个计算装置中的第一计算装置接收包括说出的音频触发语的说出的音频输入,所述多个计算装置中的每个计算装置与用户账户相关联并且在物理上彼此接近,其中,所述说出的音频触发语还被来自所述多个计算装置中的至少第二计算装置接收,其中,与所述第一计算装置相关联的用户账户和与所述第二计算装置相关联的用户账户是相同的用户账户;
由所述第一计算装置向不同的计算装置发送接收到的所述说出的音频触发语的指示;
由所述第一计算装置从所述不同的计算装置接收被指定处理用于说出的音频命令的所述说出的音频输入的装置的指示,其中,被指定处理所述说出的音频输入的装置至少部分地基于由所述第一计算装置接收到的所述说出的音频触发语的质量;
由所述第一计算装置基于被指定处理所述说出的音频输入的装置的指示,确定所述第一计算装置还是所述第二计算装置是被指定处理用于所述说出的音频命令的所述说出的音频输入的装置;以及
响应于确定所述第一计算装置是被指定处理用于所述说出的音频命令的所述说出的音频输入的装置,由所述第一计算装置处理用于所述说出的音频命令的所述说出的音频输入。
2.根据权利要求1所述的方法,进一步包括:
由所述第一计算装置向所述第二计算装置发送用于暂时抑制处理说出的音频输入的命令。
3.根据权利要求1所述的方法,其中,被指定处理所述说出的音频输入的装置的指示包括用于被指定处理所述说出的音频输入的装置的装置标识符,并且其中,确定所述第一计算装置还是所述第二计算装置是被指定处理所述说出的音频输入的装置包括:
由所述第一计算装置确定用于被指定处理所述说出的音频输入的装置的所述装置标识符是否对应于用于第一计算装置的装置标识符;以及
响应于确定用于被指定处理所述说出的音频输入的装置的所述装置标识符对应于用于第一计算装置的装置标识符,由所述第一计算装置确定所述第一计算装置是被指定处理所述说出的音频输入的装置。
4.根据权利要求1至3中任一项所述的方法,其中,所述第二计算装置和所述不同的计算装置是相同的计算装置。
5.根据权利要求1至3中任一项所述的方法,进一步包括:
由所述第一计算装置向所述不同的计算装置发送所述第一计算装置的类型的指示,
其中,被指定处理用于所述说出的音频命令的所述说出的音频输入的装置至少部分地基于所述第一计算装置的所述类型。
6.根据权利要求1至3中任一项所述的方法,进一步包括:
响应于确定所述第一计算装置不是被指定处理所述说出的音频输入的装置,由所述第一计算装置抑制处理所述说出的音频输入。
7.根据权利要求6所述的方法,其中,抑制处理所述说出的音频输入包括由所述第一计算装置暂时停用音频监视模块。
8.根据权利要求1至3中任一项所述的方法,
其中,所述说出的音频触发语包括热门词汇,以及
其中,处理用于所述说出的音频命令的所述说出的音频输入包括由所述第一计算装置处理在接收到所述热门词汇之后接收到的所述说出的音频命令的一部分。
9.根据权利要求8所述的方法,其中,处理在接收到所述热门词汇之后接收到的所述说出的音频命令的所述部分进一步包括由所述第一计算装置对在接收到所述热门词汇之后接收到的所述说出的音频命令的所述部分执行语音识别。
10.根据权利要求1至3中任一项所述的方法,进一步包括:
由所述第一计算装置确定所述第一计算装置是否是被指定执行所述说出的音频输入中包括的所述说出的音频命令的装置;
响应于确定所述第一计算装置是被指定执行所述说出的音频输入中包括的所述说出的音频命令的装置,由所述第一计算装置执行所述说出的音频输入中包括的所述说出的音频命令。
11.根据权利要求1至3中任一项所述的方法,其中,所述说出的音频触发语的质量包括以下中的至少一个:
所述说出的音频触发语的音量,
所述说出的音频触发语的信噪比,或者
所述说出的音频触发语中包括的语音与所述说出的音频触发语中包括的其它声音之间的比。
12.一种第一计算装置,包括用于执行权利要求1至11中任一项所述的方法的装置。
13.一种第一计算装置,包括:
至少一个处理器;以及
存储器,所述存储器包括指令,所述指令当被所述至少一个处理器执行时使得所述至少一个处理器:
接收包括说出的音频触发语的说出的音频输入,其中,所述说出的音频触发语还被来自所述多个计算装置中的至少一个其它计算装置接收,其中,所述多个计算装置包括所述第一计算装置和第二计算装置,其中,与所述第一计算装置相关联的用户账户和与所述第二计算装置相关联的用户账户是相同的用户账户,并且其中,所述多个计算装置中的每个计算装置在物理上彼此接近;
向不同的计算装置发送接收到的所述说出的音频触发语的指示;
从所述不同的计算装置接收被指定处理用于说出的音频命令的所述说出的音频输入的装置的指示,其中,被指定处理所述说出的音频输入的装置至少部分地基于由所述第一计算装置接收到的所述说出的音频触发语的质量;
基于被指定处理所述说出的音频输入的所述装置的指示,确定所述第一计算装置还是所述第二计算装置是被指定处理用于所述说出的音频命令的所述说出的音频输入的装置;以及
响应于确定所述第一计算装置是被指定处理用于所述说出的音频命令的所述说出的音频输入的装置,处理用于所述说出的音频命令的所述说出的音频输入。
14.根据权利要求13所述的第一计算装置,其中,被指定处理所述说出的音频输入的装置的指示包括用于被指定处理所述说出的音频输入的装置的装置标识符,并且其中,执行所述指令通过使得所述至少一个处理器进行以下来使得所述至少一个处理器确定所述第一计算装置还是所述第二计算装置是被指定处理所述说出的音频输入的装置:
确定用于被指定处理所述说出的音频输入的装置的所述装置标识符是否对应于用于第一计算装置的装置标识符;以及
响应于确定用于被指定处理所述说出的音频输入的装置的所述装置标识符对应于用于第一计算装置的装置标识符,确定所述第一计算装置是被指定处理所述说出的音频输入的装置。
15.根据权利要求13或14所述的第一计算装置,其中,执行所述指令进一步使得所述至少一个处理器向所述第二计算装置发送用于暂时抑制处理说出的音频输入的指令。
16.根据权利要求13或14所述的第一计算装置,其中,执行所述指令进一步使得所述至少一个处理器响应于确定所述第一计算装置不是被指定处理所述说出的音频输入的装置而抑制处理所述说出的音频输入。
CN201910375095.8A 2014-06-24 2015-06-22 用于音频输入监视的装置 Active CN110244931B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201462016603P 2014-06-24 2014-06-24
US62/016,603 2014-06-24
US14/445,255 2014-07-29
US14/445,255 US9632748B2 (en) 2014-06-24 2014-07-29 Device designation for audio input monitoring
CN201580034078.8A CN106471463B (zh) 2014-06-24 2015-06-22 用于音频输入监视的装置
PCT/US2015/036961 WO2015200207A1 (en) 2014-06-24 2015-06-22 Device designation for audio input monitoring

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580034078.8A Division CN106471463B (zh) 2014-06-24 2015-06-22 用于音频输入监视的装置

Publications (2)

Publication Number Publication Date
CN110244931A true CN110244931A (zh) 2019-09-17
CN110244931B CN110244931B (zh) 2022-09-13

Family

ID=54869674

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910375095.8A Active CN110244931B (zh) 2014-06-24 2015-06-22 用于音频输入监视的装置
CN201580034078.8A Active CN106471463B (zh) 2014-06-24 2015-06-22 用于音频输入监视的装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580034078.8A Active CN106471463B (zh) 2014-06-24 2015-06-22 用于音频输入监视的装置

Country Status (4)

Country Link
US (3) US9632748B2 (zh)
EP (3) EP3161612B1 (zh)
CN (2) CN110244931B (zh)
WO (1) WO2015200207A1 (zh)

Families Citing this family (251)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US11209286B2 (en) 2013-02-26 2021-12-28 Polaris Industies Inc. Recreational vehicle interactive telemetry, mapping and trip planning system
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
WO2014200728A1 (en) 2013-06-09 2014-12-18 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9351060B2 (en) 2014-02-14 2016-05-24 Sonic Blocks, Inc. Modular quick-connect A/V system and methods thereof
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9632748B2 (en) * 2014-06-24 2017-04-25 Google Inc. Device designation for audio input monitoring
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
CN113140215A (zh) * 2015-01-16 2021-07-20 三星电子株式会社 用于执行话音识别的方法和设备
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) * 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) * 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
EP3591648B1 (en) * 2015-05-19 2022-07-06 Sony Group Corporation Information processing apparatus, information processing method, and program
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR20170010494A (ko) * 2015-07-20 2017-02-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9990814B1 (en) * 2015-08-04 2018-06-05 Wells Fargo Bank, N.A. Automatic notification generation
US10348585B2 (en) * 2015-08-07 2019-07-09 Drayson Technologies (Europe) Limited Power efficient control and operation of a data-sensing peripheral device based on location and mode of transport
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) * 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US9940929B2 (en) * 2015-12-09 2018-04-10 Lenovo (Singapore) Pte. Ltd. Extending the period of voice recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
WO2017139440A1 (en) 2016-02-10 2017-08-17 Polaris Industries Inc. Recreational vehicle group management system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10097939B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Compensation for speaker nonlinearities
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9978367B2 (en) * 2016-03-16 2018-05-22 Google Llc Determining dialog states for language models
KR20170132622A (ko) * 2016-05-24 2017-12-04 삼성전자주식회사 음성 인식 기능을 갖는 전자 장치 및 전자 장치의 동작 방법
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) * 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10540158B2 (en) * 2016-07-18 2020-01-21 Google Llc Post-install application interaction
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10147423B2 (en) * 2016-09-29 2018-12-04 Intel IP Corporation Context-aware query recognition for electronic devices
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10332523B2 (en) 2016-11-18 2019-06-25 Google Llc Virtual assistant identification of nearby computing devices
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10079015B1 (en) * 2016-12-06 2018-09-18 Amazon Technologies, Inc. Multi-layer keyword detection
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR20180085931A (ko) 2017-01-20 2018-07-30 삼성전자주식회사 음성 입력 처리 방법 및 이를 지원하는 전자 장치
US10861450B2 (en) * 2017-02-10 2020-12-08 Samsung Electronics Co., Ltd. Method and apparatus for managing voice-based interaction in internet of things network system
KR101893768B1 (ko) * 2017-02-27 2018-09-04 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
EP3459076B1 (en) * 2017-05-16 2020-07-22 Apple Inc. Far-field extension for digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
EP3646567B1 (en) 2017-06-30 2022-05-18 Google LLC Methods, systems, and media for connecting an iot device to a call
WO2019005227A1 (en) 2017-06-30 2019-01-03 Google Llc METHODS, SYSTEMS AND MEDIA FOR VOICE CALL OPERATIONS
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10546583B2 (en) * 2017-08-30 2020-01-28 Amazon Technologies, Inc. Context-based device arbitration
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US20190096397A1 (en) * 2017-09-22 2019-03-28 GM Global Technology Operations LLC Method and apparatus for providing feedback
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
KR102471493B1 (ko) * 2017-10-17 2022-11-29 삼성전자주식회사 전자 장치 및 음성 인식 방법
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11206314B2 (en) * 2018-01-16 2021-12-21 Wipro Limited Method, device, and system for predicting and caching user activity for seamless user experience within vehicles
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10762900B2 (en) * 2018-03-07 2020-09-01 Microsoft Technology Licensing, Llc Identification and processing of commands by digital assistants in group device environments
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11240057B2 (en) * 2018-03-15 2022-02-01 Lenovo (Singapore) Pte. Ltd. Alternative output response based on context
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
KR102582332B1 (ko) 2018-06-27 2023-09-25 삼성전자주식회사 전자 장치, 이의 모바일 장치 제어 방법 및 컴퓨터 판독가능 기록 매체
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10878811B2 (en) * 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
CN109285544A (zh) * 2018-10-25 2019-01-29 江海洋 语音监测系统
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) * 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
WO2020167385A1 (en) * 2019-02-11 2020-08-20 Amazon Technologies, Inc. Wakeword detection using a secondary microphone
US11024290B2 (en) 2019-02-11 2021-06-01 Amazon Technologies, Inc. Wakeword detection using a secondary microphone
US10997971B2 (en) 2019-02-11 2021-05-04 Amazon Technologies, Inc. Wakeword detection using a secondary microphone
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11308966B2 (en) * 2019-03-27 2022-04-19 Panasonic Intellectual Property Corporation Of America Speech input device, speech input method, and recording medium
JP7330066B2 (ja) * 2019-03-27 2023-08-21 パナソニックホールディングス株式会社 音声認識装置、音声認識方法及びそのプログラム
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
WO2021010997A1 (en) 2019-07-17 2021-01-21 Google Llc Systems and methods to verify trigger keywords in acoustic-based digital assistant applications
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
FR3103307B1 (fr) 2019-11-18 2021-10-15 Sagemcom Broadband Sas Assistant vocal économe en ressource de calcul
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN111124353B (zh) * 2019-12-25 2021-07-16 联想(北京)有限公司 一种控制方法及电子设备
CN111091828B (zh) * 2019-12-31 2023-02-14 华为技术有限公司 语音唤醒方法、设备及系统
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11488584B2 (en) 2020-08-31 2022-11-01 GM Global Technology Operations LLC Voice recognition-based task allocation and selective control of hotword detection function in a vehicle network
US11727925B2 (en) * 2020-10-13 2023-08-15 Google Llc Cross-device data synchronization based on simultaneous hotword triggers
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11763809B1 (en) * 2020-12-07 2023-09-19 Amazon Technologies, Inc. Access to multiple virtual assistants
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US12021806B1 (en) 2021-09-21 2024-06-25 Apple Inc. Intelligent message delivery
DE102021127183A1 (de) 2021-10-20 2023-04-20 Bayerische Motoren Werke Aktiengesellschaft Intelligenter persönlicher assistent
CN116088787B (zh) * 2022-08-26 2023-11-28 荣耀终端有限公司 音频流处理方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732393A (en) * 1995-02-07 1998-03-24 Toyota Jidosha Kabushiki Kaisha Voice recognition device using linear predictive coding
US6584439B1 (en) * 1999-05-21 2003-06-24 Winbond Electronics Corporation Method and apparatus for controlling voice controlled devices
CN1993161A (zh) * 2004-07-28 2007-07-04 皇家飞利浦电子股份有限公司 至少两个交互系统彼此竞赛的方法和交互系统比赛装置
US20100286983A1 (en) * 2009-05-07 2010-11-11 Chung Bum Cho Operation control apparatus and method in multi-voice recognition system
CN102150128A (zh) * 2008-09-09 2011-08-10 苹果公司 音频用户接口
CN102325278A (zh) * 2010-04-15 2012-01-18 佳能株式会社 系统、音频引导输出控制方法、发送装置和接收装置
US20130080146A1 (en) * 2010-10-01 2013-03-28 Mitsubishi Electric Corporation Speech recognition device
CN103038818A (zh) * 2010-06-24 2013-04-10 本田技研工业株式会社 在车载语音识别系统与车外语音识别系统之间的通信系统和方法
US20130238326A1 (en) * 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657425A (en) * 1993-11-15 1997-08-12 International Business Machines Corporation Location dependent verbal command execution in a computer based control system
US6069621A (en) * 1994-05-10 2000-05-30 Schupak; Donald Distributed computer system for providing audio, video, and information signals to plural modules throughout a home
US5625697A (en) 1995-05-08 1997-04-29 Lucent Technologies Inc. Microphone selection process for use in a multiple microphone voice actuated switching system
US6038614A (en) * 1998-01-05 2000-03-14 Gateway 2000, Inc. Active volume control with hot key
US8271287B1 (en) * 2000-01-14 2012-09-18 Alcatel Lucent Voice command remote control system
US6785653B1 (en) * 2000-05-01 2004-08-31 Nuance Communications Distributed voice web architecture and associated components and methods
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US20030167335A1 (en) * 2002-03-04 2003-09-04 Vigilos, Inc. System and method for network-based communication
US7184960B2 (en) 2002-06-28 2007-02-27 Intel Corporation Speech recognition command via an intermediate mobile device
US20060028337A1 (en) * 2004-08-09 2006-02-09 Li Qi P Voice-operated remote control for TV and electronic systems
US7706553B2 (en) * 2005-07-13 2010-04-27 Innotech Systems, Inc. Auto-mute command stream by voice-activated remote control
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11012732B2 (en) * 2009-06-25 2021-05-18 DISH Technologies L.L.C. Voice enabled media presentation systems and methods
US8312392B2 (en) * 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
US8635066B2 (en) * 2010-04-14 2014-01-21 T-Mobile Usa, Inc. Camera-assisted noise cancellation and speech recognition
US8359020B2 (en) * 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US8996753B2 (en) 2011-10-07 2015-03-31 Qualcomm Incorporated Mobile device peripheral device location and connection
JP5944689B2 (ja) * 2012-02-22 2016-07-05 クラリオン株式会社 車載機、および、車載機の表示制御システム
US9134807B2 (en) * 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9047857B1 (en) * 2012-12-19 2015-06-02 Rawles Llc Voice commands for transitioning between device states
US9891068B2 (en) * 2013-06-08 2018-02-13 Apple Inc. Mapping application search function
US9666187B1 (en) * 2013-07-25 2017-05-30 Google Inc. Model for enabling service providers to address voice-activated commands
US20150127340A1 (en) * 2013-11-07 2015-05-07 Alexander Epshteyn Capture
US9652792B1 (en) * 2013-11-25 2017-05-16 Audible, Inc. Dynamically generating resource tracking codes
US9431021B1 (en) * 2014-03-27 2016-08-30 Amazon Technologies, Inc. Device grouping for audio based interactivity
US9916839B1 (en) * 2014-03-27 2018-03-13 Amazon Technologies, Inc. Shared audio functionality based on device grouping
US9632748B2 (en) * 2014-06-24 2017-04-25 Google Inc. Device designation for audio input monitoring

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732393A (en) * 1995-02-07 1998-03-24 Toyota Jidosha Kabushiki Kaisha Voice recognition device using linear predictive coding
US6584439B1 (en) * 1999-05-21 2003-06-24 Winbond Electronics Corporation Method and apparatus for controlling voice controlled devices
CN1993161A (zh) * 2004-07-28 2007-07-04 皇家飞利浦电子股份有限公司 至少两个交互系统彼此竞赛的方法和交互系统比赛装置
CN102150128A (zh) * 2008-09-09 2011-08-10 苹果公司 音频用户接口
US20100286983A1 (en) * 2009-05-07 2010-11-11 Chung Bum Cho Operation control apparatus and method in multi-voice recognition system
CN102325278A (zh) * 2010-04-15 2012-01-18 佳能株式会社 系统、音频引导输出控制方法、发送装置和接收装置
CN103038818A (zh) * 2010-06-24 2013-04-10 本田技研工业株式会社 在车载语音识别系统与车外语音识别系统之间的通信系统和方法
US20130080146A1 (en) * 2010-10-01 2013-03-28 Mitsubishi Electric Corporation Speech recognition device
US20130238326A1 (en) * 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control

Also Published As

Publication number Publication date
CN106471463A (zh) 2017-03-01
EP3161612A1 (en) 2017-05-03
EP4293663A2 (en) 2023-12-20
EP3161612B1 (en) 2018-08-29
US10210868B2 (en) 2019-02-19
CN106471463B (zh) 2019-06-04
CN110244931B (zh) 2022-09-13
US20170213554A1 (en) 2017-07-27
US9632748B2 (en) 2017-04-25
EP3425495B1 (en) 2023-12-27
WO2015200207A1 (en) 2015-12-30
EP3425495A1 (en) 2019-01-09
US20150370531A1 (en) 2015-12-24
US20170221487A1 (en) 2017-08-03
EP4293663A3 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
CN106471463B (zh) 用于音频输入监视的装置
US11893311B2 (en) Virtual assistant configured to automatically customize groups of actions
KR102288878B1 (ko) 크로스-디바이스 핸드오프
US10871872B2 (en) Intelligent productivity monitoring with a digital assistant
CN107491285B (zh) 智能设备仲裁和控制
CN109328381B (zh) 检测数字助理的触发
EP3092555B1 (en) Audio triggers based on context
EP2932371B1 (en) Response endpoint selection
CN109804428A (zh) 计算代理的合成语音选择
CN107402687A (zh) 场境任务快捷方式
CN106233312A (zh) 基于场境回复的自动动作
CN107957776A (zh) 主动虚拟助理
CN103984408A (zh) 支持语音对话功能的移动终端和语音对话方法
CN108989542B (zh) 基于情境确定动作的系统和方法、用于执行基于情境确定的动作的车辆
US20210250438A1 (en) Graphical User Interface for a Voice Response System
US20180336284A1 (en) Determining relevant information based on user interactions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant