CN106030506B - 基于场境的音频触发器 - Google Patents

基于场境的音频触发器 Download PDF

Info

Publication number
CN106030506B
CN106030506B CN201580007992.3A CN201580007992A CN106030506B CN 106030506 B CN106030506 B CN 106030506B CN 201580007992 A CN201580007992 A CN 201580007992A CN 106030506 B CN106030506 B CN 106030506B
Authority
CN
China
Prior art keywords
context
equipment
audio
trigger
audio trigger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580007992.3A
Other languages
English (en)
Other versions
CN106030506A (zh
Inventor
亚历山大·法贝格
丹尼尔·马克·贾坦·希普拉科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN106030506A publication Critical patent/CN106030506A/zh
Application granted granted Critical
Publication of CN106030506B publication Critical patent/CN106030506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)

Abstract

一种计算设备，包括：至少一个处理器；以及至少一个模块，所述至少一个模块可由所述至少一个处理器操作以：确定所述计算设备的场境，所述场境包括正在所述计算设备处执行的应用和所述计算设备的位置中的至少一个的指示；以及至少部分地基于所述场境来确定可用以发起与所述计算设备的交互的一个或多个场境音频触发器，所述一个或多个场境音频触发器中的每个场境音频触发器与所述计算设备的相应操作相关联。所述至少一个模块进一步可操作以：接收音频数据；并且响应于确定所述音频数据的一部分对应于来自所述一个或多个场境音频触发器的特定场境音频触发器，执行与所述特定场境音频触发器相关联的相应操作。

Description

基于场境的音频触发器
背景技术
计算设备(例如移动电话、平板计算机等)可以使得用户能够提供音频输入。在一些情况下，音频输入可以使计算设备执行与所接收的输入相关联的一个或多个动作，诸如执行应用或进行电话呼叫。通常，为了使得能够对音频数据进行处理以识别特定动作，计算设备必须接收输入以进入音频输入模式以便避免执行无意的动作。例如，计算设备可以确定音频数据是否包括用于使计算设备进入音频输入模式的默认音频触发器或“热词”。
发明内容
在一个示例中，一种方法包括：由计算设备确定所述计算设备的场境(context)，所述场境包括正在所述计算设备处执行的应用和所述计算设备的位置中的至少一个的指示；以及由所述计算设备至少部分地基于所述场境来确定可用以发起与所述计算设备的交互的一个或多个场境音频触发器，所述一个或多个场境音频触发器中的每个场境音频触发器与所述计算设备的相应操作相关联。所述方法可以进一步包括：由所述计算设备接收音频数据；以及响应于确定所述音频数据的一部分对应于来自所述一个或多个场境音频触发器的特定场境音频触发器，由所述计算设备执行与所述特定场境音频触发器相关联的相应操作。
在另一示例中，一种计算设备包括：至少一个处理器；以及至少一个模块，所述至少一个模块可由所述至少一个处理器操作以：确定所述计算设备的场境，所述场境包括正在所述计算设备处执行的应用和所述计算设备的位置中的至少一个的指示；并且至少部分地基于所述场境来确定可用以发起与所述计算设备的交互的一个或多个场境音频触发器，所述一个或多个场境音频触发器中的每个场境音频触发器与所述计算设备的相应操作相关联。所述至少一个模块可以由所述至少一个处理器进一步操作以：接收音频数据；并且响应于确定所述音频数据的一部分对应于来自所述一个或多个场境音频触发器的特定场境音频触发器，执行与所述特定场境音频触发器相关联的相应操作。
在另一示例中，一种编码有指令的计算机可读存储介质，所述指令在被执行时使至少一个处理器：确定所述计算设备的场境，所述场境包括正在所述计算设备处执行的应用和所述计算设备的位置中的至少一个的指示；并且至少部分地基于所述场境来确定可用以发起与所述计算设备的交互的一个或多个场境音频触发器，所述一个或多个场境音频触发器中的每个场境音频触发器与所述计算设备的相应操作相关联。所述计算机可读存储介质可以进一步编码有指令，所述指令在被执行时使所述至少一个处理器：接收音频数据；以及响应于确定所述音频数据的一部分对应于来自所述一个或多个场境音频触发器的特定场境音频触发器，执行与所述特定场境音频触发器相关联的相应操作。
在附图和以下描述中阐述了一个或多个示例的细节。其他特征、目的和优点将从所述描述和附图以及权利要求书变得显而易见。
附图说明
图1是图示出根据本公开的一种或多种技术的具有场境音频触发器的示例计算设备的概念图。
图2是图示出根据本公开的一种或多种技术的具有场境音频触发器的计算设备的一个示例的细节的概念图。
图3是图示出根据本公开的一种或多种技术的具有场境音频触发器的示例计算设备的概念图。
图4是图示出根据本公开的一种或多种技术的用于场境音频触发器的示例计算设备和GUI的概念图。
图5是图示出根据本公开的一种或多种技术的输出图形内容以供在远程设备处显示的示例计算设备的概念图。
图6是图示出根据本公开的一种或多种技术的具有场境音频触发器的计算设备的示例操作的流程图。
具体实施方式
总体上，本公开的技术可以使得计算设备能够基于计算设备的当前场境确定可用以发起与计算设备的交互的命令。也就是说，计算设备可以预测用户在该当前场境中可能有可能使用的一个或多个命令并且然后可以确定所捕获的音频数据是否包括所预测的命令中的一个或多个。在计算设备捕获包括所预测的命令中的特定一个预测命令的音频数据的情况下，计算设备然后可以执行与该特定命令相关联的操作。通过确定这样的场境命令或“音频触发器”，计算设备可以通过减少或消除对在提供音频输入之前用户指令计算设备进入音频输入模式的需要而使得用户能够使用更自然的语言风格提供音频输入。换句话说，由计算设备来确定场境音频触发器可以使得用户能够直接指令该计算设备做什么，而不是用户必须首先告知该计算设备其将要提供音频命令(例如通过按压按钮或者说出默认的音频触发器)。
贯穿本公开，描述了其中仅当计算设备接收到来自用户的这样做的许可时计算设备和/或计算系统可以访问和/或分析与计算设备相关联的信息(例如正在执行的应用、位置、速度、日历、通信、音频数据等)的示例。例如，在计算设备可以收集或者可以利用与用户相关联的场境信息和/或与计算设备相关联的场境信息的下面所讨论的情况下，该用户可以被提供以下机会：提供输入来控制计算设备的程序或特征是否可以收集和利用这样的信息，或者规定计算设备是否可以存储这样的信息和/或计算设备可以存储这样的信息多长时间。另外，如果被允许收集任何数据，则计算设备可以在某些数据被计算设备和/或计算系统存储或使用之前以一种或多种方式对该数据进行处理，以便除去个人可识别信息。例如，在获得该计算设备的位置信息之后，可以将地理位置一般化(诸如一般化为城市、邮政编码或州级)，使得不能确定该计算设备或用户的具体位置。因此，该用户可具有对关于用户如何收集信息和信息如何由该计算设备使用的控制。
图1是图示出根据本公开的一种或多种技术的具有场境音频触发器的示例计算设备2的概念图。计算设备2的示例可以包括但不限于便携式设备、移动设备或其他设备，诸如移动电话(包括智能电话)、膝上型计算机、台式计算机、平板计算机、智能电视平台、个人数字助理(PDA)、服务器计算机、大型机等。例如，在图1的示例中，计算设备2可以是智能电话。
如图1的示例中所示，计算设备2包括用户界面(UI)设备4。计算设备2的UI设备4可以被配置成充当计算设备2的输入设备和/或输出设备。UI设备4可以使用各种技术来实现。例如，UI设备4可以被配置成通过触觉、音频和/或视频反馈从用户接收输入。输入设备的示例包括存在敏感显示器、存在敏感或触摸敏感输入设备、鼠标、键盘、语音应答系统、摄像机、麦克风、音频传感器或用于检测来自用户的命令的任何其他类型的设备。
UI设备4可以附加地或替代地被配置成通过使用触觉、音频或视频刺激向用户提供输出来充当输出设备。输出设备的示例包括声卡、视频图形适配器卡或一种或多种显示设备中的任何一种，诸如液晶显示器(LCD)、点矩阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水、或能够向计算设备2的用户输出可视信息的类似单色或彩色显示器。输出设备的附加示例包括扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或可以向用户生成可理解的输出的其他设备。例如，UI设备4可以将输出向计算设备2的用户呈现为可以与计算设备2所提供的功能相关联的GUI。以这种方式，UI设备4可以呈现正在计算设备2处执行或计算设备2可访问的应用(例如电子消息应用、因特网浏览器应用等)的各种用户界面。计算设备2的用户可以与应用的相应用户界面进行交互以使计算设备2执行与功能相关的操作。
在图1的示例中，计算设备2包括用户界面(UI)模块6、设备位置模块7、应用模块8A至8N(统称为“应用模块8”)以及音频触发器模块12。模块6、7、8和/或12可以使用驻存在计算设备2中和/或在计算设备2处执行的硬件、软件、固件或其混合物来执行本文中所描述的操作。计算设备2可以使用一个处理器或者使用多个处理器来执行模块6、7、8和/或12。在一些示例中，计算设备2可以将模块6、7、8和/或12执行为在底层硬件上执行的虚拟机。模块6、7、8和/或12可以执行为操作系统或计算平台的一个或多个服务，或者可以执行为计算平台的应用层处的一个或多个可执行程序。
如图1的示例中所示，UI模块6可以由计算设备2操作用于执行一个或多个功能，诸如接收输入并且将这样的输入的指示发送到与计算设备2相关联的其他部件，诸如应用模块8。UI模块6还可以从与计算设备2相关联的部件诸如模块7、8和/或12接收数据。使用所接收的数据，UI模块6可以使与计算设备2相关联的其他部件诸如UI设备4基于该数据提供输出。例如，UI模块6可以从应用模块8中的一个应用模块接收数据以显示GUI。
在图1的示例中，设备位置模块7可以操作以确定计算设备2的当前位置。例如，计算设备2可以从计算设备2的一个或多个无线电设备(例如全球定位系统(GPS)无线电设备、蜂窝无线电设备、Wi-Fi无线电设备等)接收信号数据，并且基于该信号数据确定计算设备2的当前位置。在一些示例中，设备位置模块7可以确定相对位置和/或基于信号三角测量(例如用于基于从两个或多个信号接收的相对位置数据确定单个位置的技术)确定当前位置。在一些示例中，设备位置模块7可以将位置数据确定为坐标(例如GPS)位置数据。在其他示例中，设备位置模块7可以将位置确定为一个或多个一般或相对位置，诸如地址、地点、国家、城市、建筑类型(例如图书馆、机场等)、商业等。
在一些示例中，设备位置模块7可以从一个或多个其他设备获得计算设备2的当前位置(例如经由网络)。例如，响应于发送Wi-Fi网络标识符，设备位置模块7可以接收GPS坐标。设备位置模块7可以将位置数据输出到计算设备2的其他模块诸如应用模块8或音频触发器模块12。
如图1的示例中所示，应用模块8可以包括在计算设备2上执行任何各种操作的功能。例如，应用模块8可以包括文字处理器应用、电子邮件应用、web浏览器应用、多媒体播放器应用、闹钟应用、日历应用、操作系统、分布式计算应用、图形设计应用、视频编辑应用、web开发应用、导航或地图应用或任何其他应用。
在图1的示例中，音频触发器存储器10可以是用于存储音频触发器的数据结构。音频触发器通常可以是对应于命令并且可用以发起与计算设备的交互的声音(例如词、短语等)。换句话说，音频触发器可以是计算设备可以针对其监测环境音频的命令。音频触发器存储器10可以将音频触发器存储为文本、音频数据或根据本公开可用的任何其他格式。音频触发器存储器10可以是能够存储音频触发器和相关联信息的任何数据结构，诸如数组、链表、树结构或其他数据结构。在一些示例中，音频触发器存储器10可以存储当前已启用以由计算设备2的用户使用的音频触发器。在其他示例中，音频触发器存储器10可以存储在各种情况下可使用的音频触发器。例如，音频触发器存储器10可以存储所有可能的音频触发器并且每一个可能的音频触发器可以与指定相关联音频触发器当前是否活动的变量相关联。也就是说，在一些示例中，音频触发器存储器10可以仅存储当前已启用的音频触发器，而在其他示例中，音频触发器存储器10可以存储更多的音频触发器。
在一些示例中，音频触发器存储器10还可以存储与音频触发器相关联的信息。例如，音频触发器存储器10可以存储指示音频触发器当前是否已启用以由计算设备2的用户使用的信息、定义如果计算设备2接收到相关联音频触发器将执行的指令或操作的信息或如本公开中所描述的其他信息。在一些示例中，音频触发器存储器10可以存储附加的或其他类型的信息。
如图1的示例中所示，音频触发器模块12可以操作以在计算设备2的环境中监测音频触发器诸如存储在音频触发器存储器10中的音频触发器。在监听音频触发器之前，音频触发器模块12可能需要来自计算设备2的用户的许可。也就是说，音频触发器模块12可以在监测计算设备2周围的环境之前执行操作以获得来自用户的许可。例如，音频触发器模块12可以向UI模块6发送信息以使UI设备4(例如显示设备)向用户显示提示，从而征求访问来自计算设备2的环境的音频数据的许可。音频触发器模块12可以仅响应于接收到来自用户的确认而监测音频数据。在一些示例中，监测环境音频的许可可以是短暂的或情况特定的。在其他示例中，许可可以更持久。也就是说，在各种示例中，用户可以准许监测环境音频很短的持续时间、监测环境音频很长的持续时间、仅在特定情况下监测环境音频和/或监测环境音频直到用户撤销许可。
在任何情况下，响应于接收到来自用户的许可，音频触发器模块12可以使UI模块6从UI设备4(例如麦克风或其他音频传感器)获得音频数据的流(例如环境中的音频)。用户界面模块6可以将音频数据的至少一部分发送到音频触发器模块12。音频触发器模块12可以处理音频数据以确定该音频数据中是否包括音频触发器。例如，音频触发器模块12可以利用语音识别技术来从音频数据确定文本，并且将该文本与存储在音频触发器存储器12处的当前已启用的音频触发器集合诸如触发器集合16A进行比较。
如图1的示例中所示，触发器集合16A可以表示当计算设备2处于默认状态时(例如当尚未确定场境时)存储在音频触发器存储器10处的音频触发器的状态。触发器集合16A包括默认音频触发器20和场境音频触发器22A至22N(统称为“场境音频触发器22”)。在触发器集合16A中，仅默认音频触发器20被启用。默认音频触发器可以是可配置的、永久性的(例如总是启用)或半永久性的音频触发器，可用以使计算设备2进入音频输入模式或执行其他一般操作。由于计算设备2可以定期(例如总是或几乎总是)监测默认音频触发器，每个默认音频触发器可以是不可能在正常的对话中使用以便避免非故意的输入的词或短语。默认音频触发器可以是较少使用的词和/或不大可能一起出现的词的组合。例如，在图1的示例中，默认音频触发器20(例如“你好设备”)可以被配置(例如由计算设备2的制造商)为使得因为如果不是打算使计算设备2执行操作的话用户不可能会说“你好设备”这样的话。虽然触发器集合16A在图1的示例中仅包括一个默认音频触发器，但是在其他示例中，触发器集合16A可以包括更多的或其他的默认音频触发器。默认音频触发器的附加示例可以包括计算设备的型号名称、计算设备的品牌名称、计算设备的用户定义的名称或其他触发器词或短语。
每个场境音频触发器22可以与在计算设备2的特定场境中可能相关的计算设备2的操作相关联。在图1的示例中，例如，场境音频触发器22A“关闭”可以与闹钟应用关闭报警通知相关联。作为另一示例，场境音频触发器22B“再睡一会”可以与闹钟应用将报警通知暂时推迟一个时间量(例如1分钟、5分钟等)相关联。在一些示例中，场境音频触发器22可以包括变量或用户可定义值。例如，场境音频触发器22C“再给我[X]分钟”可以使得用户能够在使用该场境音频触发器时为[X]提供值(例如指定报警通知应被推迟多少分钟)。作为另一示例，场境音频触发器22N“带我到[X]”可以与导航或地图应用创建到指定位置[X]的路线和提供到该位置的路线指引相关联。在一些示例中，场境音频触发器22中的一个或多个场境音频触发器可以在不同的场境中与不同的操作相关联。例如，虽然场境音频触发器22A在一个场境中可以与关闭报警通知的操作相关联，场境音频触发器22A在其他场境中可以与关闭其他通知、关闭来电、删除电子邮件消息的操作或其他操作相关联。
在图1的示例中，应用模块8中的一个应用模块(例如应用模块8A)可以是闹钟应用。应用模块8A可以包括用于允许用户设置针对特定时间和/或地点的报警、在该特定时间和/或地点输出报警通知和/或执行其他功能的功能。在计算设备2的操作期间，应用模块8A可以从UI模块6接收输入(例如在UI设备4处执行的输入的指示)来设置报警(例如针对上午10:00)。响应于接收到该输入，应用模块8A可以安排过程的时间，或以其他方式使计算设备2在上午10:00执行应用8A以便输出报警通知。在上午10:00，应用8A可以在计算设备2处执行并且输出所请求的报警通知。例如，应用8A可以向UI模块6发送信息以使UI模块4显示GUI。在一些示例中，应用8A可以附加地或替代地使UI模块4输出音频通知(例如报警音)。
根据本公开的技术，音频触发器模块12可以操作以基于计算设备2的当前场境确定场境音频触发器。也就是说，音频触发器模块12可以接收关于计算设备2和/或关于计算设备2的用户的信息，确定计算设备2的当前场境，并且使用该当前场境来确定场境音频触发器。在确定计算设备2的当前场境之前，音频触发器模块12可能需要来自计算设备2的用户的许可。也就是说，音频触发器模块12可以在获得关于计算设备2和/或关于用户的信息之前执行操作以获得来自用户的许可。例如，音频触发器模块12可以向UI模块6发送信息以使UI设备4(例如显示设备)向用户显示提示，从而征求访问场境信息的许可。音频触发器模块12可以仅响应于接收到来自用户的确认而获得和使用场境信息。
响应于接收到来自计算设备2的用户的确认，音频触发器模块12可以从计算设备2的一个或多个其他部件(例如设备位置模块7、应用模块8等)获得信息并且使用该信息来确定当前场境。在图1的示例中，例如，音频触发器模块12可以从设备位置模块7获得信息(例如计算设备2的位置的指示)和/或从应用模块8获得信息(例如正在计算设备2处执行的应用的指示)。在一些示例中，音频触发器模块12可以附加地或替代地从一个或多个其他计算设备获得信息。在任何情况下，基于所接收的信息，音频触发器模块12可以确定计算设备2位于用户的家里并且应用8A现在正在计算设备2处执行(例如引起报警通知的输出)。换句话说，作为一个示例，音频触发器模块12可以确定其中计算设备2在家里并且正在执行闹钟应用的当前场境。
至少部分地基于计算设备2的当前场境，音频触发器模块12可以确定与当前场境相关的一个或多个场境音频触发器。也就是说，音频触发器模块12可以预测在当前场境所限定的情况下有可能(例如由用户)使用的命令并且访问音频触发器存储器10以修改当前已启用音频触发器的集合。在图1的示例中，例如，音频触发器模块12可以预测当计算设备2位于家里并且正在执行闹钟应用时，更可能的是用户将使用解决报警通知的命令。因此，音频触发器模块12可以确定场境音频触发器，并且使音频触发器存储器修改当前已启用音频触发器的集合(例如从触发器集合16A修改为触发器集合16B)。
如图1的示例中所示，触发器集合16B可以表示在由音频触发器模块12修改之后的音频触发器的集合。也就是说，触发器集合16B可以表示当计算设备2位于家里并且正在执行闹钟应用时的音频触发器的集合。如在触发器集合16B中看到的，默认音频触发器20仍被启用。场境音频触发器22A至22C也被启用。但是，场境音频触发器22N保持禁用。由于音频触发器模块12确定在当前场境中计算设备2的用户将不可能使用音频触发器22N，因此场境音频触发器22N可以保持禁用。
在一些示例中，音频触发器模块12可以确定新的或附加的场境音频触发器。也就是说，虽然触发器集合16B在图1的示例中被示为包括与触发器集合16A相同的场境音频触发器22，但是音频触发器模块12在其他示例中可以添加新的场境音频触发器、移除场境音频触发器或以其他方式修改存储在音频触发器存储器10处的信息。以这种方式，音频触发器模块12可以能够针对新的或先前未经历的所确定的场境(例如当计算设备2执行新应用、在新的位置等时)确定场境音频触发器。
在任何情况下，在确定场境音频触发器22之后，音频触发器模块12可以在环境中监测触发器集合16B的已启用音频触发器。例如，音频触发器模块12可以从UI模块6接收音频数据，处理所接收的音频数据以确定环境音频的文本表示，访问音频触发器存储器10以获得当前已启用音频触发器的集合(例如，如触发器集合16B中所示)，并且将该文本表示与每个已启用音频触发器进行比较。在图1的示例中，音频触发器模块12可以确定所接收的音频数据包括场境音频触发器22A。也就是说，音频触发器模块12可以确定计算设备2的用户说了词“关闭”。响应于确定该音频数据包括场境音频触发器22A，音频触发器模块12可以使计算设备2的一个或多个部件执行与场境音频触发器22A相关联的操作。也就是说，音频触发器模块10可以向应用模块8A发送信息以使应用模块8A关闭报警通知。
在一些示例中，在关闭报警通知之后，应用8A可以停止在计算设备2处的执行。根据本公开的技术，音频触发器模块12可以从应用8接收包括应用8A未正在计算设备2处执行的指示的信息。音频触发器模块12可以确定计算设备2的新的当前场境，并且基于该新的当前场境，音频触发器模块12可以确定场境音频触发器的新集合。然后音频触发器模块12可以访问音频触发器存储器10以再次修改当前已启用音频触发器的集合。
以这种方式，音频触发器模块12可以使得用户能够使用更自然的语言发起与计算设备2的交互并且使计算设备2执行操作。通过确定场境音频触发器，音频触发器模块12可以降低用户将需要使用默认音频触发器(例如较模糊或不太常用的词)来发起交互的可能性。替代地，音频触发器模块12可以确定与计算设备2的当前场境相关的场境音频触发器，从而使得计算设备2能够对用户当与另一个人交互时可能使用的词或短语(或其他声音)作出响应。也就是说，确定场境音频触发器并监测场境音频触发器可以使得计算设备能够对以更自然的语言方式提供的语言作出反应。
在一些示例中，音频触发器模块12可以使所确定的场境音频触发器的指示被输出到用户(例如以供在UI设备4或其他显示设备处显示)。例如，计算设备2可以输出所确定的场境音频触发器中的一个或多个场境音频触发器的图形指示以供显示。以这种方式，本公开的技术可以帮助用户了解在各种场境中的场境音频触发器。
虽然在图1的示例中被描述为由计算设备2的一个或多个部件执行，但是本公开的技术在各种示例中可以由一个或多个其他计算设备或计算系统或者由计算设备的组合执行。例如，在一些示例中，计算设备2可以将当前场境的指示发送到远程计算系统(例如云计算系统、服务器系统、台式计算机或其他计算系统)。该计算系统可以确定场境音频触发器，并且将至少一个场境音频触发器的指示发送到计算设备2。之后，计算设备2可以在当前场境中监测该至少一个场境音频触发器。
在一些示例中，可以至少部分地基于在具有与计算设备2的当前场境相同或类似的场境的情况下用户(例如计算设备2的用户和/或其他用户)先前已经利用音频输入作为命令的频率来确定场境音频触发器。例如，计算系统可以从计算设备2和/或从其他计算设备接收所尝试的命令(例如当计算设备处于音频输入模式时接收到的音频输入或所接收的音频触发器)的指示。每个指示可以包括标识命令在其中被接收的场境的信息。响应于接收到包括特定场境的指示的对场境音频触发器的请求(例如从计算设备2)，该计算系统可以确定在该特定场境中最经常接收到哪些命令。换句话说，该计算系统可以基于在与该特定场境类似或相同的场境中最经常使用什么命令来确定用于计算设备2的场境音频触发器。以这种方式，本公开的技术可以使得计算系统能够通过聚集来自各种计算设备的所接收的音频输入来确定场境音频触发器以便更好地确定场境音频触发器。
通常，用户的计算设备可以仅在计算设备从用户接收到发送信息的许可时向远程计算系统发送信息(例如当前场境的指示、所接收的音频输入或其他信息)。例如，在计算设备可以收集、传送或可以利用个人信息(例如场境信息、所接收的音频输入等)的情况下，用户可以被提供以下机会：控制计算设备的程序或特征是否可以收集这样的信息，以及控制计算设备是否可以存储和共享这样的信息和/或可以如何存储和共享这样的信息。
以这种方式，本公开的技术可以使得计算设备能够对更自然的语言输入作出响应来执行操作。通过确定场境音频触发器，计算设备可以允许某些命令的直接输入，同时减小了计算设备将非故意地对无意的输入作出响应的可能性。换句话说，通过在计算设备的环境中监测场境音频触发器，计算设备可以使得用户能够发起交互并且使计算设备执行操作而用户不必提供任何先前输入，诸如按钮按压或默认音频触发器。通过基于当前场境确定场境音频触发器，计算设备可以增加用户想要场境音频触发器被计算设备接收作为输入的可能性。
图2是图示出根据本公开的一种或多种技术的具有场境音频触发器的计算设备2的一个示例的细节的概念图。下面在图1的上下文中对图2的示例进行描述。图2仅图示出了计算设备2的一个特定示例，并且可以在其他情况下使用计算设备2的许多其他示例。在一些示例中，计算设备2可以包括比图2的示例中所示更少的部件或在图2的示例中未示出的附加的部件。
如图2的示例中所示，计算设备2包括用户界面(UI)设备4、一个或多个处理器40、一个或多个输入设备42以及一个或多个输出设备44。计算设备2还包括一个或多个通信单元46、一个或多个传感器48以及一个或多个存储设备50。存储设备50包括用户界面(UI)模块6、设备位置模块7、应用模块8、音频触发器存储器10和音频触发器模块12。音频触发器模块12及其部件可以依靠存储在音频触发器存储器10处的信息。换句话说，如下面所更详细描述的，音频触发器模块12可以由处理器40操作以对存储在音频触发器存储器10处的信息执行读取、写入和/或其他操作。音频触发器模块12进一步包括设备场境模块52、触发器确定模块54以及监测和执行模块56。
通信信道(COMM.CHANNEL)52可以将部件4、6、7、8、10、12、40、42、44、46、48、50、52、54和/或56互连以进行部件间通信(在物理上、在通信上和/或在操作上)。在一些示例中，通信信道52可以包括系统总线、网络连接、进程间通信数据结构或用于传送数据的任何其他方法。
在图2的示例中，一个或多个输入设备42可以操作以接收输入。输入的示例是触觉、音频和视频输入。在一个示例中，输入设备42包括存在敏感或触摸敏感显示器、鼠标、键盘、语音应答系统、摄像机、麦克风或其他音频传感器或用于检测来自人或机器的输入的任何其他类型的设备。在一些示例中，存在敏感输入设备可以检测在屏幕处和/或靠近屏幕的物体。作为一个示例范围，存在敏感输入设备可以检测在屏幕的2英寸或少于2英尺内的物体，诸如手指或触笔。存在敏感输入设备可以确定在其中检测到物体的屏幕的位置(例如(x，y)坐标)。在另一示例范围内，存在敏感输入设备可以检测距离屏幕6英寸或小于6英寸的物体并且其他范围也是可能的。存在敏感输入设备可以使用电容、电感和/或光学识别技术确定用户的手指所选择的屏幕的位置。在一些示例中，存在敏感输入设备还使用如关于输出设备44所描述的触觉、音频或视频刺激向用户提供输出。
在图2的示例中，一个或多个输出设备44可以操作以生成输出。输出的示例是触觉、音频和视频输出。在一个示例中，输出设备44包括存在敏感显示器、声卡、扬声器、视频图形适配器卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或用于生成对人或机器的输出的任何其他类型的设备。
在一些示例中，计算设备2的UI设备4可以包括输入设备42和/或输出设备44功能。例如，UI设备4可以是或者可以包括麦克风或可操作以从计算设备2周围的环境接收音频的其他音频传感器。虽然被示为计算设备2的内部部件，UI设备4也可以表示与计算设备2共享数据路径以传送和/或接收输入和输出的外部部件。例如，UI设备4可以表示位于计算设备2的外部封装内并且物理连接到计算设备2的外部封装的计算设备2的内置部件(例如移动电话上的屏幕)。在另一示例中，UI设备4表示位于计算设备2的封装外部并且物理上与计算设备2的封装分离的计算设备2的外部部件(例如与平板计算机共享有线和/或无线数据路径的监视器、投影仪或其他显示设备)。
在图2的示例中，一个或多个通信单元46可以操作以经由一个或多个有线和/或无线网络通过在该一个或多个网络上传送和/或接收网络信号来与外部设备进行通信。通信单元46的示例包括网络接口卡(例如，诸如以太网卡)、光学收发器、射频收发器、GPS接收器或者可以发送和/或接收信息的任何其他类型的设备。通信单元46的其他示例可以包括近场通信(NFC)单元、蓝牙无线电设备、短波无线电设备、蜂窝数据无线电设备、无线网络无线电设备以及通用串行总线(USB)控制器。
在图2的示例中，一个或多个传感器48可以操作以生成供计算设备2的部件使用的数据。传感器48可以包括能够获得关于计算设备2的数据、关于计算设备2所处的环境的数据、关于计算设备2的用户的数据或其他数据的任何设备或部件。也就是说，传感器48中的任何传感器可以是用于获得信息的硬件、固件、软件或其组合。传感器48的示例可以包括GPS传感器、位置传感器、加速计或其他运动传感器、照相机、指南针、磁力计、光传感器、红外线传感器、麦克风或其他音频传感器、辐射传感器、温度传感器、气压计、高度计或其他数据收集部件。
在图2的示例中，一个或多个存储设备50可以操作以在计算设备2的操作期间存储用于处理的信息。例如，计算设备2可以存储模块12、54和/或56在计算设备2处的执行期间可以访问的数据。在一些示例中，存储设备50表示临时存储器，这意味着存储设备50的主要目的不是长期存储。例如，计算设备2的存储设备50可以是易失性存储器，这意味着存储设备50如果断电可能不保留存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及本领域公知的其他形式的易失性存储器。
在一些示例中，存储设备50还包括一个或多个计算机可读存储介质。存储设备50可以被配置成存储比易失性存储器更大量的信息。存储设备50还可以被配置用于信息的长期存储。在一些示例中，存储设备50包括非易失性存储元件，这意味着存储设备50可以经历通电/断电周期维持信息。非易失性存储器的示例包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。在一些示例中，存储设备50可以诸如在程序执行期间存储与模块6、7、8、12、52、54、56和音频触发器存储器10相关联的程序指令和/或信息(例如数据)。
在图2的示例中，一个或多个处理器40可以在计算设备2内实现功能和/或执行指令。例如，处理器40可以接收和执行由存储设备50存储的实现模块6、7、8、12、52、54和/或56的功能的指令。由处理器40执行的这些指令可以使计算设备2在程序执行期间读取/写入/等存储在存储设备50内的信息。处理器40可以执行模块6、7、8、12、52、54和/或56的指令以使计算设备2确定计算设备2的场境、确定场境音频触发器、监测音频触发器和/或执行相关联的操作。也就是说，模块6、7、8、12、52、54和/或56可以由处理器40操作以执行计算设备2的各种动作或功能。
根据本文所描述的技术，音频触发器模块12的设备场境模块52可以执行操作以确定计算设备2的当前场境。也就是说，如果计算设备2的用户给予许可，设备场境模块52可以操作以从计算设备2的其他部件(例如设备位置模块7、应用模块8、通信单元46、传感器48等)和/或从其他计算设备获得信息，以便确定描述计算设备2、计算设备2所处的环境、计算设备2当前从事的活动、计算设备2的用户、该用户当前从事的活动和/或其他信息的当前场境。
作为一个示例，设备场境模块52可以与UI设备4、UI模块6和/或输入设备42通信，以获得指示用户是否正在与计算设备2交互的信息。设备场境模块52可以与通信单元46中的一个通信单元(例如蓝牙无线电设备)通信并且获得界定一个或多个其他计算设备是否接近计算设备2的信息。设备场境模块52与传感器48中的一个或多个传感器通信，以获得关于计算设备2存在于其中的物理环境的信息(例如光水平、环境噪音水平、温度水平、湿度水平、位置等)。在一些示例中，设备场境模块52可以不直接与传感器48通信。在这样的示例中，设备场境模块52可以从处理从传感器48接收到的传感器数据的计算设备2的模块(例如设备位置模块7)获得数据。
作为另一示例，设备场境模块52可以与应用模块8中的一个或多个应用模块进行通信，以获得哪些(如果有)应用模块正在计算设备2处执行的指示，获得用户当前正在使用的任何这样的应用的指示(例如哪些应用正被显示或关注)和/或这样的应用正在执行的活动的指示。例如，设备场境模块52可以获得指示应用8B(例如音频播放器应用)和应用8C(例如电子邮件客户端应用)当前正在计算设备2处执行、应用8C当前正被关注并且应用8B当前正在播放音轨而应用8C正在起草电子邮件的数据。应用可能正在执行的其他示例活动包括玩游戏、浏览网站、搜索信息、预定旅游预订或其他活动。在一些示例中，设备场境模块52可以获得与应用正在执行的活动相关的信息，诸如正在编写或阅读的电子邮件的接收者或发送者、正在玩的游戏的用户名称或等级、正在播放的歌曲的标题或艺术家名称、正在观看的网站URL、正在执行的搜索查询或其他细节。
作为设备场境模块52可以使用来确定当前场境的信息的另外其他示例，场境模块52可以与应用模块8和/或通信单元46进行通信，以确定关于计算设备2的用户的场境信息。例如，设备场境模块52可以从电子邮件应用获得关于用户是其成员的社交网络服务的信息、用户所订阅的电子邮件列表的信息或其他信息。设备场境模块52还可以从日历应用获得关于用户可能有的约会的信息。设备场境模块52可以与通信单元46通信，以从一个或多个其他计算设备或系统获得信息。例如，如果接收到来自用户的许可，设备场境模块52可以使通信单元46从用户的社交媒体服务帐户、用户的电子邮件帐户或其他信息源获得信息。
基于所获得的信息，设备场境模块52可以确定当前场境。作为一个示例，设备场境模块52可以通过确定一个或多个场境类别的值以及用于每个类别的相应加权来确定当前场境。也就是说，设备场境模块52可以基于所获得的信息来确定值并且基于相关联值的预测准确性和/或预测重要性来对每个类别进行加权。例如，场境类别可以指示正在计算设备2处执行的应用的类型和/或名称、计算设备2的位置、接近计算设备2的计算设备的指示、计算设备2当前正在进行或正在计算设备2处执行的应用正在从事的活动或任务、日内时间或当前时间、计算设备2的用户的用户标识号码、用户正在从事的预测活动或任务、用户的预测行进模式、用户的预测当前可用性或各种其他信息。
应用于场境类别的加权可以指示针对类别确定的值的重要性。例如，可以以尺度(例如0-10、1-100或其他尺度)来定义加权。如果类别的值被预测为当前场境的重要部分和/或被确定为很可能是真实的，则该类别可以接收朝向尺度的一端(例如100里面的90)的重加权。如果类别的值未被预测为是非常重要的和/或被确定为包括不确定性，则该类别可以接收在尺度的另一端(例如100里面的10)的较轻的加权。以这种方式，设备场境模块52可以在确定当前场境时使一些信息优先于其他信息。
在图2的示例中，设备场境模块52可以确定当前位置类别的值。例如，基于指示计算设备2有规律地在夜间位于指定位置并且计算设备2当前位于相同的指定位置的信息(例如从设备位置模块7获得)以及指示用户的家庭地址在地理上位于基本相同的指定位置的信息(例如从用户的联系信息或从用户的电子邮件应用获得)，设备场境模块52可以确定当前位置类别的值为“家”。
设备场境模块52可以确定用于当前位置类别的对应加权。在图2的示例中，设备场境模块52可以确定相对较重的加权，因为位置信息(例如基于GPS)相对准确，并且有多条信息指示相同的结果(例如计算设备2在用户的家里)。在其他示例中，诸如在位置信息基于其他较不准确的数据(例如仅基于日内时间)的情况下，可以对当前位置类别的值进行不太重的加权。
在图2的示例中，设备场境模块52还可以确定正在执行应用类别、正被关注应用类别和/或当前应用活动类别的值。例如，基于从应用8获得的信息，设备场境模块52可以将正在执行应用类别和正被关注应用类别的值确定为对应于应用8A的名称或应用标识符(闹钟应用)。也就是说，应用8A是正在计算设备2处执行的唯一应用，并且是当前正被关注应用。设备场境模块52可以进一步确定当前应用活动类别的值为“输出报警通知”。设备场境模块52可以给正在执行应用类别、正被关注应用类别和当前应用活动类别中的每一个分配重加权，因为此信息不太可能不正确。
在图2的示例中，设备场境模块52还可以确定指示任何其他计算设备是否接近计算设备2的接近设备类别的值。例如，设备场境模块52可以与通信单元46中的一个或多个通信单元(例如蓝牙无线电单元和/或NFC单元)进行通信并且确定接近设备类别的值为NULL，这指示没有设备接近计算设备2。设备场境模块52可以基于从蓝牙无线电单元接收到的信息指示蓝牙功能当前在计算设备2上禁用的事实再次针对接近设备类别确定相对较重的加权。
在各种示例中，设备场境模块52可以确定附加场境类别或替代场境类别的值和加权。在任何情况下，在确定当前场境之后，设备场境模块52可以至少将当前场境的指示提供到触发器确定模块54。例如，设备场境模块52可以发送指示每个场境类别、针对类别确定的相关联值以及针对类别确定的相关联加权的数据。
在图2的示例中，音频触发器模块12的触发器确定模块54可以操作以从设备场境模块52接收当前场境的指示并且基于当前场境确定场境音频触发器。
触发器确定模块54可以通过预测在当前场境中用户有可能使用的命令来确定场境音频触发器。在一些示例中，触发器确定模块54可以从已知音频触发器的集合确定场境音频触发器。例如，音频触发器存储器10可以包括计算设备2已知的所有音频触发器的集合。也就是说，音频触发器存储器10可以存储用户可用来与计算设备2进行交互的所有音频触发器。音频触发器可以与先前在其中使用或通常在其中使用相应音频触发器的场境的指示(例如场境类别值)、对应于音频触发器的一个或多个操作或指令和/或其他信息相关联。
触发器确定模块54可以分析从设备场境模块52接收到的信息(例如描述当前场境的信息)并且确定最重地加权当前场境的哪些场境类别值。触发器确定模块54然后可以访问音频触发器存储器10并且确定已知音频触发器中的哪些音频触发器与当前场境的最重场境类别值相关联。触发器确定模块54可以基于哪些音频触发器与当前场境的最重的一个值、最重的三个值、最重的五个值等相关联来确定场境音频触发器。
在其他示例中，触发器确定模块54可以以其他方式确定场境音频触发器。作为一个示例，在安装时，应用8中的每个应用可以安装对应于相应应用的命令的集合。为了确定场境音频触发器，触发器确定模块54可以使用所接收的当前场境的指示来确定当前正在计算设备2处执行的应用，并且确定对应于该当前正在执行的应用的命令的集合作为场境音频触发器。触发器确定模块54可以附加地或替代地使用根据本公开的技术的各种其他方法确定场境音频触发器。
虽然在图2的示例中被描述为位于计算设备2内并且在计算设备2处执行，但在其他示例中，触发器确定模块54的至少一部分可以位于远程计算设备诸如服务器设备、云计算系统或其他系统处。在这样的其他示例中，计算设备2可以与远程计算设备建立连接，以便向触发器确定模块54提供信息(例如当前场境的指示)和/或从触发器确定模块54接收信息(例如场境音频触发器)。例如，计算设备2的部件(例如音频触发器模块12、音频触发器存储器10等)可以操作以通过向通信单元46发送信息和从通信单元46接收信息来与触发器确定模块54进行通信。
在一些示例中，触发器确定模块54可以至少部分地基于一个或多个用户在与当前场境相同或类似的先前场境中使用命令的频繁程度来确定场境音频触发器。也就是说，触发器确定模块54可以操作以跟踪一个或多个设备(例如包括计算设备2)处命令(例如音频命令和/或音频触发器)的使用并且聚集使用率以确定在各种场境中更常使用哪些命令。
基于所聚集的使用数据，触发器确定模块54可以确定先前至少以阈值率使用以在类似的场境中提供输入的那些命令作为场境音频触发器。也就是说，存储在音频触发器存储器10处的音频触发器可以附加地或替代地包括用户(例如包括计算设备2的用户)先前使用命令(在语音输入模式中或作为音频触发器)的频率的指示。在这样的示例中，触发器确定模块54可以通过选择(1)与符合或超过阈值的频率值相关联并且(2)与适当的场境类别值相关联的那些音频触发器来确定场境音频触发器。
在图2的示例中，触发器确定模块54可以接收当前场境的指示，并且确定可用以解决闹钟应用的命令作为场境音频触发器，诸如图1的场境音频触发器22A至22C。响应于确定场境音频触发器，触发器确定模块54可以访问音频触发器存储器10并且相应地修改当前已启用音频触发器的集合。作为一个示例，触发器确定模块54可以访问音频触发器存储器10并且修改与被确定为场境音频触发器的每个音频触发器相关联的指示以指示所述音频触发器是当前已启用场境音频触发器。触发器确定模块54也可以修改与未被确定为场境音频触发器的音频触发器相关联的指示以便指示所述音频触发器不是当前已启用场境音频触发器。在一些示例中，触发器确定模块54可以附加地或替代地启用或禁用一个或多个默认音频触发器。以这种方式，触发器确定模块54可以指定计算设备2将在环境音频中监测哪些音频触发器。在图2的示例中，触发器确定模块54可以修改与场境音频触发器22A至22C中的每个场境音频触发器相关联的指示，以指示“关闭”、“小睡”和“再给我[X]分钟”在当前场境中是可用的音频触发器。触发器确定模块54可以确保与场境音频触发器22N“带我到[X]”相关联的指示被禁用。
在图2的示例中，音频触发器模块12的监测和执行模块56可以操作以处理音频数据，以确定音频触发器并且使计算设备2执行对应于所接收的音频触发器(例如默认音频触发器或场境音频触发器)的一个或多个操作。例如，输入设备42和/或传感器48中的一个或多个可以表示能够接收连续的音频输入的低功率或超低功率音频麦克风。监测和执行模块56可以从麦克风接收音频数据，并且可以处理该音频数据。在一些示例中，监测和执行模块56可以通过执行一个或多个语音至文本转换来处理数据以获得对应于所接收的音频数据的文本数据。在其他示例中，监测和执行模块56可以执行其他音频分析来识别和标识语音，诸如执行频率分析以标识存在于音频数据中的音调特性或其他声标识符。
在任何情况下，监测和执行模块56可以使用经处理的数据来确定所接收的音频数据的至少一部分中是否包括场境音频触发器。也就是说，监测和执行模块56可以访问音频触发器存储器10并且将经处理的音频数据的多个部分与存储在音频触发器存储器10处的与音频触发器当前已启用的指示相关联的音频触发器进行比较。在图2的示例中，例如，监测和执行模块56可以接收音频数据，处理该音频数据，访问音频数据存储器10，并且确定是否有人说了词“关闭”、“小睡”或“再给我[X]分钟”。如果监测和执行模块56没有确定音频数据的任何部分包括场境音频触发器，则监测和执行模块56可以确定音频数据是否包括默认音频触发器。如果监测和执行模块56确定音频数据包括默认音频触发器(例如“你好设备”)，则监测和执行模块56可以使计算设备2进入音频输入模式和/或执行与本公开无关的其他动作。
如果监测和执行模块56确定音频数据的一部分包括当前已启用场境音频触发器中的一个，则监测和执行模块56可以使计算设备2执行与所接收的场境音频触发器相关联的操作。例如，监测和执行模块56可以执行与所接收的场境音频触发器相关联的指令。在图2的示例中，例如，监测和执行模块56可以接收和处理音频数据并且确定音频数据的一部分中包括场境音频触发器“关闭”。响应于确定已经使用场境音频触发器“关闭”，监测和执行模块56可以访问音频触发器存储器10以获得相关指令，并且使计算设备2执行所述指令所指定的一个或多个操作，诸如向应用8A发送信息以指令应用8A关闭报警通知。以这种方式，计算设备2可以确定场境音频触发器并且监测所确定的场境音频触发器的使用。
在一些示例中，响应于确定音频数据包括场境音频触发器，监测和执行模块56可以修改音频触发器存储器10或向其添加数据。例如，监测和执行模块56可以更新或修改与所接收的音频触发器相关联的信息，诸如与场境音频触发器相关联的使用频率的指示或与场境音频触发器相关联的场境类别值。在一些示例中，监测和执行模块56可以附加地或替代地在计算设备2处于音频输入模式时响应于接收到音频命令而修改音频触发器存储器10内的信息。通过在接收到音频触发器或音频命令时更新或修改音频触发器存储器10，监测和执行模块56可以增加所接收的音频触发器或音频命令将在具有相同场境或类似场境的未来情况下被启用作为场境音频触发器的可能性。
在一些示例中，计算设备2的一个或多个部件(例如模块12、52、54和/或56)可以与其他计算设备通信，以便更新或修改音频触发器存储器10。例如，计算设备2可以周期性地接收指示存储在音频触发器存储器10处的音频触发器的所聚集的使用频率信息的信息。作为另一示例，计算设备2可以接收关于要添加到音频触发器存储器10的新的或附加的命令的信息。
图3是图示出根据本公开的一种或多种技术的具有场境音频触发器的计算设备2的示例的概念图。下面在图1和图2的上下文中对图3的示例进行描述。
图3的示例包括计算设备2和计算设备80。计算设备2可以具有与如关于图1和图2所描述的计算设备2的功能类似的功能。计算设备80的示例可以包括但不限于便携式设备、移动设备或其他设备，诸如移动电话(包括智能电话)、可穿戴计算设备、膝上型计算机、台式计算机、平板计算机、智能电视平台、个人数字助理(PDA)、服务器计算机、大型机等。计算设备80的进一步的示例包括微控制器单元、嵌入在汽车内的嵌入式处理器(例如免提通信系统)、电子锁定单元(例如智能锁)或用于住宅、公寓、汽车或任何其他类型的设备的其他计算设备。例如，在图3的示例中，计算设备80可以是汽车的微控制器。
如图3的示例中所示，计算设备80包括通信单元82和锁84。通信单元82和锁84可以可操作地耦合，以便于部件间通信。例如，通信单元82和锁84可以由系统总线或用于传送数据的其他手段连接。虽然在图3的示例中被示为位于计算设备80内，但在其他示例中，通信单元82和/或锁84可以位于计算设备80外部。也就是说，在一些示例中，通信单元82和/或锁84可以在计算设备80外部并且可以可操作地耦合(例如经由一个或多个物理或逻辑连接)到计算设备80和/或彼此耦合。
在图3的示例中，通信单元82可以操作以便于与其他计算设备(例如计算设备2)进行通信并且使计算设备80或其部件基于所接收的指令执行操作。在一些示例中，通信单元82可以包括与本文所描述的通信单元46中的任何通信单元的功能类似的功能。例如，通信单元82可以是网络接口卡(例如，诸如以太网卡)、光学收发器、射频收发器、GPS接收器或者可以发送和/或接收信息的任何其他类型的设备。通信单元46的其他示例可以包括近场通信(NFC)单元、蓝牙无线电设备、短波无线电设备、蜂窝数据无线电设备、无线网络无线电设备以及通用串行总线(USB)控制器。在其他示例中，通信单元82可以包括附加的或其他的功能。在图3的示例中，例如，通信单元82可以表示可操作以与在范围内的其他蓝牙无线电设备建立蓝牙配对连接的蓝牙无线电设备。
如图3的示例中所示，锁84可以操作以通过基于所接收的指令限制访问来防止对位置或资源的未经授权的访问。在一些示例中，锁84可以是物理锁，诸如可以通过钥匙的移动、插销的移动或其他物理操纵而接合和解开的锁。在其他示例中，锁84可以包括电子锁诸如对文件访问的限制或防止未经授权的访问的任何其他方法。在图3的示例中，锁84可以表示用于控制对计算设备80嵌入在其中的汽车的访问的门锁定机构。也就是说，锁84可以操作以接收锁定或解锁汽车的门的指令并且相应地将门锁定或解锁。
在图3的示例中，计算设备2的音频触发器存储器10可以包括音频触发器和相关联信息，如触发器集合70A中所示。例如，音频触发器存储器10可以包括默认音频触发器72和场境音频触发器74A至74N(统称为“场境音频触发器74”)。如触发器集合70A中所示，默认音频触发器72可以被启用，用于当前使用。场境音频触发器74A、74B、74C和74N可以不被启用。虽然未示出，场境音频触发器74中的其他场境音频触发器可以或可以不被启用，这取决于计算设备2的当前场境。
在图3的示例中，计算设备2可以在操作期间靠近另一个计算设备(例如计算设备80)。当计算设备2接近计算设备80(并且通信单元46被启用)时，通信单元46可以建立与通信单元82的连接。例如，当在通信单元82的足够的距离内(例如在100英尺内、在10英尺内、在6英寸内或其他距离)时，通信单元46和通信单元82可以建立蓝牙配对(例如连接88)。也就是说，当计算设备2在计算设备80的100英尺内时、当计算设备2在计算设备2的10英尺内时、当计算设备2在计算设备80的6英寸内时或在可以使用短距离通信的某个其他距离内时，计算设备2可以被认为是接近计算设备80。在任何情况下，当接近时，计算设备2可以经由连接88与计算设备80进行通信，以获得关于计算设备80的信息，诸如计算设备的类型、计算设备80的当前状态、可用来与计算设备80进行交互的选项或命令以及其他信息。
根据本文所描述的技术，计算设备2(例如音频触发器模块12)可以确定计算设备2的当前场境。例如，音频触发器模块12可以从计算设备2的一个或多个其他部件诸如UI模块6、设备位置模块7和/或应用模块8接收信息。信息可以包括计算设备2的位置的指示、正在计算设备2处执行的应用的指示和/或其他信息。
在图3的示例中，音频触发器模块12也可以从通信单元46接收信息。例如，音频触发器模块12可以接收指示连接88的存在的信息。音频触发器模块12还可以从通信单元46接收关于计算设备80的信息(例如计算设备80的唯一设备标识符、计算设备的类型、可用以与计算设备80进行交互的可用选项或命令等)。
至少部分地基于从通信单元46接收的信息，音频触发器模块12可以确定计算设备2的当前场境。在图3的示例中，当前场境可以包括指定计算设备2当前正在经由蓝牙与其配对的设备的类型的场境类别。当计算设备2未与另一设备配对时，这个类别的值可以是空的(例如NULL)。如果计算设备2与另一设备配对，则音频触发器模块12可以确定设备的类型作为场境类别的值。例如，设备类型可以包括“个人计算机”、“免提系统”、“移动设备”、“控制系统”或其他标识符。在图3的示例中，音频触发器模块12可以基于从通信单元46接收到的信息确定配对设备类型类别的值为“控制系统”。音频触发器模块12可以给所确定的值分配较重的加权，因为该信息很可能是真的。在一些示例中，音频触发器模块12可以确定附加场境类别的值，诸如计算设备2的位置(例如“在工作之外”)、正在计算设备2处执行的应用(例如NULL)或其他值。
在任何情况下，音频触发器模块12可以基于所确定的当前场境来确定场境音频触发器。例如，音频触发器模块12可以确定存储在音频触发器存储器10处的与场境类别值“控制系统”相关联并且与符合或超过阈值水平的使用频率相关联的音频触发器。音频触发器模块12可以通过访问和修改存储在音频触发器存储器10处的信息来启用所确定的场境音频触发器。
如图3的示例中所示，触发器集合70B可以表示在音频触发器模块12已经确定场境音频触发器之后存储在音频触发器存储器10处的音频触发器的状态。如触发器集合70B中所示，默认音频触发器72保持启用并且场境音频触发器74A、74B和74C保持禁用。已经启用场境音频触发器74N以反映在当前场境中用户可以使用场境音频触发器74N“解锁”来发起与计算设备2的交互并且使计算设备2执行与场境音频触发器74N相关联的一个或多个操作。
此后，计算设备2可以接收音频输入(例如在UI设备4处)。音频触发器模块12可以接收指示音频输入的数据，并且在一些示例中，可以处理音频数据。音频触发器模块12可以确定音频数据的至少一部分是否包括场境音频触发器74N“解锁”。
响应于确定音频数据包括场境音频触发器74N，音频触发器模块12可以使计算设备2执行与场境音频触发器74N相关联的操作。在一些示例中，与场境音频触发器相关联的操作可以包括向一个或多个其他计算设备发送指令以使其他计算设备执行一个或多个操作。在图3的示例中，例如，场境音频触发器74N可以与使连接的计算设备将锁解锁的操作相关联。也就是说，响应于确定音频数据包括场境音频触发器74N，音频触发器模块12可以向计算设备80发送信息(例如经由连接88)以使计算设备80将锁84转变为解锁状态。可以使另一计算设备执行操作的其他示例场境音频触发器包括：使连接的智能电视改变频道；使连接的移动电话传送联系人信息；使连接的媒体设备播放或暂停内容；或其他操作。
图4是图示出根据本公开的一种或多种技术的用于场境音频触发器的计算设备2和GUI 20的一个示例的概念图。下面在图1和图2的上下文中对图4的示例进行描述。
在图4的示例中，触发器集合100A可以表示当计算设备2处于默认或非活动状态时在音频触发器存储器10内的音频触发器的状态。例如，触发器集合100A可以表示当尚未针对计算设备2确定场境时音频触发器存储器10的音频触发器。如图4的示例中所示，触发器集合100A包括默认音频触发器102A和102B(统称为“默认音频触发器102”)和场境音频触发器104A至104N(统称为“场境音频触发器104”)。音频触发器存储器10内的每个音频触发器可以与一个或多个操作相关联。例如，默认音频触发器102A可以与使计算设备2进入音频输入模式的操作相关联。默认音频触发器102B可以与使应用8中的一个应用(例如搜索应用或web浏览器)搜索所指示的主题的操作相关联。场境音频触发器104A可以与使应用8中的一个应用(例如闹钟应用)推迟报警通知的输出相关联。场境音频触发器104B可以与使应用8中的一个应用(例如地图应用或导航应用)暂停当前活动的导航路线相关联。场境音频触发器104N可以与使地图应用或导航应用执行并提供到所指示的目的地的导航路线相关联。
如触发器集合100A所示，当计算设备2处于非活动或默认状态时，默认音频触发器102中的每个默认音频触发器被启用，而场境音频触发器104中的每个场境音频触发器被禁用。也就是说，当尚未针对计算设备2确定场境时，没有场境音频触发器可以被启用。为了提供音频输入，计算设备2的用户可以使用默认音频触发器(例如“你好设备”)或以其他方式向计算设备2指示用户希望提供音频输入(例如以使计算设备2进入音频输入模式)。
在计算设备2的操作期间，音频触发器模块12可以根据本公开的技术确定计算设备2的当前场境。例如，音频触发器模块12可以与计算设备2的一个或多个其他部件(例如UI模块6、设备位置模块7、应用模块8)进行通信以获得计算设备2的位置的至少一个指示、正在计算设备2处执行的应用的指示和或其他信息。音频触发器模块12可以从UI模块6接收指示UI设备4当前处于非活动状态(例如显示屏幕处于锁定状态或以其他方式当前未使用)的信息。音频触发器模块12可以从设备位置模块7接收指示计算设备2的多个位置(例如包括当前位置)以及每个位置被记录时的相关联时间的信息。音频触发器模块12可以从应用模块8接收指示仅操作系统应用正在计算设备2处执行的信息。在其他示例中，音频触发器模块12可以接收附加的或其他的信息，诸如日内时间、指示计算设备2的加速度的信息、指示计算设备2与一个或多个其他计算设备的接近的信息或其他信息。
基于所接收的信息，音频触发器模块12可以确定当前场境。在图4的示例中，例如，音频触发器模块12可以基于从设备位置模块7接收的所述多个位置和相关联时间确定计算设备2正在以每小时50英里的速度行进。另外，音频触发器模块12可以确定所述位置在地理上对应于沿着州际公路的点。基于所确定的速度和/或地理位置，音频触发器模块12可以确定行进模式场境类别的值为“汽车”。音频触发器模块12可以基于从UI模块6接收到的信息确定计算设备2未被用户使用并且因此可以确定设备使用中场境类别的值为“非活动”。也就是说，音频触发器模块12可以确定其中计算设备2正经由汽车行进并且当前未在使用的当前场境。
音频触发器模块12可以至少部分地基于当前场境确定一个或多个场境音频触发器。例如，在图4的示例中，音频触发器模块12可以确定与场境类别值“非活动”(针对设备使用中类别)和“汽车”(针对行进模式类别)相关联的命令作为场境音频触发器。音频触发器模块12可以访问音频触发器存储器10以基于对场境音频触发器的确定来修改和/或更新音频触发器或相关联信息。
作为音频触发器模块12确定场境音频触发器的结果，音频触发器存储器10可以由如图4的示例中所示的触发器集合100B表示。在触发器集合100B中，默认音频触发器102保持启用。场境音频触发器104A和104B保持禁用。这可能是因为场境音频触发器104A和104B没有与正确的场境类别值相关联。例如，当通过汽车行进时用户希望使闹钟应用推迟报警通知的输出可能是不太可能的。作为另一示例，当计算设备2当前是非活动的(例如，并且当前未正在执行导航应用)时用户希望暂停导航路线可能是不太可能的。
如触发器100B中所示，场境音频触发器104N可以被启用。这可能是因为场境音频触发器104N与“汽车”和“非活动”场境类别值相关联。也就是说，当在汽车中行进时，并且同时计算设备2是非活动的时，用户可能希望提供音频输入以使导航或地图应用提供到所指示的目的地的路线指引可能是有可能的。
在图4的示例中，音频触发器模块12可以与UI模块6通信以使UI设备4输出可用场境音频触发器的图形指示以供显示，作为GUI 120的一部分。GUI 120包括场境触发器表示122和默认触发器表示124A和124B(统称为“默认触发器表示124”)。场境触发器表示122可以对应于场境音频触发器104N并且默认触发器表示124A和124B可以分别对应于默认音频触发器102A和102B。场境触发器表示122和默认触发器表示124的显示可以帮助用户了解在各种场境中的可用音频触发器。也就是说，通过向用户输出至少一个可用音频触发器的图形指示，本公开的技术可以使用户更容易了解和/或使用场境音频触发器。
在一些示例中，计算设备2的一个或多个部件可以响应于确定场境音频触发器而输出可用音频触发器的图形指示(例如以供显示)。在其他示例中，计算设备2可以响应于确定用户正在看或以其他方式注意显示设备而输出可用音频触发器的图形指示。例如，计算设备2可以响应于确定用户正在与UI设备4交互而显示可用场境音频触发器的图形指示。作为另一示例，计算设备2可以包括照相机或其他光传感器(未示出)。UI模块6可以从光传感器接收包括用户正在关注什么的指示(例如通过跟踪眼睛移动或通过各种其他方法)的信息。UI模块6可以将信息的至少一部分发送到音频触发器模块12，并且音频触发器模块12可以确定用户是否正在看或注意UI设备4。响应于确定用户正在看UI设备4，音频触发器模块12可以向UI模块6发送可用音频触发器的指示以供在UI设备4处显示(例如作为GUI的一部分)。
图5是示出根据本公开的一种或多种技术的输出图形内容以供在远程设备处显示的示例计算设备的概念图。图形内容通常可以包括可以输出以供显示的任何视觉信息，诸如文本、图像、一组移动图像等。图5中所示的示例包括计算设备160、存在敏感显示器164、通信单元170、投影仪180、投影仪屏幕182、移动设备186和视觉显示设备190。虽然为了图1和2中的示例的目的被示为独立的计算设备2，但计算设备诸如计算设备160通常可以是包括处理器或用于执行软件指令的其他合适的计算环境并且例如不必包括存在敏感显示器的任何部件或系统。
如图5的示例中所示，计算设备160可以是包括如关于图2中的处理器40所描述的功能的处理器。在这样的示例中，计算设备160可以通过通信信道162A可操作地耦合到存在敏感显示器164，该通信信道可以是系统总线或其他合适的连接。计算设备160还可以通过通信信道162B可操作地耦合到通信单元170，下面进一步描述，该通信信道也可以是系统总线或其他合适的连接。虽然在图5中被单独地示为示例，但计算设备160可以通过任何数量的一个或多个通信信道可操作地耦合到存在敏感显示器164和通信单元170。
在其他示例中，诸如图1至图2中的计算设备2先前所示，计算设备可以指便携式或移动设备，诸如移动电话(包括智能电话)、膝上型计算机等。在一些示例中，计算设备可以是台式计算机、平板计算机、智能电视平台、照相机、个人数字助理(PDA)、服务器、大型机等。
存在敏感显示器164可以表示图1至图4的UI设备4的一个示例。如图5中所示，存在敏感显示器164包括显示设备166和存在敏感输入设备168。显示设备166可以例如从计算设备160接收数据并且显示图形内容。在一些示例中，存在敏感输入设备168可以使用电容、电感和/或光学识别技术来确定存在敏感显示器164处的一个或多个用户输入(例如连续的手势、多点触摸手势、单点触摸手势等)并且使用通信信道162A将这样的用户输入的指示发送到计算设备160。在一些示例中，存在敏感输入设备168可以被物理定位在显示设备166的顶部，使得当用户在显示设备166所显示的图形元素上定位输入单元时，存在敏感输入设备168的位置对应于在其上显示该图形元素的显示设备166的位置。在其他示例中，存在敏感输入设备168可在物理上远离显示设备166定位，并且存在敏感输入设备168的位置可以对应于显示设备166的位置，使得可以在存在敏感输入设备168处进行输入以与显示设备166的对应位置处所显示的图形元素进行交互。
如图5中所示，计算设备160还可以包括通信单元170和/或与通信单元170可操作地耦合。通信单元170可以包括与如在图2中所描述的通信单元46的功能类似的功能。通信单元170的示例可以包括网络接口卡、以太网卡、光学收发器、射频收发器或可以发送和接收信息的任何其他类型的设备。这样的通信单元的其他示例可以包括蓝牙、3G和WiFi无线电、通用串行总线(USB)接口等。计算设备160还可以包括为了简洁和说明的目的未在图5中示出的一个或多个其他设备和/或与其可操作地耦合，例如输入设备、输出设备、存储器、存储设备等。
图5还图示出了投影仪180和投影仪屏幕182。投影设备的其他这样的示例可以包括电子白板、全息显示设备和用于显示图形内容的任何其他合适的设备。投影仪180和投影仪屏幕182可以包括使得相应的设备能够与计算设备160进行通信的一个或多个通信单元。在一些示例中，所述一个或多个通信单元可以实现投影仪180和投影仪屏幕182之间的通信。投影仪180可以从计算设备160接收包括图形内容的数据。投影仪180响应于接收到数据而可以将图形内容投射到投影仪屏幕182上。在一些示例中，投影仪180可以使用光学识别或其他合适的技术来确定投影仪屏幕处的一个或多个用户输入(例如连续的手势、多点触摸手势、单点触摸手势等)并且使用一个或多个通信单元将这样的用户输入的指示发送到计算设备160。在这样的示例中，投影仪屏幕182可以是不必要的，并且投影仪180可以在任何合适的介质上投射图形内容并且使用光学识别或其他此类合适的技术检测一个或多个用户输入。
在一些示例中，投影仪屏幕182可以包括存在敏感显示器184。存在敏感显示器184可以包括如在本公开中所描述的UI设备4的功能的子集或所有的功能。在一些示例中，存在敏感显示器184可以包括附加的功能。投影仪屏幕182(例如电子白板)可以从计算设备160接收数据并且显示图形内容。在一些示例中，存在敏感显示器184可以使用电容、电感和/或光学识别技术来确定投影仪屏幕182处的一个或多个用户输入(例如连续的手势、多点触摸手势、单点触摸手势等)并且使用一个或多个通信单元将这样的用户输入的指示发送到计算设备160。
图5还图示出了移动设备186和视觉显示设备190。移动设备186和视觉显示设备190可以各自包括计算和连接功能。移动设备186的示例可以包括电子阅读器设备、可转换笔记本设备、混合平板设备、可穿戴计算设备等。视觉显示设备190的示例可以包括其他半固定设备，诸如电视机、计算机监视器等。如图5中所示，移动设备186可以包括存在敏感显示器188。视觉显示设备190可以包括存在敏感显示器192。存在敏感显示器188、192可以包括如在本公开中所描述的UI设备4的功能的子集或所有的功能。在一些示例中，存在敏感显示器188、192可以包括附加的功能。在任何情况下，存在敏感显示器192例如可以从计算设备160接收数据并且显示图形内容。在一些示例中，存在敏感显示器192可以使用电容、电感和/或光学识别技术来确定投影仪屏幕处的一个或多个用户输入(例如连续的手势、多点触摸手势、单点触摸手势等)并且使用一个或多个通信单元将这样的用户输入的指示发送到计算设备160。
如上所述，在一些示例中，计算设备160可以输出图形内容以供在通过系统总线或其他合适的通信信道耦合到计算设备160的存在敏感显示器164处显示。计算设备160还可以输出图形内容以供在一个或多个远程设备诸如投影仪180、投影仪屏幕182、移动设备186和视觉显示设备190处显示。例如，根据本公开的技术，计算设备160可以执行一个或多个指令以生成和/或修改图形内容。计算设备160可以将包括图形内容的数据输出到计算设备160的通信单元诸如通信单元170。通信单元170可以将数据发送到远程设备诸如投影仪180、投影仪屏幕182、移动设备186和/或视觉显示设备190中的一个或多个远程设备。以这种方式，计算设备160可以输出图形内容以供在远程设备中的一个或多个远程设备处显示。在一些示例中，远程设备中的一个或多个远程设备可以在包括在相应远程设备中和/或可操作地耦合到相应远程设备的存在敏感显示器处输出图形内容。
在一些示例中，计算设备160可以不在可操作地耦合到计算设备160的存在敏感显示器164处输出图形内容。在其他示例中，计算设备160可以输出图形内容以供在通过通信信道162A耦合到计算设备160的存在敏感显示器164和一个或多个远程设备两者处显示。在这样的示例中，图形内容可以基本上同时地在每个相应的设备处显示。例如，将包括图形内容的数据发送到远程设备的通信延迟可能会引入一些延迟。在一些示例中，由计算设备160生成并且输出以供在存在敏感显示器164处显示的图形内容可以与输出以供在一个或多个远程设备处显示的图形内容显示不同。
计算设备160可以使用任何合适的通信技术发送和接收数据。例如，计算设备160可以使用网络链路172A可操作地耦合到外部网络174。图5中所示的远程设备中的每个远程设备可以通过相应网络链路172B、172C和172D的一个网络链路可操作地耦合到网络外部网络174。外部网络174可以包括可操作地间耦合从而提供计算设备160和图5中所示的远程设备之间的信息交换的网络集线器、网络交换机、网络路由器等。在一些示例中，网络链路172A至172D可以是以太网、ATM或其他网络连接。这样的连接可以是无线和/或有线连接。
在一些示例中，计算设备160可以使用直接设备通信178可操作地耦合到包括在图5中的远程设备中的一个或多个远程设备。直接设备通信178可以包括计算设备160通过其使用有线或无线通信直接与远程设备发送和接收数据的通信。也就是说，在直接设备通信178的一些示例中，由计算设备160发送的数据在远程设备处接收之前可以不由一个或多个附加设备转发，反之亦然。直接设备通信178的示例可以包括蓝牙、近场通信、通用串行总线、WiFi、红外线等。图5中所示的远程设备中的一个或多个远程设备可以通过通信链路176A至176D与计算设备160可操作地耦合。在一些示例中，通信链路176A至176D可以是使用蓝牙、近场通信、通用串行总线、红外线等的连接。这样的连接可以是无线和/或有线连接。
在一个示例中，计算设备160可以使用直接设备通信178可操作地耦合到移动设备186。例如，计算设备160可以是经由蓝牙连接与可穿戴计算设备配对的智能手机。根据本公开的技术，计算设备160可以确定场境音频触发器。在一些示例中，计算设备160可以输出一个或多个场境音频触发器的图形指示以供在存在敏感显示器188处显示(例如作为GUI的一部分)。例如，计算设备160可以将包括场境音频触发器的表示的数据发送到通信单元170。通信单元170可以使用直接设备通信178将包括场境音频触发器的表示的数据发送到视觉显示设备190。移动设备186响应于使用直接设备通信178接收到该数据而可以使存在敏感显示器188输出至少一个场境音频触发器的图形指示。
在一些示例中，计算设备160可以响应于接收到用户当前正在与显示设备进行交互(例如观看显示设备、在存在敏感显示设备处提供输入等)的指示而输出场境音频触发器的图形指示以供在显示设备处显示。例如，计算设备160可以从移动设备186接收指示用户当前正在看存在敏感显示器188的信息。在一些示例中，该指示可以包括来自传感器诸如面部识别传感器、加速计或其他传感器的信息。在其他示例中，该指示可以包括来自存在敏感显示器188本身的信息。在任何情况下，计算设备160可以是可操作的以在包括在与计算设备160相同的壳体内的显示设备以及远程显示设备在内的各种显示设备处显示已启用场境音频触发器的图形表示。这种灵活性可以允许用户更容易地观看已启用场境音频触发器的图形表示并且了解在各种场境中哪些场境音频触发器可用。
图6是图示出根据本公开的一种或多种技术的具有场境音频触发器的计算设备的示例操作的流程图。仅为了说明的目的，下面在图1和图2的上下文中对图6的示例操作进行描述。
在图6的示例中，计算设备2(例如音频触发器模块12)可以确定计算设备2的场境(250)。场境可以包括正在计算设备处执行的应用和计算设备的位置中的至少一个的指示。至少部分地基于场境，计算设备2可以确定可用以发起与计算设备的交互的一个或多个场境音频触发器(252)。所述一个或多个场境音频触发器中的每个场境音频触发器可以与计算设备的相应操作相关联。
在图6的示例中，计算设备2可以接收音频数据(例如(254)。计算设备2可以确定音频数据是否对应于场境音频触发器中的任何场境音频触发器(256)。响应于确定音频数据的一部分不对应于特定场境音频触发器(操作256的否分支)，计算设备2可以继续接收音频数据和/或执行与本公开无关的一个或多个操作。响应于确定音频数据的该部分对应于该特定场境音频触发器(操作256的是分支)，计算设备2可以执行与该特定场境音频触发器相关联的相应操作(258)。
可以进一步通过下面的示例中的一个或多个示例来描述图6的示例操作。
示例1.一种方法，包括：由计算设备确定所述计算设备的场境，所述场境包括正在所述计算设备处执行的应用和所述计算设备的位置中的至少一个的指示；由所述计算设备至少部分地基于所述场境来确定能被用以发起与所述计算设备的交互的一个或多个场境音频触发器，所述一个或多个场境音频触发器中的每个场境音频触发器与所述计算设备的相应操作相关联；由所述计算设备接收音频数据；以及响应于确定所述音频数据的一部分对应于来自所述一个或多个场境音频触发器的特定场境音频触发器，由所述计算设备执行与所述特定场境音频触发器相关联的相应操作。
示例2.如示例1所述的方法，进一步包括：响应于确定所述音频数据的所述部分不对应于所述特定场境音频触发器，确定所述音频数据的所述部分是否对应于默认音频触发器；以及响应于确定所述音频数据的所述部分对应于所述默认音频触发器，进入音频输入模式。
示例3.如示例1至2中任一项所述的方法，其中，确定所述一个或多个场境音频触发器包括：由所述计算设备向计算系统发送至少所述场境的指示；以及由所述计算设备并且从所述计算系统接收至少一个候选音频命令的指示，其中，所述至少一个候选音频命令先前在所述场境中至少以阈值频率被使用。
示例4.如示例1至3中任一项所述的方法，其中，所述场境包括正在所述计算设备处执行的所述应用的所述指示，并且其中，所述一个或多个场境音频触发器中的每个场境音频触发器对应于由正在所述计算设备处执行的所述应用执行的相应操作。
示例5.如示例1至4中任一项所述的方法，其中，所述场境包括正在所述计算设备处执行的所述应用的所述指示，其中，正在所述计算设备处执行的所述应用包括闹钟应用，并且其中，所述一个或多个音频触发器中的至少一个音频触发器对应于以下中的一个或多个：安排报警通知的时间、关闭所述报警通知和推迟所述报警通知。
示例6.如示例1至4中任一项所述的方法，其中，所述场境包括正在所述计算设备处执行的所述应用的所述指示，其中，正在所述计算设备处执行的所述应用包括导航应用，并且其中，所述一个或多个音频触发器中的至少一个音频触发器对应于以下中的一个或多个：创建导航路线、移除所述导航路线、暂停所述导航路线、前进到所述导航路线的下一个指令、倒退到所述导航路线的前一个指令、向所述导航路线添加目的地和从所述导航路线移除所述目的地。
示例7.如示例1至6中任一项所述的方法，其中，所述场境进一步包括以下中的至少一个的指示：所述计算设备正在行进的速度、日内时间、在所述计算设备处最近输出的警报、在所述计算设备处最近输出的通知和所述计算设备与一个或多个其他设备的接近。
示例8.如示例1至7中任一项所述的方法，其中，所述计算设备包括第一计算设备；其中，所述场境进一步包括第二计算设备是否接近所述第一计算设备的指示；并且其中，所述一个或多个场境音频触发器中的一个场境音频触发器对应于使所述第二计算设备执行第二操作的第一操作。
示例9.如示例8所述的方法，其中，所述第二操作包括解锁可操作地耦合到所述第二计算设备的锁。
示例10.一种计算设备，包括：至少一个处理器；以及至少一个模块，所述至少一个模块可由所述至少一个处理器操作以：确定所述计算设备的场境，所述场境包括正在所述计算设备处执行的应用和所述计算设备的位置中的至少一个的指示；至少部分地基于所述场境来确定能被用以发起与所述计算设备的交互的一个或多个场境音频触发器，所述一个或多个场境音频触发器中的每个场境音频触发器与所述计算设备的相应操作相关联；接收音频数据；并且响应于确定所述音频数据的一部分对应于来自所述一个或多个场境音频触发器的特定场境音频触发器，执行与所述特定场境音频触发器相关联的相应操作。
示例11.如示例10所述的计算设备，其中，所述至少一个模块可由所述至少一个处理器进一步操作以：响应于确定所述音频数据的所述部分不对应于所述特定场境音频触发器，确定所述音频数据的所述部分是否对应于默认音频触发器；并且响应于确定所述音频数据的所述部分对应于所述默认音频触发器，进入音频输入模式。
示例12.如示例10至11中任一项所述的计算设备，其中，可操作以确定所述一个或多个场境音频触发器的所述至少一个模块可由所述至少一个处理器操作以：向计算系统发送至少所述场境的指示；并且从所述计算系统接收至少一个候选音频命令的指示，其中，所述至少一个候选音频命令先前在所述场境中至少以阈值频率被使用。
示例13.如示例10至12中任一项所述的计算设备，其中，所述场境包括正在所述计算设备处执行的所述应用的所述指示，并且其中，所述一个或多个场境音频触发器中的每个场境音频触发器对应于由正在所述计算设备处执行的所述应用执行的相应操作。
示例14.如示例10至13中任一项所述的计算设备，其中，所述场境包括正在所述计算设备处执行的所述应用的所述指示，其中，正在所述计算设备处执行的所述应用包括闹钟应用，并且其中，所述一个或多个音频触发器中的至少一个音频触发器对应于以下中的一个或多个：安排报警通知的时间、关闭所述报警通知和推迟所述报警通知。
示例15.如示例10至13中任一项所述的计算设备，其中，所述场境包括正在所述计算设备处执行的所述应用的所述指示，其中，正在所述计算设备处执行的所述应用包括导航应用，并且其中，所述一个或多个音频触发器中的至少一个音频触发器对应于以下中的一个或多个：创建导航路线、移除所述导航路线、暂停所述导航路线、前进到所述导航路线的下一个指令、倒退到所述导航路线的前一个指令、向所述导航路线添加目的地和从所述导航路线移除所述目的地。
示例16.如示例10至15中任一项所述的计算设备，其中，所述场境进一步包括以下中的至少一个的指示：所述计算设备正在行进的速度、日内时间、在所述计算设备处最近输出的警报、在所述计算设备处最近输出的通知和所述计算设备与一个或多个其他设备的接近。
示例17.如示例10至16中任一项所述的计算设备，其中，所述计算设备包括：第一计算设备，其中，所述场境进一步包括第二计算设备是否是接近所述第一计算设备的指示，并且其中，所述一个或多个场境音频触发器中的一个场境音频触发器对应于使所述第二计算设备执行第二操作的第一操作。
示例18.一种编码有指令的计算机可读存储介质，所述指令在被执行时使至少一个处理器：确定所述计算设备的场境，所述场境包括正在所述计算设备处执行的应用和所述计算设备的位置中的至少一个的指示；至少部分地基于所述场境来确定能被用以发起与所述计算设备的交互的一个或多个场境音频触发器，所述一个或多个场境音频触发器中的每个场境音频触发器与所述计算设备的相应操作相关联，接收音频数据；以及响应于确定所述音频数据的一部分对应于来自所述一个或多个场境音频触发器的特定场境音频触发器，执行与所述特定场境音频触发器相关联的相应操作。
示例19.如示例18所述的计算机可读存储介质，其进一步编码有指令，所述指令在被执行时使所述至少一个处理器：响应于确定所述音频数据的所述部分不对应于所述特定场境音频触发器，确定所述音频数据的所述部分是否对应于默认音频触发器；以及响应于确定所述音频数据的所述部分对应于所述默认音频触发器，进入音频输入模式。
示例20.如示例18至19中任一项所述的计算机可读存储介质，其中，使所述至少一个处理器确定所述一个或多个场境音频触发器的所述指令包括：使所述至少一个处理器至少部分地基于先前在所述场境中使用所述一个或多个场境音频触发器的频率来确定所述一个或多个场境音频触发器的指令。
示例21.一种计算设备，包括用于执行如示例1至9中任一项所述的方法的装置。
示例22.一种编码有指令的计算机可读存储介质，所述指令在被执行时使至少一个处理器执行如示例1至9中任一项所述的方法。
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或作为一个或多个指令或代码通过计算机可读介质传送并且由基于硬件的处理单元执行。计算机可读介质可以包括对应于有形介质诸如数据存储介质的计算机可读存储介质或包括便于计算机程序例如根据通信协议从一个地方到另一个地方的转移的任何介质的通信介质。以这种方式，计算机可读介质通常可以对应于：(1)有形计算机可读存储介质，其为非暂时性的；或(2)通信介质，诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器进行访问以检索指令、代码和/或数据结构以实现本公开中所描述的技术的任何可用介质。计算机程序产品可以包括计算机可读存储介质。
通过举例而非限制的方式，这样的计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、闪存或者可以用于存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他介质。此外，任何连接被适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术诸如红外、无线电和微波从网站、服务器或其他远程源传送的，则该同轴电缆、该光纤电缆、该双绞线、该DSL或无线技术诸如红外、无线电和微波也包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬时介质，而是涉及非瞬时的有形的存储介质。如本文中所使用的，磁盘和光盘包括压缩光盘(CD)、激光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述的组合也应包括在计算机可读介质的范围之内。
指令可以由一个或多个处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路执行。因此，如本文中所使用的术语“处理器”可以指前述结构或适合于实现本文中所描述的技术的任何其他结构中的任何一个。另外，在一些方面中，本文中所描述的功能可以在专用硬件和/或软件模块中提供。此外，所述技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在各种设备或装置中实现，包括无线手机、集成电路(IC)或一组IC(例如芯片组)。在本公开中对各种部件、模块或单元进行了描述以强调被配置成执行所公开的技术的设备的功能性方面，但并不一定需要由不同硬件单元实现。反而，如上所述，各种单元可以在硬件单元中组合或结合合适的软件和/或固件由互操作硬件单元的集合提供，包括如上所述的一个或多个处理器。
已经对各种示例进行了描述。这些和其他示例在所附权利要求的范围之内。

Claims (13)

1.一种利用音频输入触发操作的方法，包括：
由第一计算设备确定所述第一计算设备的场境，所述场境包括第二计算设备接近所述第一计算设备的指示；
由所述第一计算设备至少部分地基于所述场境来在多个场境音频触发器中确定场境音频触发器子集，所述多个场境音频触发器中的每个场境音频触发器能被用以发起与所述第一计算设备的交互，其中所述场境音频触发器子集中的每个场境音频触发器与所述第一计算设备的相应操作相关联并且与所述第一计算设备的场境相关联，并且其中所述场境音频触发器子集中的一个场境音频触发器与使得所述第二计算设备执行第二操作的第一操作相关联；
由所述第一计算设备接收音频数据；以及
响应于确定所述音频数据的一部分对应于所述场境音频触发器子集中的特定场境音频触发器，由所述第一计算设备执行与所述特定场境音频触发器相关联的相应操作。
2.如权利要求1所述的方法，进一步包括：
响应于确定所述音频数据的所述部分不对应于所述场境音频触发器子集中的任一场境音频触发器，确定所述音频数据的所述部分是否对应于能被用以发起与所述第一计算设备的交互的默认音频触发器；以及
响应于确定所述音频数据的所述部分对应于所述默认音频触发器，进入音频输入模式。
3.如权利要求1所述的方法，其中，确定所述场境音频触发器子集包括：
由所述第一计算设备向计算系统发送至少所述场境的指示；以及
由所述第一计算设备从所述计算系统接收至少一个候选音频命令的指示，其中，所述至少一个候选音频命令先前在所述场境中至少以阈值频率被使用。
4.如权利要求1所述的方法，
其中，所述场境包括正在所述第一计算设备处执行的应用的指示，并且
其中，所述场境音频触发器子集中的每个场境音频触发器与由正在所述第一计算设备处执行的所述应用执行的相应操作相关联。
5.如权利要求1所述的方法，
其中，所述场境包括正在所述第一计算设备处执行的应用的指示，
其中，正在所述第一计算设备处执行的所述应用包括闹钟应用，并且
其中，所述音频触发器子集中的至少一个音频触发器与以下中的一个或多个相关联：安排报警通知的时间、关闭所述报警通知或者推迟所述报警通知。
6.如权利要求1所述的方法，
其中，所述场境包括正在所述第二计算设备处执行的应用的指示，
其中，正在所述第二计算设备处执行的所述应用包括导航应用，并且
其中，所述场境音频触发器中的至少一个场境音频触发器与用以使所述第二计算设备执行以下中的一个或多个的操作相关联：创建导航路线、移除所述导航路线、暂停所述导航路线、前进到所述导航路线的下一个指令、倒退到所述导航路线的前一个指令、向所述导航路线添加目的地或者从所述导航路线移除所述目的地。
7.如权利要求1所述的方法，其中，所述场境进一步包括以下中的至少一个的指示：所述第一计算设备正在行进的速度、日内时间、在所述第一计算设备处最近输出的警报、在所述第一计算设备处最近输出的通知、在所述第一计算设备处执行的应用、或者更多其它设备。
8.如权利要求1所述的方法，其中，所述第二操作包括解锁可操作地耦合到所述第二计算设备的锁。
9.一种第一计算设备，包括：
至少一个处理器；以及
至少一个模块，所述至少一个模块可由所述至少一个处理器操作以：
确定所述第一计算设备的场境，所述场境包括第二计算设备接近所述第一计算设备的指示；
至少部分地基于所述场境来从多个场境音频触发器中确定场境音频触发器子集，所述多个场境音频触发器中的每个场境音频触发器能被用以发起与所述第一计算设备的交互，其中所述场境音频触发器子集中的每个场境音频触发器与所述第一计算设备的相应操作相关联并且与所述第一计算设备的场境相关联，并且其中所述场境音频触发器子集中的一个场境音频触发器与使得所述第二计算设备执行第二操作的第一操作相关联；
接收音频数据；并且
响应于确定所述音频数据的一部分对应于来自所述场境音频触发器子集的特定场境音频触发器，执行与所述特定场境音频触发器相关联的相应操作。
10.如权利要求9所述的第一计算设备，其中，所述至少一个模块可由所述至少一个处理器进一步操作以：
响应于确定所述音频数据的所述部分不对应于所述场境音频触发器子集中的任一场境音频触发器，确定所述音频数据的所述部分是否对应于默认音频触发器；并且
响应于确定所述音频数据的所述部分对应于所述默认音频触发器，进入音频输入模式。
11.如权利要求9所述的第一计算设备，其中，可操作以确定所述场境音频触发器子集的所述至少一个模块可由所述至少一个处理器操作以：
向计算系统发送至少所述场境的指示；并且
从所述计算系统接收至少一个候选音频命令的指示，其中，所述至少一个候选音频命令先前在所述场境中至少以阈值频率被使用。
12.如权利要求9所述的第一计算设备，
其中，所述场境包括正在所述第一计算设备处执行的应用的指示，并且
其中，所述场境音频触发器子集中的每个场境音频触发器与由正在所述第一计算设备处执行的所述应用执行的相应操作相关联。
13.如权利要求9所述的第一计算设备，进一步包括用于执行如权利要求1至8中任一项所述的方法的装置。
CN201580007992.3A 2014-01-09 2015-01-09 基于场境的音频触发器 Active CN106030506B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/151,500 2014-01-09
US14/151,500 US8938394B1 (en) 2014-01-09 2014-01-09 Audio triggers based on context
PCT/US2015/010866 WO2015106134A1 (en) 2014-01-09 2015-01-09 Audio triggers based on context

Publications (2)

Publication Number Publication Date
CN106030506A CN106030506A (zh) 2016-10-12
CN106030506B true CN106030506B (zh) 2019-07-26

Family

ID=52301741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580007992.3A Active CN106030506B (zh) 2014-01-09 2015-01-09 基于场境的音频触发器

Country Status (4)

Country Link
US (1) US8938394B1 (zh)
EP (2) EP3092555B1 (zh)
CN (1) CN106030506B (zh)
WO (1) WO2015106134A1 (zh)

Families Citing this family (268)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9495962B2 (en) * 2011-09-19 2016-11-15 Personetics Technologies Ltd. System and method for evaluating intent of a human partner to a dialogue between human user and computerized system
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
KR102070196B1 (ko) * 2012-09-20 2020-01-30 삼성전자 주식회사 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
WO2014200728A1 (en) 2013-06-09 2014-12-18 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US9508345B1 (en) 2013-09-24 2016-11-29 Knowles Electronics, Llc Continuous voice sensing
US20150128051A1 (en) * 2013-11-01 2015-05-07 Google Inc. User-configurable delivery of informational events
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9953634B1 (en) 2013-12-17 2018-04-24 Knowles Electronics, Llc Passive training for automatic speech recognition
US9437188B1 (en) 2014-03-28 2016-09-06 Knowles Electronics, Llc Buffered reprocessing for multi-microphone automatic speech recognition assist
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9257120B1 (en) 2014-07-18 2016-02-09 Google Inc. Speaker verification using co-location information
US11942095B2 (en) 2014-07-18 2024-03-26 Google Llc Speaker verification using co-location information
US11676608B2 (en) 2021-04-02 2023-06-13 Google Llc Speaker verification using co-location information
KR102156223B1 (ko) 2014-08-02 2020-09-15 애플 인크. 상황 특정 사용자 인터페이스
US9911398B1 (en) 2014-08-06 2018-03-06 Amazon Technologies, Inc. Variable density content display
US9794511B1 (en) 2014-08-06 2017-10-17 Amazon Technologies, Inc. Automatically staged video conversations
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) * 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
JP6671379B2 (ja) * 2014-10-01 2020-03-25 エクスブレイン・インコーポレーテッド 音声および接続プラットフォーム
US9318107B1 (en) 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9424841B2 (en) 2014-10-09 2016-08-23 Google Inc. Hotword detection on multiple devices
DE112016000308T5 (de) * 2015-01-09 2017-10-19 Harman International Industries, Incorporated Techniken zum Einstellen des Detaillierungsgrads von Fahranweisungen
US9740467B2 (en) 2015-02-17 2017-08-22 Amazon Technologies, Inc. Context sensitive framework for providing data from relevant applications
US10684866B2 (en) * 2015-02-17 2020-06-16 Amazon Technologies, Inc. Context sensitive framework for providing data from relevant applications
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
WO2016144385A1 (en) 2015-03-08 2016-09-15 Apple Inc. Sharing user-configurable graphical constructs
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US9451391B1 (en) 2015-05-20 2016-09-20 Ebay Inc. Wireless device pairing management
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9819905B1 (en) * 2015-05-28 2017-11-14 Amazon Technologies, Inc. Video communication sessions between whitelisted devices
US20160357354A1 (en) * 2015-06-04 2016-12-08 Apple Inc. Condition-based activation of a user interface
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
EP3337583B1 (en) 2015-08-20 2024-01-17 Apple Inc. Exercise-based watch face
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
WO2017042906A1 (ja) * 2015-09-09 2017-03-16 三菱電機株式会社 車載用音声認識装置および車載機器
KR20170032114A (ko) * 2015-09-14 2017-03-22 삼성전자주식회사 음성 인식 장치 및 그의 제어방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US20170148438A1 (en) * 2015-11-20 2017-05-25 Conexant Systems, Inc. Input/output mode control for audio processing
US11929088B2 (en) 2015-11-20 2024-03-12 Synaptics Incorporated Input/output mode control for audio processing
US9946862B2 (en) * 2015-12-01 2018-04-17 Qualcomm Incorporated Electronic device generating notification based on context data in response to speech phrase from user
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9740751B1 (en) * 2016-02-18 2017-08-22 Google Inc. Application keywords
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10097939B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Compensation for speaker nonlinearities
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9779735B2 (en) 2016-02-24 2017-10-03 Google Inc. Methods and systems for detecting and processing speech signals
CN105957530B (zh) 2016-04-28 2020-01-03 海信集团有限公司 一种语音控制方法、装置和终端设备
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049670B2 (en) * 2016-06-06 2018-08-14 Google Llc Providing voice action discoverability example for trigger term
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10621992B2 (en) 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9972320B2 (en) 2016-08-24 2018-05-15 Google Llc Hotword detection on multiple devices
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
JP6616048B1 (ja) 2016-11-07 2019-12-04 グーグル エルエルシー 記録されたメディアホットワードトリガ抑制
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10276161B2 (en) * 2016-12-27 2019-04-30 Google Llc Contextual hotwords
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10074371B1 (en) * 2017-03-14 2018-09-11 Amazon Technologies, Inc. Voice control of remote device by disabling wakeword detection
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
KR102458805B1 (ko) 2017-04-20 2022-10-25 구글 엘엘씨 장치에 대한 다중 사용자 인증
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) * 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10664533B2 (en) * 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10395650B2 (en) 2017-06-05 2019-08-27 Google Llc Recorded media hotword trigger suppression
US10950228B1 (en) * 2017-06-28 2021-03-16 Amazon Technologies, Inc. Interactive voice controlled entertainment
CN107564517A (zh) * 2017-07-05 2018-01-09 百度在线网络技术（北京）有限公司 语音唤醒方法、设备及系统、云端服务器与可读介质
US10503467B2 (en) * 2017-07-13 2019-12-10 International Business Machines Corporation User interface sound emanation activity classification
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
CN107564518B (zh) * 2017-08-21 2021-10-22 百度在线网络技术（北京）有限公司 智能设备控制方法、装置及计算机设备
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10498685B2 (en) * 2017-11-20 2019-12-03 Google Llc Systems, methods, and apparatus for controlling provisioning of notifications based on sources of the notifications
US10102858B1 (en) 2017-11-29 2018-10-16 International Business Machines Corporation Dynamically changing audio keywords
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10948563B2 (en) * 2018-03-27 2021-03-16 Infineon Technologies Ag Radar enabled location based keyword activation for voice assistants
US10789940B2 (en) * 2018-03-27 2020-09-29 Lenovo (Singapore) Pte. Ltd. Dynamic wake word identification
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
CN108538298B (zh) * 2018-04-04 2021-05-04 科大讯飞股份有限公司 语音唤醒方法及装置
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US10963273B2 (en) 2018-04-20 2021-03-30 Facebook, Inc. Generating personalized content summaries for users
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11327650B2 (en) 2018-05-07 2022-05-10 Apple Inc. User interfaces having a collection of complications
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10692496B2 (en) 2018-05-22 2020-06-23 Google Llc Hotword suppression
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
JP2021144065A (ja) * 2018-06-12 2021-09-24 ソニーグループ株式会社 情報処理装置および情報処理方法
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
JP7055721B2 (ja) * 2018-08-27 2022-04-18 京セラ株式会社 音声認識機能を有する電子機器、その電子機器の制御方法およびプログラム
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
DE112018007847B4 (de) * 2018-08-31 2022-06-30 Mitsubishi Electric Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
US11301819B2 (en) 2018-09-07 2022-04-12 International Business Machines Corporation Opportunistic multi-party reminders based on sensory data
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11100925B2 (en) * 2018-12-06 2021-08-24 Comcast Cable Communications, Llc Voice command trigger words
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11131967B2 (en) 2019-05-06 2021-09-28 Apple Inc. Clock faces for an electronic device
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11340778B2 (en) 2019-05-06 2022-05-24 Apple Inc. Restricted operation of an electronic device
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11960701B2 (en) 2019-05-06 2024-04-16 Apple Inc. Using an illustration to show the passing of time
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11620103B2 (en) 2019-05-31 2023-04-04 Apple Inc. User interfaces for audio media control
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10852905B1 (en) 2019-09-09 2020-12-01 Apple Inc. Techniques for managing display usage
US11120790B2 (en) 2019-09-24 2021-09-14 Amazon Technologies, Inc. Multi-assistant natural language input processing
US11393477B2 (en) * 2019-09-24 2022-07-19 Amazon Technologies, Inc. Multi-assistant natural language input processing to determine a voice model for synthesized speech
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN112581969A (zh) * 2019-09-29 2021-03-30 百度在线网络技术（北京）有限公司 语音控制方法、装置、电子设备和可读存储介质
CN112581946A (zh) * 2019-09-29 2021-03-30 百度在线网络技术（北京）有限公司 语音控制方法、装置、电子设备和可读存储介质
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11302323B2 (en) * 2019-11-21 2022-04-12 International Business Machines Corporation Voice response delivery with acceptable interference and attention
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
DK202070624A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11372659B2 (en) 2020-05-11 2022-06-28 Apple Inc. User interfaces for managing user interface sharing
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
EP4133371A1 (en) 2020-05-11 2023-02-15 Apple Inc. User interfaces for managing user interface sharing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11694590B2 (en) 2020-12-21 2023-07-04 Apple Inc. Dynamic user interface with time indicator
US11720239B2 (en) 2021-01-07 2023-08-08 Apple Inc. Techniques for user interfaces related to an event
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11741957B2 (en) * 2021-06-17 2023-08-29 International Business Machines Corporation Chatbot with augmented reality based voice command navigation
US12021806B1 (en) 2021-09-21 2024-06-25 Apple Inc. Intelligent message delivery
US11922938B1 (en) 2021-11-22 2024-03-05 Amazon Technologies, Inc. Access to multiple virtual assistants

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317935A (zh) * 2008-12-30 2012-01-11 意大利电信股份公司 基于场境的通信服务

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020077830A1 (en) * 2000-12-19 2002-06-20 Nokia Corporation Method for activating context sensitive speech recognition in a terminal
US8781491B2 (en) * 2007-03-02 2014-07-15 Aegis Mobility, Inc. Management of mobile device communication sessions to reduce user distraction
US20080294798A1 (en) * 2007-05-23 2008-11-27 Lynch Thomas W Portable electronic device management
US8229403B2 (en) * 2007-09-27 2012-07-24 The Invention Science Fund I, Llc Context-appropriate answering responses for a mobile communications device
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8326637B2 (en) * 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
WO2011094940A1 (en) * 2010-02-04 2011-08-11 Nokia Corporation Method and apparatus for characterizing user behavior patterns from user interaction history
US8359020B2 (en) * 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
KR101556180B1 (ko) * 2011-08-25 2015-10-13 엘지전자 주식회사 이동 단말기, 차량에 부착된 영상표시장치 및 이들을 이용한 데이터 처리 방법
EP2575128A3 (en) * 2011-09-30 2013-08-14 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US8453058B1 (en) 2012-02-20 2013-05-28 Google Inc. Crowd-sourced audio shortcuts
US9582755B2 (en) * 2012-05-07 2017-02-28 Qualcomm Incorporated Aggregate context inferences using multiple context streams

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317935A (zh) * 2008-12-30 2012-01-11 意大利电信股份公司 基于场境的通信服务

Also Published As

Publication number Publication date
WO2015106134A1 (en) 2015-07-16
EP3092555B1 (en) 2019-12-25
CN106030506A (zh) 2016-10-12
EP3092555A1 (en) 2016-11-16
EP3640791A1 (en) 2020-04-22
US8938394B1 (en) 2015-01-20

Similar Documents

Publication Publication Date Title
CN106030506B (zh) 基于场境的音频触发器
US11265283B2 (en) Electronic device, server, and control method and location information providing method for the electronic device
CN104272709B (zh) 确定推断的上下文的方法和装置
CN106416318B (zh) 确定与邻近计算设备相关联的数据的方法、设备和系统
CN104737101B (zh) 具有力触发的非视觉响应的计算设备
KR101569470B1 (ko) 현재의 위치 또는 시간에 관한 정보의 제시
CN108701281A (zh) 上下文通知引擎
CN109844855A (zh) 任务的多重计算代理执行
CN106233312A (zh) 基于场境回复的自动动作
CN106471462A (zh) 写回到多个用户账户的车内共享屏幕系统
CN109804366A (zh) 虚拟助理的个性化
CN106133646A (zh) 基于生理参数确定用户对通知的响应
CN105144133A (zh) 对中断进行上下文相关处理
CN110244931A (zh) 用于音频输入监视的装置
CN104285427A (zh) 根据通过使不同数据源相关确定的上下文配置终端装置
CN105637813A (zh) 当将人员添加至会话时授予对对象的许可
US20140195968A1 (en) Inferring and acting on user intent
KR102079395B1 (ko) 사용자 위치기반 증강현실 컨텐츠 제공방법
CN105284099A (zh) 针对免提交互来自动调整用户界面
CN108351891A (zh) 基于计算装置的属性的信息排名
CN106164950A (zh) 对群组的跨客户端订阅
WO2015157487A1 (en) System utilizing location-based data and methods of its use
CN112752238B (zh) 基于使用场景提供信息服务的方法、设备和计算机存储介质
US20220390242A1 (en) Presenting Transit Alight Notifications
CN110383799A (zh) 信息处理终端以及自动响应方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant