CN110442319A - 对语音触发进行响应的竞争设备 - Google Patents

Abstract

本发明涉及对语音触发进行响应的竞争设备。在具有显示器和麦克风的第一电子设备上：使用第一麦克风来对音频输入进行采样；根据使用第一麦克风来对音频输入进行采样，向具有第二麦克风的第二电子设备发送停止指令，该第二电子设备在所述第一电子设备外部，其中该第二电子设备被配置为对使用第二麦克风所接收的音频输入进行响应，并且其中该停止指令指导第二电子设备放弃对使用第二麦克风所接收的音频输入进行响应，其中对使用第二麦克风所接收的音频输入进行响应包括提供可感知的输出。

Description

对语音触发进行响应的竞争设备

相关专利申请的交叉引用

本申请是国际申请日为2016年03月08、于2017年08月28日进入中 国国家阶段、中国国家申请号为201680012670.2、发明名称为“对语音触 发进行响应的竞争设备”的发明专利申请的分案申请。

本专利申请要求于2015年3月8日提交的标题为“COMPETING DEVICES RESPONDINGTO VOICE TRIGGERS”的美国临时专利申请序 列号62/129,922和于2015年8月31日提交的标题为“COMPETING DEVICES RESPONDING TO VOICE TRIGGERS”的美国非临时专利申请 序列号14/841,379的优先权。这些专利申请的内容据此全文以引用方式并 入本文。

本专利申请与以下共同未决的临时专利申请相关：于2011年1月10 日提交的标题为“INTELLIGENT AUTOMATED ASSISTANT”的美国专利 申请序列号12/987,982；以及于2014年7月18日提交的标题为“Raise Gesture Detection in a Device”的美国临时专利申请序列号62/026,532。这 些专利申请的内容据此以引用方式并入。

技术领域

本公开整体涉及计算机用户界面，并且更具体地涉及一种用于使用口 头输入在电子设备上触发服务和/或应用程序的技术。

背景技术

智能自动化助理(或虚拟助理)提供人类用户与电子设备之间的有利 界面。示例性虚拟助理允许用户使用口头形式和/或文本形式的自然语言来 与设备或系统进行交互。例如，用户可向电子设备提供包含用户请求的自 然语言输入。设备的虚拟助理从该输入解译用户意图，并将用户意图实施 为一个或多个任务。

一些电子设备被配置为通过对音频输入进行采样并确定经采样的音频 是否包括触发短语来触发虚拟助理。当提供此特征的多个设备在用户附近 时，用户对触发短语的单个口头发音可使得多个设备进行响应。用户很可 能期望一个设备进行响应，而这将使用户受多个响应影响，因此这种结果 可能是次优的。

发明内容

附近的设备彼此进行通信使得一些设备避免对用户的口头输入进行响 应将是很有帮助的。例如，一个设备可对用户的音频输入进行响应，同时 其他设备暂时避免这样做。

根据一些实施方案，一种方法包括：在具有显示器和麦克风的第一电 子设备处：使用第一麦克风来对音频输入进行采样；根据使用第一麦克风 来对音频输入进行采样，向具有第二麦克风的第二电子设备发送停止指 令，该第二电子设备在第一电子设备外部，其中该第二电子设备被配置为 对使用第二麦克风所接收的音频输入进行响应，并且其中该停止指令指导 第二电子设备放弃对使用第二麦克风所接收的音频输入进行响应，其中对使用第二麦克风所接收的音频输入进行响应包括提供可感知的输出。

根据一些实施方案，一种存储一个或多个程序的非暂态计算机可读存 储介质，该一个或多个程序包括指令，该指令当由具有显示器和第一麦克 风的第一电子设备执行时使得该第一电子设备：使用第一麦克风来对音频 输入进行采样；根据使用第一麦克风来对音频输入进行采样，向具有第二 麦克风的第二电子设备发送停止指令，该第二电子设备在第一电子设备外 部，其中该第二电子设备被配置为对使用第二麦克风所接收的音频输入进 行响应，并且其中该停止指令指导第二电子设备放弃对使用第二麦克风所 接收的音频输入进行响应，其中对使用第二麦克风所接收的音频输入进行 响应包括提供可感知的输出。

根据一些实施方案，电子设备包括：显示器；一个或多个处理器；存 储器；第一麦克风；和一个或多个程序，其中该一个或多个程序被存储在 存储器中并被配置为由一个或多个处理器执行，该一个或多个程序包括用 于进行以下操作的指令：使用第一麦克风来对音频输入进行采样；根据使 用第一麦克风来对音频输入进行采样，向具有第二麦克风的第二电子设备 发送停止指令，该第二电子设备在第一电子设备外部，其中该第二电子设 备被配置为对使用第二麦克风所接收的音频输入进行响应，并且其中该停 止指令指导第二电子设备放弃对使用第二麦克风所接收的音频输入进行响 应，其中对使用第二麦克风所接收的音频输入进行响应包括提供可感知的 输出。

根据一些实施方案，电子设备包括：用于使用第一麦克风来对音频输 入进行采样的装置；用于根据使用第一麦克风来对音频输入进行采样来向 具有第二麦克风的第二电子设备发送停止指令的装置，该第二电子设备在 第一电子设备外部，其中该第二电子设备被配置为对使用第二麦克风所接 收的音频输入进行响应，并且其中该停止指令指导第二电子设备放弃对使 用第二麦克风所接收的音频输入进行响应，其中对使用第二麦克风所接收 的音频输入进行响应包括提供可感知的输出。

根据一些实施方案，电子设备包括：显示器；第一麦克风；和耦接至 显示器、第一麦克风的处理单元，其中该处理单元被配置为：使用第一麦 克风来对音频输入进行采样；根据使用第一麦克风来对音频输入进行采 样，向具有第二麦克风的第二电子设备发送停止指令，该第二电子设备在 电子设备外部，其中该第二电子设备被配置为对使用第二麦克风所接收的 音频输入进行响应，并且其中该停止指令指导第二电子设备放弃对使用第 二麦克风所接收的音频输入进行响应，其中对使用第二麦克风所接收的音 频输入进行响应包括提供可感知的输出。

附图说明

为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体 实施方式，其中类似的附图标号在所有附图中指示对应的部分。

图1示出了根据一些实施方案的用于实现数字助理的系统和环境。

图2A示出了根据一些实施方案的用于实现数字助理的客户端侧部分 的用户设备。

图2B是示出了根据一些实施方案的用于事件处理的示例性部件的框 图。

图3示出了根据一些实施方案的实现数字助理的客户端侧部分的便携 式多功能设备。

图4是根据一些实施方案的具有显示器和触敏表面的示例性多功能设 备的框图。

图5A示出了根据一些实施方案的用于便携式多功能设备上的应用程 序的菜单的示例性用户界面。

图5B示出了根据一些实施方案的具有与显示器分开的触敏表面的多功 能设备的示例性用户界面。

图6A示出了根据一些实施方案的个人电子设备。

图6B是示出了根据一些实施方案的个人电子设备的框图。

图7A示出了根据一些实施方案的数字助理系统或服务器部分。

图7B示出了根据一些实施方案的图7A所示的数字助理的功能。

图7C示出了根据一些实施方案的知识本体的一部分。

图8A至图8F示出了根据一些实施方案的用于在电子设备之间进行转 换的示例性技术。

图9A至图9C是示出了根据一些实施方案的用于在电子设备之间进行 转换的过程的流程图。

图10是根据一些实施方案的电子设备的功能框图。

具体实施方式

在以下对本公开和实施方案的描述中将引用附图，在附图中以例示的 方式示出了可被实施的特定实施方案。应当理解，在不脱离本公开的范围 的情况下，可实施其他实施方案和示例并且可作出变化。

用于避免由于用户对口头触发的话语而来自多个电子设备的同时响应 的技术是期望的。这些技术有助于防止用户被用户界面输出淹没，并且通 常会提供更高质量的用户体验。此外，通过避免跨多个设备的冗余输出， 可节省处理器和电池电力，否则会造成浪费。

下面，图1、图2、图7A至图7B和图10描述了适于响应于口头输入 来控制其输出以避免同时响应的示例性计算设备。图8A至图8F示出了用 于在计算设备之间进行转换的示例性技术和用户界面。附图中的用户界面 还用于示出下文描述的过程，包括图9A至图9C中的过程。

尽管以下描述使用术语“第一”、“第二”等来描述各种元素，但这 些元素不应受术语的限制。这些术语只是用于将一个元素与另一元素区分 开。例如，第一输入可被命名为第二输入并且类似地第二输入可被命名为 第一输入，而不脱离各种所述示例的范围。第一输入和第二输入可都是输 出，并且在一些情况下可为独立且不同的输入。

在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示 例，而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书 中所使用的那样，单数形式“一个(“a”、“an”)”和“该”旨在也包 括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用 的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目 的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、 “including”、“comprises”和/或“comprising”)在本说明书中使用时是 指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排 除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或 其分组。

根据上下文，术语“如果”可被解释为意指“当...时”(“when”或 “upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文， 短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意 指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件] 时”或“响应于检测到[所陈述的条件或事件]”。

1.系统和环境

图1示出了根据各种示例的系统100的框图。在一些示例中，系统100 可实现数字助理。术语“数字助理”、“虚拟助理”、“智能自动化助 理”或“自动数字助理”可指解译口头形式和/或文本形式的自然语言输入 以推断用户意图并基于推断出的用户意图来执行动作的任何信息处理系 统。例如，为了根据推断出的用户意图来采取行动，系统可执行以下内容 中的一者或多者：利用被设计用于实现所推断出的用户意图的步骤和参数 来识别任务流；将来自推断出的用户意图的具体要求输入到任务流中；通 过调用程序、方法、服务、API等来执行任务流；以及生成对用户的听觉 (例如，语音)和/或视觉形式的输出响应。

具体地，数字助理可能够接受至少部分地为自然语言命令、请求、声 明、讲述和/或询问的形式的用户请求。通常，用户请求可寻求数字助理作 出信息性回答，或寻求数字助理执行任务。针对用户请求的令人满意的响 应可以是提供所请求的信息性回答、执行所请求的任务、或这两者的组 合。例如，用户可向数字助理提出问题，诸如“我现在在哪里？”基于用户 的当前位置，数字助理可回答“您在中央公园西门附近。”用户还可请求 执行任务，例如“请邀请我的朋友下周来参加我女朋友的生日聚会。”作 为响应，数字助理可通过讲出“好的，马上”来确认请求，并然后代表用 户将合适的日历邀请发送到用户的电子通讯录中列出的用户朋友中的每个 朋友。在执行所请求的任务期间，数字助理有时可在很长时间段内在涉及 多次信息交换的持续对话中与用户进行交互。存在与数字助理进行交互以请求信息或执行各种任务的许多其他方法。除提供言语响应并采取经编程 的动作之外，数字助理还可提供其他视觉形式或音频形式的响应，例如作 为文本、警报、音乐、视频、动画等。

如图1中所示，在一些示例中，数字助理可根据客户端-服务器模型来 实现。数字助理可包括在用户设备104上执行的客户端侧部分102(后文称 作“DA客户端102”)，以及在服务器系统108上执行的服务器侧部分 106(后文称作“DA服务器106”)。DA客户端102可通过一个或多个网 络110来与DA服务器106进行通信。DA客户端102可提供客户端侧功 能，诸如面向用户的输入和输出处理，以及与DA服务器106进行通信。 DA服务器106可为任意数量的DA客户端102提供服务器侧功能，该任意 数量的DA客户端102各自位于相应的用户设备104上。

在一些示例中，DA服务器106可包括面向客户端的I/O接口112、一 个或多个处理模块114、数据和模型116，以及至外部服务的I/O接口 118。面向客户端的I/O接口112可促进针对DA服务器106的面向客户端 的输入和输出处理。一个或多个处理模块114可利用数据和模型116来处 理语音输入，并基于自然语言输入来确定用户意图。此外，一个或多个处理模块114基于推断出的用户意图来进行任务执行。在一些示例中，DA服 务器106可通过一个或多个网络110来与外部服务120进行通信，以完成 任务或采集信息。至外部服务的I/O接口118可促进此类通信。

用户设备104可以是任何合适的电子设备。例如，用户设备可以是便 携式多功能设备(例如下面参考图2A描述的设备200)、多功能设备(例 如下面参考图4描述的设备400)、或个人电子设备(例如下面参考图6A- B描述的设备600)。便携式多功能设备可以是例如还包含诸如PDA和/或 音乐播放器功能的其他功能的移动电话。便携式多功能设备的特定示例可 包括来自Apple Inc.(Cupertino,California)的设备、iPod设 备、和设备。便携式多功能设备的其他示例可包括但不限于膝上型电 脑或平板电脑。此外，在一些示例中，用户设备104可以是非便携式多功 能设备。具体地，用户设备104可以是台式计算机、游戏机、电视、或电 视机顶盒。在一些示例中，用户设备104可包括触敏表面(例如，触摸屏 显示器和/或触摸板)。此外，用户设备104可任选地包括一个或多个其他 物理用户接口设备，诸如物理键盘、鼠标、和/或操纵杆。下文更详细地描 述了电子设备诸如多功能设备的各种示例。

一个或多个通信网络110的示例可包括局域网(LAN)和广域网 (WAN)，例如互联网。一个或多个通信网络110可使用任何已知的网络协 议来实现，包括各种有线或无线协议，诸如例如以太网、通用串行总线 (USB)、火线、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、 码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi、互联网协议语音 (VoIP)、Wi-MAX、或任何其他合适的通信协议。

服务器系统108可在计算机的一个或多个独立式数据处理设备或分布 式网络上实施。在一些示例中，服务器系统108还可采用第三方服务提供 方(例如，第三方云服务提供方)的各种虚拟设备和/或服务来提供服务器 系统108的潜在计算资源和/或基础结构资源。

在一些示例中，用户设备104可经由第二用户设备122来与DA服务 器106进行通信。第二用户设备122可与用户设备104相似或相同。例 如，第二用户设备122可分别类似于下文参考图2A、图4和图6A-B描述 的任一个设备200,400或600。用户设备104可被配置为经由直接通信连接 诸如蓝牙、NFC、BTLE等或者经由有线或无线网络诸如局域Wi-Fi网络而被通信地耦接到第二用户设备122。在一些示例中，第二用户设备122可被 配置为充当用户设备104与DA服务器106之间的代理。例如，用户设备 104的DA客户端102可被配置为经由第二用户设备122来向DA服务器 106传输信息(例如，在用户设备104处接收的用户请求)。DA服务器 106可处理该信息并经由第二用户设备122来将相关的数据(例如，响应于 用户请求的数据内容)返回到用户设备104。

在一些示例中，用户设备104可被配置为将针对数据的缩略请求发送 到第二用户设备122，以减少从用户设备104传输的信息量。第二用户设备 122可被配置为确定添加到缩略请求的补充信息，以生成传输到DA服务器 106的完整请求。该系统架构可有利地通过使用具有较强通信能力和/或电 池电力的第二用户设备122(例如，移动电话、膝上型计算机、平板电脑 等)作为至DA服务器106的代理来允许具有有限通信能力和/或有限电池 电力的用户设备104(例如，手表或类似的紧凑型电子设备)访问由DA服 务器106提供的服务。虽然图1中仅示出两个用户设备104和122，应当理 解，系统100可包括在此代理配置中被配置为与DA服务器系统106进行通 信的任意数量和类型的用户设备。

虽然图1中所示的数字助理可包括客户端侧部分(例如，DA客户端 102)和服务器侧部分(例如，DA服务器106)两者，但在一些示例中， 数字助理的功能可被实现为被安装在用户设备上的独立式应用程序。此 外，数字助理的客户端部分与服务器部分之间的功能划分在不同的具体实 施中可变化。例如，在一些示例中，DA客户端可以是仅提供面向用户的输 入和输出处理功能并将数字助理的所有其他功能委派给后端服务器的瘦客 户端。

2.电子设备

现在将注意力转至用于实现数字助理的客户端侧部分的电子设备的实 施方案。图2A是示出了根据一些实施方案的具有触敏显示器系统212的便 携式多功能设备200的框图。触敏显示器212有时为了方便被叫做“触摸 屏”，并且有时可被称为或被叫做“触敏显示器系统”。设备200包括存 储器202(其任选地包括一个或多个计算机可读存储介质)、存储器控制器 222、一个或多个处理单元(CPU)220、外围设备接口218、RF电路208、音 频电路210、扬声器211、麦克风213、输入/输出(I/O)子系统206、其他输 入控制设备216、和外部端口224。设备200任选地包括一个或多个光学传 感器264。设备200任选地包括用于检测设备200(例如触敏表面，诸如设 备200的触敏显示器系统212)上的接触的强度的一个或多个接触强度传感 器265。设备200任选地包括用于在设备200上生成触觉输出的一个或多个 触觉输出发生器267(例如在触敏表面诸如设备200的触敏显示器系统212 或设备400的触摸板455上生成触觉输出)。这些部件任选地通过一个或 多个通信总线或信号线203进行通信。

如在本说明书和权利要求书中所使用的，触敏表面上的接触的术语 “强度”是指触敏表面上的接触(例如，手指接触)的力或压力(每单位 面积的力)，或是指触敏表面上的接触的力或压力的替代物(代用物)。 接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包 括上百个不同的值(例如至少256个)。接触的强度任选地使用各种方法 和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方 或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不 同点处的力。在一些具体实施中，来自多个力传感器的力测量被合并(例 如，加权平均)，以确定估计的接触力。类似地，触笔的压敏顶端任选地 用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触 区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化、和/或 接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的 力或压力的替代物。在一些具体实施中，接触力或压力的替代测量直接用 于确定是否已超过强度阈值(例如，强度阈值以与替代物测量对应的单位 来描述)。在一些具体实施中，接触力或压力的替代测量被转换成估计的 力或压力，并且估计的力或压力用于确定是否已超过强度阈值(例如，强 度阈值是以压力的单位进行测量的压力阈值)。使用接触的强度作为用户 输入的属性，从而允许用户访问用户在尺寸更小的设备上可能本来不能访 问的附加设备功能，该尺寸更小的设备具有有限的实地面积以用于(例 如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏 显示器、触敏表面或物理控件/机械控件，诸如旋钮或按钮)。

如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用 户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备 的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物 理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与 用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触 的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对 应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例 如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的 “按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如 “按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压 (例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。作为 另一个示例，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任 选地由用户解释或感测为触敏表面的“粗糙度”。虽然由用户对触摸的此 类解释将受到用户的个体化感官知觉的限制，但是有许多触摸的感官知觉 是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官 知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外 陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位 移将会生成典型(或普通)用户的所述感官知觉。

应当理解，设备200仅是便携式多功能设备的一个示例，并且设备 200任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多 个部件，或者任选地具有这些部件的不同配置或布置。图2A中所示的各种 部件以硬件、软件、或硬件与软件两者的组合来实现，包括一个或多个信 号处理电路和/或专用集成电路。

存储器202可包括一个或多个计算机可读存储介质。该计算机可读存 储介质可以是有形的和非暂态的。存储器202可包括高速随机存取存储器 并且还可包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储 器设备、或其他非易失性固态存储器设备。存储器控制器222可控制设备 200的其他部件访问存储器202。

在一些示例中，存储器202的非暂态计算机可读存储介质可用于存储 指令(例如，用于执行下文描述的过程900的各方面)以供指令执行系 统、装置或设备诸如基于计算机的系统、包含处理器的系统或可从指令执 行系统、装置或设备获取指令并执行指令的其他系统使用或与其结合。在 其他示例中，指令(例如，用于执行下文描述的过程900的各方面)可被 存储在服务器系统108的非暂态计算机可读存储介质(未示出)上，或者 可在存储器202的非暂态计算机可读存储介质与服务器系统108的非暂态 计算机可读存储介质之间划分。在本文档的上下文中，“非暂态计算机可 读存储介质”可以是可包括或存储程序以供指令执行系统、装置和设备使 用或与其结合的任何介质。

外围设备接口218可被用于将设备的输入外围设备和输出外围设备耦 接到CPU220和存储器202。该一个或多个处理器220运行或执行被存储 在存储器202中的各种软件程序和/或指令集，以执行设备200的各种功能 并处理数据。在一些实施方案中，外围设备接口218、CPU 220和存储器控 制器222可在单个芯片诸如芯片204上实现。在一些其他实施方案中，它 们可在单独的芯片上实现。

RF(射频)电路208接收和发送也被称作电磁信号的RF信号。RF电 路208将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁 信号来与通信网络和其他通信设备进行通信。RF电路208任选地包括用于 执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或 多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片 组、用户身份模块(SIM)卡、存储器等。RF电路208任选地通过无线通信 来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网 (WWW))、内联网、和/或无线网络(诸如，蜂窝电话网络、无线局域网 (LAN)和/或城域网(MAN))。RF电路208任选地包括用于检测近场通信 (NFC)场的熟知的电路，诸如通过近程通信无线电部件来进行检测。无线通 信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球 移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接 入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、 HSPA、HSPA+、双小区HSPA(DC-HSPDA)、长期演进(LTE)、近场通信 (NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址 (TDMA)、蓝牙、蓝牙低功耗(BTLE)、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11b、IEEE802.11g、IEEE 802.11n和/或IEEE 802.11ac)、互联网协议语音(VoIP)、Wi-MAX、电子邮件协议(例如，互 联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩 展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起 协议(SIMPLE)、即时消息和存在服务(IMPS)、和/或短消息服务(SMS))， 或者包括在本文档提交日期时尚未开发出的通信协议的任何其他合适的通 信协议。

音频电路210、扬声器211和麦克风213提供用户与设备200之间的音 频接口。音频电路210从外围设备接口218接收音频数据，将音频数据转 换为电信号，并将电信号传输到扬声器211。扬声器211将电信号转换为人 类可听到的声波。音频电路210还接收由麦克风213从声波转换的电信 号。音频电路210将电信号转换为音频数据，并且将音频数据传输到外围 设备接口218以用于处理。音频数据可由外围设备接口218检索自和/或传 输至存储器202和/或RF电路208。在一些实施方案中，音频电路210还包 括耳麦插孔(例如，图3中的312)。耳麦插孔提供音频电路210和可移除 的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备 诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入 (例如，麦克风)两者的耳麦。

I/O子系统206将设备200上的输入外围设备/输出外围设备诸如触摸 屏212和其他输入控制设备216耦接至外围设备接口218。I/O子系统206 任选地包括显示控制器256、光学传感器控制器258、强度传感器控制器 259、触觉反馈控制器261，以及用于其他输入或控制设备的一个或多个输 入控制器260。该一个或多个输入控制器260从其他输入控制设备216接收 电信号/将电信号发送到其他输入控制设备216。其他输入控制设备216任 选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开 关、操纵杆、点击轮等。在一些另选实施方案中，输入控制器260任选地 耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、 红外线端口、USB端口、以及指针设备诸如鼠标。一个或多个按钮(例 如，图3中的308)任选地包括用于扬声器211和/或麦克风213的音量控 制的增大/减小按钮。一个或多个按钮任选地包括下压按钮(例如，图3中 的306)。

快速按下下压按钮可解除对触摸屏212的锁定或者开始使用触摸屏上 的手势来对设备进行解锁的过程，如于2005年12月23日提交的标题为 “Unlocking a Device byPerforming Gestures on an Unlock Image”的美国专 利申请11/322,549以及美国专利申请No.7,657,849中所述的，上述美国专 利申请据此全文以引用方式并入本文。更长地按下下压按钮(例如306)可 使设备200开机或关机。用户能够对一个或多个按钮的功能进行自定义。 触摸屏212用于实现虚拟按钮或软按钮以及一个或多个软键盘。

触敏显示器212提供设备和用户之间的输入接口和输出接口。显示控 制器256从触摸屏212接收电信号和/或将电信号发送至该触摸屏。触摸屏212向用户显示视觉输出。该视觉输出可包括图形、文本、图标、视频、以 及它们的任意组合(统称为“图形”)。在一些实施方案中，一些视觉输 出或全部的视觉输出可对应于用户界面对象。

触摸屏212具有基于触觉和/或触感接触来接受来自用户的输入的触敏 表面、传感器、或传感器组。触摸屏212和显示控制器256(与存储器202 中的任何相关联的模块和/或指令集一起)检测触摸屏212上的接触(和该 接触的任何移动或中断)，并且将所检测到的接触转换为与被显示在触摸 屏212上的用户界面对象(例如一个或多个软键、图标、网页或图像)的 交互。在一个示例性实施方案中，触摸屏212与用户之间的接触点对应于 用户的手指。

触摸屏212可使用LCD(液晶显示器)技术、LPD(发光聚合物显示 器)技术或LED(发光二极管)技术，但是在其他实施方案中可使用其他 显示技术。触摸屏212和显示控制器256可使用目前已知或以后将开发的 多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触 摸屏212接触的一个或多个点的其他元件来检测接触及其任何移动或中 断，所述多种触摸感测技术包括但不限于电容式、电阻式、红外和表面声 波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如在 Apple Inc.(Cupertino,California)的和iPod中使用的技术。

触摸屏212的一些实施方案中的触敏显示器可类似于以下美国专利中 所述的多点触敏触摸板：6,323,846(Westerman等人)、6,570,557 (Westerman等人)和/或6,677,932(Westerman)；和/或美国专利公开 2002/0015024A1，这些专利申请中的每个专利申请据此全文以引用方式并 入本文。然而，触摸屏212显示来自设备200的视觉输出，而触敏触摸板不提供视觉输出。

触摸屏212的一些实施方案中的触敏显示器可如在以下专利申请中那 样进行描述：(1)于2006年5月2日提交的标题为“Multipoint Touch Surface Controller”的美国专利申请No.11/381,313；(2)于2004年5月6日 提交的标题为“Multipoint Touchscreen”的美国专利申请No.10/840,862； (3)于2004年7月30日提交的标题为“Gestures For TouchSensitive Input Devices”的美国专利申请No.10/903,964；(4)于2005年1月31日提交的标 题为“Gestures For Touch Sensitive Input Devices”的美国专利申请No. 11/048,264；(5)于2005年1月18日提交的标题为“Mode-Based Graphical User Interfaces ForTouch Sensitive Input Devices”的美国专利申请No. 11/038,590；(6)于2005年9月16日提交的标题为“Virtual Input Device Placement On A Touch Screen User Interface”的美国专利申请No. 11/228,758；(7)于2005年9月16日标题的名称为“Operation Of AComputer With A Touch Screen Interface”的美国专利申请No.11/228,700； (8)于2005年9月16日提交的标题为“Activating Virtual Keys Of A Touch- Screen VirtualKeyboard”的美国专利申请No.11/228,737；以及(9)于2006 年3月3日提交的标题为“Multi-Functional Hand-Held Device”的美国专利 申请No.11/367,749。所有这些专利申请全文以引用方式并入本文。

触摸屏212可具有超过100dpi的视频分辨率。在一些实施方案中，触 摸屏具有约160dpi的视频分辨率。用户可使用任何合适的对象或附加物诸 如触笔、手指等来与触摸屏212接触。在一些实施方案中，用户界面被设 计用于主要与基于手指的接触和手势工作，由于手指在触摸屏上的接触区 域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备 将基于手指的粗略输入翻译为精确的指针/光标位置或命令，以用于执行用 户所期望的动作。

在一些实施方案中，除了触摸屏之外，设备200还可包括用于激活或 去激活特定功能的触摸板(未示出)。在一些实施方案中，触摸板是设备 的触敏区域，该触敏区域与触摸屏不同，其不显示视觉输出。触摸板可以 是与触摸屏212分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸 部分。

设备200还包括用于为各种部件供电的电力系统262。电力系统262可 包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充 电系统、电力故障检测电路、功率变换器或逆变器、电源状态指示器(例 如，发光二极管(LED))以及、与便携式设备中的电力的生成、管理和分配 相关联的任何其他部件。

设备200还可包括一个或多个光学传感器264。图2A示出耦接至I/O 子系统206中的光学传感器控制器258的光学传感器。光学传感器264可 包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光 学传感器264从环境接收通过一个或多个透镜而投射的光，并且将光转换 为表示图像的数据。结合成像模块243(也叫做相机模块)，光学传感器 264可捕获静态图像或视频。在一些实施方案中，光学传感器位于设备200 的与设备的前部上的触摸屏显示器212相背对的后部上，使得触摸屏显示 器可被用作用于静态图像和/或视频图像采集的取景器。在一些实施方案 中，光学传感器位于设备的前部，使得在用户在触摸屏显示器上查看其他 视频会议参与者时可获取该用户的图像以用于视频会议。在一些实施方案 中，光学传感器264的位置可由用户(例如，通过旋转设备外壳中的镜和传感器)改变，使得单个光学传感器264可与触摸屏显示器一起使用，以 用于视频会议和静态图像和/或视频图像采集两者。

设备200任选地还包括一个或多个接触强度传感器265。图2A示出耦 接到I/O子系统206中的强度传感器控制器259的接触强度传感器。接触强 度传感器265任选地包括一个或多个压阻应变仪、电容式力传感器、电力 传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传 感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接 触强度传感器265从环境接收接触强度信息(例如，压力信息或压力信息 的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面 (例如，触敏显示器系统212)并置排列或邻近。在一些实施方案中，至少 一个接触强度传感器位于设备200的与位于设备200的前部上的触摸屏显 示器212相背对的后部上。

设备200还可包括一个或多个接近传感器266。图2A示出了耦接至外 围设备接口218的接近传感器266。另选地，接近传感器266可耦接到I/O 子系统206中的输入控制器260。接近传感器266可如以下美国专利申请中 所述的那样执行：11/241,839，标题为“Proximity Detector In Handheld Device”；11/240,788，标题为“Proximity DetectorIn Handheld Device”； 11/620,702，标题为“Using Ambient Light Sensor To AugmentProximity Sensor Output”；11/586,862，标题为“Automated Response To And SensingOf User Activity In Portable Devices”；以及11/638,251，标题为“Methods AndSystems For Automatic Configuration Of Peripherals”，这些美国专利申 请据此全文以引用方式并入本文。在一些实施方案中，当多功能设备被置 于用户的耳朵附近时(例如，当用户正在进行电话呼叫时)，接近传感器 关闭并且禁用触摸屏212。

设备200任选地还包括一个或多个触觉输出发生器267。图2A示出了 耦接至I/O子系统206中的触觉反馈控制器261的触觉输出发生器。触觉输 出发生器267任选地包括一个或多个电声设备，诸如扬声器或其他音频部 件；和/或将能量转换成线性运动的机电设备，诸如马达、螺线管、电活性 聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如，将 电信号转换成设备上的触觉输出的部件)。接触强度传感器265从触觉反 馈模块233接收触觉反馈生成指令，并且在设备200上生成能够由设备200 的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器 与触敏表面(例如，触敏显示器系统212)并置排列或邻近，并且任选地通 过竖直地(例如，向设备200的表面内/外)或侧向地(例如，在与设备 200的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一 些实施方案中，至少一个触觉输出发生器传感器位于设备200的与位于设 备200的前部上的触摸屏显示器212相背对的后部上。

设备200还可包括一个或多个加速度计268。图2A示出了耦接至外围 设备接口218的加速度计268。另选地，加速度计268可耦接到I/O子系统 206中的输入控制器260。加速度计268可如标题为“Acceleration-based Theft Detection System for PortableElectronic Devices”的美国专利公开No. 20050190059和标题为“Methods AndApparatuses For Operating A Portable Device Based On An Accelerometer”的美国专利公开No.20060017692中所 述的那样执行，这两个美国专利公开均全文以引用方式并入本文。在一些 实施方案中，基于对从该一个或多个加速度计所接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图显示信息。除了一个或多个加速度计 268之外，设备200任选地还包括磁力仪(未示出)和GPS(或GLONASS 或其他全球导航系统)接收器(未示出)，以用于获取关于设备200的位 置和取向(例如，纵向或横向)的信息。

在一些实施方案中，存储于存储器202中的软件部件包括操作系统 226、通信模块(或指令集)228、接触/运动模块(或指令集)230、图形模 块(或指令集)232、文本输入模块(或指令集)234、全球定位系统(GPS) 模块(或指令集)235、数字助理客户端模块229、以及应用程序(或指令 集)236。此外，存储器202可存储数据和模型，诸如用户数据和模型 231。此外，在一些实施方案中，存储器202(图2A)或470(图4)存储 设备/全局内部状态257，如图2A和图4中所示。设备/全局内部状态257 包括以下各项中的一者或多者：活动应用程序状态，该活动应用程序状态 用于指示哪些应用程序(如果有的话)当前是活动的；显示状态，该显示 状态用于指示什么应用程序、视图或其他信息占据触摸屏显示器212的各 个区域；传感器状态，该传感器状态包括从设备的各个传感器和输入控制 设备216获得的信息；以及关于设备位置和/或姿态的位置信息。

操作系统226(例如Darwin、RTXC、LINUX、UNIX、OS X、iOS、 WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般 系统任务(例如存储器管理、存储设备控制、功率管理等)的各种软件部 件和/或驱动程序，并且促进各种硬件部件和软件部件之间的通信。

通信模块228有利于通过一个或多个外部端口224来与其他设备进行 通信，并且还包括用于处理由RF电路208和/或外部端口224所接收的数 据的各种软件部件。外部端口224(例如，通用串行总线(USB)、火线等) 适于直接耦接到其他设备或者间接地通过网络(例如，互联网、无线LAN 等)进行耦接。在一些实施方案中，外部端口是与(AppleInc.的商 标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例 如，30针)连接器。

接触/运动模块230任选地检测与触摸屏212(结合显示控制器256) 和其他触敏设备(例如，触摸板或物理点击轮)的接触。接触/运动模块 230包括各种软件部件以用于执行与接触检测相关的各种操作，诸如确定是 否已发生接触(例如，检测手指按下事件)、确定接触强度(例如，接触 的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动 并跟踪在触敏表面上的移动(例如，检测一个或多个手指拖动事件)，以 及确定接触是否已停止(例如，检测手指抬起事件或者接触断开)。接触/ 运动模块230从触敏表面接收接触数据。确定接触点的移动任选地包括确 定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方 向的改变)，该接触点的移动由一系列接触数据表示。这些操作任选地被 应用于单点接触(例如，单指接触)或者多点同时接触(例如，“多点触 摸”/多个手指接触)。在一些实施方案中，接触/运动模块230和显示控制 器256检测触摸板上的接触。

在一些实施方案中，接触/运动模块230使用一组一个或多个强度阈值 来确定用户是否已执行操作(例如，确定用户是否已经“点击”图标)。 在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例 如，强度阈值不由特定物理致动器的激活阈值来确定，并且可在不改变设 备200的物理硬件的情况下被调整)。例如，在不改变触控板或触摸屏显 示器硬件的情况下，触控板或触摸屏的鼠标“点击”阈值可被设定成预定 义的阈值的大范围中的任一个阈值。另外，在一些具体实施中，向设备的 用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如，通过调 节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多 个强度阈值)的软件设置。

接触/运动模块230任选地检测用户的手势输入。触敏表面上的不同手 势具有不同的接触图案(例如，所检测到的接触的不同运动、定时、和/或 强度)。因此，任选地通过检测具体接触图案来检测手势。例如，检测手 指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置 (或基本上相同的位置)处(例如，在图标的位置处)检测手指抬起(抬 离)事件。作为另一个示例，在触敏表面上检测手指轻扫手势包括检测手 指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起 (抬离)事件。

图形模块232包括用于在触摸屏212或其他显示器上呈现和显示图形 的各种已知的软件部件，包括用于改变所显示的图形的视觉冲击(例如， 亮度、透明度、饱和度、对比度或其他视觉特性)的部件。如本文所用， 术语“图形”包括可被显示给用户的任何对象，其非限制性地包括文本、 网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。

在一些实施方案中，图形模块232存储表示待使用的图形的数据。每 个图形任选地被分配有对应的代码。图形模块232从应用程序等接收指定 待显示的图形的一个或多个代码，在必要的情况下还接收坐标数据和其他 图形属性数据，并且然后生成屏幕图像数据以输出至显示控制器256。

触觉反馈模块233包括用于生成指令的各种软件部件，该指令由一个 或多个触觉输出发生器267使用，以便响应于用户与设备200的交互而在 设备200上的一个或多个位置处产生触觉输出。

可作为图形模块232的部件的文本输入模块234提供用于在各种应用 程序(例如，联系人237、电子邮件240、即时消息241、浏览器247和需 要文本输入的任何其他应用程序)中输入文本的软键盘。

GPS模块235确定设备的位置并提供在各种应用程序中使用的这种信 息(例如，提供至用于基于位置的拨号的电话238，提供至相机243作为图 片/视频元数据，以及提供至提供基于位置的服务诸如天气桌面小程序、当 地黄页桌面小程序、和地图/导航桌面小程序的应用程序)。

数字助理客户端模块229可包括各种客户端侧数字助理指令，以提供 数字助理的客户端侧功能。例如，数字助理客户端模块229可能够通过便 携式多功能设备200的各种用户接口(例如，麦克风213、加速度计268、 触敏显示器系统212、光学传感器229、其他输入控制设备216等)来接受 声音输入(例如，语音输入)、文本输入、触摸输入和/或手势输入。数字 助理客户端模块229也可能够通过便携式多功能设备200的各种输出界面 (例如，扬声器211、触敏显示器系统212、一个或多个触觉输出发生器 267等)来提供音频形式输出(例如，语音输出)、视觉形式输出、和/或 触觉形式输出。例如，可将输出提供为语音、声音、提示、文本消息、菜 单、图形、视频、动画、振动和/或以上两者或更多者的组合。在操作期 间，数字助理客户端模块229可使用RF电路208来与DA服务器106进行 通信。

用户数据和模型231可包括与用户相关联的各种数据(例如，特定于 用户的词汇数据、用户偏好数据、用户指定名称发音、来自用户电子通讯 录的数据、待办事项、购物清单等)，以提供数字助理的客户端侧功能。 此外，用户数据和模型231可包括用于处理用户输入并确定用户意图的各 种模型(例如，语音识别模型、统计语言模型、自然语言处理模型、知识 本体、任务流模型、服务模型等)。

在一些示例中，数字助理客户端模块229可利用便携式多功能设备 200的各种传感器、子系统和外围设备来从便携式多功能设备200的周围环 境采样附加信息，以建立与用户、当前用户交互和/或当前用户输入相关联 的上下文。在一些示例中，数字助理客户端模块229可将上下文信息或其 子集与用户输入一起提供至DA服务器106，以帮助推断用户意图。在一些 示例中，数字助理还可使用上下文信息来确定如何准备输出并将其递送至用户。上下文信息可被称为上下文数据。

在一些示例中，伴随用户输入的上下文信息可包括传感器信息，例如 照明、环境噪声、环境温度、周围环境的图像或视频等。在一些示例中， 上下文信息还可包括设备的物理状态，例如设备取向、设备位置、设备温 度、功率电平、速度、加速度、运动模式、蜂窝信号强度等。在一些示例 中，可将与DA服务器106的软件状态相关的信息例如便携式多功能设备 200的运行过程、已安装程序、过去和当前的网络活动、后台服务、错误日 志、资源使用等作为与用户输入相关联的上下文信息提供至DA服务器 106。

在一些示例中，数字助理客户端模块229可响应于来自DA服务器106 的请求而选择性地提供被存储在便携式多功能设备200上的信息(例如， 用户数据231)。在一些示例中，数字助理客户端模块229还可在DA服务 器106请求时引出来自用户的经由自然语言对话或其他用户接口的附加输 入。数字助理客户端模块229可将该附加输入传送至DA服务器106，以帮 助DA服务器106进行意图推断和/或满足在用户请求中表达的用户意图。

下文参考图7A-C更详细地描述数字助理。应当认识到，数字助理客 户端模块229可包括下文所述的数字助理模块726的任何数量的子模块。

应用程序236可包括以下模块(或指令集)，或者其子集或超集：

·联系人模块237(有时叫做通讯录或联系人列表)；

·电话模块238；

·视频会议模块239；

·电子邮件客户端模块240；

·即时消息(IM)模块241；

·健身支持模块242；

·用于静态图像和/或视频图像的相机模块243；

·图像管理模块244；

·视频播放器模块；

·音乐播放器模块；

·浏览器模块247；

·日历模块248；

·桌面小程序模块249，其可包括以下各项中的一者或多者：天气桌 面小程序249-1、股市桌面小程序249-2、计算器桌面小程序249- 3、闹钟桌面小程序249-4、词典桌面小程序249-5和由用户获取的 其他桌面小程序、以及用户创建的桌面小程序249-6；

·用于形成用户创建的桌面小程序249-6的桌面小程序创建器模块 250；

·搜索模块251；

·视频和音乐播放器模块252，其合并视频播放器模块和音乐播放器 模块；

·记事本模块253；

·地图模块254；和/或

·在线视频模块255。

可被存储在存储器202中的其他应用程序236的示例包括其他文字处 理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支 持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。

结合触摸屏212、显示控制器256、接触/运动模块230、图形模块232 和文本输入模块234，联系人模块237可用于管理地址簿或联系人列表(例 如，被存储在存储器202或存储器470中的联系人模块237的应用程序内 部状态292中)，包括：将一个或多个名称添加到地址簿；从地址簿删除 一个或多个名称；使一个或多个电话号码、一个或多个电子邮件地址、一 个或多个物理地址或其他信息与名称相关联；使图像与名称相关联；对名 称进行分类和排序；提供电话号码或电子邮件地址以发起和/或促进通过电 话238、视频会议模块239、电子邮件240、或IM 241进行通信；等等。

结合RF电路208、音频电路210、扬声器211、麦克风213、触摸屏 212、显示控制器256、接触/运动模块230、图形模块232和文本输入模块 234，电话模块238可用于输入与电话号码对应的字符序列、访问联系人模 块237中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电 话号码、进行会话以及在会话完成时断开或挂断。如上所述，无线通信可 使用多个通信标准、协议和技术中的任一者。

结合RF电路208、音频电路210、扬声器211、麦克风213、触摸屏 212、显示控制器256、光学传感器264、光学传感器控制器258、接触/运 动模块230、图形模块232、文本输入模块234、联系人模块237和电话模 块238，视频会议模块239包括根据用户指令来发起、进行和终止用户与一 个或多个其他参与者之间的视频会议的可执行指令。

结合RF电路208、触摸屏212、显示控制器256、接触模块230、图 形模块232和文本输入模块234，电子邮件客户端模块240包括用于响应于 用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管 理模块244，电子邮件客户端模块240使得非常容易创建和发送具有由相机 模块243拍摄的静态图像或视频图像的电子邮件。

结合RF电路208、触摸屏212、显示控制器256、接触/运动模块 230、图形模块232和文本输入模块234，即时消息模块241包括用于以下 操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入的字 符、传输相应即时消息(例如，使用短消息服务(SMS)或多媒体消息服务 (MMS)协议以用于基于电话的即时消息，或者使用XMPP、SIMPLE或 IMPS以用于基于互联网的即时消息)、接收即时消息以及查看所接收的即 时消息。在一些实施方案中，所传输的和/或所接收的即时消息可包括图 形、照片、音频文件、视频文件和/或在MMS和/或增强型消息服务 (EMS)中支持的其他附件。如本文所用，“即时消息”是指基于电话的 消息(例如，使用SMS或MMS传输的消息)和基于互联网的消息(例 如，使用XMPP、SIMPLE、或IMPS传输的消息)两者。

结合RF电路208、触摸屏212、显示控制器256、接触/运动模块 230、图形模块232、文本输入模块234、GPS模块235、地图模块254和音 乐播放器模块，健身支持模块242包括用于以下操作的可执行指令：创建 健身(例如，具有时间、距离和/或卡路里燃烧目标)；与健身传感器(移 动设备)进行通信；接收健身传感器数据；校准用于监测健身的传感器； 选择并播放健身音乐；以及显示、存储和传输健身数据。

结合触摸屏212、显示控制器256、一个或多个光学传感器264、光学 传感器控制器258、接触/运动模块230、图形模块232和图像管理模块 244，相机模块243包括用于以下操作的可执行指令：捕获静态图像或视频 (包括视频流)并且将它们存储到存储器202中、修改静态图像或视频的 特征，或从存储器202删除静态图像或视频。

结合触摸屏212、显示控制器256、接触/运动模块230、图形模块 232、文本输入模块234和相机模块243，图像管理模块244包括用于以下 操作的可执行指令：排列、修改(例如，编辑)或以其他方式操控、加标 签、删除、呈现(例如，在数字幻灯片或相册中)以及存储静态图像和/或 视频图像。

结合RF电路208、触摸屏212、显示控制器256、接触/运动模块 230、图形模块232和文本输入模块234，浏览器模块247包括根据用户指 令来浏览互联网(包括搜索、链接至、接收和显示网页或其部分，以及链 接至网页的附件和其他文件)的可执行指令。

结合RF电路208、触摸屏212、显示控制器256、接触/运动模块 230、图形模块232、文本输入模块234、电子邮件客户端模块240和浏览 器模块247，日历模块248包括根据用户指令来创建、显示、修改和存储日 历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指 令。

结合RF电路208、触摸屏212、显示控制器256、接触/运动模块 230、图形模块232、文本输入模块234和浏览器模块247，桌面小程序模 块249是可由用户下载并使用的微型应用程序(例如，天气桌面小程序 249-1、股市桌面小程序249-2、计算器桌面小程序249-3、闹钟桌面小程序 249-4和词典桌面小程序249-5)或由用户创建的微型应用程序(例如，用 户创建的桌面小程序249-6)。在一些实施方案中，桌面小程序包括HTML (超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在 一些实施方案中，桌面小程序包括XML(可延伸标记语言)文件和 JavaScript文件(例如，Yahoo！桌面小程序)。

结合RF电路208、触摸屏212、显示控制器256、接触/运动模块 230、图形模块232、文本输入模块234和浏览器模块247，桌面小程序创 建器模块250可被用户用于创建桌面小程序(例如，将网页的用户指定部 分转到桌面小程序中)。

结合触摸屏212、显示控制器256、接触/运动模块230、图形模块232 和文本输入模块234，搜索模块251包括根据用户指令来搜索存储器202中 的匹配一个或多个搜索条件(例如，一个或多个用户指定的搜索词)的文 本、音乐、声音、图像、视频和/或其他文件的可执行指令。

结合触摸屏212、显示控制器256、接触/运动模块230、图形模块 232、音频电路系统210、扬声器211、RF电路系统208和浏览器模块 247，视频和音乐播放器模块252包括允许用户下载和回放以一种或多种文 件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的 可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触摸 屏212上或在经由外部端口224连接的外部显示器上)的可执行指令。在 一些实施方案中，设备200任选地包括MP3播放器，诸如iPod(Apple Inc. 的商标)的功能性。

结合触摸屏212、显示控制器256、接触/运动模块230、图形模块232 和文本输入模块234，记事本模块253包括根据用户指令来创建和管理记事 本、待办事项等的可执行指令。

结合RF电路208、触摸屏212、显示控制器256、接触/运动模块 230、图形模块232、文本输入模块234、GPS模块235和浏览器模块247， 地图模块254可用于根据用户指令接收、显示、修改和存储地图以及与地 图相关联的数据(例如，驾驶方向、与特定位置处或附近的商店及其他兴 趣点有关的数据，以及其他基于位置的数据)。

结合触摸屏212、显示控制器256、接触/运动模块230、图形模块 232、音频电路210、扬声器211、RF电路208、文本输入模块234、电子 邮件客户端模块240和浏览器模块247，在线视频模块255包括允许用户访 问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如，在触摸 屏上或经由外部端口224在所连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件，以及以其他方式管理一种或多种文件格式(诸 如，H.264)的在线视频的指令。在一些实施方案中，使用即时消息模块 241而不是电子邮件客户端模块240来发送特定在线视频的链接。在线视频 应用程序的其他描述可在于2007年6月20日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interface forPlaying Online Videos”的美国临时专利申请60/936,562和于2007年12月31日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interface forPlaying Online Videos”的美国专利申请11/968,067中找到，这两个专利申 请的内容据此全文以引用方式并入本文。

上述每个模块和应用程序对应于用于执行上述一种或多种功能以及在 本专利申请中所述的方法(例如，本文所述的计算机实现的方法和其他信 息处理方法)的可执行指令集。这些模块(例如，指令集)不必被实现为 独立的软件程序、过程或模块，并因此在各种实施方案中可组合或以其他 方式重新布置这些模块的各种子集。例如，视频播放器模块可与音乐播放 器模块组合成单个模块(例如，图2A中的视频和音乐播放器模块252)。 在一些实施方案中，存储器202可存储上述模块和数据结构的子集。此 外，存储器202可存储上文没有描述的附加模块和数据结构。

在一些实施方案中，设备200是唯一地通过触摸屏和/或触摸板来执行 设备上的预定义的一组功能的操作的设备。通过使用触摸屏和/或触摸板作 为用于设备200的操作的主要输入控制设备，可减少设备200上的物理输 入控制设备(诸如下压按钮、拨号盘等等)的数量。

唯一地通过触摸屏和/或触摸板执行的该预定义的一组功能任选地包括 在用户界面之间进行导航。在一些实施方案中，触摸板在被用户触摸时将 设备200从显示在设备200上的任何用户界面导航到主菜单、home菜单或 根菜单。在此类实施方案中，使用触摸板来实现“菜单按钮”。在一些其 他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而 不是触摸板。

图2B是示出了根据一些实施方案用于事件处理的示例性部件的框图。 在一些实施方案中，存储器202(图2A)或470(图4)包括事件分类器 270(例如，在操作系统226中)以及相应的应用程序236-1(例如，前述 应用程序237-251、255、480-490中的任一个应用程序)。

事件分类器270接收事件信息并确定要将事件信息递送到的应用程序 236-1和应用程序236-1的应用程序视图291。事件分类器270包括事件监 视器271和事件分配器模块274。在一些实施方案中，应用程序236-1包括 应用程序内部状态292，该应用程序内部状态指示当应用程序是活动的或正 在执行时被显示在触敏显示器212上的一个或多个当前应用程序视图。在 一些实施方案中，设备/全局内部状态257被事件分类器270用来确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态292被事件分类 器270用来确定要将事件信息递送到的应用程序视图291。

在一些实施方案中，应用程序内部状态292包括附加信息，诸如以下 各项中的一者或多者：当应用程序236-1恢复执行时将被使用的恢复信息、 指示正被应用程序236-1显示的信息或准备好用于被应用程序236-1显示的 信息的用户界面状态信息、用于使得用户能够返回到应用程序236-1的前一 状态或视图的状态队列，以及用户采取的先前动作的重复/撤销队列。

事件监视器271从外围设备接口218接收事件信息。事件信息包括关 于子事件(例如，触敏显示器212上作为多点触摸手势的一部分的用户触 摸)的信息。外围设备接口218传输其从I/O子系统206或传感器(诸如接 近传感器266、一个或多个加速度计268和/或麦克风213(通过音频电路 210))接收的信息。外围设备接口218从I/O子系统206接收的信息包括 来自触敏显示器212或触敏表面的信息。

在一些实施方案中，事件监视器271以预先确定的间隔将请求发送至 外围设备接口218。作为响应，外围设备接口218传输事件信息。在其他实 施方案中，外围设备接口218仅当存在显著事件(例如，接收到高于预先 确定的噪声阈值和/或接收到超过预先确定的持续时间的输入)时才传输事 件信息。

在一些实施方案中，事件分类器270还包括命中视图确定模块272和/ 或活动事件识别器确定模块273。

当触敏显示器212显示多于一个视图时，命中视图确定模块272提供 用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图 由用户能够在显示器上看到的控件和其他元素构成。

与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也 称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的 手势。在其中检测到触摸的(相应应用程序的)应用程序视图可对应于应 用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触 摸的最低水平视图可被叫做命中视图，并且被识别为正确输入的那组事件 可至少部分地基于开始基于触摸的手势的初始触摸的命中视图来确定。

点击视图确定模块272接收与基于接触的手势的子事件相关的信息。 当应用程序具有以分级结构组织的多个视图时，命中视图确定模块272将 命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多 数情况下，命中视图是发起子事件(例如，形成事件或潜在事件的子事件 序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中 视图确定模块272识别，命中视图就通常接收与其被识别为命中视图所针 对的同一触摸或输入源相关的所有子事件。

活动事件识别器确定模块273确定视图分级结构内的哪个或哪些视图 应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块273 确定仅命中视图才应接收特定子事件序列。在其他实施方案中，活动事件 识别器确定模块273确定包括子事件的物理位置的所有视图是活跃参与的 视图，并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他 实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区 域，分级结构中的较高视图将仍保持为活跃参与的视图。

事件分配器模块274将事件信息分配到事件识别器(例如，事件识别 器280)。在包括活动事件识别器确定模块273的实施方案中，事件分配器 模块274将事件信息递送到由活动事件识别器确定模块273确定的事件识 别器。在一些实施方案中，事件分配器模块274在事件队列中存储事件信 息，该事件信息由相应事件接收器282进行检索。

在一些实施方案中，操作系统226包括事件分类器270。另选地，应 用程序236-1包括事件分类器270。在又一个实施方案中，事件分类器270 是独立模块，或者是被存储在存储器202中的另一个模块(诸如，接触/运 动模块230)的一部分。

在一些实施方案中，应用程序236-1包括多个事件处理程序290和一 个或多个应用程序视图291，其中每个应用程序视图包括用于处理发生在应 用程序的用户界面的相应视图内的触摸事件的指令。应用程序236-1的每个 应用程序视图291包括一个或多个事件识别器280。通常，相应应用程序视 图291包括多个事件识别器280。在其他实施方案中，事件识别器280中的 一个或多个事件识别器是独立模块的一部分，该独立模块诸如用户界面工 具包(未示出)或应用程序236-1从中继承方法和其他属性的更高级别的对 象。在一些实施方案中，相应事件处理程序290包括以下各项中的一者或 多者：数据更新器276、对象更新器277、GUI更新器278、和/或从事件分 类器270接收的事件数据279。事件处理程序290可利用或调用数据更新器 276、对象更新器277或GUI更新器278，以更新应用程序内部状态292。 另选地，应用程序视图291中的一个或多个应用程序视图包括一个或多个 相应事件处理程序290。另外，在一些实施方案中，数据更新器276、对象 更新器277和GUI更新器278中的一者或多者被包括在相应应用程序视图 291中。

相应事件识别器280从事件分类器270接收事件信息(例如，事件数 据279)，并且从事件信息识别事件。事件识别器280包括事件接收器282 和事件比较器284。在一些实施方案中，事件识别器280还至少包括以下各 项的子集：元数据283和事件递送指令288(其可包括子事件递送指令)。

事件接收器282从事件分类器270接收事件信息。事件信息包括关于 子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信 息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息还可包括 子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转 到另一个取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且 事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。

事件比较器284将事件信息与预定义的事件或子事件定义进行比较， 并且基于该比较，确定事件或子事件，或者确定或更新事件或子事件的状 态。在一些实施方案中，事件比较器284包括事件定义286。事件定义286 包含对事件的定义(例如，预定义的子事件序列)，例如事件1(287-1)、 事件2(287-2)，以及其他事件。在一些实施方案中，事件(287)中的子事件 包括例如触摸开始、触摸结束、触摸移动、触摸取消、和多点触摸。在一 个示例中，事件1(287-1)的定义是在被显示对象上的双击。例如，双击包 括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时 长的第一次抬离(触摸结束)、被显示对象上的预先确定时长的第二次触 摸(触摸开始)以及预先确定时长的第二次抬离(触摸结束)。在另一个 示例中，针对事件2(287-2)的定义是被显示对象上的拖动。例如，拖动包 括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器212 上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包 括用于一个或多个相关联的事件处理程序290的信息。

在一些实施方案中，事件定义287包括对用于相应用户界面对象的事 件的定义。在一些实施方案中，事件比较器284执行命中测试，以确定哪 个用户界面对象与子事件相关联。例如，在应用程序视图(其中在触摸显 示器212上显示三个用户界面对象)中，当在触敏显示器212上检测到触 摸时，事件比较器284执行命中测试，以确定这三个用户界面对象中的哪 一个用户界面对象与触摸(子事件)相关联。如果每个所显示对象与相应 事件处理程序290相关联，则事件比较器使用该命中测试的结果来确定哪 个事件处理程序290应当被激活。例如，事件比较器284选择与子事件和 触发该命中测试的对象相关联的事件处理程序。

在一些实施方案中，相应事件(287)的定义还包括延迟动作，该延迟动 作延迟事件信息的递送，直到已确定子事件序列是否对应于或不对应于事 件识别器的事件类型。

当相应事件识别器280确定子事件系列不与事件定义286中的任何事 件匹配时，该相应事件识别器280进入事件不可能、事件失败或事件结束 状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于 命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续 进行的基于触摸的手势的子事件。

在一些实施方案中，相应事件识别器280包括具有指示事件递送系统 应当如何执行至活跃参与的事件识别器的子事件递送的可配置属性、标 记、和/或列表的元数据283。在一些实施方案中，元数据283包括用于指 示事件识别器可彼此如何交互或如何被启用以彼此交互的可配置属性、标 志、和/或列表。在一些实施方案中，元数据283包括指示子事件是否递送 到视图或程序化分级结构中的不同层级的可配置属性、标志、和/或列表。

在一些实施方案中，当事件的一个或多个特定子事件被识别时，相应 事件识别器280激活与事件相关联的事件处理程序290。在一些实施方案 中，相应事件识别器280将与该事件相关联的事件信息递送到事件处理程 序290。激活事件处理程序290不同于将子事件发送(和延期发送)到相应 命中视图。在一些实施方案中，事件识别器280抛出与所识别的事件相关 联的标记，并且与该标记相关联的事件处理程序290获取该标记并执行预 定义的过程。

在一些实施方案中，事件递送指令288包括递送关于子事件的事件信 息而无需激活事件处理程序的子事件递送指令。相反，子事件递送指令将 事件信息递送到与子事件系列相关联的事件处理程序或递送到活跃参与的 视图。与子事件系列或与活跃参与的视图相关联的事件处理程序接收事件 信息并执行预先确定的过程。

在一些实施方案中，数据更新器276创建并更新在应用程序236-1中 使用的数据。例如，数据更新器276对联系人模块237中所使用的电话号 码进行更新，或者对视频播放器模块中所使用的视频文件进行存储。在一 些实施方案中，对象更新器277创建和更新在应用程序236-1中使用的对 象。例如，对象更新器277创建新用户界面对象或更新用户界面对象的位 置。GUI更新器278更新GUI。例如，GUI更新器278准备显示信息并将 其发送到图形模块232以用于触敏显示器上的显示。

在一些实施方案中，事件处理程序290包括数据更新器276、对象更 新器277、和GUI更新器278，或者具有对它们的访问权限。在一些实施方 案中，数据更新器276、对象更新器277和GUI更新器278被包括在相应 应用程序236-1或应用程序视图291的单个模块中。在其他实施方案中，它 们被包括在两个或更多个软件模块中。

应当理解，关于触敏显示器上的用户触摸的事件处理的上述论述还适 用于利用输入设备来操作多功能设备200的其他形式的用户输入，并不是 所有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按 压或保持结合的鼠标移动和鼠标按钮按压；触摸板上的接触移动，诸如轻 击、拖动、滚动等；触笔输入；设备的移动；口头指令；所检测到的眼睛 移动；生物特征输入；和/或其任意组合任选地被用作与定义要识别的事件 的子事件对应的输入。

图3示出了根据一些实施方案的具有触摸屏212的便携式多功能设备 200。触摸屏任选地在用户界面(UI)300内显示一个或多个图形。在本实施 方案以及下文所述的其他实施方案中，用户能够通过例如利用一个或多个 手指302(在图中未按比例绘制)或一个或多个触笔303(在图中未按比例 绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实 施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个 图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次 或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备200发 生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具 体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当 与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地 不会选择对应应用程序。

设备200还可包括一个或多个物理按钮，诸如“home”按钮或菜单按 钮304。如前所述，菜单按钮304可用于导航到可在设备200上执行的一组 应用程序中的任何应用程序236。另选地，在一些实施方案中，菜单按钮被 实现为在触摸屏212上显示的GUI中的软键。

在一个实施方案中，设备200包括触摸屏212、菜单按钮304、用于使 设备通电/断电和用于锁定设备的下压按钮306、一个或多个音量调节按钮 308、用户身份模块(SIM)卡槽310、耳麦插孔312、和对接/充电外部端口 224。下压按钮306被任选地用于：通过按下按钮并使按钮在下压状态保持 预定义的时间间隔来使设备通电/断电；通过按下按钮并在经过所述预定义 的时间间隔之前释放按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在另选的实施方案中，设备200还通过麦克风213来接受用于激活或 去激活一些功能的言语输入。设备200还任选地包括用于检测触摸屏212 上的接触的强度的一个或多个接触强度传感器265，和/或用于为设备200 的用户生成触觉输出的一个或多个触觉输出发生器267。

图4是根据一些实施方案的具有显示器和触敏表面的示例性多功能设 备的框图。设备400不必是便携式的。在一些实施方案中，设备400是膝 上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育 设备(诸如儿童学习玩具)、游戏系统、或控制设备(例如，家用控制器 或工业用控制器)。设备400通常包括一个或多个处理单元(CPU)410、一个或多个网络或其他通信接口460、存储器470、和用于使这些部件互连的 一个或多个通信总线420。通信总线420任选地包括使系统部件互连并且控 制系统部件之间的通信的电路(有时被称为芯片组)。设备400包括具有 显示器440的输入/输出(I/O)接口430，该显示器通常是触摸屏显示器。I/O 接口430还任选地包括键盘和/或鼠标(或其他指向设备)450和触摸板 455、用于在设备400上生成触觉输出的触觉输出发生器457(例如，类似 于以上参考图2A所述的一个或多个触觉输出发生器267)、传感器459 (例如，光学传感器、加速度传感器、接近传感器、触敏传感器、和/或类 似于以上参考图2A所述的一个或多个接触强度传感器265的接触强度传感 器)。存储器470包括高速随机存取存储器诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备，并且任选地包括非易失性存储器诸 如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备、或其他非 易失性固态存储设备。存储器470任选地包括远离一个或多个CPU 410定 位的一个或多个存储设备。在一些实施方案中，存储器470存储与便携式 多功能设备200(图2A)的存储器202中存储的程序、模块和数据结构类 似的程序、模块和数据结构、或其子集。此外，存储器470任选地存储在 便携式多功能设备200的存储器202中不存在的附加程序、模块和数据结 构。例如，设备400的存储器470任选地存储绘图模块480、呈现模块 482、文字处理模块484、网站创建模块486、盘编辑模块488，和/或电子 表格模块490，而便携式多功能设备200(图2A)的存储器202任选地不 存储这些模块。

图4中的上述元件中的每个元件可被存储在一个或多个前面提到的存 储器设备中。上述模块中的每个模块对应于用于执行上述功能的指令集。 上述模块或程序(例如，指令集)不必被实现为单独的软件程序、过程或 模块，并且因此这些模块的各种子集可在各种实施方案中被组合或以其他 方式重新布置。在一些实施方案中，存储器470可存储上述模块和数据结 构的子集。此外，存储器470可存储上文没有描述的附加模块和数据结 构。

现在将注意力转到可在例如便携式多功能设备200上实现的用户界面 的实施方案。

图5A示出了根据一些实施方案的便携式多功能设备200上的应用程序 的菜单的示例性用户界面。类似的用户界面可在设备400上实现。在一些 实施方案中，用户界面500包括以下元素或者其子集或超集：

一种或多种无线通信(诸如蜂窝信号和Wi-Fi信号)的一个或多个信 号强指示符502；

·时间504；

·蓝牙指示符505；

·电池状态指示符506；

·具有常用应用程序的图标的托盘508，所述图标为诸如：

ο电话模块238的被标记为“电话”的图标516，该图标516任 选地包括未接来电或语音留言的数量的指示符514；

ο电子邮件客户端模块240的被标记为“邮件”的图标518，该 图标任选地包括未读电子邮件的数量的指示符510；

ο浏览器模块247的被标记为“浏览器”的图标520；以及

ο视频和音乐播放器模块252(也称为iPod(Apple Inc.的商标) 模块252)的被标记为“iPod”的图标522；以及

·其他应用程序的图标，诸如：

οIM模块241的被标记为“消息”的图标524；

ο日历模块248的被标记为“日历”的图标526；

ο图像管理模块244的被标记为“照片”的图标528；

ο相机模块243的被标记为“相机”的图标530；

ο在线视频模块255的被标记为“在线视频”的图标532；

ο股市桌面小程序249-2的被标记为“股市”的图标534；

ο地图模块254的被标记为“地图”的图标536；

ο天气桌面小程序249-1的被标记为“天气”的图标538；

ο闹钟桌面小程序249-4的被标记为“时钟”的图标540；

ο健身支持模块242的被标记为“健身支持”的图标542；

ο记事本模块253的被标记为“记事本”的图标544；以及

ο用于设置应用程序或模块的被标记为“设置”的图标546，该 图标546提供对设备200及其各种应用程序236的设置的访 问。

应当指出的是，图5A中示出的图标标签仅是示例性的。例如，视频 和音乐播放器模块252的图标522可任选地被标记为“音乐”或“音乐播 放器”。其他标签任选地用于各种应用程序图标。在一些实施方案中，相 应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名 称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程 序图标对应的应用程序的名称。

图5B示出了具有与显示器550(例如，触摸屏显示器212)分开的触 敏表面551(例如，图4的平板电脑或触摸板455)的设备(例如，图4的 设备400)上的示例性用户界面。设备400还任选地包括用于检测触敏表面 551上的接触的强度的一个或多个接触强度传感器(例如，传感器457中的 一个或多个传感器)，和/或用于为设备400的用户生成触觉输出的一个或 多个触觉输出发生器459。

尽管将参考触摸屏显示器212(其中组合了触敏表面和显示器)上的 输入给出以下示例中的一些示例，但是在一些实施方案中，设备检测与显 示器分开的触敏表面上的输入，如图5B中所示。在一些实施方案中，触敏 表面(例如，图5B中的551)具有与显示器(例如，550)上的主轴(例 如，图5B中的553)对应的主轴(例如，图5B中的552)。根据这些实施方案，设备检测在与显示器上的相应位置对应的位置(例如，在图5B中， 560对应于568并且562对应于570)处与触敏表面551的接触(例如，图 5B中的560和562)。这样，当触敏表面(例如，图5B中的551)与多功 能设备的显示器(图5B中的550)分开时，设备在触敏表面上检测到的用 户输入(例如，接触560和562以及它们的移动)被该设备用于操控显示 器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户 界面。

另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、 手指轻扫手势)来给出下面的示例，但是应当理解的是，在一些实施方案 中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入 (例如，基于鼠标的输入或触笔输入)替代。例如，轻扫手势任选地由鼠 标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)替代。作为另一个示例，轻击手势任选地由在光 标位于轻击手势的位置上方时的鼠标点击(例如，而不是对接触的检测及 之后停止检测接触)替代。类似地，当同时检测到多个用户输入时，应当 理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地 被同时使用。

图6A示出了示例性个人电子设备600。设备600包括主体602。在一 些实施方案中，设备600可包括针对设备200和400(例如，图2A至图 4)所述的特征中的一些或全部特征。在一些实施方案中，设备600具有在 下文中被称为触摸屏604的触敏显示屏604。作为触摸屏604的替代或补 充，设备600具有显示器和触敏表面。与设备200和400的情况一样，在 一些实施方案中，触摸屏604(或触敏表面)可具有用于检测所施加的接触 (例如，触摸)的强度的一个或多个强度传感器。触摸屏604(或触敏表 面)的一个或多个强度传感器可提供表示触摸的强度的输出数据。设备600 的用户界面可基于触摸强度来对触摸作出响应，这意味着不同强度的触摸 可调用设备600上的不同的用户界面操作。

例如，可在如下相关专利申请中找到用于检测和处理触摸强度的技 术：于2013年5月8日提交的标题为“Device,Method,and Graphical User Interface for DisplayingUser Interface Objects Corresponding to an Application”的国际专利申请序列号PCT/US2013/040061，以及于2013年 11月11日提交的标题为“Device,Method,andGraphical User Interface for Transitioning Between Touch Input to DisplayOutput Relationships”的国际专 利申请序列号PCT/US2013/069483，这两个专利申请中的每个专利申请据 此全文以引用方式并入本文。

在一些实施方案中，设备600具有一个或多个输入机构606和608。输 入机构606和608(如果包括的话)可以是物理形式的。物理输入机构的示 例包括下压按钮和可旋转机构。在一些实施方案中，设备600具有一个或 多个附接机构。此类附接机构(如果包括的话)可允许将设备600与例如 帽子、眼镜、耳环、项链、衬衣、夹克、手镯、表带、手链、裤子、皮带、鞋子、钱包、背包等附接。这些附接机构可允许用户穿戴该设备600。

图6B示出了示例性个人电子设备600。在一些实施方案中，设备600 可包括相对于图2A、图2B和图4所述的部件中的一些或全部部件。设备 600具有总线612，该总线将I/O部分614与一个或多个计算机处理器616 和存储器618操作性地耦接。I/O部分614可连接到显示器604，该显示器 可具有触敏部件622，并且任选地还具有触摸强度敏感部件624。此外，I/O部分614可与通信单元630连接，以用于使用Wi-Fi、蓝牙、近场通信 (NFC)、蜂窝和/或其他无线通信技术来接收应用程序和操作系统数据。设 备600可包括输入机构606和/或608。例如，输入机构606可以是可旋转 输入设备或者可按压且可旋转输入设备。在一些示例中，输入机构608可 以是按钮。

在一些示例中，输入机构608可以是麦克风。个人电子设备600可包 括各种传感器，诸如GPS传感器632、加速度计634、定向传感器640(例 如，罗盘)、陀螺仪636、运动传感器638和/或其组合，所有这些设备均 可操作地连接到I/O部分614。

个人电子设备600的存储器618可以是用于存储计算机可执行指令的 非暂态计算机可读存储介质，该计算机可执行指令当由一个或多个计算机 处理器616执行时例如可使得计算机处理器执行下文描述的包括过程900 (图9A-C)的技术。该计算机可执行指令也可在任何非暂态计算机可读存 储介质内进行存储和/或传送，以供指令执行系统、装置或设备诸如基于计 算机的系统、包含处理器的系统或可从指令执行系统、装置或设备取指令并执行指令的其他系统使用或与其结合。对于本文的目的而言，“非暂态 计算机可读存储介质”可以是可有形地包含或存储计算机可执行指令以供 指令执行系统、装置和设备使用或与其结合的任何介质。非暂态计算机可 读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储 装置。此类存储装置的示例包括磁盘、基于CD、DVD或Blu-ray技术的光 盘、以及持久性固态存储器诸如闪存、固态驱动器等。个人电子设备600 不限于图6B的部件和配置，而是可包括多种配置中的其他部件或附加部 件。

如本文所用，术语“示能表示”是指可在设备200,400和/或600(图 2、图4和图6)的显示屏上显示的用户交互式图形用户界面对象。例如， 图像(例如，图标)、按钮和文本(例如，超链接)可各自构成示能表 示。

如本文所用，术语“焦点选择器”是指用于指示用户正与其进行交互 的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具 体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素 (例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例 如，图4中的触摸板455或图5B中的触敏表面551)上检测到输入(例如，按压输入)的情况下，该特定用户界面元素根据所检测到的输入而被 调节。在包括能够实现与触摸屏显示器上的用户界面元素的直接交互的触 摸屏显示器(例如，图2A中的触敏显示器系统212或图5A中的触摸屏 212)的一些具体实施中，触摸屏上的所检测到的接触充当“焦点选择 器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗 口、滑块或其他用户界面元素)的位置处检测到输入(例如，由接触进行 的按压输入)时，该特定用户界面元素根据所检测到的输入而被调节。在 一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区 域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过 使用制表键或箭头键来将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据用户界面的不同区域之间的焦点移动而移动。 不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制的以 便递送与用户界面的用户预期的交互(例如，通过向设备指示用户界面的 用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接 触)。例如，在触敏表面(例如，触摸板或触摸屏)上检测到按压输入 时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将 指示用户意图激活相应按钮(而不是设备显示器上示出的其他用户界面元 素)。

如说明书和权利要求中所使用的，接触的“特征强度”这一术语是指 基于接触的一个或多个强度的接触的特征。在一些实施方案中，特性强度 基于多个强度样本。特性强度任选地基于相对于预定义事件(例如，在检 测到接触之后，在检测到接触抬起之前，在检测到接触开始移动之前或之 后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在 检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采样的预定义数 量的强度样本或一组强度样本。接触的特性强度任选地基于以下各项中的 一者或多者：接触强度的最大值、接触强度的均值、接触强度的平均值、 接触强度的前10％处的值、接触强度的半最大值、接触强度的90％最大值 等。在一些实施方案中，在确定特性强度时使用接触的持续时间(例如，在特性强度是接触的强度在时间上的平均值时)。在一些实施方案中，将 特性强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操 作。例如，该组一个或多个强度阈值可包括第一强度阈值和第二强度阈 值。在该示例中，特征强度未超过第一阈值的接触导致第一操作，特征强 度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，并且特 征强度超过第二阈值的接触导致第三操作。在一些实施方案中，使用特性 强度与一个或多个阈值之间的比较来确定是否要执行一个或多个操作(例 如，是执行相应操作还是放弃执行相应操作)，而不是用于确定执行第一 操作还是第二操作。

在一些实施方案中，识别手势的一部分以用于确定特性强度。例如， 触敏表面可接收连续的轻扫接触，该连续的轻扫接触从起始位置过渡并到 达结束位置，在该结束位置处，接触的强度增加。在该示例中，接触在结 束位置处的特征强度可仅基于连续轻扫接触的一部分，而不是整个轻扫接 触(例如，仅结束位置处的轻扫接触部分)。在一些实施方案中，可在确 定接触的特性强度之前向轻扫手势的强度应用平滑化算法。例如，该平滑 化算法任选地包括以下各项中的一者或多者：不加权滑动平均平滑化算 法、三角平滑化算法、中值滤波器平滑化算法、和/或指数平滑化算法。在 一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹 陷，以用于确定特征强度。

可相对于一个或多个强度阈值诸如接触检测强度阈值、轻按压强度阈 值、深按压强度阈值和/或一个或多个其他强度阈值来表征触敏表面上的接 触的强度。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该 强度下设备将执行通常与点击物理鼠标的按钮或触控板相关联的操作。在 一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将 执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在 一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高 于标称接触检测强度阈值，比标称接触检测强度阈值低的接触不再被检测 到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器， 而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲， 除非另有陈述，否则这些强度阈值在不同组的用户界面附图之间是一致 的。

接触特征强度从低于轻按压强度阈值的强度增大到介于轻按压强度阈 值与深按压强度阈值之间的强度有时被称为“轻按压”输入。接触特征强 度从低于深按压强度阈值的强度增大到高于深按压强度阈值的强度有时被 称为“深按压”输入。接触的特征强度从低于接触检测强度阈值的强度增 大到介于接触检测强度阈值与轻按压强度阈值之间的强度有时被称为检测 到触摸表面上的接触。接触特征强度从高于接触检测强度阈值的强度减小 到低于接触检测强度阈值的强度有时被称为检测到接触从触摸表面抬离。 在一些实施方案中，接触检测强度阈值为零。在一些实施方案中，接触检 测强度阈值大于零。

在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的 手势或响应于检测到利用相应接触(或多个接触)执行的相应按压输入来 执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触) 的强度增大到高于按压输入强度阈值而检测相应按压输入。在一些实施方 案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值(例 如，相应按压输入的“向下冲程”)来执行相应操作。在一些实施方案 中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接 触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触 的强度随后减小到低于按压输入阈值(例如，相应按压输入的“向上冲 程”)来执行相应操作。

在一些实施方案中，设备采用强度滞后以避免有时被称为“抖动”的 意外输入，其中设备限定或选择与按压输入强度阈值具有预定义关系的滞 后强度阈值(例如，滞后强度阈值比按压输入强度阈值低X个强度单位， 或滞后强度阈值是按压输入强度阈值的75％、90％或某个合理比例)。因 此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输 入强度阈值以及该接触的强度随后减小到低于与按压输入强度阈值对应的 滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强 度阈值(例如，相应按压输入的“向上冲程”)来执行相应操作。类似 地，在一些实施方案中，仅在设备检测到接触强度从等于或低于滞后强度 阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强 度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应 于检测到按压输入(例如，根据环境，接触强度增大或接触强度减小)来 执行相应操作。

为了便于解释，任选地，响应于检测到以下各种情况中的任一种情况 而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压 输入的手势而执行的操作的描述：接触强度增大到高于按压输入强度阈 值、接触强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的 强度、接触强度减小到低于按压输入强度阈值，和/或接触强度减小到低于 与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触强度减小到低于按压输入强度阈值而执行的示例中，任选地响 应于检测到接触强度减小到低于对应于并且小于按压输入强度阈值的滞后 强度阈值来执行操作。

3.数字助理系统

图7A示出根据各种示例的数字助理系统700的框图。在一些示例中， 数字助理系统700可在独立式计算机系统上实现。在一些示例中，数字助 理系统700可跨多个计算机分布。在一些示例中，数字助理的模块和功能 中的一些模块和功能可被划分成服务器部分和客户端部分，其中客户端部 分位于一个或多个用户设备(例如，设备104,122,200,400或设备600)上 并通过一个或多个网络来与服务器部分(例如，服务器系统108)进行通 信，例如如图1中所示。在一些示例中，数字助理系统700可以是图1中 所示的服务器系统108(和/或DA服务器106)的具体实施。应当指出，数 字助理系统700仅为数字助理系统的一个示例，并且该数字助理系统700 可具有比所示更多或更少的部件、可组合两个或更多个部件，或者可具有 部件的不同配置或布置。图7A中所示的各种部件可在硬件、用于由一个或 多个处理器执行的软件指令、固件(包括一个或多个信号处理集成电路和/ 或专用集成电路)、或它们的组合中实现。

数字助理系统700可包括存储器702、一个或多个处理器704、输入/ 输出(I/O)接口706、以及网络通信接口708。这些部件可通过一个或多个通 信总线或信号线710彼此进行通信。

在一些示例中，存储器702可包括非暂态计算机可读介质，诸如高速 随机存取存储器和/或非易失性计算机可读存储介质(例如，一个或多个磁 盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备)。

在一些示例中，I/O接口706可将数字助理系统700的输入/输出设备 716诸如显示器、键盘、触摸屏和麦克风耦接至用户界面模块722。与用户 界面模块722结合的I/O接口706可接收用户输入(例如，声音输入、键盘 输入、触摸输入等)并相应地对这些输入进行处理。在一些示例中，例 如，当数字助理在独立式用户设备上实现时，数字助理系统700可包括分 别相对于图2A、图4、图6A-B中的设备200,400或600所描述的部件和 I/O通信接口中的任一者。在一些示例中，数字助理系统700可代表数字助 理具体实施的服务器部分，并且可通过位于用户设备(例如，设备104,200, 400或设备600)上的客户端侧部分来与用户进行交互。

在一些示例中，网络通信接口708可包括一个或多个有线通信端口 712、和/或无线传输和接收电路714。一个或多个有线通信端口可经由一个 或多个有线接口例如以太网、通用串行总线(USB)、火线等来接收和发送通 信信号。无线电路714可从通信网络以及其他通信设备接收RF信号和/或 光学信号，并且将RF信号和/或光学信号发送至通信网络以及其他通信设 备。无线通信可使用多种通信标准、协议和技术中的任一者，诸如GSM、EDGE、CDMA、TDMA、蓝牙、Wi-Fi、VoIP、Wi-MAX、或任何其他合 适的通信协议。网络通信接口708可使得数字助理系统700通过网络(诸 如互联网、内联网、和/或无线网络(诸如蜂窝电话网络、无线局域网 (LAN)、和/或城域网(MAN)))与其他设备之间的通信成为可能。

在一些示例中，存储器702或存储器702的计算机可读存储介质可存 储程序、模块、指令和数据结构，包括以下内容中的全部或其子集：操作 系统718、通信模块720、用户界面模块722、一个或多个应用程序724、 和数字助理模块726。具体地，存储器702或存储器702的计算机可读存储 介质可存储用于执行下文描述的过程900的指令。一个或多个处理器704 可执行这些程序、模块和指令，并从数据结构读取数据或将数据写到数据 结构。

操作系统718(例如，Darwin、RTXC、LINUX、UNIX、OS X、 WINDOWS，或嵌入式操作系统诸如VxWorks)可包括用于控制和管理一 般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软 件部件和/或驱动器，并且促进各种硬件、固件和软件部件之间的通信。

通信模块720可促进数字助理系统700与其他设备之间的通过网络通 信接口708进行的通信。例如，通信模块720可与电子设备(诸如，分别 在图2A、图4、图6A-B中示出的设备200,400和600)的RF电路208进 行通信。通信模块720还可包括用于处理由无线电路714和/或有线通信端 口712所接收的数据的各种部件。

用户界面模块722可经由I/O接口706来接收来自用户(例如，来自 键盘、触摸屏、指向设备、控制器和/或麦克风)的命令和/或输入，并在显 示器上生成用户界面对象。用户界面模块722还可准备输出(例如，语 音、声音、动画、文本、图标、振动、触觉反馈、光照等)并将其经由I/O 接口706(例如，通过显示器、音频通道、扬声器和触摸板等)递送至用 户。

应用程序724可包括被配置为由一个或多个处理器704执行的程序和/ 或模块。例如，如果数字助理系统在独立式用户设备上实现，则应用程序 724可包括用户应用程序，诸如游戏、日历应用程序、导航应用程序、或邮 件应用程序。如果数字助理系统700在服务器上实现，则应用程序724可 包括例如资源管理应用程序、诊断应用程序、或调度应用程序。

存储器702还可存储数字助理模块726(或数字助理的服务器部 分)。在一些示例中，数字助理模块726可包括以下子模块或者其子集或 超集：输入/输出处理模块728、语音转文本(STT)处理模块730、自然语言 处理模块732、对话流处理模块734、任务流处理模块736、服务处理模块 738、和语音合成模块740。这些模块中的每个模块可具有对以下数字助理 模块726的系统或数据和模型中的一者或多者或者其子集或超集的访问权 限：知识本体760、词汇索引744、用户数据748、任务流模型754、服务 模型756、和ASR系统。

在一些示例中，使用在数字助理模块726上实现的处理模块、数据和 模型，数字助理可执行以下内容中的至少一些内容：将语音输入转换为文 本；识别在从用户接收的自然语言输入中表达的用户的意图；主动引出并 获取用于充分推断用户意图所需的信息(例如，通过消除字词、游戏、意向 等的歧义)；确定用于满足推断出的意图的任务流；以及执行任务流以满足 推断出的意图。

在一些示例中，如图7B中所示，I/O处理模块728可通过图7A中的 I/O设备716来与用户进行交互或通过图7A中的网络通信接口708来与用 户设备(例如，设备104,200,400或设备600)进行交互，以获取用户输入 (例如，语音输入)并提供对用户输入的响应(例如，作为语音输出)。 I/O处理模块728随同接收到用户输入一起或在接收到用户输入之后不久可任选地获取与来自用户设备的用户输入相关联的上下文信息。上下文信息 可包括特定于用户的数据、词汇和/或与用户输入相关的偏好。在一些示例 中，上下文信息还包括在接收到用户请求时的用户设备的软件和硬件状 态，和/或在接收到用户请求时与用户周围环境相关的信息。在一些示例 中，I/O处理模块728还可向用户发送与用户请求有关的跟进问题，并从用 户接收回答。在用户请求被I/O处理模块728接收并且用户请求可包括语音 输入时，I/O处理模块728可将语音输入转发至STT处理模块730(或语音 识别器)，以用于语音文本转换。

STT处理模块730可包括一个或多个ASR系统。一个或多个ASR系 统可处理通过I/O处理模块728接收到的语音输入，以产生识别结果。每个 ASR系统可包括前端语音预处理器。前端语音预处理器可从语音输入提取 代表性特征。例如，前端语音预处理器可对语音输入执行傅里叶变换，以 提取表征语音输入的光谱特征作为代表性多维向量的序列。此外，每个 ASR系统可包括一个或多个语音识别模型(例如，声音模型和/或语言模 型)，并且可实现一个或多个语音识别引擎。语音识别模型的示例可包括 隐马尔可夫模型、高斯混合模型、深层神经网络模型、n元语言模型、以及 其他统计模型。语音识别引擎的示例可包括基于动态时间规整的引擎和基 于加权有限状态变换器(WFST)的引擎。一个或多个语音识别模型和一个或 多个语音识别引擎可用于处理前端语音预处理器的所提取的代表性特征， 以产生中间识别结果(例如，音素、音素串、和子字)，并且最终产生文 本识别结果(例如，字词、字词串、或符号的序列)。在一些示例中，语 音输入可至少部分地由第三方服务处理或在用户的设备(例如，设备104, 200,400或600)上处理，以产生识别结果。一旦STT处理模块730产生包 含文本串(例如，字词，或字词的序列，或符号的序列)的识别结果，识 别结果便可被传送至自然语言处理模块732以用于意图推断。

有关语音转文本处理的更多细节在提交于2011年9月20日的标题为“Consolidating Speech Recognition Results”的美国实用新型专利申请序列 号13/236,942中有所描述，其全部公开内容以引用方式并入本文。

在一些示例中，STT处理模块730可包括可识别字词的词汇，和/或可 经由语音字母转换模块731来访问该词汇。每个词汇字词可与以语音识别 语音字母表示的字词的一个或多个候选发音相关联。具体地，可识别字词 的词汇可包括与多个候选发音相关联的字词。例如，该词汇可包括与 和的候选发音相关联的字词“tomato”。此外，词汇字词可 与基于先前来自用户的语音输入的自定义候选发音相关联。此类自定义候 选发音可被存储在STT处理模块730中，并且可经由设备上的用户配置文 件而与特定用户相关联。在一些示例中，字词的候选发音可基于字词的拼 写以及一个或多个语言学和/或语音学规则来确定。在一些示例中，候选发 音可手动生成，例如基于已知的标准发音而手动生成。

在一些示例中，可基于候选发音的普遍性来对候选发音进行排名。例 如，候选语音的排名可高于因为前者是更常用的发音 (例如，在所有用户中，对于特定地理区域的用户而言，或者对于任何其 他合适的用户子集而言)。在一些示例中，可基于候选发音是否为与用户 相关联的自定义候选发音来对候选发音进行排名。例如，自定义候选发音 的排名可高于标准候选发音。这可用于识别具有偏离规范发音的独特发音的专有名词。在一些示例中，候选发音可与一个或多个语音特征(诸如地 理起源、国家、或种族)相关联。例如，候选发音可能与美国相 关联，而候选发音可能与英国相关联。此外，候选发音的排名可 基于被存储在设备上的用户配置文件中的用户的一个或多个特征(例如， 地理起源、国家、种族等)。例如，可从用户配置文件确定该用户与美国 相关联。基于用户与美国相关联，可将候选发音(与美国相关 联)排得比候选发音(与英国相关联)更高。在一些示例中，经 排名的候选发音中的一个候选发音可被选作预测发音(例如，最可能的发 音)。

接收到语音输入时，STT处理模块730可被用于(例如，使用声音模 型)确定与该语音输入对应的音素，并且然后尝试(例如，使用语言模 型)确定匹配该音素的字词。例如，如果STT处理模块730可首先识别与 该语音输入的一部分对应的音素序列则其随后可基于词汇索引 744来确定该序列对应于字词“tomato”。

在一些示例中，STT处理模块730可使用模糊匹配技术来确定话语中 的字词。因此，例如，STT处理模块730可确定音素序列对应于 字词“tomato”，即使该特定音素序列不是该字词的候选音素序列。

数字助理的自然语言处理模块732(“自然语言处理器”)可获取由 STT处理模块730生成的字词或符号的序列(“符号序列”)，并尝试使 该符号序列与由数字助理所识别的一个或多个“可执行意图”相关联。 “可执行意图”可表示可由数字助理执行并且可具有在任务流模型754中 实现的相关联的任务流的任务。相关联任务流可以是数字助理为了执行任 务而采取的一系列经编程的动作和步骤。数字助理的能力范围可取决于已 在任务流模型754中实施并存储的任务流的数量和种类，或换句话讲，取 决于数字助理所识别的“可执行意图”的数量和种类。然而，数字助理的 有效性还可取决于助理从以自然语言表达的用户请求中推断出正确的“一 个或多个可执行意图”的能力。

在一些示例中，除从STT处理模块730获取的字词或符号的序列之 外，自然语言处理模块732还可(例如，从I/O处理模块728)接收与用户 请求相关联的上下文信息。自然语言处理模块732可任选地使用上下文信 息来明确、补充和/或进一步限定被包含在从STT处理模块730接收的符号 序列中的信息。上下文信息可包括例如：用户偏好，用户设备的硬件和/或 软件状态，在用户请求之前、期间或之后不久收集的传感器信息、数字助 理与用户之间的先前交互(例如，对话)，等等。如本文所述，上下文信 息可以是动态的，并且可随对话的时间、位置、内容以及其他因素而变 化。

在一些示例中，自然语言处理可基于例如知识本体760。知识本体760 可以是包含许多节点的分级结构，每个节点表示“可执行意图”或与“可 执行意图”或其他“属性”中的一者或多者相关的“属性”。如上所述， “可执行意图”可表示数字助理能够执行的任务，即该任务为“可执行 的”或可被进行的。“属性”可表示与可执行意图或另一属性的子方面相关联的参数。知识本体760中的可执行意图节点与属性节点之间的链接可 定义由属性节点表示的参数如何与由可执行意图节点表示的任务相关。

在一些示例中，知识本体760可由可执行意图节点和属性节点组成。 在知识本体760内，每个可执行意图节点可直接链接至或通过一个或多个 中间属性节点链接至一个或多个属性节点。类似地，每个属性节点可直接 链接至或通过一个或多个中间属性节点链接至一个或多个可执行意图节 点。例如，如图7C所示，知识本体760可包括“餐厅预订”节点(即，可 执行意图节点)。属性节点“餐厅”、“日期/时间”(针对预订)和“同 行人数”均可直接链接至可执行意图节点(即，“餐厅预订”节点)。

此外，属性节点“菜系”、“价格区间”、“电话号码”和“位置” 可以是属性节点“餐厅”的子节点，并且均可通过中间属性节点“餐厅” 链接至“餐厅预订”节点(即，可执行意图节点)。又如，如图7C所示， 知识本体760还可包括“设定提醒”节点(即，另一可执行意图节点)。 属性节点“日期/时间”(针对设定提醒)和“主题”(针对提醒)均可链 接至“设定提醒”节点。由于属性“日期/时间”可与进行餐厅预订的任务 和设定提醒的任务两者相关，因此属性节点“日期/时间”可链接至知识本 体760中的“餐厅预订”节点和“设定提醒”节点两者。

可执行意图节点连同其链接的概念节点一起可被描述为“域”。在本 论述中，每个域可与相应的可执行意图相关联，并涉及与特定可执行意图 相关联的一组节点(以及这些节点之间的关系)。例如，图7C中示出的知 识本体760可包括知识本体760内的餐厅预订域762的示例以及提醒域764 的示例。餐厅预订域包括可执行意图节点“餐厅预订”、属性节点“餐 厅”、“日期/时间”和“同行人数”以及子属性节点“菜系”、“价格范 围”、“电话号码”和“位置”。提醒域764可包括可执行意图节点“设 置提醒”以及属性节点“主题”和“日期/时间”。在一些示例中，知识本 体760可由多个域组成。每个域可与一个或多个其他域共享一个或多个属 性节点。例如，除了餐厅预订域762和提醒域764之外，“日期/时间”属 性节点还可与许多不同域(例如，行程安排域、旅行预订域、电影票域 等)相关联。

尽管图7C示出了知识本体760内的两个示例域，但其他域可包括例如 “查找电影”、“发起电话呼叫”、“查找方向”、“安排会议”、“发 送消息”、以及“提供问题的回答”、“阅读列表”、“提供导航指 令”、“提供针对任务的指令”等。“发送消息”域可与“发送消息”可执行意图节点相关联，并且还可包括属性节点诸如“一个或多个接收 人”、“消息类型”和“消息正文”。属性节点“接收人”可进一步例如 由子属性节点诸如“接收人名称”和“消息地址”来限定。

在一些示例中，知识本体760可包括数字助理能够理解并对其起作用 的所有域(以及因此可执行的意图)。在一些示例中，知识本体760可诸 如通过添加或移除整个域或节点，或者通过修改知识本体760内的节点之 间的关系来进行修改。

在一些示例中，可将与多个相关可执行意图相关联的节点群集在知识 本体760中的“超级域”下。例如，“旅行”超级域可包括与旅行有关的 属性节点和可执行意图节点的群集。与旅行有关的可执行意图节点可包括 “航班预订”、“酒店预订”、“汽车租赁”、“路线规划”、“寻找兴 趣点”，等等。同一超级域(例如，“旅行”超级域)下的可执行意图节 点可具有多个共用的属性节点。例如，针对“机票预订”、“酒店预 订”、“汽车租赁”、“路线规划”和“寻找兴趣点”的可执行意图节点 可共享属性节点“起始位置”、“目的地”、“出发日期/时间”、“到达 日期/时间”和“同行人数”中的一者或多者。

在一些示例中，知识本体760中的每个节点可与和由节点代表的属性 或可执行意图有关的一组字词和/或短语相关联。与每个节点相关联的相应 组的字词和/或短语可以是与节点相关联的所谓的“词汇”。可将与每个节 点相关联的相应组的字词和/或短语存储在与由节点所表示的属性或可执行 意图相关联的词汇索引744中。例如，返回图7B，与“餐厅”属性的节点 相关联的词汇可包括字词诸如“美食”、“酒水”、“菜系”、“饥 饿”、“吃”、“披萨”、“快餐”、“膳食”等。又如，与“发起电话 呼叫”可执行意图的节点相关联的词汇可包括字词和短语，诸如“呼 叫”、“打电话”、“拨打”、“与……通电话”、“呼叫该号码”、 “打电话给”等。词汇索引744可任选地包括不同语言的字词和短语。

自然语言处理模块732可从STT处理模块730接收符号序列(例如， 文本串)，并确定符号序列中的字词牵涉哪些节点。在一些示例中，如果 发现符号序列中的字词或短语(经由词汇索引744)与知识本体760中的一 个或多个节点相关联，则该字词或短语可“触发”或“激活”这些节点。 基于已激活节点的数量和/或相对重要性，自然语言处理模块732可选择可 执行意图中的一个可执行意图作为用户意图使数字助理执行的任务。在一 些示例中，可选择具有最多“已触发”节点的域。在一些示例中，可选择 具有最高置信度(例如，基于其各个已触发节点的相对重要性)的域。在 一些示例中，可基于已触发节点的数量和重要性的组合来选择域。在一些 示例中，在选择节点的过程中还考虑附加因素，诸如数字助理先前是否已 正确解译来自用户的类似请求。

用户数据748可包括特定于用户的信息，诸如特定于用户的词汇、用 户偏好、用户地址、用户的默认语言和第二语言、用户的联系人列表、以 及每位用户的其他短期或长期信息。在一些示例中，自然语言处理模块732 可使用特定于用户的信息来补充用户输入中所包含的信息，以进一步限定 用户意图。例如，针对用户请求“邀请我的朋友参加我的生日聚会”，自 然语言处理模块732可能够访问用户数据748以确定“朋友”是哪些人以 及“生日聚会”将于何时何地举行，而不需要用户在其请求中明确地提供 此类信息。

基于符号串搜索知识本体的其他细节在提交于2008年12月22日标题 为“Methodand Apparatus for Searching Using An Active Ontology”的美国 实用新型专利申请序列号12/341,743中有所描述，其全部公开内容以引用 方式并入本文。

在一些示例中，一旦自然语言处理模块732基于用户请求识别出可执 行意图(或域)，自然语言处理模块732便可生成结构化查询以表示所识 别的可执行意图。在一些示例中，结构化查询可包括针对可执行意图的域 内的一个或多个节点的参数，并且该参数中的至少一些参数填充有用户请 求中指定的特定信息和要求。例如，用户可以说“帮我在寿司店预订晚上7 点的座位。”在这种情况下，自然语言处理模块732可能够基于用户输入 将可执行意图正确地识别为“餐厅预订”。根据知识本体，“餐厅预订” 域的结构化查询可包括参数诸如{菜系}、{时间}、{日期}、{同行人数} 等。在一些示例中，基于语音输入和使用STT处理模块730从语音输入得 出的文本，自然语言处理模块732可针对餐厅预订域来生成部分结构化查 询，其中部分结构化查询包括参数{菜系＝“寿司类”}以及{时间＝“晚上7 点”}。然而，在该示例中，用户话语包含不足以完成与域相关联的结构化 查询的信息。因此，基于当前可用的信息，在结构化查询中可能未指定其 他必要的参数，诸如{同行人数}和{日期}。在一些示例中，自然语言处理 模块732可利用所接收的上下文信息来填充结构化查询的一些参数。例 如，在一些示例中，如果请求“附近的”寿司店，自然语言处理模块732 可利用来自用户设备的GPS坐标来填充结构化查询中的{位置}参数。

在一些示例中，自然语言处理模块732可将所生成的结构化查询(包 括任何已完成的参数)传送至任务流处理模块736(“任务流处理器”)。 任务流处理模块736可被配置为从自然语言处理模块732接收结构化查 询，(必要时)完成结构化查询，以及执行“完成”用户最终请求所需的 动作。在一些示例中，完成这些任务所必需的各种过程可在任务流模型754 中提供。在一些示例中，任务流模型754可包括用于获取来自用户的附加 信息的过程，以及用于执行与可执行意图相关联的动作的任务流。

如上所述，为了完成结构化查询，任务流处理模块736可能需要发起 与用户的附加对话，以便获取附加信息和/或对可能有歧义的话语进行消 歧。当有必要进行此类交互时，任务流处理模块736可调用对话流处理模 块734以参与同用户的对话。在一些示例中，对话流处理模块734可确定 如何(和/或何时)向用户请求附加信息，并且接收和处理用户响应。该问 题可通过I/O处理模块728而被提供至用户并可从用户接收回答。在一些示 例中，对话处理模块734可经由音频和/或视觉输出来向用户呈现对话输 出，并接收经由口头或物理(例如，点击)响应的来自用户的输入。继续 上述示例，在任务流处理模块736调用对话流处理模块734来确定针对与 域“餐厅预订”相关联的结构化查询的“同行人数”和“日期”信息时， 对话流处理模块734可生成问题诸如“一行几位？”和“预订哪天？”，以 传送至用户。一旦从用户接收到回答，对话流处理模块734便可利用缺失 信息填充结构化查询，或将信息传递给任务流处理模块736以根据结构化 查询来完成缺失信息。

一旦任务流处理模块736已针对可执行意图完成结构化查询，任务流 处理模块736便可着手执行与可执行意图相关联的最终任务。因此，任务 流处理模块736可根据被包含在结构化查询中的特定参数来执行任务流模 型中的步骤和指令。例如，针对可执行意图“餐厅预订”的任务流模型可 包括用于联系餐厅并在特定时间实际上请求针对特定同行人数的预订的步 骤和指令。例如，通过使用结构化查询诸如：{餐厅预订，餐厅＝ABC咖啡 馆，日期＝2012/3/12，时间＝下午7点，同行人数＝5人}，任务流处理模块 736可执行以下步骤：(1)登录到ABC咖啡馆的服务器或餐厅预订系统诸如 (2)在网站上的表格中输入日期、时间和同行人数信息，(3) 提交表格，以及(4)在用户日历中针对该预订制作日历条目。

在一些示例中，任务流处理模块736可在服务处理模块738(“服务 处理模块”)的辅助下完成用户输入中所请求的任务或者提供用户输入中 所请求的信息性回答。例如，服务处理模块738可代表任务流处理模块736 发起电话呼叫、设置日历条目、调用地图搜索、调用用户设备上安装的其 他用户应用程序或与其他应用程序进行交互，以及调用第三方服务(例 如，餐厅预订门户网站、社交网站、银行门户网站等)或与第三方服务进 行交互。在一些示例中，可通过服务模型756中的相应服务模型来指定每 项服务所需的协议和应用程序编程接口(API)。服务处理模块738可针对服 务来访问合适的服务模型，并依据服务模型根据该服务所需的协议和API 来生成针对该服务的请求。

例如，如果餐厅已启用在线预订服务，则餐厅可提交服务模型，该服 务模型指定用于进行预订的必要参数以及用于将必要参数的值传送至在线 预订服务的API。在被任务流处理模块736请求时，服务处理模块738可使 用被存储在服务模型中的web地址来建立与在线预订服务的网络连接，并 将预订的必要参数(例如，时间、日期、同行人数)以符合在线预订服务 的API的格式发送至在线预订接口。

在一些示例中，自然语言处理模块732、对话处理模块734、以及任务 流处理模块736可被共同且反复地使用，以推断并限定用户的意图、获取 信息，以进一步明确并细化用户意图并最终生成响应(即，输出至用户或 完成任务)，从而满足用户的意图。所生成的响应可以是对语音输入的至 少部分地满足用户的意图的对话响应。另外，在一些示例中，所生成的响 应可被输出作为语音输出。在这些示例中，所生成的响应可被发送到语音 合成模块740(例如，语音合成器)，在语音合成模块中，可处理所生成的 响应以将对话响应以语音形式合成。在其他示例中，所生成的响应可以是 与满足语音输入中的用户请求相关的数据内容。

语音合成模块740可被配置为合成语音输出以呈现给用户。语音合成 模块740基于数字助理提供的文本来合成语音输出。例如，所生成的对话 响应可为文本串的形式。语音合成模块740可将文本串转换成可听语音输 出。语音合成模块740可使用任何合适的语音合成技术，以便从文本生成 语音输出，包括但不限于：拼接合成、单位选择合成、双音素合成、特定 于域的合成、共振峰合成、发音合成、基于隐马尔可夫模型(HMM)的合 成、以及正弦波合成。在一些示例中，语音合成模块740可被配置为基于 与这些字词对应的音素串来合成各个字词。例如，音素串可与所生成的对 话响应中的字词相关联。音素串可被存储在与字词相关联的元数据中。语 音合成模型740可被配置为直接处理元数据中的音素串，以合成语音形式 的字词。

在一些示例中，替代使用语音合成模块740(或除此之外)，可在远 程设备(例如，服务器系统108)上执行语音合成，并且可将合成的语音发 送至用户设备以用于输出给用户。例如，这可发生在一些具体实施中，其 中在服务器系统处生成数字助理的输出。并且由于服务器系统通常比用户 设备具有更强的处理能力或更多的资源，其有可能获得比客户端侧合成将 实现的质量更高的语音输出。

有关数字助理的附加细节可在于2011年1月10日提交的标题为 “IntelligentAutomated Assistant”的美国实用新型专利申请号12/987,982和 于2011年9月30日提交的标题为“Generating and Processing Task Items That Represent Tasks toPerform”的美国实用新型专利申请号13/251,088中 找到，其全部公开内容以引用方式并入本文。

4.用于控制多个虚拟助理会话的触发的示例性技术。

现在将注意力转到可在多功能设备诸如设备104,122,200,400,600和 1000(图1、图2、图4、图6和图10)上实现，以处理使用场景中的涉及 彼此邻近的多个电子设备的口头触发的用户界面(“UI”)和相关联的过 程的实施方案。参考图8A和图8F来描述这些技术。这些附图还用于示出 下文描述的包括图9中的过程的过程。

图8A至图8C描述了可能导致来自多个电子设备的不期望的并发输出 的示例性使用场景。图8A示出了由用户800穿戴的示例性可穿戴电子设备 802。在一些实施方案中，可穿戴设备802是设备104,122,200,400,600或 1000(图1、图2、图4、图6或图10)中的一个设备。图8A还示出了由 用户800携带的示例性电子设备804。在一些实施方案中，设备804是设备 104,122,200,400,600或1000(图1、图2、图4、图6或图10)中的一个 设备。在例示的示例中，设备804是电话。

可穿戴设备802和电话设备804两者具有用于对音频输入进行采样的 麦克风。在一些实施方案中，设备802和804两者被配置为在来自其相应 麦克风的经采样的音频输入中检测到口头触发的话语(诸如短语“嘿， Siri”)时触发虚拟助理会话。

如图8B和图8C所示的，当电话设备804在对音频输入进行采样时检 测口头输入806，其确定口头输入806包括相关的触发短语并触发虚拟助理 服务，包括显示虚拟助理用户界面814以提示用户进行附加输入。同时， 可穿戴设备802还在其对音频输入进行的采样中检测触发短语，因为设备 802和804两者在拾取用户话语806的范围内。响应于输入，可穿戴设备802还触发虚拟助理并显示虚拟助理用户界面812，提示用户进行附加输 入。

在一些实施方案中，这些设备802和804的并发响应(以及来自附近 另外的电子设备的任何潜在其他响应)可产生麻烦的用户体验，特别是由 于多个设备根据虚拟助理的触发产生可听和/或触觉输出。

图8D至图8F描述了用于克服参考图8A至图8C描述的并发响应的示 例性技术。如图8D所示，可穿戴设备802被配置为对某些移动诸如设备从 降低位置移动到升高(例如，查看)位置进行响应。在一些实施方案中， 当设备802检测到满足预先确定的条件的移动时，设备802切换触摸屏808 以显示信息，诸如当前时间。以下参考图10描述关于用于确定设备移动是 否满足预先确定条件的技术的更多的细节。

转到图8E，在一些实施方案中，根据触摸屏808通电，可穿戴设备 802还执行(至少)两个附加功能。首先，设备802开始使用其麦克风来对 音频输入进行采样，并且确定经采样的音频输入是否包括用于触发服务的 口头触发，特别是虚拟助理会话。第二，当设备802开始对音频输入进行 采样时，设备还传输指令数据818，该指令数据可由兼容的电子设备使用一 个或多个相互支持的通信协议(诸如蓝牙和/或蓝牙低功耗)在设备802的 通信范围内接收。

指令数据818包括针对其他范围内的电子设备的指令，以至少暂时停 止对音频输入进行采样和/或响应。在图8E的示例中，电话设备804在可穿 戴设备802的通信范围内，并因此接收指令数据818。在接收到指令数据 818时，即使其音频检测电路(例如，麦克风213、音频电路210、外围设 备接口218等)检测到经采样的音频输入中的口头触发，电话设备804也 会避免触发其虚拟助理服务。

因此，转到图8F，即使用户800提供了在设备802和804的麦克风拾 取范围内的包括触发短语“嘿，Siri”的口头输入830，电话设备804也会 避免触发其虚拟助理，从而使可穿戴设备802作为对用户口头输入830进 行响应的(例如，唯一)设备。这样有益地避免了多个设备之间的虚拟助 理业务的冗余触发。

虽然图8A至图8F的示例性例示将可穿戴设备802示出为在听到竞争 触发时进行响应的设备(例如，与电话设备804相对)，但上述技术并不 限于此。在一些实施方案中，当存在多个设备时，用户可选择哪个设备来 对竞争触发进行响应。例如，可穿戴设备802和电话设备804(以及用户拥 有的任何其他兼容设备)可共享将设备中的一个设备识别为用于对语音触 发进行响应的默认优选设备的配置设置。作为另一个示例，可穿戴设备802 和电话设备804(以及由用户拥有的任何其他兼容设备)可使用配置设置相 对于彼此进行排名，使得在存在多个设备的情况下，多个范围内设备中的 排名最高的设备是在提供口头触发时进行响应的设备。

在一些实施方案中，多个设备基于一个或多个条件来自动确定哪个设 备应进行响应。该条件可基于新近度和/或使用频率。例如，可在处于彼此 的通信范围内并对用户的口头触发进行采样的设备中的最近使用的设备上 触发虚拟助理。此外，条件可基于距离。例如，可(例如，使用近场与远 场确定算法或语音音量确定算法)对设备处采样的音频输入施加音频语音 处理来识别最接近用户的设备，该设备应对用户的口头触发进行响应。此外，条件可以是使用条件。例如，如果设备打开(例如，电话设备804打 开)但是另一个范围内的设备未打开(例如，可穿戴设备802关闭)，则 该设备(例如，电话设备804)应对口头触发进行响应。

5.用于控制多个虚拟助理会话的触发的示例性过程。

图9A至图9C描绘了示出用于控制跨多个电子设备的多个虚拟助理会 话的触发的方法900的流程图。在一些实施方案中，方法900在设备104, 122,200,400,802,804或1000(图1、图2、图4、图6、图8或图10)中 的一个或多个设备处执行。在一些实施方案中，方法900在具有触摸屏的 设备处执行。在一些实施方案中，方法900在具有独立显示屏和触敏表面的设备处执行。方法900中的操作任选地被组合，和/或一些操作的顺序任 选地被改变。

转到图9A，在框902处，设备使用第一麦克风来对音频输入进行采 样。在一些实施方案中，在框902处对音频输入进行的采样对满足预先确 定的条件的用户输入进行响应。

例如，预先确定的条件是设备的显示屏打开。设备可通过确定其背光 源是否点亮来确定显示器是否打开。作为另一个示例，预先确定的条件是 设备正在(例如，在用户界面的前台中)活动地执行预先确定的服务或应 用程序，诸如虚拟助理服务。作为又一个示例，预先确定的条件是最近已 解除活动地执行的预先确定的服务或应用程序，诸如在预先确定的八秒持 续时间内解除。

在一些实施方案中，预先确定的条件是设备的移动，诸如将设备提升 到查看位置(如图8D所示)。在一些实施方案中，设备移动是否构成提升 移动基于加速度计读数随时间的变化。在一些实施方案中，设备移动是否 构成提升移动基于随时间变化的加速度计读数的平滑度。在一些实施方案 中，设备移动是否构成提升移动基于感测停留时间的最小时间段(例如， 相对不移动或稳定的时间段)。

在图8D所示的示例性提升移动中，用户800将设备802从降低位置升 高到升高位置(例如，查看位置)。该移动包括在一个方向(例如，沿着y 轴的垂直方向)上的随时间变化的加速度，以及在另一个方向(例如，围 绕x轴的水平旋转)上的随时间变化的旋转加速度，这两者都可由设备的 加速度传感器来确定。任选地，可通过比较加速度传感器读数随时间的变 化来确定这种提升移动的平滑度。任选地，提升移动以用户扫视处于升高 位置的设备触摸屏结束。可使用加速度传感器读数来确定用户800注视设 备显示器时的相对稳定时间段。在一些实施方案中，该装置使用这些加速 度计读数中的至少一些加速度计读数来确定是否满足通过麦克风来对音频 输入进行采样的预先确定条件。

关于用于确定电子设备的抬起手势的技术的更多细节在例如于2014年 7月18日提交的标题为“Raise Gesture Detection in a Device”的美国临时专 利申请序列号62/026,532中有所描述，其内容据此以引用方式并入本文。 为了简明起见，此处不再重复申请内容。

在一些实施方案中，预先确定的条件是激活设备的输入设备，诸如机 械按钮、触敏按钮、可旋转输入设备等。在一些实施方案中，预先确定的 条件是触敏表面或触摸屏(诸如图8D中所示的触摸屏808)上的触摸。

转到图9B，在框904处，根据使用第一麦克风来对音频输入进行采 样，设备利用第二麦克风来向第二电子设备发送指令。第二电子设备还被 配置为对使用第二麦克风所接收的音频输入进行响应。框904处的指令指 导第二电子设备放弃对来自第二麦克风的音频输入进行响应。在一些示例 中，指令由指令数据818(图8E)来表示，并被称为“停止”指令。第二 电子设备在正在执行过程900的电子设备的外部。例如，正在执行过程900 的设备是图8中的可穿戴设备802，并且第二电子设备是电话设备804。

转到图9C，在框906处，设备确定经采样的音频输入是否包括口头触 发。如果经采样的音频输入包括口头触发，则设备触发预先确定的服务。 如果经采样的音频输入不包括口头触发，则设备不触发预先确定的服务。 在一些示例中，预先确定的服务是可处理用户的口头输入(例如，为自然 语言)以及可将口头输入操作为由设备执行的计算任务的虚拟助理服务。 在一些实施方案中，口头触发是短语，诸如“嘿，Siri”。任选地，如果设 备在框906处触发虚拟助理会话，则其提供可感知的输出，诸如视觉输出 (例如，图8C中的用户界面屏幕808)、触觉输出(例如，振动)和/或音 频输出(例如，嘟嘟声)。

在一些实施方案中，第二电子设备确定使用第二麦克风所采样的音频 输入是否包括口头触发。如果经采样的音频输入包括口头触发，则第二电 子设备触发预先确定的服务。如果经采样的音频输入不包括口头触发，则 第二电子设备不触发预先确定的服务。例如，预先确定的服务是可处理用 户的口头输入(例如，以自然语言)以及可将口头输入操作化为由设备执 行的计算任务的虚拟助理服务。在一些实施方案中，口头触发是短语，诸 如“嘿，Siri”。任选地，如果第二设备响应于口头触发而触发虚拟助理会 话，则该第二设备提供可感知的输出，诸如视觉输出(例如，图8C中的用 户界面屏幕810)、触觉输出(例如，振动)、和/或音频输出(例如，嘟 嘟声)。

在一些实施方案中，响应于满足预先确定的条件的用户输入，第二电 子设备处理来自第二麦克风的音频输入。例如，预先确定的条件是预先确 定的处理器或处理器组通电。示例性处理包括主处理器和专用音频处理处 理器。作为另一个示例，预先确定的条件是设备正在(例如，在用户界面 的前台中)活动地执行预先确定的服务或应用程序，诸如虚拟助理服务。 作为另一个示例，预先确定的条件是最近已解除活动地执行的预先确定的服务或应用程序，诸如在预先确定的八秒持续时间内解除。作为另一个示 例，预先确定的条件是设备的显示屏打开。设备可通过确定其背光源是否 打开来确定显示器是否打开。作为另一个示例，预先确定的条件是第二电 子设备正在充电。

在一些实施方案中，在框908处，设备停止对音频输入进行采样并向 第二电子设备发送指令，从而指导第二电子设备恢复对使用其第二麦克风 所接收的音频输入进行响应。这些指令可被称为恢复指令。在一些示例 中，设备在其已采样预先确定的持续时间之后停止对音频输入进行采样。 在一些示例中，如果虚拟助理会话正从设备的用户界面的前台被解除，则 设备停止对音频输入进行采样。在一些示例中，在虚拟助理已被解除长于 预先确定的持续时间之后，设备停止对音频输入进行采样。在一些示例 中，如果设备显示屏断电，则该设备停止对音频进行采样。

在一些实施方案中，在框904处由设备发送的停止指令指导第二电子 设备停止使用第二麦克风来对音频输入进行采样。在一些实施方案中，即 使第二电子设备的底层硬件和/或软件处理对音频输入进行采样，在框904 处由设备发送的停止指令也将指导第二电子设备抑制其对从第二麦克风接 收的音频输入进行响应。例如，第二电子设备配置有高效硬件音频处理 器，即使其软件处理被指导暂时避免对音频输入进行响应，该处理器也将保持对音频输入进行采样。

在一些实施方案中，在框904处由设备发送的停止指令包括对第二电 子设备响应于使用第二麦克风所接收的音频输入而放弃触发虚拟助理的持 续时间的指示。在一些实施方案中，第二电子设备被配置为在其已停止响 应预先确定的持续时间之后自动恢复对音频输入进行采样和/或处理经采样 的音频输入。

在一些实施方案中，第二电子设备被配置为当其接收到由框904的操 作产生的停止指令时，停止对经采样的音频输入进行响应。例如，第二电 子设备退出活动的虚拟助理会话。在一些实施方案中，第二电子设备被配 置为提供当其接收到由框904的操作产生的停止指令时其停止对音频输入 进行响应的指示。例如，第二电子设备在视觉上、听觉上和/或触觉上通知 用户其正在退出活动的虚拟助理会话。

在一些实施方案中，分别在框904和框908处发送的停止指令和恢复 指令使用无状态通信机构来发送，这意味着该设备不期望从第二电子设备 接收确认接收到指令的确认。在一些实施方案中，停止和恢复指令经由广 播机构来发送，诸如由WiFi、蓝牙低功耗等支持的广播操作。换言之，广 播的指令可由包括第二电子设备的零个或多个外部设备接收。在一些实施 方案中，通过经由第二电子设备的数据分组来发送停止指令和恢复指令。换言之，特定于设备的停止指令和恢复指令分别在框904和框908处被发 送。

在一些实施方案中，设备保持用于确定设备是否向第二电子设备发送 停止指令的计数器，诸如数字计数器。当计数器增大超过阈值时，设备发 送停止指令。例如，阈值为零，这意味着当计数器增大到正非零值时，设 备向第二电子设备发送停止指令。

计数器的值取决于设备的使用条件。例如，在以下情况下计数器的值 增大：设备显示器的背光源打开；输入设备(例如，按钮、触摸屏、触敏 表面或其他输入机构)是活动的；设备检测到满足预先确定条件的移动； 以及虚拟助理会话正在该设备的用户界面的前台中活动地执行。在一些实 施方案中，这些条件中的每个条件将计数器值增加一。

在一些实施方案中，当计数器减小到不超过阈值的值时，设备向第二 电子设备发送恢复指令。在以下情况下计数器的值减小：设备显示屏的背 光源熄灭；显示器已打开长于预先确定的持续时间；正在从设备的用户界 面的前台解除虚拟助理会话；以及自解除虚拟助理会话以来已过去预先确 定的持续时间。在一些实施方案中，这些条件中的每个条件将计数器值减 小一。

根据一些实施方案，图10示出根据各种所述实施方案(包括参考图 8A至图8F和图9描述的那些)的原理配置的电子设备1000的功能框图。 该设备的功能块任选地由执行各种所述实施方案的原理的硬件、软件或硬 件和软件的组合来实现。本领域的技术人员应当理解，图10中所述的功能 块任选地被组合或被分离为子块，以便实现各种所述实施方案的原理。因 此，本文的描述任选地支持本文所述的功能块的任何可能的组合或分离或 进一步限定。

如图10所示，电子设备1000包括：被配置为显示图形用户界面的显 示单元1002；用于接收接触的可选的触敏表面单元1004；用于检测音频输 入的麦克风单元1006；使用一个或多个数据传输机构来提供发送和接收信 息的通信单元1008；以及耦接至上述单元的处理单元1012。在一些实施方 案中，该处理单元1012包括显示启用单元1014、音频采样单元1016、音 频确定单元1018、虚拟助理服务单元1020、指令单元1022、和使用条件计 数器单元1024。

在一些实施方案中，处理单元1012被配置为：使用第一麦克风(例 如，利用麦克风单元1006)来对音频输入进行采样(例如，利用音频采样 单元1016)；根据使用第一麦克风来对音频输入进行采样，向具有第二麦 克风的第二电子设备发送停止指令(例如，利用指令单元1022和/或通信单 元1008)，所述第二电子设备在电子设备1000外部，其中第二电子设备被 配置为对使用第二麦克风所接收的音频输入进行响应，并且其中该停止指 令指导第二电子设备放弃对使用第二麦克风所接收的音频输入进行响应， 其中对使用第二麦克风所接收的音频输入进行响应包括提供可感知的输出 (诸如图8C中屏幕810的视觉显示)。

在一些实施方案中，处理单元1012被进一步配置为：停止对音频输入 进行采样(例如，利用音频采样单元1016)；根据停止对音频输入进行采 样，向第二电子设备发送恢复指令(例如，通过指令单元1022和/或通信单 元1008)，其中该恢复指令指导第二电子设备恢复对使用第二麦克风所接 收的音频输入进行响应。

注意，在一些实施方案中，第二电子设备被配置为对使用第二麦克风 所接收的音频输入进行响应：使用第二麦克风来对音频输入进行采样，并 根据确定使用第二麦克风的经采样的音频输入包括口头触发而发起虚拟助 理会话。停止指令使得第二电子设备通过放弃使用第二麦克风来对音频输 入进行采样来放弃对使用第二麦克风所接收的音频输入进行响应(例如， 用指令单元1022发送的)。

注意，在一些实施方案中，第二电子设备被配置为对使用第二麦克风 所接收的音频输入进行响应：使用第二麦克风来对音频输入进行采样，并 根据确定使用第二麦克风的经采样的音频输入包括口头触发而发起虚拟助 理会话。停止指令使得第二电子设备通过即使在使用第二麦克风的经采样 的音频输入包括口头触发的情况下也放弃发起虚拟助理会话来放弃对使用 第二麦克风所接收的音频输入进行响应(例如，用指令单元1022发送的)。

在一些实施方案中，停止指令包括对第二电子设备放弃对使用第二麦 克风所接收的音频输入进行响应的持续时间的指示。

在一些实施方案中，恢复指令使得第二电子设备恢复对使用第二麦克 风所接收的音频输入进行响应。

在一些实施方案中，停止指令使得第二电子设备：根据在第二电子设 备对来自第二麦克风的音频输入进行响应时接收到停止指令，停止对来自 第二麦克风的音频输入进行响应。

在一些实施方案中，停止指令使得第二电子设备：根据在第二电子设 备对使用第二麦克风所接收的音频输入进行响应时接收到停止指令，提供 用于指示第二电子设备正在停止其对来自第二麦克风的音频输入进行响应 的输出。

在一些实施方案中，处理单元1012被进一步配置为：确定设备1000 的显示是否打开(例如，利用显示启用单元1014)；根据确定屏幕打开， 使用第一麦克风来对音频输入进行采样；并且根据确定屏幕未打开，放弃 用第一麦克风来对音频输入进行采样(例如，利用音频采样单元1016) 使。

在一些实施方案中，处理单元1012被进一步配置为：根据使用第一麦 克风来对音频输入进行采样(例如，利用音频采样单元1016)：确定预先 确定的服务是否正在设备1000的前台中执行(例如，利用虚拟助理服务单 元1020)；根据确定服务正在前台中执行，使用第一麦克风来对音频输入 进行采样(例如，利用音频采样单元1016)；并且根据确定屏幕未正在前 台中执行，放弃使用第一麦克风来对音频输入进行采样(例如，利用音频 采样单元1016)。

在一些实施方案中，处理单元1012被进一步配置为：根据在设备 1000处使用第一麦克风来对音频输入进行采样(例如，利用音频采样单元 1016)：确定预先确定的服务是否已被解除长于预先确定的持续时间(例 如，利用虚拟助理服务单元1020)；根据确定预先确定的服务已被解除不 长于预先确定的持续时间，使用第一麦克风来对音频输入进行采样(例 如，利用音频采样单元1016)；并且根据确定预先确定的服务已被解除长 于预先确定的持续时间，放弃使用第一麦克风来对音频输入进行采样(例 如，利用音频采样单元1016)。

注意，在一些实施方案中，当第二电子设备的预先确定的至少一个处 理器打开时，第二电子设备使用第二麦克风来对音频输入进行采样。注 意，在一些实施方案中，在第二电子设备处使用第二麦克风来对音频输入 进行采样包括：确定第二电子设备是否正在充电；根据确定第二电子设备 正在充电，使用第一麦克风来对音频输入进行采样；并且根据确定第二电 子设备未正在充电，放弃使用第一麦克风来对音频输入进行采样。

在一些实施方案中，处理单元1012被进一步配置为：确定经采样的音 频输入是否包括口头触发(例如，利用音频确定单元1018)；根据确定经 采样的音频输入包括口头触发，触发预先确定的服务(例如，利用虚拟助 理服务单元1020)；并且根据确定经采样的音频输入不包括口头触发，放 弃触发预先确定的服务(例如，利用虚拟助理服务单元1020)。

在一些实施方案中，处理单元1012被进一步配置为：使用无状态传输 机构来向第二电子设备发送停止指令或恢复指令(例如，利用指令单元 1022和/或通信单元1008)。

在一些实施方案中，处理单元1012被进一步配置为：将停止指令作为 寻址到第二电子设备的传输的一部分在电子通信信道上发送(例如，利用 指令单元1022和/或通信单元1008)。

在一些实施方案中，处理单元1012被进一步配置为：根据向第二电子 设备发送停止指令(例如，利用指令单元1022和/或通信单元1008)，在 电子通信信道上广播停止指令(例如，利用指令单元1022和/或通信单元 1008)。

在一些实施方案中，口头触发包括预先确定的短语。

在一些实施方案中，处理单元1012被进一步配置为：基于设备使用条 件来保持计数器(例如，利用计数器单元1024)，其中向第二电子设备发 送停止指令(例如，利用指令单元1022和/或通信单元1008)包括：根据 确定计数器超过阈值，发送停止指令(例如，利用指令单元1022和/或通信 单元1008)，根据确定计数器未超过阈值，放弃发送停止指令(例如，利 用指令单元1022和/或通信单元1008)。

在一些实施方案中，处理单元1012被进一步配置为通过以下方式来向 第二电子设备发送恢复指令(例如，利用指令单元1022和/或通信单元 1008)：根据确定计数器未超过阈值，发送恢复指令(例如，利用指令单 元1022和/或通信单元1008)，并且根据确定计数器超过阈值，放弃发送 恢复指令(例如，利用指令单元1022和/或通信单元1008)。

在一些实施方案中，处理单元1012被进一步配置为根据确定设备 1000的显示单元1002的背光源打开(例如，利用显示启用单元1014和/或 显示单元1002)来使计数器增大(例如，利用计数器单元1024)。

在一些实施方案中，处理单元1012被进一步配置为根据检测到对设备 1000的输入设备的激活(例如，利用触敏表面1004)来使计数器增大(例 如，利用计数器单元1024)。

在一些实施方案中，处理单元1012被进一步配置为根据检测到设备 1000的移动满足预先确定的条件(例如，利用移动传感器单元1010)来使 计数器增大(例如，利用计数器单元1024)。

在一些实施方案中，处理单元1012被进一步配置为根据确定预先确定 的服务正在设备1000上(例如，在前台中)活动地执行(例如，利用虚拟 助理服务单元1020)来使计数器增大(例如，利用计数器单元1024)。

在一些实施方案中，处理单元1012被进一步配置为根据确定显示单元 1002的背光源关闭(例如，利用显示启用单元1014)来使计数器减小(例 如，利用计数器单元1024)。

在一些实施方案中，处理单元1012被进一步配置为根据确定显示单元 1002已打开长于预先确定的持续时间(例如，利用显示启用单元1014)来 使计数器减小(例如，利用计数器单元1024)。

在一些实施方案中，处理单元1012被进一步配置为根据检测到在设备 1000上解除预先确定的服务或应用程序(例如，由虚拟助理单元1020提供 的虚拟助理服务)来使计数器减小(例如，利用计数器单元1024)。在一 些实施方案中，处理单元1012被进一步配置为根据确定自解除以来已过去 预先确定的持续时间来使计数器减小(例如，利用计数器单元1024)。

上文相对于图8A至图8F所述的操作任选地由图1、图2或图10中所 描绘的部件来实现。例如，音频接收操作902任选地由音频电路210实 现，框904和908处的指令传输任选地由一个或多个处理器220实现。本 领域的普通技术人员会清楚地知道可如何基于图1、图2或图10中描绘的 部件来实现其他过程。

本领域的技术人员应当理解，图10中所述的功能块任选地被组合或被 分离为子块，以便实现各种所述实施方案的原理。因此，本文的描述任选 地支持本文所述的功能块的任何可能的组合或分离或进一步限定。例如， 单元1002-1012可具有操作性地与相应单元和处理单元1012耦接在一起以 启用操作的相关联的“控制器”单元。这些控制器单元在图10中未单独示 出，但应当理解，其在设计了具有单元1002-1012的设备(诸如设备 1000)的本领域普通技术人员的掌握中。作为另一个示例，在一些实施方 案中，音频采样单元1016和/或音频确定单元1018可以是除处理单元1012 之外的硬件单元。因此，本文中的描述任选地支持本文所述功能块的组 合、分离和/或进一步限定。

虽然参照附图对本公开以及示例进行了全面的描述，但应当注意，各 种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解， 此类变化和修改被认为被包括在由所附权利要求所限定的本公开和实例的 范围内。

Claims (50)

1.一种方法，包括：

在具有第一麦克风的第一电子设备处：

确定与所述第一电子设备的激活相关联的条件是否被满足；

响应于确定与所述第一电子设备的激活相关联的所述条件被满足：

使用所述第一麦克风来对音频输入进行采样，其中所述音频输入在具有第二麦克风的第二电子设备上发起虚拟助理会话之前被采样；以及

根据使用所述第一麦克风对所述音频输入进行所述采样，向具有第二麦克风的所述第二电子设备发送停止指令，所述第二电子设备在所述第一电子设备外部，

其中所述第二电子设备被配置为对使用所述第二麦克风所接收的所述音频输入进行响应，并且

其中所述停止指令指导所述第二电子设备放弃对使用所述第二麦克风所接收的所述音频输入进行响应。

2.根据权利要求1所述的方法，其中与所述第一电子设备的激活相关联的所述条件包括在所述第一电子设备处接收到口头输入。

3.根据权利要求1所述的方法，其中与所述第一电子设备的激活相关联的所述条件包括所述第一电子设备的输入设备的激活。

4.根据权利要求3所述的方法，其中所述第一电子设备的所述输入设备是所述第一电子设备的机械按钮、触敏按钮、可旋转输入设备或触敏表面。

5.根据权利要求1所述的方法，还包括：

在所述第一电子设备处：

确定经采样的所述音频输入是否包括口头触发；以及

根据确定经采样的所述音频输入包括所述口头触发，发起虚拟助理会话。

6.根据权利要求5所述的方法，其中所述口头触发包括预先确定的短语。

7.根据权利要求1所述的方法，还包括：

在所述第一电子设备处：

停止对第二音频输入进行采样；以及

根据停止对所述第二音频输入进行所述采样，向所述第二电子设备发送恢复指令，其中所述恢复指令指导所述第二电子设备恢复对使用所述第二麦克风所接收的所述第二音频输入进行响应。

8.根据权利要求7所述的方法，还包括：

在所述第一电子设备处，使用无状态传输机构来向所述第二电子设备发送所述停止指令或所述恢复指令。

9.根据权利要求7所述的方法，还包括，在所述第一电子设备处：

基于设备使用条件来保持计数器，

其中向所述第二电子设备发送所述停止指令包括：

根据确定所述计数器超过阈值，发送所述停止指令，以及

根据确定所述计数器未超过所述阈值，放弃发送所述停止指令。

10.根据权利要求9所述的方法，其中向所述第二电子设备发送所述恢复指令包括：

根据确定所述计数器未超过所述阈值，发送所述恢复指令，以及

根据确定所述计数器超过所述阈值，放弃发送所述恢复指令。

11.根据权利要求1所述的方法，其中所述第二电子设备被配置为通过以下方式来对使用所述第二麦克风所接收的所述音频输入进行响应：

使用所述第二麦克风来对所述音频输入进行采样，以及

根据确定使用所述第二麦克风的经采样的所述音频输入包括口头触发，发起所述虚拟助理会话；并且

其中所述停止指令指导所述第二电子设备通过即使在使用所述第二麦克风的经采样的所述音频输入包括所述口头触发的情况下，也放弃发起所述虚拟助理会话，来放弃对使用所述第二麦克风所接收的所述音频输入进行响应。

12.根据权利要求11所述的方法，其中使用所述第二麦克风来对所述音频输入进行采样包括当所述第二电子设备的预先确定的至少一个处理器被打开时，使用所述第二麦克风来对所述音频输入进行采样。

13.根据权利要求11所述的方法，其中使用所述第二麦克风来对所述音频输入进行采样包括：

确定所述第二电子设备是否正在充电；以及

根据确定所述第二电子设备正在充电，使用所述第一麦克风来对所述音频输入进行采样。

14.根据权利要求1所述的方法，其中所述停止指令包括对所述第二电子设备放弃对使用所述第二麦克风所接收的所述音频输入进行响应的持续时间的指示。

15.根据权利要求1所述的方法，其中所述第二电子设备被配置为：

在根据从所述第一电子设备接收到所述停止指令而放弃对使用所述第二麦克风所接收的所述音频输入进行响应之后：

恢复对使用所述第二麦克风所接收的所述音频输入进行响应。

16.根据权利要求1所述的方法，其中所述第二电子设备被进一步配置为：

根据在所述第二电子设备对来自所述第二麦克风的所述音频输入进行响应时接收到所述停止指令，停止对来自所述第二麦克风的所述音频输入进行响应。

17.根据权利要求1所述的方法，其中所述第二电子设备被进一步配置为：

根据在所述第二电子设备对使用所述第二麦克风所接收的所述音频输入进行响应时接收到所述停止指令，提供指示所述第二电子设备正在停止其对来自所述第二麦克风的所述音频输入进行响应的输出。

18.根据权利要求1所述的方法，其中使用所述第一麦克风来对所述音频输入进行采样包括：

确定预先确定的服务是否正在所述第一电子设备上活动地执行；以及

根据确定所述预先确定的服务正在活动地执行，使用所述第一麦克风来对所述音频输入进行采样。

19.根据权利要求1所述的方法，其中使用所述第一麦克风来对所述音频输入进行采样包括：

确定预先确定的服务是否已被解除长于预先确定的持续时间；以及

根据确定所述预先确定的服务已被解除不长于所述预先确定的持续时间，使用所述第一麦克风来对所述音频输入进行采样。

20.根据权利要求1所述的方法，还包括：

在所述第一电子设备处：

确定经采样的所述音频输入是否包括口头触发；

根据确定经采样的所述音频输入包括所述口头触发，触发预先确定的服务；以及

根据确定经采样的所述音频输入不包括所述口头触发，放弃触发所述预先确定的服务。

21.根据权利要求1所述的方法，还包括：

在所述第一电子设备处：

根据向所述第二电子设备发送所述停止指令，将所述停止指令作为被寻址到所述第二电子设备的传输的一部分在电子通信信道上发送。

22.根据权利要求1所述的方法，还包括：

在所述第一电子设备处：

根据向所述第二电子设备发送所述停止指令，在电子通信信道上广播所述停止指令。

23.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有第一麦克风的第一电子设备执行时使得所述第一电子设备：

确定与所述第一电子设备的激活相关联的条件是否被满足；

响应于确定与所述第一电子设备的激活相关联的所述条件被满足：

使用所述第一麦克风来对音频输入进行采样，其中所述音频输入在具有第二麦克风的第二电子设备上发起虚拟助理会话之前被采样；以及

根据使用所述第一麦克风对所述音频输入进行采样，向所述第二电子设备发送停止指令，所述第二电子设备在所述第一电子设备外部，

其中所述第二电子设备被配置为对使用所述第二麦克风所接收的所述音频输入进行响应，并且

其中所述停止指令指导所述第二电子设备放弃对使用所述第二麦克风所接收的所述音频输入进行响应。

24.一种第一电子设备，包括：

一个或多个处理器；

存储器；

第一麦克风；和

一个或多个程序，其中所述一个或多个程序被存储在存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：

确定与所述第一电子设备的激活相关联的条件是否被满足；

响应于确定与所述第一电子设备的激活相关联的所述条件被满足：

使用所述第一麦克风来对音频输入进行采样，其中所述音频输入在具有第二麦克风的第二电子设备上发起虚拟助理会话之前被采样；以及

根据使用所述第一麦克风对所述音频输入进行所述采样，向具有第二麦克风的所述第二电子设备发送停止指令，所述第二电子设备在所述第一电子设备外部，

其中所述第二电子设备被配置为对使用所述第二麦克风所接收的所述音频输入进行响应，并且

其中所述停止指令指导所述第二电子设备放弃对使用所述第二麦克风所接收的所述音频输入进行响应。

25.一种电子设备，包括：

用于执行根据权利要求1至22中任一项所述的方法的装置。

26.一种方法，包括：

在具有第一麦克风的第一电子设备处：

在所述第一麦克风处对音频输入进行采样，其中所述音频输入在具有第二麦克风的第二电子设备上发起虚拟助理会话之前被采样；

在所述第二电子设备处：在所述第二麦克风处接收所述音频输入；

在所述第一电子设备处：

基于与所述第一电子设备相关联的使用条件，确定是否使用所述第一电子设备或使用所述第二电子设备对所述音频输入进行响应；

根据确定使用所述第一电子设备对所述音频输入进行响应，向所述第二电子设备发送停止指令，所述第二电子设备在所述第一电子设备外部，

其中所述第二电子设备被配置为对使用所述第二麦克风所接收的所述音频输入进行响应，并且

其中所述停止指令指导所述第二电子设备放弃对使用所述第二麦克风所接收的所述音频输入进行响应，其中对使用所述第二麦克风所接收的所述音频输入进行响应包括提供可感知的输出。

27.根据权利要求26所述的方法，其中：

与所述第一电子设备相关联的所述使用条件包括所述第一电子设备的显示器的背光源是否打开；以及

确定是否使用所述第一电子设备或使用所述第二电子设备对所述音频输入进行响应包括根据确定所述第一电子设备的所述显示器的所述背光源打开，确定使用所述第一电子设备对所述音频输入进行响应。

28.根据权利要求26所述的方法，其中：

与所述第一电子设备相关联的所述使用条件包括所述第一电子设备的输入设备是否已经被激活；以及

确定是否使用所述第一电子设备或使用所述第二电子设备对所述音频输入进行响应包括根据确定所述第一电子设备的所述输入设备已经被激活，确定使用所述第一电子设备对所述音频输入进行响应。

29.根据权利要求26所述的方法，其中：

与所述第一电子设备相关联的所述使用条件包括所述第一电子设备是否检测到满足预先确定的条件的移动；以及

确定是否使用所述第一电子设备或使用所述第二电子设备对所述音频输入进行响应包括根据确定所述第一电子设备检测到满足所述预先确定的条件的移动，确定使用所述第一电子设备对所述音频输入进行响应。

30.根据权利要求26所述的方法，其中：

与所述第一电子设备相关联的所述使用条件包括虚拟助理会话是否正在所述第一电子设备的用户界面的前台中活动地执行；以及

确定是否使用所述第一电子设备或使用所述第二电子设备对所述音频输入进行响应包括根据确定所述虚拟助理会话正在所述第一电子设备的所述用户界面的所述前台中活动地执行，确定使用所述第一电子设备对所述音频输入进行响应。

31.根据权利要求26所述的方法，还包括：

在所述第一电子设备处：

确定经采样的所述音频输入是否包括口头触发；以及

根据确定经采样的所述音频输入包括所述口头触发，发起虚拟助理会话。

32.根据权利要求31所述的方法，其中所述口头触发包括预先确定的短语。

33.根据权利要求26所述的方法，还包括：

在所述第一电子设备处：

停止对第二音频输入进行采样；以及

根据停止对所述第二音频输入进行所述采样，向所述第二电子设备发送恢复指令，其中所述恢复指令指导所述第二电子设备恢复对使用所述第二麦克风所接收的所述第二音频输入进行响应。

34.根据权利要求33所述的方法，还包括：

在所述第一电子设备处：

使用无状态传输机构来向所述第二电子设备发送所述停止指令或所述恢复指令。

35.根据权利要求33所述的方法，其中：

确定是否使用所述第一电子设备或使用所述第二电子设备对所述音频输入进行响应包括基于与所述第一电子设备相关联的所述使用条件来保持计数器；以及

发送所述停止指令包括根据确定所述计数器超过阈值，发送所述停止指令。

36.根据权利要求35所述的方法，其中：

发送所述恢复指令包括根据确定所述计数器未超过所述阈值，发送所述恢复指令。

37.根据权利要求26所述的方法，其中所述第二电子设备被配置为通过以下方式来对使用所述第二麦克风所接收的所述音频输入进行响应：

使用所述第二麦克风来对所述音频输入进行采样，以及

根据确定使用所述第二麦克风的经采样的所述音频输入包括口头触发，发起所述虚拟助理会话；并且

其中所述停止指令指导所述第二电子设备通过即使在使用所述第二麦克风的经采样的所述音频输入包括所述口头触发的情况下，也放弃发起所述虚拟助理会话，来放弃对使用所述第二麦克风所接收的所述音频输入进行响应。

38.根据权利要求37所述的方法，其中使用所述第二麦克风来对所述音频输入进行采样包括：

确定所述第二电子设备是否正在充电；以及

根据确定所述第二电子设备正在充电，使用所述第一麦克风来对所述音频输入进行采样。

39.根据权利要求26所述的方法，其中所述停止指令包括对所述第二电子设备放弃对使用所述第二麦克风所接收的所述音频输入进行响应的持续时间的指示。

40.根据权利要求26所述的方法，其中所述第二电子设备被配置为：

在根据从所述第一电子设备接收到所述停止指令而放弃对使用所述第二麦克风所接收的所述音频输入进行响应之后：

恢复对使用所述第二麦克风所接收的所述音频输入进行响应。

41.根据权利要求26所述的方法，其中所述第二电子设备被配置为：

根据在所述第二电子设备对来自所述第二麦克风的所述音频输入进行响应时接收到所述停止指令，停止对来自所述第二麦克风的所述音频输入进行响应。

42.根据权利要求26所述的方法，其中所述第二电子设备被配置为：

根据在所述第二电子设备对使用所述第二麦克风所接收的所述音频输入进行响应时接收到所述停止指令，提供指示所述第二电子设备正在停止其对来自所述第二麦克风的所述音频输入进行响应的输出。

43.根据权利要求26所述的方法，其中在所述第一麦克风处对所述音频输入进行采样包括：

确定预先确定的服务是否正在所述第一电子设备上活动地执行；以及

根据确定所述预先确定的服务正在活动地执行，在所述第一麦克风处对所述音频输入进行采样。

44.根据权利要求26所述的方法，其中在所述第一麦克风处对所述音频输入进行采样包括：

确定预先确定的服务是否已被解除长于预先确定的持续时间；以及

根据确定所述预先确定的服务已被解除不长于所述预先确定的持续时间，在所述第一麦克风处对所述音频输入进行采样。

45.根据权利要求26所述的方法，还包括：

在所述第一电子设备处：

确定经采样的所述音频输入是否包括口头触发；

根据确定经采样的所述音频输入包括所述口头触发，触发预先确定的服务；以及

根据确定经采样的所述音频输入不包括所述口头触发，放弃触发所述预先确定的服务。

46.根据权利要求26所述的方法，其中发送所述停止指令包括将所述停止指令作为被寻址到所述第二电子设备的传输的一部分在电子通信信道上发送。

47.根据权利要求26所述的方法，其中发送所述停止指令包括在电子通信信道上广播所述停止指令。

48.一种第一电子设备，包括：

一个或多个处理器；

存储器；

第一麦克风；以及

一个或多个程序，其中所述一个或多个程序被存储在存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：

在所述第一麦克风处对音频输入进行采样，其中所述音频输入在具有第二麦克风的第二电子设备上发起虚拟助理会话之前被采样，并且其中所述第二电子设备在所述第二麦克风处接收所述音频输入；

基于与所述第一电子设备相关联的使用条件，确定是否使用所述第一电子设备或使用所述第二电子设备对所述音频输入进行响应；

根据确定使用所述第一电子设备对所述音频输入进行响应，向所述第二电子设备发送停止指令，所述第二电子设备在所述第一电子设备外部，

其中所述第二电子设备被配置为对使用所述第二麦克风所接收的所述音频输入进行响应，并且

其中所述停止指令指导所述第二电子设备放弃对使用所述第二麦克风所接收的所述音频输入进行响应，其中对使用所述第二麦克风所接收的所述音频输入进行响应包括提供可感知的输出。

49.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有第一麦克风的第一电子设备的一个或多个处理器执行时使得所述第一电子设备：

在所述第一麦克风处对音频输入进行采样，其中所述音频输入在具有第二麦克风的第二电子设备上发起虚拟助理会话之前被采样，并且其中所述第二电子设备在所述第二麦克风处接收所述音频输入；

基于与所述第一电子设备相关联的使用条件，确定是否使用所述第一电子设备或使用所述第二电子设备对所述音频输入进行响应；

根据确定使用所述第一电子设备对所述音频输入进行响应，向所述第二电子设备发送停止指令，所述第二电子设备在所述第一电子设备外部，

其中所述第二电子设备被配置为对使用所述第二麦克风所接收的所述音频输入进行响应，并且

其中所述停止指令指导所述第二电子设备放弃对使用所述第二麦克风所接收的所述音频输入进行响应，其中对使用所述第二麦克风所接收的所述音频输入进行响应包括提供可感知的输出。

50.一种电子设备，包括：

用于执行根据权利要求26至47中任一项所述的方法的装置。