CN105144133B - 对中断进行上下文相关处理 - Google Patents

Abstract

本发明涉及接收通知项的列表，该列表包括多个通知项，其中多个通知项中的每个相应通知项与相应紧急度值相关联。检测信息项。在一些具体实施中，信息项为通信(例如电子邮件)。在一些具体实施中，信息项为用户的上下文的变化。在确定信息项与第一通知项的紧急度值相关时，调整第一通知项的紧急度值。在确定所调整的紧急度值满足预先确定的阈值时，向用户提供第一音频提示。

Description

对中断进行上下文相关处理

相关申请的交叉引用

本专利申请要求于2013年3月15日提交的名称为“CONTEXT-SENSITIVE HANDLINGOF INTERRUPTIONS”的美国临时专利申请61/799,996的权益，所述专利申请据此全文以引用方式并入本文以用于所有目的。

技术领域

所公开的实施例整体涉及数字助理，并且更具体地涉及基于当前上下文来智能地处理通知的数字助理。

背景技术

正如人类个人助理一样，数字助理或虚拟助理可执行所请求的任务并提供所请求的建议、信息或服务。助理满足用户请求的能力取决于助理对请求或指令的正确理解。自然语言处理的近期发展已使得用户能够使用以口头或文本形式的自然语言与数字助理进行交互，而不是采用常规的用户界面(例如，菜单或经编程的命令)。此类数字助理可解译用户的输入以推断用户的意图、将所推断出的意图转换成可执行的任务和参数、执行操作或部署服务以执行任务，以及产生可被用户理解的输出。理想的是，由数字助理所产生的输出应实现在用户和数字助理系统之间的自然语言交互期间所表达的用户的意图。

然而，很多数字助理仅仅是反应式的，即它们仅响应于对信息的用户请求向用户提供输出。例如，数字助理将在用户要求它们时提供驾驶方向，将设置提醒，搜索网络等。但仅仅通过对信息的公开请求作出反应，数字助理的有益性就固有地受到限制。另一方面，人类个人助理则是主动性的。他们可确定某人可能需要什么信息并在请求其之前提供它。而且，他们可确定是否以及如何打断用户以通过最适当的方式提供此类信息。

因此，需要智能地而直观地确定待向用户提供的信息而无需首先接收针对其的特定请求，并且智能地确定什么信息值得打断用户，以及如何通过适当方式呈现该信息的操作数字助理的方法。

发明内容

下文描述的实施例提供了一种用于提供与通知项相关联的音频提示的改进方法。具体地，在一些实施例中，数字助理动态且智能地向通知列表中的通知分配紧急度值，并仅在紧急度值满足预先确定的阈值的情况下才提供音频提示。因此，鉴于传统通知技术或者向用户提供所有通知，或者不提供通知(例如，如果设备已被置于静音模式中)，本方法允许数字助理基于消息的紧急度和用户上下文来智能地确定是否打断用户。此外，在一些具体实施中，数字助理检测变化条件并监测新的传入通知，以调整现有通知项的紧急度值。因此，数字助理提供用户通知的实时鉴别，使得不会仅仅因为用户不希望在商务午餐期间被体育比分更新的通知打断而错过了真正重要的通知，其包括仅因为条件变化或新接收的信息而最近变得重要的通知。

本文所公开的实施例提供了方法、系统、计算机可读存储介质和用户界面，以用于数字助理智能地且动态地确定是否提供语音输出。该方法包括提供通知项的列表，该列表包括多个通知项，其中多个通知项中的每个相应通知项与相应紧急度值相关联。该方法进一步包括检测信息项，以及确定信息项是否与多个通知项中的第一通知项的紧急度值相关。该方法进一步包括在确定信息项与第一通知项的紧急度值相关时，调整第一通知项的紧急度值。该方法进一步包括确定第一通知项的经调整紧急度值是否满足预先确定的阈值，并且在确定所调整的紧急度值满足预先确定的阈值时，向用户提供第一音频提示。

在一些实施例中，该方法进一步包括根据设备的位置来建立预先确定的阈值。在一些实施例中，该方法进一步包括根据一天中的时间来建立预先确定的阈值。在一些实施例中，该方法进一步包括根据与当前时间相关联的日历项来建立预先确定的阈值。在一些实施例中，该方法进一步包括根据设备的用户设置来建立预先确定的阈值。

在一些实施例中，信息项是由以下各项组成的组中的一者：电子邮件；语音邮件；和文本消息。在一些实施例中，信息项为应用程序通知。在一些实施例中，信息项为设备上下文的变化。

在一些实施例中，该方法进一步包括检测至少包括通信和设备的上下文的变化的两个信息项。

在一些具体实施中，相应紧急度值基于以下中的一者或多者：与相应通知项相关联的时间；与相应通知项相关联的位置；以及相应通知项的内容。

在一些实施例中，该方法进一步包括确定对设备的用户而言重要的话题，并且基于确定相应通知项对应于重要的话题来向相应通知项分配相应紧急度值中的至少一个相应紧急度值。在一些具体实施中，由设备自动确定重要性话题，而无需人为干预。

在一些具体实施中，确定信息项是否与第一通知项的紧急度值相关包括确定信息项对应于与第一通知项相关联的位置的变化。在一些具体实施中，确定信息项是否与第一通知项的紧急度值相关包括确定信息项对应于与第一通知项相关联的时间的变化。

在一些实施例中，该方法进一步包括在确定所调整的紧急度值不满足预先确定的阈值时，延迟向用户提供音频提示。

在一些实施例中，检测信息项包括接收传入的通信，并且响应于接收到传入的通信来执行确定信息项是否与第一通知项的紧急度值相关。

在一些实施例中，该方法进一步包括确定用户是否已确认第一音频提示；并且当确定用户尚未确认第一音频提示时，向用户提供第二音频提示，该第二音频提示与第一音频提示不同。在一些实施例中，第二音频提示比第一音频提示响。在一些实施例中，第二音频提示比第一音频提示长。在一些实施例中，第一音频提示为第一铃声，并且第二音频提示为与第一铃声不同的第二铃声。

在一些实施例中，该方法进一步包括确定用户是否已确认第二音频提示；当确定用户尚未确认第二音频提示时，向用户提供第三音频提示，该第三音频提示与第一音频提示和第二音频提示不同。在一些实施例中，第三音频提示为语音输出。在一些实施例中，第一音频提示为铃声，第二音频提示为第一音量的第一语音输出，并且第三音频提示为比第一音量响的第二音量的第二语音输出。在一些实施例中，第一音频提示为铃声，第二音频提示为第一长度的第一语音输出，并且第三音频提示为比第一长度更长的第二长度的第二语音输出。

在一些实施例中，该方法进一步包括将来自信息项的信息结合到第一通知项中。

根据一些实施例，该电子设备包括显示器、触敏表面、用于检测与触敏表面的接触的强度的任选的一个或多个传感器、一个或多个处理器、存储器和一个或多个程序；一个或多个程序被存储在存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行上述方法中的任一方法的操作的指令。根据一些实施例，计算机可读存储介质在其中存储有指令，该指令当由具有显示器、触敏表面和用于检测与触敏表面的接触的强度的任选的一个或多个传感器的电子设备执行时使得该设备执行上述提及的方法中的任一方法的操作。根据一些实施例，电子设备包括：显示器、触敏表面、用于检测与触敏表面的接触的强度的任选的一个或多个传感器；和用于执行上述方法中的任一方法的操作的装置。根据一些实施例，在具有显示器和触敏表面、用于检测与触敏表面的接触的强度的任选的一个或多个传感器的电子设备中使用的信息处理设备包括用于执行上述方法中的任一方法的操作的装置。

在附图以及下文的描述中阐述了本说明书中描述的主题的一种或多种具体实施的细节。根据说明书、附图及权利要求，该主题的其他特征、方面和优点将变得显而易见。

附图说明

图1是示出了根据一些实施例的数字助理在其中操作的环境的框图。

图2是示出了根据一些实施例的数字助理客户端系统的框图。

图3A是示出了根据一些实施例的数字助理系统或其服务器部分的框图。

图3B是示出了根据一些实施例的图3A中所示的数字助理的功能的框图。

图3C是根据一些实施例的知识本体的一部分的图示。

图4A-图4C示出了根据一些实施例的一种示例性情形，其中数字助理确定是否提供语音输出。

图5A-图5D是根据一些实施例的由数字助理实施的一种示例性方法的流程图，该方法用于基于确定设备当前是否正从用户接收语音输入以及语音输出的紧急度来确定是否向用户提供语音输出。

图6是根据一些实施例的由数字助理实施的用于管理通知列表的一种示例性方法的流程图。

在整个附图中，类似的参考标号是指对应的部件。

具体实施方式

图1是根据一些实施例的数字助理的操作环境100的框图。术语“数字助理”、“虚拟助理”、“智能自动化助理”或“自动数字助理”是指解译口头和/或文本形式的自然语言输入以推断用户意图并基于所推断出的用户意图来执行动作的任何信息处理系统。例如，为了实施所推断出的用户意图，系统可执行以下各项中的一者或多者：利用被设计用于实现所推断出的用户意图的步骤和参数来识别任务流，将来自所推断出的用户意图的具体要求输入到任务流中，通过调用程序、方法、服务、API等来执行任务流；以及生成对用户的听觉(例如，语音)和/或视觉形式的输出响应。

具体地，数字助理能够接受至少部分地为自然语言命令、请求、声明、叙述和/或询问形式的用户请求。通常，用户请求要么寻求由数字助理来进行信息性应答，要么寻求由数字助理来执行任务。对用户请求的令人满意的响应通常是提供所请求的信息性应答、执行所请求的任务、或这两者的组合。例如，用户可能向数字助理问问题，诸如“我现在在哪里？”基于用户的当前位置，数字助理可应答“您在中央公园西门附近。”用户也可请求执行任务，例如，“请邀请我的朋友参加下周我女朋友的生日聚会。”作为响应，数字助理可通过说“好的，马上”来确认请求，并且然后代表用户向用户电子通讯录中所列出的用户的每个朋友发送适当的日历邀请。在执行所请求的任务期间，数字助理有时会在连续对话中与用户进行交互，着涉及在延长的时段内多次交换信息。存在与数字助理进行交互以请求信息或执行各种任务的许多其他方式。除提供言语响应并采取经编程的动作之外，数字助理还可提供其他视频或音频形式的响应，例如作为文本、警示、音乐、视频、动画等。

在申请人于2011年1月10日提交的针对“Intelligent Automated Assistant”的美国实用新型专利申请序列号12/987,982中描述了数字助理的实例，该专利申请的全部内容以引用方式并入本文。

如图1中所示，在一些实施例中，数字助理根据客户端-服务器模型来实施。数字助理包括在用户设备104a,104b上执行的客户端部分102a,102b(后文称作“DA客户端102”)，以及在服务器系统108上执行的服务器端部分106(后文称作“DA服务器106”)。DA客户端102通过一个或多个网络110来与DA服务器106进行通信。DA客户端102提供客户端功能，诸如面向用户的输入和输出处理，并且与DA服务器106进行通信。DA服务器106为任意数量的DA客户端102提供服务器端功能，该任意数量的DA客户端102各自驻留在相应用户设备104上。

在一些实施例中，DA服务器106包括面向客户端的I/O接口112、一个或多个处理模块114、数据与模型116，以及至外部服务的I/O接口118。面向客户端的I/O接口促进针对数字助理服务器106的面向客户端的输入和输出处理。一个或多个处理模块114利用数据与模型116来基于自然语言输入来确定用户的意图，并基于所推断出的用户意图来执行任务。在一些实施例中，DA服务器106通过一个或多个网络110与外部服务120进行通信以用于完成任务或采集信息。至外部服务的I/O接口118促进此类通信。

用户设备104的实例包括但不限于手持式计算机、个人数字助理(PDA)、平板电脑、膝上型计算机、台式计算机、蜂窝电话、智能电话、增强型通用分组无线电服务(EGPRS)移动电话、媒体播放器、导航设备、游戏控制台、电视机、遥控器、或者这些数据处理设备中任意两种或更多种的组合或其他数据处理设备。有关用户设备104的更多细节参照图2中示出的示例性用户设备104提供。

一个或多个通信网络110的实例包括局域网(“LAN”)和广域网(“WAN”)，例如互联网。一个或多个通信网络110可使用任何已知的网络协议来实施，该网络协议包括各种有线或无线协议，诸如例如以太网、通用串行总线(USB)、火线、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi、互联网语音协议(VoIP)、Wi-MAX、或任何其他合适的通信协议。

服务器系统108可在计算机的一个或多个独立的数据处理装置或分布式网络上实施。在一些实施例中，服务器系统108还采用第三方服务提供方(例如，第三方云服务提供方)的各种虚拟设备和/或服务来提供服务器系统108的潜在计算资源和/或基础结构资源。

尽管图1中示出的数字助理包括客户端部分(例如，DA客户端102)和服务器端部分(例如，DA服务器106)两者，但在一些实施例中，数字助理的功能被实现为安装于用户设备上的独立应用程序。此外，数字助理的客户端与服务器部分之间的功能划分在不同的实施例中可不同。例如，在一些实施例中，DA客户端为仅提供面向用户的输入和输出处理功能并且将数字助理的所有其他功能委派给后端服务器的瘦客户端。

图2为根据一些实施例的用户设备104的框图。用户设备104包括存储器接口202、一个或多个处理器204以及外围设备接口206。用户设备104中的各种部件通过一条或多条通信总线或信号线耦接。用户设备104包括各种传感器、子系统，以及耦接到外围设备接口206的外围设备。传感器、子系统，以及外围设备采集信息和/或促进用户设备104的各种功能。

例如，运动传感器210、光传感器212，以及接近传感器214耦接到外围设备接口206以促进取向、照明和接近感测功能。一个或多个其他传感器216诸如定位系统(例如，GPS接收器)、温度传感器、生物特征传感器，陀螺仪、罗盘、加速度计等也连接到外围设备接口206以促进相关功能。

在一些实施例中，利用相机子系统220和光学传感器222来促进相机功能，诸如拍摄照片和记录视频剪辑。可通过一个或多个有线和/或无线通信子系统224来促进通信功能，该一个或多个有线和/或无线通信子系统可包括各种通信吊舱、射频接收器与发射器和/或光学(如红外)接收器与发射器。可将音频子系统226耦接到扬声器228和麦克风230，以促进支持语音的功能，诸如语音识别、语音复制、数字记录和电话功能。

在一些实施例中，I/O子系统240还耦接到外围设备接口206。I/O子系统240包括触摸屏控制器242和/或一个或多个其他输入控制器244。触摸屏控制器242耦接到触摸屏246。触摸屏246和触摸屏控制器242可例如使用多种触摸灵敏度技术中的任一种触摸灵敏度技术来检测接触和移动或它们的中断，该多种触摸灵敏度技术诸如电容技术、电阻技术、红外技术、表面声波技术、接近传感器阵列等。可将一个或多个其他输入控制器244耦接到其他输入/控制设备248，诸如一个或多个按钮、摇臂开关、拇指滚轮、红外端口、USB端口和/或指针设备诸如触笔。

在一些实施例中，存储器接口202耦接到存储器250。存储器250可包括高速随机存取存储器和/或非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光学存储设备，和/或闪存存储器(如NAND、NOR)。

在一些实施例中，存储器250存储操作系统252、通信模块254、用户界面模块256、传感器处理模块258、电话模块260和应用程序262。操作系统252包括用于处理基础系统服务以及用于执行硬件相关任务的指令。通信模块254促进与一个或多个附加设备、一个或多个计算机和/或一个或多个服务器进行通信。用户界面模块256使用其他输出信道(例如，扬声器)来促进图形用户界面处理和输出处理。传感器处理模块258促进与传感器有关的处理和功能。电话模块260促进与电话有关的过程和功能。应用程序模块262促进用户应用程序的各种功能，诸如电子消息传送、网页浏览、媒体处理、导航、成像和/或其他过程和功能。

如本说明书中所述的，存储器250还存储客户端数字助理指令(例如，在数字助理客户端模块264中)以及各种用户数据266(例如，特定于用户的词汇数据、偏好数据、和/或其他数据，诸如用户的电子通讯录、待办事项列表、购物清单等)以提供数字助理的客户端功能。

在各种实施例中，数字助理客户端模块264能够通过用户设备104的各种用户界面(例如，I/O子系统244)接受语音输入(例如言语输入)、文本输入、触摸输入和/或手势输入。数字助理客户端模块264还能够提供音频(例如语音输出)、视频和/或触觉形式的输出。例如，可将输出提供为语音、声音、警示、文本消息、菜单、图形、视频、动画、振动、和/或以上两者或更多者的组合。在操作期间，数字助理客户端模块264使用通信子系统224来与数字助理服务器进行通信。

在一些实施例中，数字助理客户端模块264利用各种传感器、子系统和外围设备来从用户设备104的周围环境采集附加信息以建立与用户、当前用户交互和/或当前用户输入相关联的上下文。在一些实施例中，数字助理客户端模块264将上下文信息或其子集与用户输入一起提供给数字助理服务器，以帮助推断用户的意图。在一些实施例中，数字助理还使用上下文信息来确定如何准备并向用户递送输出。

在一些实施例中，可伴随用户输入的上下文信息包括传感器信息，例如照明、环境噪声、环境温度、周围环境的图像或视频等。在一些实施例中，上下文信息还包括设备的物理状态，例如设备取向、设备位置、设备温度、功率电平、速度、加速度、运动模式、蜂窝信号强度等。在一些实施例中，还将与用户设备104的软件状态相关的信息例如用户设备104的运行过程、已安装程序、过去和当前的网络活动、后台服务、错误日志、资源使用等作为与用户输入相关联的上下文信息提供到数字助理服务器。

在一些实施例中，DA客户端模块264响应于来自数字助理服务器的请求而选择性地提供存储在用户设备104上的信息(例如，用户数据266)。在一些实施例中，数字助理客户端模块264还在数字助理服务器106进行请求时引出来自用户的经由自然语言对话或其他用户界面的附加输入。数字助理客户端模块264将附加输入传送至数字助理服务器106，以帮助数字助理服务器106进行意图推断和/或满足在用户请求中所表达的用户意图。

在各种实施例中，存储器250包括附加指令或更少的指令。此外，可在硬件和/或包括在一个或多个信号处理电路和/或专用集成电路中的固件中实施用户设备104的各种功能。

图3A是根据一些实施例的示例性数字助理系统300的框图。在一些实施例中，数字助理系统300在独立计算机系统上实施。在一些实施例中，数字助理系统300跨多个计算机分布。在一些实施例中，数字助理的一些模块和功能被划分成服务器部分和客户端部分，其中客户端部分驻留在用户设备(例如，用户设备104)上并通过一个或多个网络与服务器部分(例如，服务器系统108)进行通信，例如如图1中所示的。在一些实施例中，数字助理系统300为图1中所示的服务器系统108(和/或数字助理服务器106)的实施例。应当指出，数字助理系统300仅为数字助理系统的一个实例，并且数字助理系统300可具有比所示更多或更少的部件，可组合两个或更多个部件，或可具有部件的不同配置或布置。图3A中所示的各种部件可以硬件、软件指令实施，以用于由一个或多个处理器、固件(包括一个或多个信号处理电路和/或专用集成电路)、或它们的组合来执行。

数字助理系统300包括存储器302、一个或多个处理器304、输入/输出(I/O)接口306，以及网络通信接口308。这些部件通过一条或多条通信总线或信号线310彼此通信。

在一些实施例中，存储器302包括非暂态计算机可读介质，诸如高速随机存取存储器和/或非易失性计算机可读存储介质(例如，一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备)。

在一些实施例中，I/O接口306将数字助理系统300的输入/输出设备316诸如显示器、键盘、触摸屏和麦克风耦接到用户界面模块322。与用户界面模块322结合的I/O接口306接收用户输入(例如语音输入、键盘输入、触摸输入等)并相应地对这些输入进行处理。在一些实施例中，例如当数字助理在独立用户设备上实施时，数字助理系统300包括相对于图2中的用户设备104所述的部件和I/O及通信接口中的任一者。在一些实施例中，数字助理系统300表示数字助理具体实施的服务器部分，并且通过驻留在用户设备(例如，图2中所示的用户设备104)上的客户端部分与用户进行交互。

在一些实施例中，网络通信接口308包括一个或多个有线通信端口312和/或无线发射和接收电路314。有线通信端口经由一个或多个有线接口例如以太网、通用串行总线(USB)、火线等来接收和发射通信信号。无线电路314从通信网络和其他通信设备接收RF信号和/或光学信号并且将RF信号和/或光学信号发送至通信网络和其他通信设备。无线通信可使用多种通信标准、协议和技术中的任一者，诸如GSM、EDGE、CDMA、TDMA、蓝牙、Wi-Fi、VoIP、Wi-MAX、或任何其他合适的通信协议。网络通信接口308使得在数字助理系统300与网络诸如互联网、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))以及其他设备之间能够进行通信。

在一些实施例中，存储器302或存储器302的计算机可读存储介质存储包括以下各项中的全部或其子集的程序、模块、指令和数据结构：操作系统318、通信模块320、用户界面模块322、一个或多个应用程序324和数字助理模块326。一个或多个处理器304执行这些程序、模块和指令，并从数据结构读取或向数据结构写入。

操作系统318(例如Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动器，并促进各种硬件、固件与软件部件之间的通信。

通信模块320促进在数字助理系统300与其他设备之间通过网络通信接口308进行通信。例如，通信模块320可与图2中所示的设备104的通信接口254进行通信。通信模块320还包括用于处理由无线电路314和/或有线通信端口312所接收的数据的各种部件。

用户界面模块322经由I/O接口306(例如来自键盘、触摸屏、指向设备、控制器和/或麦克风)从用户接收命令和/或输入，并在显示器生成用户界面对象。用户界面模块322还准备并经由I/O接口306(例如，通过显示器、音频信道、扬声器和触摸板等)向用户递送输出(例如语音、声音、动画、文本、图标、振动、触觉反馈和光等)。

应用程序324包括被配置为由一个或多个处理器304执行的程序和/或模块。例如，如果数字助理系统在独立用户设备上实施，则应用程序324可包括用户应用程序，诸如游戏、日历应用程序、导航应用程序或电子邮件应用程序。如果数字助理系统300在服务器场上实施，则应用程序324可包括例如资源管理应用程序、诊断应用程序、或调度应用程序。

存储器302还存储数字助理模块(或数字助理的服务器部分)326。在一些实施例中，数字助理模块326包括以下子模块或其子集或超集：输入/输出处理模块328、语音转文本(STT)处理模块330、自然语言处理模块332、对话流处理模块334、任务流处理模块336、服务处理模块338和中断处理模块340。这些处理模块中的每一者具有对数字助理326的以下数据和模型中的一者或多者或其子集或超集的访问权限：知识本体360、词汇索引344、用户数据348、任务流模型354、服务模型356和优先级参数数据库358。

在一些实施例中，使用在数字助理模块326中实现的处理模块、数据和模型，该数字助理执行以下操作中的至少一些操作：识别从用户所接收的以自然语言输入表达的用户意图；主动引出并获得完整推断用户意图所需的信息(例如，通过消除词汇、姓名、意图等的歧义)；确定满足所推断的意图的任务流；以及执行任务流以满足所推断的意图。在本说明书中，稍后提供关于中断处理模块及其优先级参数使用的更多细节。

在一些实施例中，如图3B中所示，I/O处理模块328通过图3A中的I/O设备316与用户进行交互或通过图3A中的网络通信接口308与用户设备(例如，图1中的用户设备104)交互以获得用户输入(例如，语音输入)以及提供对用户输入的响应(例如，作为语音输出)。I/O处理模块328随同接收到用户输入一起或在接收到用户输入之后不久任选地获得与来自用户设备的用户输入相关联的上下文信息。上下文信息包括特定于用户的数据、词汇、和/或与用户输入有关的偏好。在一些实施例中，上下文信息还包括在接收到用户请求时该设备(例如，图1中的用户设备104)的软件和硬件状态，和/或在接收到用户请求时与用户的周围环境相关的信息。在一些实施例中，I/O处理模块328还向用户发送关于用户请求的跟进问题，并从用户接收应答。当用户请求被I/O处理模块328接收到并且用户请求包含语音输入时，I/O处理模块328将语音输入转发到语音转文本(STT)处理模块330以用于语音转文本转换。

语音转文本处理模块330通过I/O处理模块328接收语音输入(例如，在语音记录中捕获的用户话语)。在一些实施例中，语音转文本处理模块330使用各种声音和语言模型来将语音输入识别为音素的序列，并最终将其识别为以一种或多种语言书写的字词或符号的序列。语音转文本处理模块330可使用任何合适的语音识别技术、声音模型以及语言模型诸如隐马尔可夫模型、基于动态时间规整(DTW)的语音识别以及其他统计和/或分析技术来加以实施。在一些实施例中，语音转文本处理可至少部分地由第三方服务执行或在用户的设备上执行。一旦语音转文本处理模块330获得语音转文本处理的结果(例如，字词或符号的序列)，其便将结果传送至自然语言处理模块332以用于意图推断。

数字助理的自然语言处理模块332(“自然语言处理器”)采取由语音转文本处理模块330生成的字词或符号的序列(“符号序列”)，并尝试将该符号序列与由数字助理所识别的一个或多个“可执行意图”相关联。“可执行意图”表示可由数字助理执行并且具有在任务流模型354中实施的相关联的任务流的任务。相关联的任务流是数字助理系统为了执行任务而采取的一系列经编程的动作和步骤。数字助理的能力范围取决于已在任务流模型354中实施并存储的任务流的数量和种类，或换言之，取决于数字助理所识别的“可执行意图”的数量和种类。然而，数字助理的有效性还取决于数字助理的从以自然语言表达的用户请求中推断出正确的“一种或多种可执行意图”的能力。

在一些实施例中，除从语音转文本处理模块330获得的字词或符号的序列之外，自然语言处理器332还接收与用户请求相关联的上下文信息(例如，来自I/O处理模块328)。自然语言处理器332任选地使用上下文信息来阐明、补充和/或进一步限定在从语音转文本处理模块330所接收的符号序列中所包含的信息。上下文信息包括例如用户偏好、用户设备的硬件和/或软件状态，在用户请求之前、期间或之后不久收集的传感器信息，数字助理与用户之间的先前交互(例如，对话)，等等。如本说明书中所述的，上下文信息是动态的，并且可能随着时间、位置、对话内容和其他因素而变化。

在一些实施例中，自然语言处理基于例如知识本体360。知识本体360为包含许多节点的分级结构，每个节点表示“可执行意图”或与“可执行意图”或其他“属性”中的一者或多者相关的“属性”。如上所述，“可执行意图”表示数字助理能够执行的任务即，其为“可执行的”或可被执行。“属性”表示与可执行意图或另一属性的子方面相关联的参数。知识本体360中可的执行意图节点与属性节点之间的链接限定由属性节点所表示的参数如何从属于由可执行意图节点所表示的任务。

在一些实施例中，知识本体360由可执行意图节点和属性节点组成。在知识本体360内，每个可执行意图节点直接链接到一个或多个属性节点或通过一个或多个中间属性节点链接到一个或多个属性节点。类似地，每个属性节点直接链接到一个或多个可执行意图节点或通过一个或多个中间属性节点链接到一个或多个可执行意图节点。例如，如图3C中所示，知识本体360可包括“餐厅预订”节点(即，可执行意图节点)。属性节点“餐厅”、“日期/时间”(针对预订)和“同行人数”各自直接链接到可执行意图节点(即，“餐厅预订”节点)。此外，属性节点“菜系”、“价格范围”、“电话号码”和“位置”是属性节点“餐厅”的子节点，并且各自通过中间属性节点“餐厅”链接到“餐厅预订”节点(即，可执行意图节点)。作为另一个实例，如图3C中所示，知识本体360还可包括“设置提醒”节点(即，另一个可执行意图节点)。属性节点“日期/时间”(针对设置提醒)和“主题”(针对提醒)各自链接到“设置提醒”节点。由于属性“日期/时间”与进行餐厅预订的任务和设置提醒的任务两者相关，因此属性节点“日期/时间”链接到知识本体360中的“餐厅预订”节点和“设置提醒”节点两者。

可将可执行意图节点连同其所链接的概念节点描述为“域”。在本论述中，每个域与相应的可执行意图相关联，并涉及与特定可执行意图相关联的一组节点(以及其间的关系)。例如，图3C中示出的知识本体360包括在知识本体360内的餐厅预订域362的实例和提醒域364的实例。餐厅预订域包括可执行意图节点“餐厅预订”、属性节点“餐厅”、“日期/时间”和“同行人数”以及子属性节点“菜系”、“价格范围”、“电话号码”和“位置”。提醒域364包括可执行意图节点“设置提醒”和属性节点“主体”和“日期/时间”。在一些实施例中，知识本体360由多个域组成。每个域可与一个或多个其他域共享一个或多个属性节点。例如，除了餐厅预订域362和提醒域364之外，“日期/时间”属性节点还可与许多不同的域(例如行程安排域、行程预订域、电影票域等)相关联。

尽管图3C示出了知识本体360内的两个示例性域，但其他域(或可执行意图)包括例如“发起电话呼叫”、“查找方向”、“安排会议”、“发送消息”、“提供问题的应答”、“阅读列表”、“提供导航指示”、“提供针对任务的指示”等。“发送消息”域与“发送消息”可执行意图节点相关联，并且可进一步包括属性节点诸如“一个或多个接收人”、“消息类型”和“消息主体”。例如，可由子属性节点诸如“接收人姓名”和“消息地址”来进一步限定属性节点“接收人”。

在一些实施例中，知识本体360包括数字助理能够理解并对其起作用的所有域(并且因此可执行意图)。在一些实施例中，可诸如通过添加或移除整个域或节点，或者通过修改知识本体360内的节点之间的关系来修改知识本体360。

在一些实施例中，可将与多个相关可执行意图相关联的节点群集在知识本体360中的“超级域”下。例如，“行程”超级域可包括与行程有关的属性节点和可执行意图节点的群集。与行程有关的可执行意图节点可包括“机票预订”、“酒店预订”、“汽车租赁”、“路线规划”、“查找兴趣点”，等等。同一超级域(例如，“行程”超级域)下的可执行意图节点可具有多个共用的属性节点。例如，针对“机票预订”、“酒店预订”、“汽车租赁”、“路线规划”、“查找兴趣点”的可执行意图节点可共享属性节点“起始位置”、“目的地”、“出发日期/时间”、“到达日期/时间”以及“同行人数”中的一者或多者。

在一些实施例中，知识本体360中的每个节点与一组字词和/或短语相关联，该一组字词和/或短语与由节点表示的属性或可执行意图有关。与每个节点相关联的相应组的字词和/或短语是与节点相关联的所谓的“词汇”。可将与每个节点相关联的相应组的字词和/或短语存储在与由节点所表示的属性或可执行意图相关联的词汇索引344中。例如，返回到图3B，与针对“餐厅”的属性的节点相关联的词汇可包括字词诸如“美食”、“酒水”、“菜系”、“饥饿”、“吃”、“比萨”、“快餐”、“膳食”等。又如，与针对“发起电话呼叫”的可执行意图的节点相关联的词汇可包括字词和短语诸如“呼叫”、“电话”、“拨号”、“打电话”、“呼叫该号码”、“打电话给”等。词汇索引344任选地包括不同语言形式的字词和短语。

自然语言处理器332从语音转文本处理模块330接收符号序列(例如，文本串)，并确定符号序列中的字词牵涉哪些节点。在一些实施例中，如果发现符号序列中的字词或短语与知识本体360中的一个或多个节点相关联(经由词汇索引344)，则字词或短语将“触发”或“激活”这些节点。基于已激活的节点的数量和/或相对重要性，自然语言处理器332将选择可执行意图中的一个可执行意图作为用户意图使数字助理执行的任务。在一些实施例中，选择具有最多“已触发”节点的域。在一些实施例中，选择具有最高置信度值(例如，基于其各个已触发节点的相对重要性)的域。在一些实施例中，基于已触发节点的数量和重要性的组合来选择域。在一些实施例中，在选择节点的过程中还考虑附加因素，诸如数字助理先前是否已正确解译来自用户的类似请求。

在一些实施例中，数字助理还将特定实体的名称存储在词汇索引344中，使得当在用户请求中检测到这些名称中的一个名称时，自然语言处理器332将能够识别该名称涉及知识主体中属性或子属性的特定实例。在一些实施例中，特定实体的名称是企业、餐厅、人、电影等的名称。在一些实施例中，数字助理从其他数据源中搜索并识别特定实体名称，该其他数据源诸如用户的通讯录、电影数据库、音乐家数据库和/或餐厅数据库。在一些实施例中，当自然语言处理器332识别出符号序列中的字词是特定实体的名称(诸如用户通讯录中的名称)时，在针对用户请求的知识主体内选择可执行意图的过程中，为该字词赋予附加重要性。

例如，当从用户请求中识别出字词“Santo先生”，并且在词汇索引344中发现姓“Santo”是用户联系人列表中的联系人中的一个联系人时，用户请求可能对应于“发送消息”或“发起电话呼叫”域。又如，当在用户请求中发现字词“ABC咖啡馆”，并且在词汇索引344中发现术语“ABC咖啡馆”是用户所在城市中的特定餐厅的名称时，用户请求可能对应于“餐厅预订”域。

用户数据348包括特定于用户的信息，诸如特定于用户的词汇、用户偏好、用户地址、用户的默认和第二语言、用户的联系人列表，以及针对每个用户的其他短期或长期信息。在一些实施例中，自然语言处理器332使用特定于用户的信息来补充用户输入中所包含的信息以进一步限定用户意图。例如，针对用户请求“邀请我的朋友参加我的生日聚会”，自然语言处理器332能够访问用户数据348以确定“朋友”是哪些人以及“生日聚会”将于何时何地举行，而不需要用户在其请求中明确地提供此类信息。

在于2008年12月22日提交的针对“Method and Apparatus for Searching Usingan Active Ontology”的美国实用新型专利申请序列号12/341,743中描述了基于符号串来搜索知识本体的其他细节，该专利申请的全部内容以引用方式并入本文。

在一些实施例中，一旦自然语言处理器332基于用户请求识别出可执行意图(或域)，自然语言处理器332便生成结构化查询以表示所识别的可执行意图。在一些实施例中，结构化查询包括域内的针对可执行意图的一个或多个节点的参数，并且参数中的至少一些参数填充有在用户请求中所指定的特定信息和要求。例如，用户可说：“通知寿司店预订晚上7点的座位。”在这种情况下，自然语言处理器332可以能够基于用户输入将可执行意图正确地识别为“餐厅预订”。根据知识主体，针对“餐厅预订”域的结构化查询可包括参数诸如{菜系}、{时间}、{日期}、{同行人数}等。在一些实施例中，基于包含在用户话语中的信息，自然语言处理器332针对餐厅预订域生成部分结构化的查询，其中部分结构化的查询包括参数{菜系＝“寿司”}和{时间＝“晚上7点”}。然而，在该实例中，用户话语包含不足以完成与域相关联的结构化查询的信息。因此，基于当前可用的信息，在结构化查询中未指定其他必要的参数，诸如{同行人数}和{日期}。在一些实施例中，自然语言处理器332使用所接收的上下文信息来填充结构化查询的一些参数。例如，在一些实施例中，如果用户请求“我附近的”寿司店，则自然语言处理器332可利用来自用户设备104的GPS坐标来填充结构化查询中的{位置}参数。

在一些实施例中，自然语言处理器332将结构化查询(包括任何已完成的参数)传送至任务流处理模块336(“任务流处理器”)。任务流处理模块336被配置为从自然语言处理器332接收结构化查询、完成结构化查询(如果必要)，以及执行“完成”用户最终请求所需的动作。在一些实施例中，完成这些任务所必需的各种过程在任务流模型354中提供。在一些实施例中，任务流模型包括用于获取来自用户的附加信息的过程以及用于执行与可执行意图相关联的动作的任务流。

如上所述，为了完成结构化查询，任务流处理器336可能需要发起与用户的附加对话，以便获得附加信息，和/或弄清可能模糊的话语。当此类交互有必要时，任务流处理器336调用对话处理模块334(“对话处理器334”)以进行与用户的对话。在一些实施例中，对话处理器334确定如何(和/或何时)向用户询问附加信息，并接收和处理用户响应。通过I/O处理模块328来将问题提供给用户并从用户接收应答。在一些实施例中，对话处理器334经由音频和/或视频输出来向用户呈现对话输出，并经由口头或物理(例如点击)响应来从用户接收输入。继续上文的实例，当任务流处理器336调用对话流处理器334以针对与域“餐厅预订”相关联的结构化查询来确定“同行人数”和“日期”信息时，对话流处理器335生成问题诸如“共有多少人用餐？”和“具体哪天用餐？”以传送至用户。一旦接收到来自用户的应答，对话流处理器334便利用缺失信息来填充结构化查询，或将信息传送至任务流处理器336以根据结构化查询来完成缺失信息。

在一些情况下，任务流处理器336可接收到具有一个或多个模糊属性的结构化查询。例如，用于“发送消息”域的结构化查询可指示预期的接收人为“Bob”，并且用户可能有多位名为“Bob”的联系人。任务流处理器336将请求对话处理器334消除结构化查询的这一属性的歧义。继而，对话处理器334可询问用户“哪个Bob？”，并显示(或读取)名为“Bob”的联系人的列表，用户可从该列表中进行选择。

一旦任务流处理器336已针对可执行意图完成结构化查询，任务流处理器336便继续执行与可执行意图相关联的最终任务。因此，任务流处理器336根据结构化查询中包含的特定参数来执行任务流模型中的步骤和指令。例如，针对可执行意图“餐厅预订”的任务流模型可包括用于联系餐厅和在特定时间实际上请求针对特定同行人数的预订的步骤和指令。例如，使用结构化查询诸如：{餐厅预订，餐厅＝ABC咖啡馆，日期＝3/12/2012，时间＝晚上7点，同行人数＝5人}，任务流处理器336可执行以下步骤：(1)登录ABC咖啡馆的服务器，或者餐厅预订系统诸如

(2)在网站上的表格中输入日期、时间和同行人数信息，(3)提交表格，以及(4)在用户日历中针对该预订制作日历条目。

在一些实施例中，任务流处理器336利用服务处理模块338(“服务处理器”)的辅助完成用户输入中所请求的任务或者提供用户输入中所请求的信息性应答。例如，服务处理器338可代表任务流处理器336来进行电话呼叫、设置日历条目、调用地图搜索、调用用户设备上安装的其他用户应用程序或与其他用户应用程序进行交互，以及调用第三方服务(例如，餐厅预订门户网站、社交网站、银行门户网站等)或与第三方服务进行交互。在一些实施例中，可通过服务模型356之间的相应服务模型来指定每项服务所需的协议和应用程序编程接口(API)。服务处理器338针对服务访问适当的服务模型，并根据服务根据该服务模型所需的协议和API来生成针对该服务的请求。

例如，如果餐厅已启用在线预订服务，则餐厅可提交服务模型，该服务模型指定用于进行预订的必要参数以及用于将必要参数的值传送至在线预订服务的API。在被任务流处理器336请求时，服务处理器338可使用存储在服务模型中的网址来建立与在线预订服务的网络连接，并将预订的必要参数(例如时间、日期、同行人数)以根据在线预订服务的API的格式发送至在线预订界面。

在一些实施例中，自然语言处理器332、对话处理器334以及任务流处理器336共同且反复地使用以推断并限定用户的意图、获得信息以进一步阐明并提炼用户意图、并最终生成响应(例如，将输出提供至用户，或完成任务)以满足用户的意图。

在一些实施例中，在已执行满足用户请求所需的所有任务之后，数字助理326制定确认响应，并通过I/O处理模块328来将该响应发送回到用户。如果用户请求寻求信息性应答，则确认响应向用户呈现所请求的信息。在一些实施例中，数字助理还请求用户指示用户是否对由数字助理326所产生的响应满意。

可在于2010年1月18日提交的名称为“Intelligent Automated Assistant”的美国实用新型专利申请12/987,982以及于2011年6月3日提交的名称为“Generating andProcessing Data Items That Represent Tasks to Perform”(的美国实用新型申请61/493,201中找到关于数字助理的更多详情，本专利申请的全部内容以引用方式并入本文。

在大部分情形中，当数字助理从用户接收用户输入时，数字助理尝试以尽可能小的延迟提供对用户输入的适当响应。例如，假设用户通过提供语音输入(例如，“现在交通状况如何？”)来请求特定信息(例如，当前交通信息)。在数字助理刚刚接收并处理语音输入之后，数字助理任选地提供确认接收到用户请求的语音输出(例如，“查看交通信息……”)。在数字助理响应于用户请求获得所请求的信息之后，数字助理继续向用户提供所请求的信息而没有进一步的延迟。例如，响应于用户的交通信息请求，数字助理可在生成语音输出之后立即提供由简短暂停分开的一系列一个或多个分立的语音输出，(例如，“路上有两起事故。<暂停>一起事故在Whipple大道附近北行101号。<暂停>并且第二起事故在280附近北侧85号。”)。

出于本说明书的目的，初始确认用户请求以及响应于用户请求所提供的一系列一个或多个分立的语音输出被视为对用户请求的完整响应的子响应。换句话讲，数字助理在接收到用户请求时为用户请求发起信息提供过程，并且在信息提供过程期间，数字助理准备并提供对用户请求的完整响应的每个子响应，而无需来自用户的进一步的提示。

有时，在可获得所请求的信息之前，需要附加信息或说明(例如，路线信息)。在此类情形中，数字助理向用户输出问题(例如，“您要去哪里？”)，从而询问附加信息或说明。在一些实施例中，由数字助理所提供的问题被视为对用户请求的完整响应，因为在从用户接收到新输入之前，数字助理将不会采取进一步的动作或提供对用户请求的任何附加响应。在一些实施例中，一旦用户提供了附加信息或说明，数字助理便为基于初始用户请求和附加用户输入建立的“新”用户请求发起新的信息提供过程。

在一些实施例中，数字助理在接收到每个新用户输入时发起新的信息提供过程，并在(1)已向用户提供了对用户请求的完整响应的所有子响应时，或在(2)数字助理向用户提供了关于开始现有信息提供过程的先前用户请求的针对附加信息或说明的请求时，每个现有信息提供过程终止。

通常，在数字助理接收到对信息或执行任务的用户请求之后，期望数字助理迅速提供响应(例如，包含所请求的信息的输出、所请求的任务的确认或请求说明的输出)。数字助理的实时响应性是评估数字助理的性能的关键因素中的一个关键因素。在这种情况下，尽快准备响应，并且针对响应的默认递送时间是紧跟准备好响应之后的时间。

然而，有时在接收到用户输入之后立即提供初始子响应之后，数字助理在延长的时段内的某一时间提供剩余的一个或多个子响应。在一些实施例中，在比逐个提供每个子响应所需时间之和更长的延长时段内扩展针对用户请求的信息提供过程。例如，在一些实施例中，在通过音频输出信道向用户递送子响应时，在相邻对的子响应(例如，一对连贯的语音输出)之间插入短暂停(即，简短的静默时期)。

在一些实施例中，在准备好子响应之后将其搁置，仅在已满足预先确定的条件时才被递送。在一些实施例中，在根据系统时钟已到达预先确定的触发时间和/或已发生预先确定的触发事件时，满足预先确定的条件。例如，如果用户向数字助理说“为我设置5分钟的定时器”，则数字助理在接收到用户请求时发起信息提供过程。在信息提供过程期间，数字助理立即提供第一子响应(例如，“好的，定时器启动。”)，并直到5分钟之后才提供第二子响应和最终子响应(例如，“好的，五分钟到了”)。在这种情况下，针对第一子响应的默认递送时间是紧跟准备好第一子响应之后的时间，针对第二最终子响应的默认递送时间是紧跟发生触发事件之后的时间(例如，从启动定时器之后过去5分钟)。在数字助理完成向用户提供最终子响应时，信息提供过程终止。在各个实施例中，在针对第二子响应的默认递送时间之前的任何时间(例如，刚好在准备第一子响应之后，或者直到针对第二子响应的默认递送时间之前不久)准备第二子响应。

如在本说明书中稍后将要更详细描述的，在用于提供对用户请求的响应和/或用于提供对提醒和通知的警示项的默认规则之上实现上下文相关中断处理器(例如，图3A中的中断处理模块340)。在一些实施例中，中断处理器实时收集关于当前上下文的信息，并实时确定是否需要改变用于提供响应、提醒和/或通知的默认规则(例如，因为设备当前正在接收用户的语音输入，或因为检测到改变提醒、通知或其他语音输出的紧急度的附加信息)。例如，在一些上下文中，会更适于延迟(例如，停留，至少暂时)提供非紧急语音输出，因为用户正在向设备中讲话，或因为用户的上下文暗示应当避免中断(例如，因为用户正在开会或在睡眠中)，而在其他时间，可能更适于立即提供紧急语音输出(例如，“插嘴”或打断用户)。此外，在一些上下文中，可接受并实际上更适于彻底放弃提供语音输出。

上下文相关的中断处理器还从几种可能的音频提示中选择音频提示，利用该音频提示来警示用户某些信息(例如，通知项)。在一些实施例中，基于通知的紧急度和/或用户的上下文来选择特定音频提示或音频提示的类型。例如，在一些实施例中，如果用户的上下文暗示打断不是不方便的，则在接收到低紧急度的通知项之后该低紧急度的通知项立即被提供。另一方面，在一些实施例中，如果用户上下文暗示即使对于有些重要的信息而言打断也将不受欢迎，则紧急度更高的通知项可被延迟。

图4A-图4C示出了根据一些实施例的示例性情形，其中数字助理提供语音输出或不提供语音输出。在图4A-图4C中，对应于语音输出的实线框(例如，图4A中的SO1)指示由设备实际提供的语音输出。另一方面，虚线框(例如，图4A中的SO2)指示在对应时间和位置未由设备实际提供，而是如果未检测到用户的语音输入而由设备提供的语音输出，如参考各个图更详细解释的那样。

图4A示出了设备永久放弃语音输出的示例性情形。一开始，用户在东Alder大道上向东(401)行进。在由402-1指定的第一位置处，用户通过陈述“带我去图书馆”作为语音输入SI1来请求设备提供去图书馆的逐向导航方向。用户结束讲话的位置由402-2指定，由于用户在移动的同时讲话的事实，因此这与402-1不同。因此，对应于相应语音输入和输出的条(例如，对应于SI1的402-1和402-2之间的条)指示距离，或者等同地，指示相应输入/输出需要叙述(例如，讲话)的时间长度。

设备接收语音输入并执行必要的操作以例如确定最近的图书馆的位置，如参考方法500和图5A-图5D更详细所述的。在该实例中，设备确定图书馆404是最近的图书馆，并利用语音输出SO1(“好的，继续直行”)迅速响应。

在405-1所指定的位置处，包括在与数字助理相同的设备上的电话特征部接收来电，如铃声图标406所示的。用户通过提供语音输入SI2来接听电话，陈述“嘿，John！很久没联系了。家里怎么样？”在完成语音输入SI2时，用户处在由405-2所指定的位置处。然而，在405-1和405-2之间的过渡期中，设备(例如从服务器或同一设备上的不同模块)接收指示“在3英里后的第一大街右转”的语音输出SO2。在该实例中，语音输出SO2具有低紧急度度量，因为在用户到达第一大街之前该设备被安排一次或更多次地警告用户即将转弯(例如，附加警告诸如是“1英里后右转”和/或“现在右转到第一大街上”)。因为在要输出语音输出SO2时(407-1直到407-2)设备正在接收语音输入SI2，所以设备继续输出语音输出SO2。此外，因为与语音输出SO2相关联的优先级非常低(例如，由于与该实例中逐向导航方向相关联的冗余)，这种停留实际上彻底放弃了输出语音输出SO2(例如，决不输出三英里后左转的命令，而是依赖于1英里和立即警告)。

图4B示出了根据一些实施例的立即向用户提供语音输出的示例性情形。在图4A和4B之间共享的类似参考标号是指相应情形的相似方面。因此，为了简洁起见，这里不会重复那些相似方面。

图4B与图4A的不同之处在于电话在比图4A中距第一大街近得多的位置处接听来电，如铃声图标406所示的。在用户经由语音输入SI2接听电话的同时，设备接收与指示用户很快就应当右转(例如，在该实例中，100英尺之后)的逐向导航方向命令对应的语音输出SO3。因为消息紧急，设备会“插嘴”(例如，在用户讲话时打断用户)以输出“100英尺后右转”。

图4C示出了根据一些实施例的暂时保留语音输出然后向用户提供语音输出的示例性情形。在图4A和4C之间共享的类似参考标号是指相应情形的相似方面。因此，为了简洁起见，这里不会重复那些相似方面。

在语音输入SI3期间，用户请求无论何时比赛应当结束，设备都通知用户Knicks的分数，从而陈述“当比赛结束时告诉我Knicks的分数。”设备立即作出响应，从而确认请求并陈述“好的，在比赛结束时我将告诉您Knicks的分数。”如前所述，电话接收来电，用户通过陈述“嘿，John！很久没联系了。家里怎么样？”在语音输入SI2中应答。在SI2期间，Knicks的比赛结束，设备接收指示分数的语音输出SO5，如所请求的向用户提供该分数。在该实例中，不认为语音输出SO5紧急，因为Knicks的比分在用户讲话时(例如，在设备正在接收语音输入期间)将不会变化。因此，如箭头408所示的，设备保持语音输出SO5，直到用户已完成讲话，然后输出语音输出SO5。然而，在一些实施例中，设备以不可听见的方式对用户请求作出响应，诸如在设备显示器上显示Knicks的分数。在一些实施例中，因为所显示的响应不会打断用户讲话，所以应无延迟地提供此类响应。在一些实施例中，结合或另选地替代所保持的语音输出来提供此类所显示的响应(例如，当所显示的响应替代语音输出时，彻底放弃语音输出)。

提供数字助理的设备(或用户与数字助理进行交互所利用的设备)频繁地用于向用户提供各种通知。例如，设备(例如，用户设备104)可接收电子邮件、电话呼叫、语音邮件、文本消息和其他电子通信，并向用户提供已接收此类通信的通知。例如，设备可提供可听输出(例如，铃声、蜂鸣声等)和/或视觉输出以警示用户已接收到通信。此外，设备可提供来自很多其他来源的通知，诸如应用程序通知(例如，来自安装在设备上的应用程序的消息，包括社交联网应用程序、实用程序、游戏等)、任务列表通知(例如，与用户置于任务或提醒列表上的项目相关的提醒)、日历通知(例如，与日历项和/或约会相关的警示或提醒)等。在一些情况下，在接收到通知和/或在到达相关联的提醒或警示时间时，向用户提供这些通知。如果用户不希望被打扰，他们可诸如通过将设备置于“静音”模式中来简单地关闭所有通知。或者，用户可创建允许设备提供某些类型的通知但不提供其他类型的通知的规则。例如，用户可人工设置应当仅针对来自某人的通信来提供通知的规则。

在一些实施例中，数字助理(例如，数字助理系统300)为用户管理通知项的列表，并智能地确定是否以及如何打断用户以提供通知。因此，数字助理可防止用户不必要地被具有低紧急度的通知干扰，同时还确保即使在有些不便的时候也向用户提供高紧急度通知。作为具体实例，如果用户正在进行重要工作会议，则数字助理确定通知的紧急度低(例如，来自银行应用程序的指示会话已超时的通知)，并且延迟或放弃向用户提供针对该通知项的音频提示。尽管如此，如果用户只是在看电视，数字助理仍然提供音频提示，因为用户的上下文暗示打断或插嘴将不是令人生厌的事。然而，如果接收重要通信(例如，关于家人紧急情况的文本消息或语音邮件)，则数字助理确定即使在用户开重要会议时，该紧急度的通信也批准被打断。

此外，如下文参考图6所述的，数字助理可基于用户的上下文和特定通知的紧急度来逐步使通知升级。例如，在认定通知项足以紧急以批准被打断时，设备提供第一音频提示以警示用户。如果用户未确认提示，则设备输出第二音频提示。如果用户未确认第二音频提示，则设备输出第三音频提示。在一些实施例中，音频提示是不同类型的，并且在提供它们时在独特性和/或强度方面增大。例如，第一音频提示可以是单次蜂鸣或铃声，第二音频提示可以是重复的蜂鸣或铃声(或者更响的蜂鸣或铃声，或仅仅是不同的铃声)，并且第三音频提示可以是语音输出(例如，助理陈述“抱歉打扰您，但这是非常重要的。”)。下文相对于图6提供了与数字助理管理通知的列表相关的附加细节和实施例。

通知列表不是静态的，因为新通知不断到达，并且频繁检测到或可检测到影响已存在的通知项的紧急度值的新信息。人类助理在确定如何以及是否打断用户以提供通知时会考虑此信息。因此，在一些实施例中，本文所公开的数字助理基于与用户和/或通知相关的变化条件来调整通知的紧急度值。因此，数字助理不仅仅对由用户所建立的静态规则集(例如，仅对标记为“高度重要”的邮件进行警示的规则)作出反应，并且实际上基于未预计的和/或自发发生的事件来调整紧急度值。作为具体实例，如果在数字助理检测到请求用户采取某种动作的电子邮件(例如，“请给我发送最近的销售数字”)时用户正在召开工作会议，则数字助理确定这条消息的紧急度不足以被批准在这么忙碌的时期打断用户。然而，如果数字助理检测到后续电子邮件改变了最后期限或通过其他方式提高了前一条消息的紧急度(例如，“我需要在5分钟之内得到那些数字，否则我们会失去销售机会。”)，则数字助理会调整与初始消息相关联的通知的紧急度值(和/或将两条消息组合为具有提高的紧急度值的一条通知项)。如果新的紧急度值足够高以批准打断，则数字助理将针对该邮件来警示用户。因此，警示用户存在基于“请勿打扰”过滤器而以其他方式尚未通过简单规则的重要消息(并且如果设备处于静音模式中，则其一定不会被提供)。如下文更详细所述的，很多不同情况使得数字助理调整通知项的紧急度，例如所接收的通信(例如，紧随的电子邮件和电话呼叫)、交通状况的变化、天气状况的变化、设备的上下文的变化等。

图5A-图5D是由数字助理实施的示例性方法500的流程图，该方法用于基于该确定或设备当前是否正从用户接收语音输入以及语音输出的紧急性来确定是否向用户提供语音输出。在一些实施例中，由数字助理的中断处理程序(例如，图3A中的中断处理程序340)基于当前上下文实时动态地执行是否提供语音输出的确定。

在一些实施例中，在接收到语音输出(参考506)之前，设备从用户接收(502)请求以执行数字助理任务。例如，用户通过陈述例如“帮我找到吃晚餐的地方，不要太贵”作为语音输入来请求数字助理找到附近便宜的餐厅。或者，用户通过陈述例如“为我预订四点钟Boulevard的座位”作为语音输入来请求数字助理在特定餐厅进行预订，或者，用户询问到达当地地标(“到金门大桥的方向”)的逐向导航方向或询问棒球分数(“Sox打得怎么样？”)或股价(“Apple的股票今天怎么样？”)。

在一些实施例中，在接收到语音输出(参考506)之前，设备向数字助理服务器发送(504)请求。响应于该请求从服务器接收语音输出。在一些实施例中，在向服务器发送请求之前，设备执行语音转文本操作(例如，利用STT处理模块330)。在一些实施例中，在服务器处执行语音转文本。在一些实施例中，设备执行自然语音处理(例如，利用自然语音处理模块322)，包括使用用户数据来执行知识本体、词汇分析和上下文匹配(例如，基于诸如偏爱来弄清用户感兴趣的是哪个“Sox”队，浏览历史和/或数字助理请求历史)。服务器然后执行服务该请求所必需的任何剩余操作(例如，从可执行属性中识别一个或多个可执行项、一个或多个缺失属性，搜索一个或多个数据库和/或互联网以发现缺失信息等)。在一些实施例中，服务器准备响应(例如，文本串)并向用户返回响应。在一些实施例中，服务器准备语音响应(例如，音频数据)并向数字助理传输语音响应。

在任何事件中，设备接收(506)待提供给设备的用户的语音输出。在一些实施例中，响应于请求来从服务器接收语音输出(例如，语音输出是对用户所作的请求的适当响应，假设其是对晚餐预订或逐向导航方向的请求)。在一些实施例中，接收语音输出包括(508)在设备处生成语音输出(例如，服务器响应于请求返回文本串，并且设备使用文本转语音引擎来从文本串生成语音输出)。应当理解，在一些实施例中，接收语音输出意味着从服务器进行接收(其任选地包括附加处理操作，诸如文本转语音操作)。另选地或除此之外，接收语音输出意味着在第一设备部件(例如，模块诸如中断处理模块340或执行模块诸如中断处理模块340中所保留的指令的处理器304)处从第二设备部件(例如，模块诸如自然语言处理模块332或执行模块诸如自然语言处理模块332中所保留的指令的处理器304)接收。

设备确定(510)设备当前是否正从用户接收语音输入。例如，在一些实施例中，设备是(512)电话，并且确定设备当前是否正从用户接收语音输入包括确定用户是否正与远程用户一起参加电话会议。在此类实施例中，如果用户当前正在会议中讲话，则设备确定其当前正从用户接收语音输入。在一些实施例中，在电话会议另一端的一方正在讲话时，或者如果在用户和另一方正在进行其他事项的同时有静默期，则设备确定其当前未正在接收语音输入(例如，在一些实施例中，活动电话会议足以确定设备正在接收语音输入，而在另选的实施例中，当用户实际上就是会议中讲话的那个人时，设备确定正在接收语音输入)。

在一些实施例中，确定设备当前是否正从用户接收语音输入包括(514)确定上一次语音输入是否是在预先确定的时间段内接收的。例如，因为在会议消长中存在自然暂停(例如，暂停以歇口气，暂停以考虑接下来的讲话内容)，所以在一些实施例中，设备在推断出用户未讲话之前等待预先确定的时间量，而不是以即时或接近即时的方式检测语音输入。在一些实施例中，预先确定的时间段是(516)输出的紧急度度量的函数。例如，当设备在输出队列中具有紧急消息(“现在右转！”)时，设备将在确定用户未讲话之前等待更短的时间量，从而在用户暂停以歇口气或考虑接下来的讲话内容的时刻插嘴。在一些实施例中，确定设备当前是否正在接收语音输入包括缄默确定(例如，基于设备麦克风处的特定强度或方向性阈值)，以消除例如背景噪声和/或用户讲出的但并非旨在作为语音输入的语音(例如，在电话会议期间，当用户暂停会议以私下向另一方讲话时)。

当确定设备当前未从用户接收道语音输入时，设备向用户提供(518)语音输出。在一些实施例中，设备同时向用户提供(520)从远程用户所接收的音频数据(参考512，当用户正在通过电话参与时)和语音输出，而不由于所接收的音频数据而保持提供语音输出。例如，在此类实施例中，在远程用户(即，另一方)在电话会议期间正在讲话时，设备将仍然提供来自数字助理的语音输出。在一些实施例中，同时向用户提供从远程用户所接收的音频数据(例如，语音)和语音输出意味着在提供语音输出的同时暂时使来自远程用户的音频数据静音。例如，在此类实施例中，当远程用户陈述“八十七年前，我们的父辈们在这块大陆上发展了新的国家，向往自由，并且致力于人人生而平等的理念”，并且输出队列中的语音输出是“左转”时，实际提供给用户的音频将是“八十七年前，我们的父辈们在这块大陆上发展了……‘左转’……向往自由，bigness致力于人人生而平等的理念”。用户从而将意识到远程用户正在叙述林肯的葛底斯堡演讲，并且还将理解左转的指令。在一些实施例中，使用不同的腔调和/或音量来提供从远程用户所接收的音频数据和语音输出，以将远程用户与数字助理区分开。

在一些情况中，用户将已配置该设备来超驰提供语音输出。例如，当设备处于请勿打扰操作模式时，放弃(522)提供语音输出。在一些实施例中，当用户已配置该设备处于请勿打扰操作模式中时，设备处于请勿打扰操作模式。在一些实施例中，当用户已配置该设备以操作于与请勿打扰不同的模式中时，设备处于请勿打扰操作模式，但是尽管如此，仍包括请勿打扰作为特征(例如，设备处于飞行模式或静音模式，或者用户已配置该设备在一天中的特定几个小时期间处于静音模式，等等)。

在一些实施例中，在提供(524)语音输出期间，设备从用户接收(526)语音输入。例如，在用户通过作为电话会议的一部分讲话而中断或讲出针对数字助理操作的另一请求时，设备处于提供语音输出的中间状态。作为后一种情形的实例，当用户先前已请求过设备定位附近的中餐馆时，用户可打断响应以指示他或她还需要向同事发送SMS消息。在此类实施例中，设备将不继续进行(528)语音输出。在此类实施例中，设备将确定(530)是否已满足与语音输出对应的完成标准。在一些实施例中，当已向用户提供预定义百分比的语音输出时，满足(532)完成标准。例如，在一些实施例中，预定义百分比的语音输出为(534)来自由以下各项组成的组的百分比：50％、60％、70％和80％。当确定尚未满足完成标准时，设备保持(536)语音输出的至少一部分以供以后时间使用，当确定满足完成标准时，设备彻底放弃输出语音输出的剩余部分。在一些实施例中，当设备确定消息的剩余部分是辩论时满足完成标准(例如，在请求中餐之后，并且在设备叙述当地中餐馆的列表期间，用户声明“没关系，我想吃泰国菜。”)。

当确定设备正从用户接收语音输入时，设备确定(538)提供语音输出是否紧急。在一些实施例中，当语音输出满足用户可配置的立即提供的标准时，语音输出是紧急的(540)。例如，在一些实施例中，当设备从用户先前识别为贵宾(VIP)的人接收电子消息时，满足(542)用户可配置的标准。另选地或除此之外，在一些实施例中，当设备接收道股价更新并且用户先前已配置设备以立即提供股价更新时，满足(544)用户可配置的标准(例如，用户已配置设备以在特定股价超过特定值时警示他或她，使得用户可考虑尽快卖出股票)。在一些实施例中，基于上下文来确定提供语音输入是否紧急。例如，当语音输出包括不久就转弯的方向时(“现在左转！”)，设备识别出消息是紧急的。当确定提供语音输出是紧急时，设备向用户提供(546)语音输出(例如，设备“插嘴”，并且尽管从用户接收到语音输入，但是仍然提供语音输出)。在一些实施例中，设备无延迟地向用户提供(548)语音输出(例如，考虑到用户正在讲话的事实，在产生输出所必需的任何所需处理时间上增加附加延迟)。

当确定提供语音输出不紧急时，设备保持(550)向用户提供语音输出。如下文更详细所述的，在一些情况中，保持提供语音输出意味着延迟提供语音输出直到稍晚时间，然后提供语音输出，而在其他情况中，保持意味着彻底放弃提供语音输出，并且决不提供该特定语音输出。在一些情况中，保持意味着暂时延迟提供语音输出还是永久放弃提供语音输出取决于特定实施例、具体实施和语音输出周围的上下文(参考562)。在一些实施例中，当设备处于特殊操作模式时，设备无延迟地提供(552)语音输出(例如，即使设备当前正从用户接收语音输入)。例如，在一些实施例中，设备包括“打断我”操作模式，由此，不论设备是否正在接收语音输入，用户都被数字助理打断(例如，数字助理插嘴)。在一些实施例中，特殊操作模式为(553)由保持操作模式和静音操作模式组成的一个或多个组。

流程路径553-1、553-2和553-3表示附加操作，根据方法500的一些实施例，当确定提供语音输出不紧急时，任选地执行附加操作。应当理解，相对于流程路径553所述的各种操作未必是彼此排斥的，并且在一些情况中是组合的。

例如，根据一些实施例，当确定设备不再从用户接收语音输入时，设备向用户提供(554)语音输出。在一些实施例中，确定设备不再从用户接收语音输入包括(556)确定在上一次语音输入的时间和当前时间之间已过去预定义量的时间。在一些实施例中，预定义量的时间是语音输出的紧急度度量的函数。在一些实施例中，预先确定的时间量是(560)语音输出的紧急度度量的单调递减函数，由此在更少时间量中以更大紧急度度量来提供语音输出。例如，在这些实施例中，在用户已完成讲话之后并且提供紧急语音输出之前，与语音输出较不紧急的情况相比，设备等待更短的时间量。

在一些实施例中，设备确定(562)输出是否满足消息跳过标准。在一些实施例中，当紧急度度量低于预定义阈值时，满足(564)消息跳过标准。例如，当语音输出是警告序列中的若干警告中的一个警告时，在一些情况中，不必为用户提供警告序列中的每个警告。在一些实施例中，当语音输出是一组逐向导航方向中的导航命令且安排设备在稍晚时间给出对应的导航命令时，满足(566)消息跳过标准。例如，安排设备在转弯之前2英里、1英里、1/2英里和转弯前的时刻提供导航命令。在此类情况中，在本来要叙述1英里命令时用户正在提供语音输入的情况下，设备彻底放弃提供1英里命令。驾驶员将相应地仍然被1/2英里命令和转弯前的时刻通知转弯。

在一些实施例中，当设备包括显示器时，当确定提供语音输出不紧急时，设备提供(568)与语音输出对应的所显示的输出。

图6是由数字助理实施以用于管理通知项的列表并提供用于通知项的音频提示的示例性方法600的流程图。在一些实施例中，在具有存储器和一个或多个处理器的一个或多个设备(例如，设备104和/或数字助理系统300的部件，包括例如服务器系统108)处执行该方法。在一些实施例中，由中断处理程序(例如，图3A中的中断处理程序340)基于设备和/或用户的当前上下文来动态地执行是否提供针对通知项的音频提示的确定。尽管可将后续步骤理解为由设备(例如，一个设备)执行，但该方法不限于这一特定实施例。例如，在一些实施例中，可由不同的设备执行各个步骤，包括一起工作以执行单个步骤的若干设备、各自逐一执行一个或多个步骤的若干设备，等等。

提供(602)了通知项的列表。通知项是被配置为使得向用户提供通知的项目。例如，通知项可与通信(例如，所接收的电子邮件、文本消息、语音邮件消息等)、日历警示(例如，与约会或日历应用程序或服务中的其他条目相关联的提醒)、提醒警示(例如，与任务列表或提醒列表相关联的提醒或任务项)、应用程序警示等相关联和/或被其触发。应用程序警示是由安装在电子设备上的应用程序发出的警示，并且可包含任何信息。例如，应用程序警示可包括应用程序所采取的动作的通知(例如，通知用户将出于安全目的终止在线银行会话)，或来自与应用程序相关联的服务的通知(例如，通知用户该应用程序提供访问权限的社交网络中的活动)。例如，通知项对应于在APPLE，INC.的IOS中的“通知中心”中所显示的项目。

通知项的列表包括多个通知项，其中多个通知项中的每个相应通知项与相应紧急度值相关联。紧急度值是由数字助理分配给通知项的。在一些实施例中，紧急度值不是由用户所分配的。在一些实施例中，紧急度值不是基于用户限定的通知规则来确定的。例如，在一些实施例中，紧急度值并不基于允许或拒绝来自特定人、域、应用程序等的通知的用户请求。然而，在一些实施例中，尽管数字助理可以酌情超驰或忽略规则，但在分配紧急度值时，紧急度值会考虑用户限定的通知规则。

紧急度值可基于各种不同因素，如下所述。紧急度值可以是任何度量，诸如0和10之间的数值范围，其中较高值对应于更紧急的通知。紧急度值也可以是“高紧急度”、“中紧急度”和“低紧急度”。也可使用任何其他适当的值或度量。

在一些实施例中，紧急度值基于以下各项中的一者或多者：与相应通知项相关联的时间；与相应通知项相关联的位置；以及相应通知项的内容。在一些具体实施中，紧急度值基于这些部件的组合，诸如每个部件的紧急度影响的加权平均。在一些具体实施中，紧急度值基于这些部件的一个部件或其子集。

在一些实施例中，针对与特定时间诸如日历条目和基于时间的提醒相关联的通知项的紧急度值考虑了通知的时间邻近性。因此，如果通知与时间上接近的事件或提醒相关(例如，相对于其他事件或提醒)，则紧急度值的时间分量更高，并且如果通知与时间上更远的事件或提醒相关(例如，相对于其他事件或提醒)，则紧急度值的时间分量更低。

在一些实施例中，针对与位置相关联的通知项诸如指定位置的日历条目的紧急度值考虑了用户当前距该位置有多远。因此，在一些实施例中，如果通知与需要更长行程时间的约会相关(例如，相对于其他约会)，则紧急度值的位置分量更高，并且如果通知与需要更短行程时间的事件或提醒相关(例如，相对于其他约会)，则紧急度值的位置分量更低。

在一些实施例中，基于通知的语义内容自动确定紧急度值。例如，数字助理确定每条通知的含义(例如，利用自然语言处理模块322)，并基于所确定的含义来分配紧急度值。例如，数字助理可确定通知项的内容(例如，电子邮件或文本消息的主体，或应用程序通知的文字内容)是否与已知含义集中的一个含义相关。例如，在一些实施例中，数字助理可确定通知项是否可能与医疗紧急事件、工作紧急事件、家庭紧急事件、例行应用程序通知、日历项、提醒或任务列表项等相关。在一些实施例中，已知的含义和/或含义类别与紧急度值和/或紧急度值的范围相关联，并且数字助理根据其所确定的含义和/或含义类别来向通知项分配紧急度值。

在一些实施例中，确定紧急度值包括确定对设备的用户而言的重要性话题，并且基于相应通知项对应于重要性话题的确定来向相应通知项分配相应紧急度值中的至少一个相应紧急度值。例如，在一些实施例中，数字助理基于以下各项中的任一项来确定对用户而言的重要性话题：与用户相关联的历史数据(例如，通过确定用户通常针对特定话题快速对通信作出响应)、通知项的列表中的与该话题相关的通知项的量(例如，通过确定与该话题相关的通知项的数量满足预先确定的阈值，诸如2、3、5或更多通知项)、用户指定的话题(例如，用户请求针对与特定话题相关的任何通知被警示)等。在一些实施例中，诸如通过如上所述基于与用户相关联的历史数据来确定重要性话题，由设备来自动确定重要性话题而无需人为干预。

在一些实施例中，紧急度值进一步基于由数字助理先前分配给类似通知的紧急度值、与通知相关联的嵌入式标签或重要性指示符(例如，带有“高度重要性”字样发送的电子邮件)、通知中的关键字(例如，“老板”、“紧急”、“紧迫”、“医院”、“死亡”、“出生”、“现在”、“您在哪里”等)、发出通知的应用程序或应用程序的类型(例如，不太可能提供重要通知的应用程序诸如游戏通常比来自允许人和人通信的应用程序的那些应用程序较不重要)、通信的发送人和接收人、与类似通知相关的用户历史(例如，用户是否具有迅速查看和/或对类似通知作出反应的历史，或者它们是否被频繁忽略和/或丢弃，或者用户往往会对来自特定人的通信多快作出响应)等。

返回到图6，检测到信息项(604)。在一些实施例中，信息项为通信(例如电子邮件、语音邮件、文本消息等)。在一些实施例中，信息项为应用程序通知。在一些实施例中，信息项对应于设备上下文中的变化，例如设备在车辆中的指示。例如，数字助理可通过利用GPS接收器或加速度计检测设备的特定运动、速度和/或位置，或者通过检测设备已例如经由蓝牙或坞站通信地耦接到车辆来确定其位于车辆中。与上下文的变化对应的信息项的另一个实例是设备已改变位置的指示(例如，用户已到达工作场所或在家等的指示)。在一些实施例中，检测到至少包括通信(例如电子邮件、语音邮件或文本消息)和设备上下文的变化(例如检测到设备已改变位置)的两个信息项。

数字助理确定信息项是否与多个通知项中的第一通知项的紧急度值相关(606)。在一些实施例中，其中接收到两个信息项，数字助理确定两个信息项的组合是否与多个通知项中的第一通知项相关。

例如，在一些实施例中，数字助理确定传入通信(例如信息项)是否与通知项的列表中的任一通知项相关。例如，如果它们具有相同的或类似的主题、来自相同的发送人、具有相同的或相似的语义分类(如上所述，如由自然语言处理模块所确定的)、具有一个或多个公共字词和/或关键词等，则传入通信与通知项的列表中的通知相关。作为具体实例，来自特定发送人的转录的语音邮件可指包括在通知列表中的最近的电子邮件(例如，“我刚刚给您转发了来自Josh的电子邮件-收到请立即给我打电话。”)。数字助理然后从与所转录的语音邮件相关联的信息来确定语音邮件与特定电子邮件相关(例如，基于它们都是由同一个人发送得事实，它们都指向来自“Josh”的转发邮件，等等)。

在一些实施例中，数字助理确定设备上下文的变化是否与通知项的列表中的任一通知项相关。例如，数字助理确定设备位置的变化是否影响赶赴即将到来的约会所需的行程时间。在一些实施例中，数字助理确定应用程序通知是否与通知项列表中的任一通知项相关。例如，数字助理可确定来自提醒或任务列表应用程序的通知与涉及日历条目的现有通知具有相同或类似的内容。具体地，数字助理可确定提醒“为Judy带着生日礼物”与日历条目“Judy的生日”的通知相关。

在一些实施例中，一旦数字助理确定信息项与多个通知项中的第一通知项相关，数字助理便确定该信息项与通知项的紧急度相关(参考606)。例如，数字助理确定信息项是否影响以下任何项目：与通知项相关联的时间(例如，信息项将约会改为更早或更晚时间，信息项指示航班或其他行程延迟)、与通知项相关联的位置(例如，改变约会的地点)、赶赴约会的行程时间(例如，因为用户现在越来越远离即将进行的约会的地点，或者因为交通状况发生变化)、通知项的重要性(例如，因为检测到与特定话题相关的多个通信，或者因为信息项的语义内容指示通知项的重要性的升级)等等。

当确定信息项是否与第一通知项的紧急度值相关时，数字助理调整第一通知项的紧急度值(608)。在一些实施例中，根据所检测到的信息项如何影响第一通知项来将紧急度值调整为更紧急或更不紧急。在一些具体实施中，数字助理诸如通过改变第一通知项的到期日期、约会时间、位置等来在第一通知项中并入信息项。例如，在一些具体实施中，如果通知项涉及与特定时间相关联的日历条目，并且信息项为指示已重新安排日历条目的电子邮件，则数字助理将更新通知项以示出时间已改变。在一些具体实施中，数字助理生成包括来自第一通知项和信息项两者的信息的新通知项，并基于两者为其分配紧急度值。例如，在一些具体实施中，数字助理将创建与多个通信相关的通知项，该多个通信诸如初始电子邮件(例如，第一通知项)和后续语音邮件(例如，信息项)。在一些具体实施中，新的通知项具有与其构成通知项和/或信息项不同的紧急度值。

数字助理确定第一通知项的所调整的紧急度值是否满足预先确定的阈值(610)。在一些实施例中，该阈值确定那时为了保证打断用户而该通知项必须拥有的紧急度水平。在一些实施例中，可由用户或数字助理来确定阈值。例如，在一些实施例中，数字助理连续确定并应用特定紧急度阈值，并且用户能够在任何时间超驰和/或调整自动确定的阈值。

在一些实施例中，存在预定数量的阈值。例如，数字助理和/或用户可从低紧急度阈值、中紧急度阈值或高紧急度阈值来选择。在一些实施例中，低紧急度阈值指示可无限制地提供任何和所有通知；中紧急度阈值指示将仅提供具有中紧急度值或高紧急度值的通知；并且高紧急度阈值指示将仅提供具有高紧急度值的通知。如上所述，紧急度值可对应于数值范围而不是低/中/高分类(或除此之外)。因此，在一些实施例中，第一子值范围内的紧急度值对应于低紧急度(例如，1-5，其中紧急度值在1-10之间)，第二子值范围内的紧急度值对应于中紧急度(例如，6-8，其中紧急度值在1-10之间)，并且第三子值范围内的紧急度值对应于高紧急度(例如，9-10，其中紧急度值在1-10之间)。也可使用任何其他适当的总范围和子范围。在本说明书中，阈值被称为低、中或高，但应当理解，这并不将紧急度值限制到特定的“低/中/高”方案，并且可替代或补充那些所述值使用其他阈值和紧急度值。在一些实施例中，用户可通过将滑块控件(例如，显示在设备的触摸屏上)操控到期望点来设置阈值。例如，滑块控件上的更高值(例如，向右)可对应于更高的紧急度阈值。

如上所述，在一些实施例中，数字助理自动建立预先确定的阈值，而无需用户干预。在一些实施例中，数字助理根据设备的位置来建立预先确定的阈值。在一些实施例中，可默认将特定位置与特定阈值相关联(例如，可由用户暂时或永久地改变)。例如，家庭与低阈值相关联，卧室与中阈值相关联，工作场所与中阈值相关联，电影院与高阈值相关联，等等。在一些实施例中，首先由用户建立要在各种位置所使用的阈值，例如作为数字助理初始化或培训的一部分。因此，一个用户可指定在其工作时应当使用低阈值，并且另一个用户可在工作时指定高阈值。然而，在一些情况下，数字助理为所有用户向特定位置分配默认阈值。例如，数字助理可在设备在剧院、公园、教堂、博物馆、商场等中的任何时候默认选择高阈值，即使用户未将位置与阈值相关联。在一些实施例中，数字助理在其应用除低阈值之外的任何值时通知用户，而无需用户事先培训其这样做。因此，用户可容易地选择退出(或选择加入)提升的阈值。在一些具体实施中，用户必须要专门启用一种模式，其中设备将自动选择任何比低阈值更高的阈值。通过这种方式，用户可有信心认为，设备将仅在用户专门请求的条件下才提升紧急度阈值。

在一些实施例中，数字助理根据设备的上下文来建立预先确定的阈值。例如，当设备在汽车(例如，由运动/位置/速度分布曲线、环境噪声分布曲线检测到或通过检测与车辆的通信链路)中时，数字助理建立低紧急度阈值。

在一些实施例中，数字助理根据一天中的时间来建立预先确定的阈值。例如，白天的时间可与低紧急度阈值相关联，并且夜间的时间与高紧急度阈值相关联。

在一些实施例中，数字助理根据与当前时间相关联的日历项来建立预先确定的阈值。具体地，在一些实施例中，数字助理可基于用户的日历条目来推断用户在哪里以及用户在做什么。如果安排用户在特定时间期间召开会议，例如设备可推断用户可能在该时间期间召开会议。(在一些实施例中，数字助理能够通过比较事件位置与用户的实际位置来确认用户是否在参加安排的活动。)因此，如果日历条目包括暗示特定阈值适当的信息，则设备将相应地建立阈值。数字助理例如基于会议的参与者(例如，参与者数量和/或姓名)、会议地点、会议主题或与日历条目相关联的任何文本(例如，“午餐”可能对应于低阈值，而“工作会面”可能对应于高阈值)来确定日历事件暗示特定阈值。

在一些实施例中，数字助理根据设备的用户设置来建立预先确定的阈值。例如，如果用户已激活“请勿打扰”模式，则可使用高紧急度阈值。

返回到图6，当确定所调整的紧急度值满足预先确定的阈值时(参考610)时，数字助理向用户提供第一音频提示(612)。

在一些实施例中，当确定所调整的紧急度值不满足预先确定的阈值时，数字助理延迟向用户提供音频提示(614)。在一些实施例中，一旦紧急度阈值变化或者一旦通知项的紧急度值变化，便提供延迟的音频提示。在一些实施例中，当确定调整的紧急度值不满足预先确定的阈值时，数字助理仅不为该通知项提供音频提示(除非紧急度值响应于稍后检测到的信息项而变化)。在一些实施例中，当确定调整的紧急度值不满足预先确定的阈值时，数字助理向用户提供视觉提示(例如，设备104屏幕上的横幅或弹出通知)。在一些实施例中，通知项的文本成分保持在通知用户界面中，使得用户可稍晚时间对通知项进行查看、确认和/或进行反应，并且通知项不会丢失。

在一些实施例中，数字助理确定用户是否已确认第一音频提示(616)；当确定用户尚未确认第一音频提示时(例如，在某个预先确定的持续时间内)，向用户提供第二音频提示，该第二音频提示与第一音频提示不同(618)。在一些实施例中，第二提示比第一音频提示更独特和/或更强。例如，在一些实施例中，第二音频提示比第一音频提示更响。在一些实施例中，第二音频提示比第一音频提示更长。例如，第二音频提示可以是比第一音频提示更长的铃声，或者重复更多次(和/或更快)的音调或声音。在一些实施例中，第一音频提示为第一声音(例如，第一铃声)，并且第二音频提示是与第一声音不同的第二声音(例如，第二铃声)。因此，用户可区分第一音频提示和第二音频提示。在一些实施例中，用户可选择特定的声音和/或铃声以与第一音频提示和第二音频提示相关联。在一些具体实施中，将设备的振动视为音频提示。

在一些实施例中，第一音频提示、第二音频提示或第三音频提示中的一个音频提示对应于电话呼叫或语音邮件。例如，数字助理可能实际在拨打电话呼叫(或者虚拟电话呼叫)，使得用户的智能电话响铃，从而警示用户该通知的紧急度。具体地，针对来电呼叫的通知可与通知得到不同的处理，使得来电呼叫绕过被管理的通知列表。因此，通过向用户拨打电话呼叫(例如，使得向用户提供正常电话铃声和可视通知)，可警示用户该通知的紧急度。在一些具体实施中，数字助理将在用户接听电话呼叫时实际对通知进行有声化(例如，使用文本转语音引擎)。在一些具体实施中，如果用户未接听电话呼叫，则数字助理为用户留下口头语音邮件。

在一些实施例中，数字助理确定用户是否已确认第二音频提示(620)；当确定用户尚未确认第二音频提示时(例如，在某个预先确定的持续时间内)，向用户提供第三音频提示，该第三音频提示与第一音频提示和第二音频提示不同(622)。在一些实施例中，第三音频提示比第一音频提示和第二音频提示两者更响和/或更长。在一些实施例中，第三音频提示为语音输出。

在一些实施例中，第一音频提示为铃声，第二音频提示为第一音量的第一语音输出，并且第三音频提示为比第一音量更响的第二音量的语音输出。

在一些实施例中，第一音频提示为铃声，第二音频提示为第一长度的第一语音输出，并且第三音频提示为比第一长度更长的第二长度的第二语音输出。

在一些实施例中，升级音频提示的过程(例如，对应于以上使用第一音频提示、第二音频提示和第三音频提示)与阈值确定组合，以提供全面且侵入性最小的主动通知方案。具体地，在一些实施例中，即使是最紧急的通知也是以侵入性最小的音频提示开始的(例如，单次铃声或蜂鸣声，甚至是非音频提示，诸如触觉或视觉输出，诸如振动或弹出通知)。如果音频提示未被确认(例如，因为用户未通过按下按钮、开关或打开屏幕查看通知来与设备进行交互)，则将提供第二音频提示。如果第二音频提示未被确认，则提供第三音频提示。然而，如果通知不那么紧急，可能不会产生附加音频提示。因此，紧急度较低的消息可能导致向用户提供第一音频提示，但将不会产生后续的音频提示。在一些实施例中，所有通知项使得提供第一音频提示，但仅有满足预先确定的阈值的通知将升级到第二音频提示或第三音频提示。

以上参考图5A-图6所述的操作任选地由图2和/或图3中所示的部件来实现。例如，接收操作504、提供操作520、接收操作526任选地由上文详细描述的数字助理326、I/O处理模块328、中断处理模块340和/或自然语言处理模块332来实施。类似地，本领域的普通技术人员会清楚地知道基于在图2和/或图3中所示的部件可如何实现其他过程。

应当理解，其中上文已描述的操作的特定顺序仅仅是示例性的，并非旨在指示所述顺序是这些操作可被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。

为了解释的目的，前面的描述是参考具体实施例来进行描述的。然而，上面的示例性的论述并非旨在是穷尽的，也并非旨在将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式是可能的。选择和描述实施例是为了充分解释本发明的原理及其实际应用，以由此使得本领域的其他技术人员能够充分利用具有适合于所构想的特定用途的各种修改的本发明以及各种实施例。

Claims (18)

1.一种操作数字助理的方法，包括：

在具有存储器和一个或多个处理器的设备处：

提供通知项的列表，所述列表包括多个通知项，其中所述多个通知项中的每个相应通知项与相应紧急度值相关联；

在输出所述多个通知项中的第一通知项之前：

检测从外部设备接收到的信息项；

确定所述信息项是否与所述多个通知项中的所述第一通知项的紧急度值相关；

在确定所述信息项与所述第一通知项的所述紧急度值相关时，调整所述第一通知项的所述紧急度值，并且将来自所述信息项的内容结合到所述第一通知项中；

确定所述第一通知项的所调整的紧急度值是否满足预先确定的阈值；以及

在确定所调整的紧急度值满足所述预先确定的阈值时，向用户提供所述第一通知项，所述第一通知项包括来自所述信息项的结合的所述内容。

2.根据权利要求1所述的方法，还包括根据所述设备的位置来建立所述预先确定的阈值。

3.根据权利要求1所述的方法，还包括根据一天中的时间来建立所述预先确定的阈值。

4.根据权利要求1所述的方法，还包括根据与当前时间相关联的日历项来建立所述预先确定的阈值。

5.根据权利要求1所述的方法，还包括根据所述设备的用户设置来建立所述预先确定的阈值。

6.根据权利要求1所述的方法，其中所述信息项是由以下各项组成的组中的一者：电子邮件；语音邮件；和文本消息。

7.根据权利要求1所述的方法，其中所述信息项为应用程序通知。

8.根据权利要求1所述的方法，其中所述信息项为所述设备的上下文的变化。

9.根据权利要求1所述的方法，还包括：

确定所述用户是否已确认所述第一通知项；以及

在确定所述用户尚未确认所述第一通知项时，向所述用户提供音频提示。

10.一种用于操作电子设备上的数字助理的设备，包括用于实施根据权利要求1-9中任一项所述的方法的步骤的装置。

11.一种电子设备，包括：

音频输出单元；

处理单元，所述处理单元耦接到所述音频输出单元，所述处理单元被配置为：

访问通知项的列表，所述列表包括多个通知项，其中所述多个通知项中的每个相应通知项与相应紧急度值相关联；

在输出所述多个通知项中的第一通知项之前：

检测从外部设备接收到的信息项；

确定所述信息项是否与所述多个通知项中的所述第一通知项的紧急度值相关；以及

在确定所述信息项与所述第一通知项的所述紧急度值相关时，调整所述第一通知项的所述紧急度值，并且将来自所述信息项的内容结合到所述第一通知项中；

确定所述第一通知项的所调整的紧急度值是否满足预先确定的阈值；以及

在确定所调整的紧急度值满足所述预先确定的阈值时，向用户提供所述第一通知项，所述第一通知项包括来自所述信息项的结合的所述内容。

12.根据权利要求11所述的电子设备，其中所述处理单元被进一步配置为根据所述设备的位置来建立所述预先确定的阈值。

13.根据权利要求11所述的电子设备，其中所述处理单元被进一步配置为根据一天中的时间来建立所述预先确定的阈值。

14.根据权利要求11所述的电子设备，其中所述处理单元被进一步配置为根据与当前时间相关联的日历项来建立所述预先确定的阈值。

15.根据权利要求11所述的电子设备，其中所述处理单元被进一步配置为根据所述设备的用户设置来建立所述预先确定的阈值。

16.根据权利要求11所述的电子设备，其中所述信息项为应用程序通知。

17.根据权利要求11所述的电子设备，其中所述信息项为所述设备的上下文的变化。

18.根据权利要求11所述的电子设备，其中所述处理单元被进一步配置为：

确定所述用户是否已确认所述第一通知项；以及

在确定所述用户尚未确认所述第一通知项时，经由所述音频输出单元来向所述用户提供音频提示。

Images