CN117957517A - 检测与事件相关联的显著发生 - Google Patents

Abstract

一种示例性过程包括：同时显示：主区域，该主区域显示第一用户界面；和虚拟示能表示，该虚拟示能表示具有第一显示状态和显示内容，其中该显示内容表示事件并且包括该事件的更新；当同时显示该主区域和该虚拟示能表示时：检测与该事件相关联的预定类型的发生；响应于检测到该预定类型的发生，将该第一显示状态修改为第二显示状态；在将该第一显示状态修改为该第二显示状态之后，接收语音输入；以及使用基于该第二显示状态确定的上下文信息来确定该语音输入是否对应于该虚拟示能表示；以及根据确定该语音输入对应于该虚拟示能表示，在该主区域中用该事件的显示替换该第一用户界面的该显示。

Description

检测与事件相关联的显著发生

技术领域

本发明涉及向用户通知用户感兴趣的事件中的显著发生，并且涉及当在事件中产生显著发生时显示用户感兴趣的事件。

背景技术

数字助理允许用户经由自然语言输入与电子设备进行交互。例如，在用户向在电子设备上实现的数字助理提供口头请求之后，数字助理可确定与口头请求相对应的用户意图。数字助理然后可致使电子设备执行一个或多个任务以满足用户意图并且提供指示所执行的任务的输出。

发明内容

本文公开了示例性方法。一种示例性方法包括在具有存储器、显示器和一个或多个处理器的电子设备处：在该显示器上同时显示：主区域，该主区域显示第一用户界面；和虚拟示能表示，该虚拟示能表示具有第一显示状态和显示内容，其中该显示内容表示事件并且包括该事件的更新；当同时显示该主区域和该虚拟示能表示时：检测与该事件相关联的预定类型的发生；响应于检测到该预定类型的发生，将该虚拟示能表示的该第一显示状态修改为不同于该第一显示状态的第二显示状态；在将该第一显示状态修改为该第二显示状态之后，接收语音输入；以及使用基于该虚拟示能表示的该第二显示状态确定的上下文信息来确定该语音输入是否对应于该虚拟示能表示；以及根据确定该语音输入对应于该虚拟示能表示，在该主区域中用该事件的显示替换该第一用户界面的该显示。

本文公开了示例性非暂态计算机可读介质。一种示例性非暂态计算机可读存储介质存储一个或多个程序。该一个或多个程序包括指令，该指令在由具有显示器的电子设备的一个或多个处理器执行时致使该电子设备：在该显示器上同时显示：主区域，该主区域显示第一用户界面；和虚拟示能表示，该虚拟示能表示具有第一显示状态和显示内容，其中该显示内容表示事件并且包括该事件的更新；当同时显示该主区域和该虚拟示能表示时：检测与该事件相关联的预定类型的发生；响应于检测到该预定类型的发生，将该虚拟示能表示的该第一显示状态修改为不同于该第一显示状态的第二显示状态；在将该第一显示状态修改为该第二显示状态之后，接收语音输入；以及使用基于该虚拟示能表示的该第二显示状态确定的上下文信息来确定该语音输入是否对应于该虚拟示能表示；以及根据确定该语音输入对应于该虚拟示能表示，在该主区域中用该事件的显示替换该第一用户界面的该显示。

本文公开了示例性电子设备。一种示例性电子设备包括显示器；一个或多个处理器；存储器；和一个或多个程序，其中该一个或多个程序存储在该存储器中并且被配置为由该一个或多个处理器执行，该一个或多个程序包括用于执行以下操作的指令：在该显示器上同时显示：主区域，该主区域显示第一用户界面；和虚拟示能表示，该虚拟示能表示具有第一显示状态和显示内容，其中该显示内容表示事件并且包括该事件的更新；当同时显示该主区域和该虚拟示能表示时：检测与该事件相关联的预定类型的发生；响应于检测到该预定类型的发生，将该虚拟示能表示的该第一显示状态修改为不同于该第一显示状态的第二显示状态；在将该第一显示状态修改为该第二显示状态之后，接收语音输入；以及使用基于该虚拟示能表示的该第二显示状态确定的上下文信息来确定该语音输入是否对应于该虚拟示能表示；以及根据确定该语音输入对应于该虚拟示能表示，在该主区域中用该事件的显示替换该第一用户界面的该显示。

响应于检测到预定类型的发生而将虚拟示能表示的第一显示状态修改为第二显示状态向用户提供了在感兴趣的事件中已发生显著时刻(例如，精彩瞬间)并且用户可提供用于显示事件的输入的反馈。因此，用户可同时观看多个感兴趣的事件(例如，体育比赛)并且被告知他们何时可能期望在显示器的主区域中观看感兴趣的事件(例如，其中发生精彩瞬间的体育比赛)。向用户提供改善的反馈改善了设备可操作性并且使得用户-设备交互更高效(例如，通过帮助用户提供正确的输入并且减小用户错误)，这另外通过实现能够更快且更高效的设备使用来减小功率使用并且改善设备电池寿命。

当满足预定条件时用事件的显示来替换第一用户界面的显示会允许设备准确地确定感兴趣的事件并且在主区域中高效地显示事件。因此，用户可例如经由语音输入(诸如“将那个打开”)来快速且准确地致使在主显示区域中显示事件。当满足预定条件时用事件的显示来替换第一用户界面的显示而不需要进一步的用户输入(例如，在接收到语音输入之后)会改善设备可操作性并且使用户-设备交互更高效(例如，通过减小显示事件本来所需的用户输入，通过减小用于停止不正确事件的显示的用户输入)，这另外通过实现更快和更高效的设备使用来减小功率使用并且改善设备电池寿命。

附图说明

图1A至图1B描绘了在各种扩展现实技术中使用的示例性系统。

图2示出了根据各种示例的数字助理的框图。

图3A至图3J示出了根据各种示例的在设备的显示器上显示的各种内容。

图4示出了根据各种示例的用于显示事件的过程。

具体实施方式

本文描述了用于实现基于扩展现实(XR)的技术的系统和技术的示例。

图1A和图1B描绘了用于实现各种扩展现实技术的示例性系统150。

在图1A的示例中，系统150包括设备150a。设备150a包括以下中的至少一些：处理器101、存储器102、RF电路103、显示器104、图像传感器105、触敏表面106、位置传感器107、麦克风108、扬声器109、和取向传感器110。设备150a的通信总线111任选地启用设备150a的各种部件之间的通信。

在一些示例中，系统150的一些部件在基站设备(例如，计算设备，诸如膝上型计算机、远程服务器、或移动设备)中实现，并且系统150的其他部件在第二设备(例如，头戴式设备)中实现。在一些示例中，基站设备或第二设备实现设备150a。

在图1B的示例中，系统150包括例如经由有线连接或无线连接进行通信的至少两个设备。第一设备150c(例如，头戴式设备)包括以下中的至少一些：处理器101、存储器102、RF电路103、显示器104、图像传感器105、触敏表面106、位置传感器107、麦克风108、扬声器109、和取向传感器110。第一设备150c的通信总线111任选地启用第一设备150c的部件之间的通信。第二设备150b(诸如基站设备)包括处理器101、存储器102和RF电路103。第二设备150b的通信总线111任选地启用第二设备150b的部件之间的通信。

例如，处理器101包括图形处理器、通用处理器和/或数字信号处理器。

存储器102是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器、随机存取存储器)。当由处理器101执行时，计算机可读指令致使系统150执行下面讨论的各种技术。

例如，RF电路103包括实现与其他电子设备和/或网络(例如，内联网、互联网、无线网络(例如，局域网和蜂窝网络))的通信的电路。在一些示例中，RF电路103包括实现短程和/或近场通信的电路。

在一些示例中，显示器104实现透明或半透明显示器。因此，用户可直接通过显示器观看物理环境，并且系统150可将虚拟内容叠加在物理环境上以加强用户的视野。在一些示例中，显示器104实现不透明显示器。在一些示例中，显示器104在透明或半透明状态与不透明状态之间转变。

在一些示例中，显示器104实现技术诸如硅上液晶、数字光投影仪、LED、OLED和/或激光扫描光源。在一些示例中，显示器104包括光透射穿过的衬底(例如，光波导、光学反射器和组合器、全息衬底或它们的组合)。显示器104的另选示例性具体实施包括具有显示能力的汽车挡风玻璃、具有显示能力的窗、具有显示能力的透镜、平视显示器、智能电话、台式计算机或膝上型计算机。作为另一个示例性具体实施，系统150被配置为与外部显示器(例如，智能电话显示器)介接。在一些示例中，系统150是基于投影的系统。例如，系统150将图像投影到用户的眼睛(例如，视网膜)上或者将虚拟元素投影到物理环境上，例如，通过将全息照片投影到物理环境上或者通过将影像投影到物理表面上。

在一些示例中，图像传感器105包括用于确定物理元素与系统150之间的距离的深度传感器。在一些示例中，图像传感器105包括用于从物理环境获得物理元素的影像的可见光图像传感器(例如，电荷耦合器件(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器)。在一些示例中，图像传感器105包括用于捕获物理环境中的物理元素的移动的事件相机。在一些示例中，系统150结合地使用深度传感器、可见光图像传感器和事件相机来检测系统150周围的物理环境。在一些示例中，图像传感器105还包括红外(IR)传感器(例如，无源或有源IR传感器)以检测来自物理环境的红外光。有源IR传感器实现被配置为将红外光发射到物理环境中的IR发射器(例如，IR点发射器)。

在一些示例中，图像传感器105用于接收用户输入，例如手势输入。在一些示例中，图像传感器105用于确定系统150和/或显示器104在物理环境中的位置和取向。例如，图像传感器105用于跟踪系统150相对于物理环境的静止元素的位置和取向。在一些示例中，图像传感器105包括两个不同的图像传感器。第一图像传感器被配置为从第一视角捕获物理环境的影像，并且第二图像传感器被配置为从不同于第一视角的第二视角捕获物理环境的影像。

触敏表面106被配置为接收用户输入，例如轻击和/或滑动输入。在一些示例中，显示器104和触敏表面106组合以形成触敏显示器。

在一些示例中，麦克风108用于检测从用户和/或从物理环境发出的声音。在一些示例中，麦克风108包括麦克风阵列(例如，多个麦克风)，该麦克风阵列结合地操作例如以用于定位物理环境中的声源或用于识别环境噪声。

取向传感器110被配置为检测系统150和/或显示器104的取向和/或移动。例如，系统150使用取向传感器110来跟踪系统150和/或显示器104(例如，相对于物理环境中的物理元素)的位置和/或取向的改变。在一些示例中，取向传感器110包括陀螺仪和/或加速度计。

图2示出了根据各种示例的数字助理(DA)200的框图。

图2的示例示出了DA 200至少部分地在系统150内实现，例如，在设备150a、150b或150c内实现。例如，DA 200至少部分地实现为存储在存储器102中的计算机可执行指令。在一些示例中，DA 200以分布式方式实现，例如跨多个计算系统分布。例如，DA 200的部件和功能被划分成客户端部分和服务器部分。客户端部分在一个或多个用户设备(例如，设备150a、150b、150c)上实现并且可经由一个或多个网络与计算服务器通信。DA 200的部件和功能在硬件、用于由一个或多个处理器执行的软件指令、固件(例如，一个或多个信号处理集成电路和/或专用集成电路)、或它们的组合或子组合中实现。应当理解的是，DA 200是示例性的，并且从而DA 200可具有比图示的部件更多或更少的部件，可组合两个或更多个部件，或可具有不同的部件配置或布置。

如下所述，DA 200执行以下中的至少一些：自动语音识别(例如，使用语音到文本(STT)模块202)；确定与所接收的自然语言输入相对应的用户意图；确定用于满足所确定的意图的任务流；以及执行任务流以满足所确定的意图。

在一些示例中，DA 200包括被配置为确定用户意图的自然语言处理(NLP)模块204。NLP模块204接收由STT模块202生成的候选文本表示并且将候选文本表示中的每一者映射到由DA识别的“用户意图”。“用户意图”对应于DA可执行任务并且具有在任务模块206中实现的相关联的任务流。相关联的任务流包括DA为了执行任务而采取的一系列经编程动作(例如，可执行指令)。DA 200的能力的范围可因此取决于在任务模块206中实现的任务流的类型，例如取决于DA所识别的用户意图的类型。

在一些示例中，在基于自然语言输入来识别用户意图后，NLP模块204致使任务模块206执行用于满足用户请求的动作。例如，任务模块206执行对应于所确定的意图的任务流以执行满足用户请求的任务。在一些示例中，执行任务包括致使系统150提供指示所执行的任务的图形、音频和/或触觉输出。

图3A至图3J示出了根据各种示例的在设备300的显示器302上显示的各种内容。例如，设备300被实现为头戴式设备、智能电话设备、膝上型计算机、台式计算机、平板设备、智能扬声器、电视或智能家用电器。设备300被实现为设备150a或设备150c。

在图3A中，显示器302显示包括用户界面的主区域304。在一些示例中，主区域304是设备300的主显示区域。例如，主区域304占据显示器302的大部分并且用户的注意力可主要指向主区域304的用户界面。在本示例中，用户界面显示体育事件，例如由设备300的视频使能应用提供的实况足球比赛。在其他示例中，用户界面对应于设备300的主屏幕或设备300的另一个应用程序(例如，文字处理应用程序、消息收发应用程序、web浏览应用程序、照片应用程序、游戏应用程序等)。

在一些示例中，主区域304经由描绘外部电子设备(例如，膝上型计算机、台式计算机、平板设备或电视)的显示器的视频透传来显示用户界面。因此，显示器302和外部电子设备的显示器同时显示用户界面，例如，作为物理元素。例如，用户可经由显示实况足球比赛的用户电视的视频透传在设备300上观看实况足球比赛。在其他示例中，主区域304不经由视频透传来显示用户界面。例如，设备300可使用互联网连接来流式传输实况足球比赛。

当用户观看实况足球比赛时，用户可能对其他事件(例如，体育比赛、竞赛、股票价格更新、天气更新、突发新闻、系统或应用程序通知、来自外部设备的通知(例如，消息、电话呼叫)等)感兴趣。因此，以下描述了用于向用户通知其他感兴趣事件以及用于允许用户与其他事件进行交互(例如，观看)的技术。

在一些示例中，设备300接收用于调用DA 200的输入。用于调用DA 200的示例性输入包括：包括预定口头触发(例如，“嗨助理”、“打开”等)的语音输入、由设备300检测到的预定类型的手势输入(例如，手部运动)、和对设备300的物理或虚拟按钮的选择。在一些示例中，用于调用DA 200的输入包括用户注视输入，例如指示用户注视指向特定的已显示用户界面元素持续预定持续时间。在一些示例中，设备300基于所接收的自然语言输入相对于用户注视输入的定时来确定用户注视输入用于调用DA 200的输入。例如，如果设备300确定用户注视在自然语言输入的开始时间和/或在自然语言输入的结束时间指向用户界面元素，则用户注视输入调用DA 200。在图3A的示例中，用户提供口头触发“嗨助手”以调用DA 200。

在图3A中，DA 200调用。例如，设备300显示DA指示符305以指示所调用的DA 200并且开始执行对应于DA 200的某些过程。在一些示例中，一旦DA 200调用，DA 200就处理所接收的自然语言输入(例如，语音输入、文本输入)以执行各种任务，如下所述。为了简单起见，下面对图3B至图3J中的一些图的描述没有明确地描述接收用于调用DA 200的输入。然而，应当理解的是，在一些示例中，DA 200根据接收用于调用DA 200的输入来处理相对于图3B至图3J描述的自然语言输入。

转向图3B，设备300接收自然语言输入。例如，在被调用之后，DA 200接收自然语言输入“49ers比赛的分数是什么？”。DA 200确定自然语言输入请求显示虚拟示能表示306，例如虚拟用户交互图形元素。例如，DA 200基于自然语言输入来确定显示虚拟示能表示306的用户意图。因此，DA 200致使显示器302同时显示虚拟示能表示306和主区域304。

虚拟示能表示306具有第一显示状态和显示内容。虚拟示能表示的显示状态描述了显示虚拟示能表示的方式(例如，大小、形状、背景颜色、移动、边框样式、字体大小等)。相比之下，虚拟示能表示的显示内容描述了虚拟示能表示旨在传达的信息(例如，体育分数、天气信息、体育精彩瞬间信息、股票信息、新闻等)。例如，虚拟示能表示可具有相同的显示状态(例如，相同的大小、相同的边框样式)但具有不同的显示内容(例如，指示不同体育比赛的分数)。在本示例中，虚拟示能表示306的第一显示状态不强调虚拟示能表示306。例如，虚拟示能表示306具有与其他同时显示的虚拟示能表示(例如，以下相对于图3C所讨论的虚拟示能表示308)相同的第一显示状态。在一些示例中，如以下所讨论的，设备300将虚拟示能表示306的第一显示状态修改为第二显示状态，例如，以相对于其他同时显示的虚拟示能表示强调虚拟示能表示306。

虚拟示能表示306的显示内容表示事件并且包括事件的更新。在一些示例中，事件是实况事件(例如，实况体育比赛、实况竞赛、实况股票价格信息)并且虚拟示能表示306的显示内容包括实况事件的实况更新。例如，显示内容表示实况Chiefs相对49ers的足球比赛并且包括足球比赛的实况更新(例如，实况分数更新、描述足球比赛的实况文本)。在一些示例中，显示内容包括事件的视频(例如，实况视频)，诸如足球比赛的实况流。在一些示例中，主区域304的用户界面对应于与事件不同的第二事件。例如，用户界面显示不同的实况足球比赛，例如，Dolphins相对Bears的足球比赛。

在一些示例中，用户提供输入以在期望位置处显示虚拟示能表示306。例如，响应于自然语言输入“49ers比赛的分数是什么？”，DA 200致使显示器302在初始位置处显示虚拟示能表示306。用户然后提供输入(例如，外围设备输入(例如，鼠标或触摸板输入)、手势输入(例如，拖放手势)、和/或语音输入(例如，“将此向左移动”))以将虚拟示能表示306移动到期望位置。例如，在图3B中，显示器302最初将虚拟示能表示306显示在主区域304的右侧，并且设备300接收用户输入以将虚拟示能表示306显示在主区域304的左侧。

在图3C中，在一些示例中，当显示虚拟示能表示306时，设备300接收请求显示虚拟示能表示308的用户输入。例如，用户提供请求DA 200显示虚拟示能表示308的自然语言输入“公司X的股票价格是什么？”。根据接收到请求显示虚拟示能表示308的用户输入，显示器302同时显示虚拟示能表示306和虚拟示能表示308。在一些示例中，用户提供输入以将虚拟示能表示308移动到图3C中的期望位置。

用户可请求设备300同时显示任何数量的虚拟示能表示并且以与以上讨论的方式一致的方式将虚拟示能表示移动到期望位置。例如，图3D还示出了由用户请求的虚拟示能表示310、312和314。虚拟示能表示306、308、310、312和314各自具有不同的显示内容(分别表示Chiefs相对49ers的足球比赛的实况分数更新、公司X的股票价格的实况更新、Cowboys相对Steelers的足球比赛的实况分数更新、PSG相对Bayern Munich的足球比赛的实况分数更新以及俄勒冈州波特兰的实况天气更新)，但各自具有相同的第一显示状态。

在一些示例中，所显示的虚拟示能表示对应于指示虚拟示能表示的相应显示位置的虚拟示能表示布局。例如，图3D中的虚拟示能表示布局指定虚拟示能表示306-314和其相应的当前显示位置。在一些示例中，当根据虚拟示能表示布局同时显示虚拟示能表示时，设备300接收请求存储虚拟示能表示布局的自然语言输入，例如图3D中的“保存该布局”。请求存储虚拟示能表示布局的其他示例性自然语言输入包括“记住该布局”、“存储该布置”、“保存我的虚拟示能表示”等。根据接收到自然语言输入，DA 200例如通过保存当前显示的虚拟示能表示及其相应的显示位置来存储虚拟示能表示布局。在一些示例中，DA 200还提供指示所存储的虚拟示能表示布局的输出(例如，音频输出)，例如“好的，我保存了该布局”。

在一些示例中，在存储虚拟示能表示布局之后，设备300接收请求显示所存储的虚拟示能表示布局的自然语言输入。请求显示所存储的虚拟示能表示布局的示例性自然语言输入包括“向我示出我的虚拟示能表示”、“示出保存的布局”、“显示先前配置”等。根据接收到自然语言输入，DA 200致使显示器302根据所存储的虚拟辅助布局来同时显示虚拟示能表示。例如，在设备300的未来使用中，如果显示器302显示主区域304而不显示虚拟示能表示306-314，则用户可通过请求DA 200“显示我的保存布局”来致使以图3D所示的布局显示虚拟示能表示306-314。

转向图3E，在同时显示虚拟示能表示306和主区域304(以及任选的其他虚拟示能表示)时，DA 200检测与由虚拟示能表示306表示的事件相关联的预定类型的发生。在一些示例中，预定类型的发生表示与事件相关联的显著时刻(例如，精彩瞬间)。在一些示例中，预定类型的发生基于相关联的事件来定义。例如，对于体育比赛和竞赛，预定类型的发生包括进球、达阵、新记录、爆冷门、犯规、宣布的获胜者等。作为另一个示例，对于股票价格更新，预定类型的发生包括大价格改变以及股票价格改变成高于或低于用户指定价格。作为另一个示例，对于天气更新，预定类型的发生包括严重天气警告。作为另一个示例，对于来自外部设备的通知，预定类型的发生包括来自用户指定联系人的通知(例如，电话呼叫、文本消息、电子邮件)。在图3E的示例中，预定类型的发生是Chiefs的Patrick Mahomes在Chiefs相对49ers的足球比赛中达阵得分。

在一些示例中，检测预定类型的发生包括从外部电子设备接收在事件中发生预定类型的发生的指示。例如，DA 200从外部体育信息服务接收指示在用户感兴趣的体育事件中发生预定类型的发生(例如，由虚拟示能表示306、310和312表示的体育事件)的数据。作为另一个示例，当针对用户感兴趣的位置(例如，由虚拟示能表示314表示的位置)发出严重天气警报时，DA 200从天气信息服务接收通知。在一些示例中，DA 200处理与事件相关联的数据以检测相关联的预定类型的发生。例如，DA 200监测所显示的虚拟示能表示所表示的每个体育比赛的音频流以检测预定类型的发生。例如，DA 200使用STT模块202和/或NLP模块204来检测指示预定类型的发生的词语和/或短语(例如，“Chiefs达阵”或“Chiefs获胜”)。作为另一个示例，DA 200监测股票价格数据以确定用户感兴趣的股票价格(例如，由虚拟示能表示308表示)何时改变为高于或低于用户指定水平。

在图3E中，响应于检测到预定类型的发生，DA 200致使显示器302将虚拟示能表示306的第一显示状态修改为不同于第一显示状态的第二显示状态。第二显示状态表示虚拟示能表示306(例如，相对于其他同时显示的虚拟示能表示)的强调。例如，当在图3E中以第二显示状态显示时，虚拟示能表示306具有比当在图3D中以第一显示状态显示时的显示大小更大的显示大小。在一些示例中，虚拟示能表示306的另一个显示特征在第二显示状态中相对于第一显示状态改变。例如，虚拟示能表示306包括不同的背景颜色、不同的字体大小、不同的边框样式和/或相对于以第一显示状态显示的虚拟示能表示306移动(例如，摇晃或振动)。

在一些示例中，响应于检测到预定类型的发生，设备300提供输出，诸如音频输出(例如，“看看这个”)和/或触觉输出(例如，振动)。

在一些示例中，当虚拟示能表示306以第二显示状态显示时，虚拟示能表示306的显示内容改变。例如，如图所示，当以第二显示状态显示虚拟示能表示306时，显示内容包括预定类型的发生的描述(例如，文本描述)。例如，虚拟示能表示306包括文本“P.Mahomes达阵”。作为另一个示例，如果在由虚拟示能表示308表示的股票价格中发生预定类型的发生(例如，大股票价格改变)，则显示器302以第二显示状态显示虚拟示能表示308并且在虚拟示能表示308中包括文本“公司X的股票涨20％”。在一些示例中，虚拟示能表示306在以第一显示状态显示时不包括事件的视频，并且在以第二显示状态显示时包括事件的视频。例如，当Patrick Mahomes达阵得分时，虚拟示能表示306的显示内容从指示足球比赛的分数改变为显示足球比赛的实况视频。

在一些示例中，虚拟示能表示306保持以第二显示状态显示持续预定持续时间。在预定持续时间流逝之后，显示器302回复到以第一显示状态显示虚拟示能表示306，例如像图3D中的虚拟示能表示306的显示。在一些示例中，设备300的用户设置指定预定持续时间。

在图3E中，在将虚拟示能表示306的第一显示状态修改为第二显示状态之后，设备300接收语音输入。在一些示例中，语音输入不明确地指示虚拟示能表示306并且包括对虚拟示能表示306的指示性引用(例如，“那个”、“这个”、“新的一个”、“大的一个”、“左侧的一个”)。例如，用户说出“将那个打开”而不是“打开Chiefs相对49ers的比赛”。

在一些示例中，DA 200处理语音输入以执行任务而不需要用于调用DA 200的输入，例如原本在接收语音输入之前、期间或之后接收的用于调用DA 200的输入。例如，DA200基于与语音输入相关联的各种条件来确定语音输入旨在用于DA 200并且因此处理语音输入。示例性条件包括当接收到语音输入的至少一部分时，所检测的用户手势对应于所显示的虚拟示能表示(例如，用户指向其或对其做手势)。以此方式，如果用户在指向虚拟示能表示306时说出“将那个打开”，则DA 200处理自然语言输入而不需要用于调用DA 200的输入。

另一个示例性条件包括基于语音输入确定的用户意图对应于虚拟示能表示(例如，请求显示虚拟示能表示所表示的事件、提供关于虚拟示能表示的更多细节、停止显示虚拟示能表示、移动虚拟示能表示的用户意图)。因此，如果所确定的用户意图对应于虚拟示能表示，则DA 200执行任务以满足用户意图而无需用于调用DA 200的输入。如果所确定的用户意图不对应于虚拟示能表示，则DA 200通过不提供任何输出来忽略语音输入(例如，除非DA 200接收用于调用的输入)。在一些示例中，DA 200在最初以第二显示状态显示虚拟示能表示之后的预定持续时间内确定用户意图是否对应于虚拟示能表示。因此，在预定持续时间内，如果用户意图对应于虚拟示能表示，则DA 200执行任务，而不需要用于调用DA 200的输入。在一些示例中，在预定持续时间流逝之后，DA 200需要用于调用DA 200的输入以处理语音输入以便执行任务。

在一些示例中，DA 200响应于虚拟示能表示306以第二显示状态显示而自动调用(例如，不需要用于调用DA 200的输入)。例如，当显示器302最初以第二显示状态显示虚拟示能表示306时，DA 200调用(例如，进入监听模式)预定持续时间以检测语音输入。如果DA200在预定持续时间内没有检测到语音输入，则DA 200取消。例如，设备300停止显示DA指示符305和/或停止执行对应于DA 200的某些过程。在一些示例中，在预定持续时间期间，DA200处理语音输入以便仅在基于语音输入确定的用户意图对应于虚拟示能表示的情况下执行任务。否则，DA 200忽略语音输入，例如，如上所讨论。

根据接收到语音输入，DA 200基于以下讨论的各种上下文信息来确定语音输入是否对应于虚拟示能表示306。例如，DA 200使用STT模块202和NLP模块204来处理语音输入以确定用户意图是否对应于虚拟示能表示。如果是，则DA 200使用上下文信息来确定对应于用户意图的正确虚拟示能表示(例如，虚拟示能表示306)。以此方式，尽管语音输入未明确地指示正确的虚拟示能表示，但DA 200可确定正确的虚拟示能表示(并且因此确定正确的用户意图)。例如，如下所述，DA 200确定“将那个打开”意味着显示由强调的虚拟示能表示306表示的Chiefs相对49ers的足球比赛。

在一些示例中，DA 200基于虚拟示能表示306的第二显示状态来确定上下文信息。例如，所确定的上下文信息指示在接收到语音输入的至少一部分时(或当DA 200被调用时)以第二显示状态显示虚拟示能表示306。在一些示例中，所确定的上下文信息指示虚拟示能表示306在接收到语音输入之前(或在DA 200调用之前)的预定持续时间内以第二显示状态显示。以此方式，DA 200基于确定显示器302在接收语音输入时以第二显示状态显示虚拟示能表示306或显示器302在接收语音输入之前不久以第二显示状态显示虚拟示能表示306而确定语音输入“将那个打开”对应于虚拟示能表示306。

在一些示例中，上下文信息包括用户注视数据(例如，由图像传感器105检测)。例如，DA 200基于确定用户注视在语音输入的开始时间或当DA 200被调用时指向虚拟示能表示306来确定语音输入对应于虚拟示能表示306。以此方式，如果用户注视虚拟示能表示306并同时说出“将那个打开”，则DA 200确定语音输入对应于虚拟示能表示306。

在一些示例中，上下文信息包括用户手势输入(例如，指向手势、触摸手势)。例如，DA 200基于确定用户手势在语音输入的开始时间或当DA 200被调用时对应于虚拟示能表示306来确定语音输入对应于虚拟示能表示306。以此方式，如果用户在虚拟示能表示306处做手势(例如，指向或触摸其显示器)并同时说出“将那个打开”，则DA 200确定语音输入对应于虚拟示能表示306。

在一些示例中，确定语音输入对应于虚拟示能表示306包括确定语音输入涉及虚拟示能表示的位置(例如，使用NLP模块204)。例如，用户可基于虚拟示能表示的显示位置来提供涉及虚拟示能表示的语音输入，例如，“打开底部的一个”、“打开中上部的一个”、“打开右侧的一个”等。在一些示例中，根据确定语音输入涉及虚拟示能表示的位置，DA 200基于虚拟示能表示306的显示位置来选择虚拟示能表示306。例如，根据确定语音输入涉及虚拟示能表示的位置，DA 200分析虚拟示能表示的显示布局以选择当前显示在所涉及的位置处的虚拟示能表示。以此方式，如果用户说出“打开左侧的一个”，则DA 200确定语音输入对应于虚拟示能表示306。

在一些示例中，DA 200基于语音输入来进一步确定用户意图是请求显示由虚拟示能表示306表示的事件还是请求与虚拟示能表示306相关联的另一个任务。示例性其他任务包括提供关于虚拟示能表示306的更多细节、停止显示虚拟示能表示306、移动虚拟示能表示306的显示位置、以及改变虚拟示能表示306的显示方式(例如，放大)。如果DA 200确定用户意图请求与虚拟示能表示306相关联的另一个任务，则DA 200执行另一任务。

转向图3F，根据确定语音输入对应于虚拟示能表示306(并且任选地根据确定用户意图请求显示由虚拟示能表示306表示的事件)，显示器302显示事件。例如，DA 200致使显示器302在主区域304中用事件的显示替换用户界面的显示。例如，在图3F中，在主区域304中，Chiefs相对49ers的足球比赛的实况流替换先前Dolphins相对Bear的足球比赛的显示。在一些示例中，DA 200还提供指示事件的显示的输出(例如，音频输出)，例如，“好的，现在播放Chiefs相对49ers的比赛”。

在一些示例中，显示事件包括在显示器302上同时显示：显示事件的主区域和对应于被替换的用户界面的虚拟示能表示316。当接收到语音输入时，不显示虚拟示能表示316(例如，在图3E中)。例如，在图3F中，新虚拟示能表示316对应于先前在主区域304中显示的Dolphins相对Bears的足球比赛。以此方式，虽然在主区域304中显示的事件可能是用户感兴趣的主事件(例如，如在Chiefs相对49ers的比赛中刚发生的显著时刻)，但用户仍然可跟随先前在主区域304中显示的另一个事件。例如，虚拟示能表示316的显示内容包括Dolphins相对Bears的足球比赛的实况分数更新。

在一些示例中，显示事件包括停止显示虚拟示能表示306。例如，在图3F中，显示器302停止显示虚拟示能表示306，例如因为主区域304现在显示事件。在其他示例中，虚拟示能表示306保持显示，而显示器302在主区域304中显示事件。

尽管以上描述的用于显示事件的技术是相对于虚拟示能表示306讨论的，但应当理解的是，技术同样适用于任何其他显示的虚拟示能表示。例如，如果发生了与由虚拟示能表示308表示的股票价格事件相关联的预定类型的发生(例如，大股票价格增加)，则显示器302以第二显示状态显示虚拟示能表示308。然后，用户可说“向我示出”。DA 200确定语音输入“向我示出”对应于虚拟示能表示308(例如，当虚拟示能表示308最近以第二显示状态显示时)。然后，DA 200致使显示器302在主区域304中用股票价格事件的显示来替代Dolphins相对Bears的足球比赛的显示。例如，主区域304显示关于公司X的股票价格的详细信息，例如包括放大的股票价格表、成交量信息和移动平均信息。

转向图3G至图3H，在一些示例中，用户可选择虚拟示能表示306而不致使事件替换主区域304中的用户界面的显示。例如，在将虚拟示能表示306的第一显示状态修改为第二显示状态之后，设备300接收与虚拟示能表示306的选择相对应的用户输入。例如，用户输入包括语音输入、手势输入(例如，指向手势、轻击手势)或注视输入。根据接收到用户输入，显示器302修改虚拟示能表示306的显示内容，而不用在主区域304中用事件的显示(例如，Chiefs相对49ers的足球比赛)替换用户界面的显示(例如，Dolphins相对Bears的足球比赛)。

在一些示例中，修改虚拟示能表示306的显示内容的方式取决于用户输入。例如，对于语音输入，DA 200根据对应的用户意图修改显示内容。例如，在图3G中，当显示器302以第二显示状态显示虚拟示能表示306时，设备300接收语音输入，例如“告诉我更多与此相关内容”。DA 200确定语音输入对应于虚拟示能表示306并且确定对应于语音输入的用户意图。在本示例中，用户意图请求提供关于虚拟示能表示306的更多细节(例如，而不是请求显示事件)。因此，DA 200致使显示器302修改虚拟示能表示306的显示内容以包括关于预定类型的发生的详细信息。例如，在图3F中，响应于“告诉我更多与此相关内容”，显示器302修改虚拟示能表示306的显示内容以包括比先前描述“Patrick Mahome达阵”更详细的描述“Patrick Mahomes在避开来自Zack Kerr和Jordan Willis的尝试抢球时为了达阵跑了25码”。

作为另一个示例，当显示器302以第二显示状态显示虚拟示能表示306时，设备300检测与虚拟示能表示306的选择相对应的用户注视输入。例如，设备300确定用户注视虚拟示能表示306持续预定持续时间。根据检测到用户注视输入，DA 200致使显示器302修改虚拟示能表示306的显示内容，例如以包括关于预定类型的发生的详细信息、包括事件的实况视频、和/或包括预定类型的发生的重放。作为另一个示例，当显示器302以第二显示状态显示虚拟示能表示306时，设备300检测与虚拟示能表示306的选择相对应的用户手势输入(例如，轻击手势、指向手势)。根据检测到用户手势输入，DA 200致使显示器302修改虚拟示能表示306的显示内容，例如以包括关于预定类型的发生的详细信息、包括事件的实况视频、和/或包括预定类型的发生的重放。

转向图3I，并且从图3F的显示继续，在一些示例中，显示器302主动地显示与预定事件相对应的虚拟示能表示318。例如，当虚拟示能表示318未被显示时(例如，在图3F中)，DA 200检测与预定事件相关联的预定类型的发生。预定事件和相关联的预定类型的发生类似于以上讨论的那些(例如，体育比赛和相关联的进球、达阵、宣布的获胜者)。响应于检测到预定类型的发生，DA 200致使显示器302自动显示虚拟示能表示318，例如，不用在检测到预定类型的发生之后接收用于显示虚拟示能表示318的用户输入。

在一些示例中，DA 200确定预定事件，并且基于用户输入来检测与预定事件相关联的预定类型的发生。例如，用户先前指示DA 200针对预定类型的发生监测预定事件，例如通过说出“告诉我谁赢得Chelsea相对Manchester City的比赛”或“告诉我公司Y的股票价格何时下降到$100以下”。在一些示例中，DA 200基于存储在设备300上的用户偏好或简档信息来确定预定事件。例如，基于指示用户是Chelsea粉丝的用户简档信息，DA 200针对预定类型的发生监测所有Chelsea足球比赛。在图3I的示例中，DA 200检测到Chelsea已经赢得对Manchester City的足球比赛，并且因此致使显示器302显示具有表示足球比赛的显示内容的虚拟示能表示318。

在一些示例中，显示器302最初以第二(例如，强调)显示状态显示虚拟示能表示318。例如，在图3I中，虚拟示能表示318的显示大小大于虚拟示能表示308-316的显示大小，并且虚拟示能表示318的显示内容包括预定类型的发生(例如“Chelsea获胜！”)的描述。在其他示例中，显示器302例如通过以与虚拟示能表示308-316相同的显示大小显示虚拟示能表示318来以第一(例如，非强调)显示状态显示虚拟示能表示318。

图3I还示出了显示器302同时显示虚拟示能表示318和显示用户界面的主区域304(例如，Chiefs相对49ers的比赛)。在一些示例中，在同时显示主区域304和虚拟示能表示318时，设备300接收语音输入，例如，“将那个打开”。在一些示例中，设备300还接收用于调用DA 200的输入，并且DA 200根据调用来处理语音输入。在其他示例中，DA 200处理语音输入以执行任务而不用接收用于调用DA 200的输入，例如基于根据上述技术确定语音输入旨在用于DA 200。在一些示例中，DA 200响应于虚拟示能表示318的自动显示而自动调用(例如，持续预定持续时间)。在一些示例中，如上文所讨论，在预定持续时间期间，如果所确定的用户意图对应于虚拟示能表示，则DA 200仅基于所检测的语音输入来执行任务。

DA 200确定语音输入是否对应于虚拟示能表示318。在一些示例中，DA 200基于上下文信息、与相对于图3E讨论的技术一致地(例如，基于用户注视输入、用户手势输入、和/或虚拟示能表示318在接收语音输入时或在调用DA 200时以第二显示状态显示)确定语音输入是否对应于虚拟示能表示318。在一些示例中，确定语音输入对应于虚拟示能表示318包括确定设备300在显示器302最初显示虚拟示能表示318之后的预定持续时间内接收语音输入。例如，因为显示器302最近且主动地显示虚拟示能表示318，所以语音输入“将那个打开”可能对应于虚拟示能表示318。在一些示例中，DA 200还基于语音输入来确定用户意图请求显示由虚拟示能表示318表示的预定事件。

在一些示例中，根据确定语音输入对应于虚拟示能表示318(并且任选地根据确定用户意图请求显示预定事件)，显示器302显示预定事件。例如，在图3J中，DA 200致使显示器302在主区域304中用事件的显示(例如，Chelsea相对Manchester City的足球比赛)来替换用户界面的显示(例如，Chiefs相对49ers的足球比赛)。

图4示出了根据各种示例的用于显示事件的过程400。过程400例如在设备(例如，设备300)处并使用DA 200和系统150来执行。在过程400中，一些操作任选地组合，一些操作的次序任选地改变，并且一些操作任选地省略。在一些示例中，结合过程400执行附加操作。

在框402处，在显示器(例如，显示器302)上同时显示了显示第一用户界面的主区域(例如，主区域304)和虚拟示能表示(例如，虚拟示能表示306)。虚拟示能表示具有第一显示状态和显示内容，其中显示内容表示事件并且包括事件的更新。在一些示例中，事件是实况事件，并且显示内容包括实况事件的实况更新。在一些示例中，显示内容包括事件的视频。在一些示例中，第一用户界面对应于与事件不同的第二事件。在一些示例中，主区域经由描绘外部电子设备的第二显示器的视频透传来显示第一用户界面，并且显示器和第二显示器同时显示第一用户界面。

在一些示例中，在显示虚拟示能表示之前，接收自然语言输入(例如，“49ers比赛的分数是什么？”)。在一些示例中，由在电子设备上操作的数字助理(例如，DA 200)确定自然语言输入请求显示虚拟示能表示，其中根据确定自然语言输入请求显示虚拟示能表示来执行同时显示主区域和虚拟示能表示。

在一些示例中，在显示虚拟示能表示时，接收请求显示第二虚拟示能表示(例如，虚拟示能表示308)的用户输入。在一些示例中，根据接收到请求显示第二虚拟示能表示的用户输入，虚拟示能表示和第二虚拟示能表示同时显示在显示器上。

在一些示例中，虚拟示能表示和第二虚拟示能表示对应于指示虚拟示能表示和第二虚拟示能表示的相应显示位置的虚拟示能表示布局。在一些示例中，当根据虚拟示能表示布局同时显示虚拟示能表示和第二虚拟示能表示时，接收请求存储虚拟示能表示布局的自然语言输入(例如，“保存该布局”)。在一些示例中，根据接收到请求存储虚拟示能表示布局的自然语言输入，虚拟示能表示布局由数字助理存储。

在一些示例中，在存储虚拟示能表示布局之后，接收请求显示所存储的虚拟示能表示布局的自然语言输入。在一些示例中，根据接收到自然语言输入，根据所存储的虚拟示能表示布局在显示器上同时显示虚拟示能表示和第二虚拟示能表示。

在框404处，在同时显示主区域和虚拟示能表示时，确定是否检测到与事件相关联的预定类型的发生。在一些示例中，根据确定尚未检测到预定类型的发生，过程400返回到框402。在一些示例中，检测预定类型的发生包括从第二外部电子设备接收在事件中发生预定类型的发生的指示。

在框406处，响应于检测到预定类型的发生，将虚拟示能表示的第一显示状态修改为不同于第一显示状态的第二显示状态(例如，图3E中的虚拟示能表示306的第二显示状态)。在一些示例中，与在以第一显示状态显示虚拟示能表示时相比，虚拟示能表示在以第二显示状态显示时具有更大的显示大小。在一些示例中，当以第二显示状态显示虚拟示能表示时，显示内容包括预定类型的发生的描述。在一些示例中，当以第一显示状态显示虚拟示能表示时，虚拟示能表示不包括事件的视频，并且当以第二显示状态显示虚拟示能表示时，虚拟示能表示包括事件的视频。

在框408处，在将第一显示状态修改为第二显示状态之后，接收语音输入(例如，“将那个打开”)。在一些示例中，语音输入不明确地指示虚拟示能表示，并且语音输入包括对虚拟示能表示的指示性引用。

在框410处，使用基于虚拟示能表示的第二显示状态确定的上下文信息来确定语音输入是否对应于虚拟示能表示。在一些示例中，基于虚拟示能表示的第二显示状态确定的上下文信息指示在接收到语音输入时以第二显示状态显示虚拟示能表示，或者在接收到语音输入之前的预定持续时间内以第二显示状态显示虚拟示能表示。在一些示例中，确定语音输入是否对应于虚拟示能表示包括：检测用户注视数据，以及基于用户注视数据来确定语音输入对应于虚拟示能表示。在一些示例中，确定语音输入是否对应于虚拟示能表示包括：确定语音输入涉及虚拟示能表示的位置；以及根据确定语音输入涉及虚拟示能表示的位置，基于虚拟示能表示的显示位置来选择虚拟示能表示。

在一些示例中，在框412处，根据确定语音输入不对应于虚拟示能表示，基于语音输入执行任务。在一些示例中，执行任务包括提供指示任务的输出。

在框414处，根据确定语音输入对应于虚拟示能表示，用主区域中的事件的显示来替换主区域中的第一用户界面的显示。在一些示例中，在主区域中用事件的显示来替换第一用户界面的显示包括：在显示器上同时显示了显示事件的主区域和对应于第一用户界面的第三虚拟示能表示(例如，虚拟示能表示316)，其中当接收到语音输入时，不显示第三虚拟示能表示。在一些示例中，在主区域中用事件的显示来替换第一用户界面的显示包括停止显示虚拟示能表示。

在一些示例中，在将第一显示状态修改为第二显示状态之后，接收与对虚拟示能表示的选择相对应的第二用户输入(例如，“告诉我更多与此相关内容”)。在一些示例中，根据接收到第二用户输入，修改虚拟示能表示的显示内容而不在主区域中用事件的显示替换第一用户界面的显示。

在一些示例中，当不显示表示预定事件的第四虚拟示能表示时，检测到与预定事件相关联的第二预定类型的发生。在一些示例中，响应于检测到第二预定类型的发生，在显示器上显示第四虚拟示能表示(例如，虚拟示能表示318)。在一些示例中，显示第四虚拟示能表示包括同时显示了显示第一用户界面的主区域和第四虚拟示能表示。在一些示例中，在同时显示了显示第一用户界面的主区域和第四虚拟示能表示时，接收第二语音输入(例如，“将那个打开”)。在一些示例中，确定第二语音输入是否对应于第四虚拟示能表示。在一些示例中，根据确定第二语音输入对应于第四虚拟示能表示，用主区域中的预定事件的显示来替换主区域中的第一用户界面的显示。在一些示例中，确定第二语音输入是否对应于第四虚拟示能表示包括确定是否在最初显示第四虚拟示能表示之后的第二预定持续时间内接收第二语音输入。

以上相对于图4所讨论的操作任选地由图2中描绘的部件(例如，由系统150和DA200)来实现。

在一些示例中，提供一种计算机可读存储介质(例如，非暂态计算机可读存储介质)，该计算机可读存储介质存储供电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行本文所述方法或过程中的任一个的指令。

在一些示例中，提供了一种电子设备，该电子设备包括用于执行本文所述的方法或过程中的任一者的装置。

在一些示例中，提供了一种电子设备，该电子设备包括处理单元，该处理单元被配置为执行本文所述的方法或过程中的任一者。

在一些示例中，提供了一种电子设备，该电子设备包括一个或多个处理器和存储用以由一个或多个处理器执行的一个或多个程序的存储器，该一个或多个程序包括用于执行本文所述的方法或过程中的任一者的指令。

在本公开中描述的各种技术涉及收集和使用用户的个人信息。例如，个人信息(例如，用户注视数据)可用于确定要显示的正确事件。然而，当收集个人信息时，应在用户知情同意的情况下收集该信息。换句话说，本文描述的XR系统的用户应当知道并控制如何使用其个人信息。

只有适当的当事方应当使用个人信息，并且适当的当事方应当只将个人信息用于合理和合法的目的。例如，使用个人信息的当事方将遵守隐私策略和实践，其至少服从适当的法律和规章。另外，此类政策应是完善的、用户可访问的，并且被认为符合或超过政府/行业标准。另外，各方不会出于不合理或非法的目的分发、出售或以其他方式共享此类信息。

用户还可限制其个人信息可由此类当事方访问(或以其他方式可获得)的程度。例如，用户可调整控制其个人信息是否可由各种实体访问的XR系统设置或偏好。另外，虽然本文描述的一些示例使用个人信息，但是可在不需要使用此类信息的情况下实现本公开的范围内的各种其他示例。例如，如果收集个人信息(例如，注视数据)，则系统可遮掩或以其他方式概括该信息，因此该信息不识别特定用户。

Claims (29)

1.一种方法，包括：

在具有存储器、显示器和一个或多个处理器的电子设备处：

在所述显示器上同时显示：

主区域，所述主区域显示第一用户界面；和

虚拟示能表示，所述虚拟示能表示具有第一显示状态和显示内容，其中所述显示内容表示事件并且包括所述事件的更新；

当同时显示所述主区域和所述虚拟示能表示时：

检测与所述事件相关联的预定类型的发生；

响应于检测到所述预定类型的发生，将所述虚拟示能表示的所述第一显示状态修改为不同于所述第一显示状态的第二显示状态；

在将所述第一显示状态修改为所述第二显示状态之后，接收语音输入；以及

使用基于所述虚拟示能表示的所述第二显示状态确定的上下文信息来确定所述语音输入是否对应于所述虚拟示能表示；以及

根据确定所述语音输入对应于所述虚拟示能表示，在所述主区域中用所述事件的显示替换所述第一用户界面的所述显示。

2.根据权利要求1所述的方法，其中：

所述事件是实况事件；并且

所述显示内容包括所述实况事件的实况更新。

3.根据权利要求1至2中任一项所述的方法，其中所述显示内容包括所述事件的视频。

4.根据权利要求1至3中任一项所述的方法，其中所述第一用户界面对应于不同于所述事件的第二事件。

5.根据权利要求1至4中任一项所述的方法，其中：

所述主区域经由描绘外部电子设备的第二显示器的视频透传来显示所述第一用户界面；并且

所述显示器和所述第二显示器同时显示所述第一用户界面。

6.根据权利要求1至5中任一项所述的方法，其中与在以所述第一显示状态显示所述虚拟示能表示时相比，所述虚拟示能表示在以所述第二显示状态显示时具有更大的显示大小。

7.根据权利要求1至6中任一项所述的方法，其中当以所述第二显示状态显示所述虚拟示能表示时，所述显示内容包括所述预定类型的发生的描述。

8.根据权利要求1至7中任一项所述的方法，其中：

当以所述第一显示状态显示所述虚拟示能表示时，所述虚拟示能表示不包括所述事件的视频；并且

当以所述第二显示状态显示所述虚拟示能表示时，所述虚拟示能表示包括所述事件的视频。

9.根据权利要求1至8中任一项所述的方法，其中检测所述预定类型的发生包括从第二外部电子设备接收在所述事件中发生所述预定类型的发生的指示。

10.根据权利要求1至9中任一项所述的方法，还包括：

在显示所述虚拟示能表示之前，接收自然语言输入；

由在所述电子设备上操作的数字助理确定所述自然语言输入请求显示所述虚拟示能表示，其中根据确定所述自然语言输入请求显示所述虚拟示能表示来执行同时显示所述主区域和所述虚拟示能表示。

11.根据权利要求10所述的方法，还包括：

在显示所述虚拟示能表示时，接收请求显示第二虚拟示能表示的用户输入；以及

根据接收到请求显示所述第二虚拟示能表示的所述用户输入，在所述显示器上同时显示所述虚拟示能表示和所述第二虚拟示能表示。

12.根据权利要求11所述的方法，其中所述虚拟示能表示和所述第二虚拟示能表示对应于指示所述虚拟示能表示和所述第二虚拟示能表示的所述相应显示位置的虚拟示能表示布局，所述方法还包括：

当根据所述虚拟示能表示布局同时显示所述虚拟示能表示和所述第二虚拟示能表示时，接收请求存储所述虚拟示能表示布局的自然语言输入；以及

根据接收到请求存储所述虚拟示能表示布局的所述自然语言输入，由所述数字助理存储所述虚拟示能表示布局。

13.根据权利要求12所述的方法，还包括：

在存储所述虚拟示能表示布局之后，接收请求显示所存储的虚拟示能表示布局的自然语言输入；以及

根据接收到所述自然语言输入，根据所存储的虚拟示能表示布局在所述显示器上同时显示所述虚拟示能表示和所述第二虚拟示能表示。

14.根据权利要求1至13中任一项所述的方法，其中在所述主区域中用所述事件的所述显示来替换所述第一用户界面的所述显示包括：

在所述显示器上同时显示了显示所述事件的所述主区域和对应于所述第一用户界面的第三虚拟示能表示，其中当接收到所述语音输入时，不显示所述第三虚拟示能表示。

15.根据权利要求1至14中任一项所述的方法，其中在所述主区域中用所述事件的所述显示来替换所述第一用户界面的所述显示包括：

停止显示所述虚拟示能表示。

16.根据权利要求1至15中任一项所述的方法，还包括：

在将所述第一显示状态修改为所述第二显示状态之后，接收与对所述虚拟示能表示的选择相对应的第二用户输入；以及

根据接收到所述第二用户输入，修改所述虚拟示能表示的所述显示内容而不在所述主区域中用所述事件的所述显示替换所述第一用户界面的所述显示。

17.根据权利要求1至16中任一项所述的方法，其中基于所述虚拟示能表示的所述第二显示状态确定的所述上下文信息指示在接收到所述语音输入时以所述第二显示状态显示所述虚拟示能表示，或者在接收到所述语音输入之前的预定持续时间内以所述第二显示状态显示所述虚拟示能表示。

18.根据权利要求1至17中任一项所述的方法，其中确定所述语音输入对应于所述虚拟示能表示包括：

检测用户注视数据，以及

基于所述用户注视数据来确定所述语音输入对应于所述虚拟示能表示。

19.根据权利要求1至18中任一项所述的方法，其中确定所述语音输入对应于所述虚拟示能表示包括：

确定所述语音输入涉及所述虚拟示能表示的位置；以及

根据确定所述语音输入涉及所述虚拟示能表示的位置，基于所述虚拟示能表示的所述显示位置来选择所述虚拟示能表示。

20.根据权利要求1至19中任一项所述的方法，其中所述语音输入不明确地指示所述虚拟示能表示，并且所述语音输入包括对所述虚拟示能表示的指示性引用。

21.根据权利要求1至20中任一项所述的方法，还包括：

当表示预定事件的第四虚拟示能表示未被显示时，检测与所述预定事件相关联的第二预定类型的发生；以及

响应于检测到所述第二预定类型的发生，在所述显示器上显示所述第四虚拟示能表示。

22.根据权利要求21所述的方法，其中显示所述第四虚拟示能表示包括同时显示了显示所述第一用户界面的所述主区域和所述第四虚拟示能表示，所述方法还包括：

在同时显示了显示所述第一用户界面的所述主区域和所述第四虚拟示能表示时，接收第二语音输入；

确定所述第二语音输入是否对应于所述第四虚拟示能表示；以及

根据确定所述第二语音输入对应于所述第四虚拟示能表示，在所述主区域中用所述预定事件的显示替换所述第一用户界面的所述显示。

23.根据权利要求22所述的方法，其中确定所述第二语音输入是否对应于所述第四虚拟示能表示包括确定是否在最初显示所述第四虚拟示能表示之后的第二预定持续时间内接收所述第二语音输入。

24.一种电子设备，包括：

显示器；

一个或多个处理器；

存储器；和

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：

在所述显示器上同时显示：

主区域，所述主区域显示第一用户界面；和

虚拟示能表示，所述虚拟示能表示具有第一显示状态和显示内容，其中所述显示内容表示事件并且包括所述事件的更新；

当同时显示所述主区域和所述虚拟示能表示时：

检测与所述事件相关联的预定类型的发生；

响应于检测到所述预定类型的发生，将所述虚拟示能表示的所述第一显示状态修改为不同于所述第一显示状态的第二显示状态；

在将所述第一显示状态修改为所述第二显示状态之后，接收语音输入；以及

使用基于所述虚拟示能表示的所述第二显示状态确定的上下文信息来确定所述语音输入是否对应于所述虚拟示能表示；以及

根据确定所述语音输入对应于所述虚拟示能表示，在所述主区域中用所述事件的显示替换所述第一用户界面的所述显示。

25.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有显示器的电子设备的一个或多个处理器执行时，致使所述电子设备：

在所述显示器上同时显示：

主区域，所述主区域显示第一用户界面；和

虚拟示能表示，所述虚拟示能表示具有第一显示状态和显示内容，其中所述显示内容表示事件并且包括所述事件的更新；

当同时显示所述主区域和所述虚拟示能表示时：

检测与所述事件相关联的预定类型的发生；

响应于检测到所述预定类型的发生，将所述虚拟示能表示的所述第一显示状态修改为不同于所述第一显示状态的第二显示状态；

在将所述第一显示状态修改为所述第二显示状态之后，接收语音输入；以及

使用基于所述虚拟示能表示的所述第二显示状态确定的上下文信息来确定所述语音输入是否对应于所述虚拟示能表示；以及

根据确定所述语音输入对应于所述虚拟示能表示，在所述主区域中用所述事件的显示替换所述第一用户界面的所述显示。

26.一种电子设备，包括用于执行以下操作的装置：

在所述显示器上同时显示：

主区域，所述主区域显示第一用户界面；和

虚拟示能表示，所述虚拟示能表示具有第一显示状态和显示内容，其中所述显示内容表示事件并且包括所述事件的更新；

当同时显示所述主区域和所述虚拟示能表示时：

检测与所述事件相关联的预定类型的发生；

响应于检测到所述预定类型的发生，将所述虚拟示能表示的所述第一显示状态修改为不同于所述第一显示状态的第二显示状态；

在将所述第一显示状态修改为所述第二显示状态之后，接收语音输入；以及

使用基于所述虚拟示能表示的所述第二显示状态确定的上下文信息来确定所述语音输入是否对应于所述虚拟示能表示；以及

根据确定所述语音输入对应于所述虚拟示能表示，在所述主区域中用所述事件的显示替换所述第一用户界面的所述显示。

27.一种电子设备，包括：

显示器；

一个或多个处理器；

存储器；和

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至23中任一项所述的方法的指令。

28.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有显示器的电子设备的一个或多个处理器执行时致使所述电子设备执行根据权利要求1至23中任一项所述的方法。

29.一种电子设备，包括：

用于执行根据权利要求1至23中任一项所述的方法的装置。