CN117677920A - 通知在人工现实设备上的查看到固定交互模式 - Google Patents

Abstract

当要显示通知时，人工现实通知系统可以将该通知添加到用户视场中的预定义位置(例如，顶部、侧面或底部)，在该预定义位置处，该通知作为头部锁定的虚拟对象停留，直到用户的注视指向该通知。当用户的注视指向该通知时，人工现实通知系统可以使该通知世界锁定，从而允许用户移动其头部以将该通知移动到其视场中心、靠近该通知以使该通知更大、在该通知周围移动以从不同角度查看各方面等。如果用户没有将其注视指向该通知达第一阈值时间量，或者当用户将目光从世界锁定版本移开达第二阈值时间量时，该通知可以被取消。

Description

通知在人工现实设备上的查看到固定交互模式

技术领域

本公开涉及一种人工现实设备上的查看到固定(look to pin)用户交互模式，该查看到固定用户交互模式有助于信息呈现并降低眼睛疲劳。

背景技术

人工现实环境中的各种对象是“虚拟对象”，即，出现在该环境中的、由计算系统生成的各对象的表示。可以通过头戴式显示器、移动设备、投影系统或另一计算系统向用户呈现人工现实环境中的虚拟对象。一些虚拟对象可以是通知，例如系统通知、通信通知、警报、来自运行的应用的通知、来自远程源的通知等。现有的人工现实系统倾向于在显示区域的中间或在角落显示通知，而不管上下文或用户的动作。

发明内容

根据本公开的第一方面，提供了一种用于实现通知的人工现实查看到固定交互模式的方法，该方法包括：将该通知的最小化版本显示为头部锁定(head leashed)在人工现实设备的视场中的预定义位置处；确定被追踪的用户的注视指向头部锁定的通知的最小化版本，并且作为响应，将该通知转换为最大化和世界锁定的，其中，当用户转动其头部时，该通知的最大化和世界锁定版本对该用户来说看起来没有改变位置；以及确定被追踪的用户的注视远离最大化和世界锁定的通知达阈值时间量，并且作为响应，取消该通知或者将该通知返回到预定义位置处的最小化和头部锁定版本。

优选地，通知的最小化版本包括以下项中的一项或多项：通知的用户和/或应用源的指示；通知的内容预览；与通知的接收相关联的时间；用于回应通知或取消通知的控件；或者以上项的任意组合。

优选地，确定被追踪的用户的注视指向头部锁定的通知的最小化版本是基于确定用于显示头部锁定的通知的最小化版本的显示定时器尚未到期。

优选地，被追踪的用户的注视是通过以下方式来追踪的：对用户的眼睛位置进行建模；基于用户的眼睛位置，定义将用户的角膜中心连接到用户的视网膜背面的线；以及确定该线的端点落在显示器中的位置。

优选地，通知的最大化版本包括以下项中的一项或多项：来自通知的消息；包括在通知中的图形或3D模型；用于回应通知的控件或输入字段；或者以上项的任意组合。

优选地，将通知转换为最大化和世界锁定的包括：将通知转换为最大化和3DoF世界锁定的，使得当用户靠近和远离通知或在通知周围移动时，用户到通知的视距和角度保持不变。

优选地，将通知转换为最大化和世界锁定的包括：将通知转换为最大化和6DoF世界锁定的，使得当用户越来越靠近和远离通知或在通知周围移动时，用户到通知的视距和角度被调整。

优选地，根据第一方面的方法还包括：响应于将通知转换为最大化和世界锁定的，确定最大化和世界锁定的通知和人工现实设备的视场中的一个或多个其它虚拟对象占据超过了该人工现实设备的视场的阈值量；以及响应于确定最大化和世界锁定的通知和人工现实设备的视场中的一个或多个其它虚拟对象占据超过了人工现实设备的视场的阈值量：A)将该一个或多个其它虚拟对象转换为最小化版本或从人工现实环境中移除该一个或多个虚拟对象；以及B)将该一个或多个虚拟对象的指示移动到单独的界面。

根据本公开的第二方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有指令，所述指令在被计算系统执行时，使得该计算系统执行用于实现通知的查看到固定交互模式的过程，该过程包括：将通知的第一版本显示为头部锁定在人工现实设备的视场中的预定义位置处；确定被追踪的用户的注视指向头部锁定的通知的第一版本，并且作为响应，将通知转换为处于第二版本和世界锁定的，其中，当用户转动其头部时，通知的第二和世界锁定版本对用户来说看起来没有改变位置；以及确定被追踪的用户的注视远离通知的第二和世界锁定版本达阈值时间量，并且作为响应，取消通知或者将通知返回到预定义位置处的第一和头部锁定版本。

优选地，通知的第一版本包括以下项中的一项或多项：通知的用户和/或应用源的指示；通知的内容预览；与通知的接收相关联的时间；用于回应或取消通知的控件；或者以上项的任意组合。

优选地，确定被追踪的用户的注视指向头部锁定的通知的第一版本是基于确定的用于显示头部锁定的通知的第一版本的显示定时器尚未到期。

优选地，被追踪的用户的注视是通过以下方式来追踪的：对用户的眼睛位置进行建模；基于用户的眼睛位置，定义将用户的角膜中心连接到用户的视网膜背面的线；以及确定该线的端点落在显示器中的位置。

优选地，通知的第二版本包括以下项中的一项或多项：来自通知的消息；包括在通知中的图形或3D模型；用于回应通知的控件或输入字段；或以上项的任意组合。

优选地，将通知转换为第二和世界锁定版本包括：将通知转换为3DoF世界锁定的，使得当用户靠近和远离通知或在通知周围移动时，用户到通知的视距和角度保持不变。

优选地，将通知转换为第二和世界锁定版本包括：将通知转换为6DoF世界锁定的，使得当用户越来越靠近和远离通知或在通知周围移动时，用户到通知的视距和角度被调整。

优选地，根据本公开的第二方面的过程还包括：响应于将通知转换为第二和世界锁定版本，确定第二和世界锁定的通知版本和人工现实设备的视场中的一个或多个其它虚拟对象占据超过了该人工现实设备的视场的阈值量；以及响应于确定第二和世界锁定的通知版本和人工现实设备的视场中的一个或多个其它虚拟对象占据超过了人工现实设备的视场的阈值量：A)将该一个或多个其它虚拟对象转换为最小化版本或从人工现实环境中移除该一个或多个虚拟对象；以及B)将该一个或多个虚拟对象的指示移动到单独的界面。

根据本公开的第三方面，提供了一种用于实现通知的查看到固定交互模式的计算系统，该计算系统包括：一个或多个处理器，以及一个或多个存储器，该一个或多个存储器存储有指令，所述指令在被一个或多个处理器执行时，使得该计算系统执行一过程，该过程包括：将通知的第一版本显示为头部锁定在人工现实设备的视场中的预定义位置处；确定被追踪的用户的注视指向头部锁定的通知的第一版本达阈值时间量，并且作为响应，将通知转换为处于第二版本和世界锁定的，其中，当用户转动其头部时，通知的第二和世界锁定版本对用户来说看起来没有改变位置；以及确定被追踪的用户注视远离通知的第二和世界锁定版本，并且作为响应，取消通知或者将通知返回到预定义位置处的第一和头部锁定版本。

优选地，通知的第二版本包括以下项中的一项或多项：来自通知的消息；包括在通知中的图形或3D模型；用于回应通知的控件或输入字段；或以上项的任意组合。

优选地，将通知转换为第二和世界锁定版本包括：将通知转换为6DoF世界锁定的，使得当用户越来越靠近和远离通知或在通知周围移动时，用户到通知的视距和角度被调整。

优选地，根据本公开的第三方面的过程还包括：响应于将通知转换为第二和世界锁定版本，确定第二和世界锁定的通知版本和人工现实设备的视场中的一个或多个其它虚拟对象占据超过了该人工现实设备的视场的阈值量；以及响应于确定第二和世界锁定的通知版本和人工现实设备的视场中的一个或多个其它虚拟对象占据超过了人工现实设备的视场的阈值量：A)将该一个或多个其它虚拟对象转换为最小化版本或从人工现实环境中移除该一个或多个虚拟对象；以及B)将该一个或多个虚拟对象的指示移动到单独的界面。

附图说明

图1是示出了本技术的一些实施方式可在其上运行的各设备的概述的框图。

图2A是示出了可在本技术的一些实施方式中使用的虚拟现实头戴式设备的线示图。

图2B是示出了可在本技术的一些实施方式中使用的混合现实头戴式设备的线示图。

图2C是示出了控制器的线示图，在一些实施方式中，用户可用单手或双手握持所述控制器，以与人工现实环境交互。

图3是示出了本技术的一些实施方式可在其中运行的环境的概况的框图。

图4是示出了一些部件的框图，在一些实施方式中，这些部件可在采用了所公开的技术的系统中使用。

图5是示出了在本技术的一些实施方式中用于通知的查看到固定交互模式的过程的流程图。

图6A至图6G是示出了查看到固定交互模式中呈现的通知的示例的概念图。

图7A和图7B是示出了响应于达到视场最大而最小化虚拟对象的示例的概念图。

通过结合附图参考以下具体实施方式可以更好地理解本文所介绍的技术，在附图中，相似的附图标记指示相同的元件或功能相似的元件。

具体实施方式

本公开的各方面涉及一种人工现实通知系统，该人工现实通知系统可以实现通知的查看到固定交互模式。当要显示通知时，人工现实通知系统可以将该通知添加到用户视场中的预定义位置(例如，顶部、侧面、底部、角落等)，在该预定义位置处，该通知作为头部锁定的虚拟对象停留，直到用户的注视指向该通知。“头部锁定的”虚拟对象是无论用户如何移动其头部或在人工现实环境中四处移动都保持在用户视场中的相同位置处的对象。当检测到用户的注视指向通知时，人工现实通知系统可以使该通知世界锁定，从而允许用户移动其头部以将通知移动到其视场的中心(或者在某些情况下，最初将该通知自动地移动到用户的视场中心)，而在某些情况下靠近通知以使该通知更大，在通知周围移动以从不同角度观看各方面等。“世界锁定的”虚拟对象是指以下虚拟对象：当用户移动其头部或在人工现实环境中四处移动时，人工现实设备修改所述虚拟对象，以使所述虚拟对象不管用户的移动而看起来好像保持在相同的地理位置。在用户转动其头部和当其横向(即，平行于地板)移动时，完全世界锁定的(即，六自由度世界锁定的、或6DoF世界锁定的)对象对用户而言看起来停留在世界中的相同位置。对象也可以是三自由度世界锁定的或3DoF世界锁定的，其中，在用户转动其头部时，对象对用户而言看起来停留在世界中的相同位置，但在用户横向移动时，对象对用户而言看起来并未改变距离。因此，在各种实施方式中，当检测到用户的注视指向通知时，人工现实通知系统可以使该通知3DoF世界锁定或6DoF世界锁定，从而允许用户移动其头部以将该通知移动到其视场内(或者在某些情况下，最初将该通知自动地移动到用户的视场中心)。在3DoF世界锁定版本中，当用户靠近/远离通知或在通知周围移动时，用户到通知的视距和角度将保持不变。在6DoF世界锁定版本中，当用户越来越靠近/远离通知或在通知周围移动时，用户到该通知的视距和角度将被调整。如果用户注视该通知没有达第一阈值时间量，或者当用户将目光从世界锁定版本移开达第二阈值时间量时，该通知可以被取消。

在所公开的技术的示例中，集成到人工现实设备中的人工现实通知系统可以接收文本消息已到达的通知。人工现实通知系统可以设置该通知的格式为最小化版本，并将该最小化版本显示为头部锁定在用户视场的顶部。当用户通过将其眼睛指向其视场的顶部来看向该通知的最小化版本时，人工现实通知系统将该通知锁定在适当位置作为世界锁定对象，并将该最小化版本最大化。这允许用户随后抬起头来将该通知移动到其视场的中心，并靠近该通知以放大它——消除了在该通知附着到其视场的顶部时查看该通知所涉及的眼睛疲劳。一旦用户完成了对世界锁定通知的查看，她就可以将其注视从该世界锁定通知移开达两秒钟，此时该通知从用户的视场中关闭。

尽管在整个公开中，对人工现实通知系统和相关系统和方法的描述均指“通知”，但是在每个实例中，所公开的技术可以与其它非通知内容项一起同等地使用。例如，人工现实通知系统可以使用来自最小化制图应用(minimized drafting application)的查看到固定交互模式、来自寻路应用(wayfinding application)的方向的查看到固定交互模式、音频通话或视频通话的最小化视图的查看到固定交互模式来提供输出。因此，将理解的是，在本公开中使用了“通知”的地方，可以替换为任何其它类型的内容项。

在一些实施方式中，当用户的视场中存在最大数量的虚拟对象(或该最大数量的虚拟对象锁定到该视场中)或者虚拟对象占据了最大量的用户视场(或锁定到该视场中)时，则人工现实通知系统可以：A)将这些虚拟对象中的一些虚拟对象最小化(例如，用较小版本或仅图标版本来替换它们)，这可以包括将所述虚拟对象保持在其锁定位置或将它们移动到用户视场的一侧或角落；或2)从人工现实环境中移除所述虚拟对象，并将所述虚拟对象的指示移动到单独的界面，所述单独的界面例如为用户可以随意调出和取消的启动器面板。因此，这样的虚拟对象限定性条件可以防止虚拟对象的视觉过载，从而允许用户继续看到真实世界并访问更重要的虚拟对象而不会过度拥挤。

所公开技术的各实施例可以包括人工现实系统，或者可以结合人工现实系统来实现。人工现实或超现实(extra reality，XR)是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实或超现实例如可以包括例如虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)、混合现实(hybridreality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容、或与所采集的内容(例如，真实世界的照片)相结合生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，以上中的任何一种都可以在单个通道或多个通道中呈现(例如，给观看者带来三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或它们的某种组合相关联，这些应用、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容，和/或用于人工现实中(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(head-mounted display，HMD)、独立HMD、移动设备或计算系统、“洞穴式(cave)”环境或其它投影系统、或能够向一位或多位观看者提供人工现实内容的任何其它硬件平台。

如本文所使用的“虚拟现实”或“VR”是指这样的沉浸式体验：在所述沉浸式体验中，用户的视觉输入由计算系统控制。“增强现实”或“AR”是指这样的系统：在所述系统中，用户在真实世界的图像通过计算系统之后观看这些真实世界的图像。例如，在背面上带有摄像头的平板电脑可以采集真实世界的图像，并且随后在该平板电脑的与该摄像头相对的一侧的屏幕上显示所述图像。平板电脑可以在所述图像通过系统时，处理并且调整或“增强”所述图像，例如通过添加虚拟对象来调整或“增强”所述图像。“混合现实”或“MR”是指这样的系统：在所述系统中，进入用户眼睛的光部分地由计算系统生成，且部分地构成真实世界中的对象反射出的光。例如，MR头戴式设备(headset)可以被成形为一副具有透传式显示器的眼镜，该透传式显示器允许来自真实世界的光穿过一个波导，该波导同时出射来自该MR头戴式设备中的投影仪的光，从而允许MR头戴式设备呈现与用户可以看到的真实对象相混合的虚拟对象。如本文所使用的，“人工现实”、“超现实”或“XR”是指以下中的任何一者：VR、AR、MR、或它们的任意组合或混合。

在现有的人工现实系统中，通知和类似的内容可能会造成干扰，因为它们通常被锁定在用户视场的中心。在其它现有的人工现实系统中，内容被锁定在用户视场的边缘，但这会导致眼睛疲劳，因为用户需要在查看通知的同时将其注视长时间定向到其视场的边缘。所公开的人工现实通知系统和相关方法有望通过提供有助于较少干扰性信息呈现并降低眼睛疲劳的查看到固定用户交互模式来解决现有人工现实系统的这些问题。通过最初将通知或其它内容项呈现为头部锁定到特定视场位置(例如，边缘)，人工现实通知系统提供对用户干扰最小的通知。此外，通过在一经检测到用户注视通知或其它内容项时就锁定该通知或其它内容项，人工现实通知系统提供了将通知移动到更突出和自然的观看位置的机制，从而改善了与通知或内容项交互的访问，并降低了眼睛疲劳。

以下参考附图更详细地论述了若干实施方式。图1是示出了所公开技术的一些实施方式可在其上运行的各设备的概况的框图。所述设备可以包括计算系统100的硬件部件，这些硬件部件可以实现通知的查看到固定交互模式。在各种实施方式中，计算系统100可以包括单个计算设备103或多个计算设备(例如，计算设备101、计算设备102和计算设备103)，所述多个计算设备通过有线信道或无线信道通信，以分发处理并共享输入数据。在一些实施方式中，计算系统100可以包括独立头戴式设备，该独立头戴式设备能够在无需外部处理或外部传感器的情况下，为用户提供计算机创建或增强的体验。在其它实施方式中，计算系统100可以包括多个计算设备，例如头戴式设备和核心处理部件(例如，控制台、移动设备或服务器系统)，其中，一些处理操作在头戴式设备上执行，而其它处理操作被转移到核心处理部件。以下结合图2A和图2B对示例头戴式设备进行描述。在一些实施方式中，位置数据和环境数据可以仅由结合在头戴式设备中的传感器收集，而在其它实施方式中，多个非头戴式设备计算设备中的一个或多个非头戴式设备计算设备可以包括可追踪环境数据或位置数据的传感器部件。

计算系统100可以包括一个或多个处理器110(例如，中央处理单元(centralprocessing unit，CPU)、图形处理单元(graphical processing unit，GPU)、全息处理单元(holographic processing unit，HPU)等)。处理器110可以是单个处理单元或多个处理单元，所述多个处理单元位于一设备中或分布在多个设备上(例如，分布在计算设备101至103中的两个或更多个计算设备上)。

计算系统100可以包括一个或多个输入设备120，该一个或多个输入设备向处理器110提供输入，从而向这些处理器通知动作。这些动作可以由硬件控制器传递，该硬件控制器对从输入设备接收的信号进行解释，并使用通信协议将信息传送给处理器110。每个输入设备120可以包括例如鼠标、键盘、触摸屏、触摸板、可穿戴输入设备(例如，触觉手套、手镯、戒指、耳环、项链、手表等)、摄像头(或其它基于光的输入设备，例如红外传感器)、传声器、或其它用户输入设备。

处理器110例如可以通过使用内部总线或外部总线而耦接到其它硬件设备，所述总线例如为外设组件互连标准(PCI)总线、小型计算机系统接口(SCSI)总线、或无线连接。处理器110可以与用于各设备(例如用于显示器130)的硬件控制器通信。显示器130可以用于显示文本和图形。在一些实施方式中，显示器130包括输入设备，例如当该输入设备是触摸屏或配备有眼动方向监测系统时，该输入设备作为显示器的一部分。在一些实施方式中，显示器与输入设备分开。显示设备的示例为：液晶显示器(LCD)显示屏、发光二极管(LED)显示屏、投影显示器、全息显示器、或增强现实显示器(例如，平视显示设备或头戴式设备)等。其它输入/输出(I/O)设备140也可以耦接到处理器，所述其它I/O设备例如为网络芯片或网卡、视频芯片或视频卡、音频芯片或音频卡、通用串行总线(USB)、火线或其它外部设备、摄像头、打印机、扬声器、光盘只读存储器(CD-ROM)驱动器、数字视频光盘(DVD)驱动器、磁盘驱动器等。

在一些实施方式中，计算系统100可以使用来自I/O设备140(例如，摄像头、深度传感器、惯性运动单元(IMU)传感器、GPS单元、激光雷达(LiDAR)或其它飞行时间传感器等)的输入来识别和绘制用户的物理环境，同时追踪用户在该环境中的位置。这种同步定位与地图构建(simultaneous localization and mapping，SLAM)系统可以生成区域(其可以是房间、建筑物、室外空间等)的地图(例如，拓扑、网格等)和/或获得先前由计算系统100或已经绘制了该区域地图的另一计算系统所生成的地图。该SLAM系统可以基于诸如GPS数据等因素来追踪所述区域内的用户，将所识别出的对象和结构与所映射的对象和结构相匹配，监测加速度和其它位置变化等。

计算系统100可以包括这样的通信设备：所述通信设备能够与其它本地计算设备或网络节点无线地通信或基于有线地通信。该通信设备可以使用例如传输控制协议/网际协议(TCP/IP)、通过网络与另一设备或服务器通信。计算系统100可以使用该通信设备在多个网络设备上分发操作。

处理器110可以访问存储器150，该存储器150可以被包含在计算系统100的多个计算设备中的一个计算设备上，或者可以分布在计算系统100的多个计算设备上、或可以分布在多个其它外部设备上。存储器包括用于易失性存储或非易失性存储的一个或多个硬件设备，并且可以包括只读存储器和可写存储器这两者。例如，存储器可以包括以下中的一者或多者：随机存取存储器(random access memory，RAM)、各种高速缓冲存储器、CPU寄存器、只读存储器(read-only memory，ROM)和可写非易失性存储器，该可写非易失性存储器例如为闪存、硬盘驱动器、软盘、光盘(CD)、DVD、磁存储设备和磁带驱动器等。存储器不是脱离底层硬件的传播信号；因此存储器是非暂态的。存储器150可以包括程序存储器160，该程序存储器160存储程序和软件，所述程序和软件例如为操作系统162、人工现实通知系统164和其它应用166。存储器150还可以包括数据存储器170，该数据存储器170可以包括可被提供给程序存储器160或计算系统100的任意元件的通知的最大化版本或最小化版本、定时器阈值、定义的通知固定锚点、配置数据、设置、用户选项或用户偏好等。

一些实施方式可以与许多其它计算系统环境或配置一起运行。可以适用于与该技术一起使用的计算系统、环境和/或配置的示例包括但不限于：XR头戴式设备、个人计算机、服务器计算机、手持式设备或膝上型设备、蜂窝电话、可穿戴电子设备、游戏控制台、平板设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费类电子产品、网络个人计算机(PC)、小型计算机、大型计算机、或包括上述多个系统或设备中的任意系统或设备的分布式计算环境等。

图2A是根据一些实施例的虚拟现实头戴式显示器(HMD)200的线示图。HMD 200包括前部刚性体205和带210。前部刚性体205包括电子显示器245的一个或多个电子显示元件、惯性运动单元(inertial motion unit，IMU)215、一个或多个位置传感器220、定位器225、以及一个或多个计算单元230。位置传感器220、IMU 215和计算单元230可以位于HMD200内部，并且可以对用户不可见。在各种实施方式中，IMU 215、位置传感器220和定位器225可以以三自由度(3DoF)或六自由度(6DoF)来追踪HMD 200在真实世界中和虚拟环境中的移动和位置。例如，定位器225可以发射红外光束，这些红外光束在HMD 200周围的真实对象上产生光点。作为另一示例，IMU 215例如可以包括：一个或多个加速度计；一个或多个陀螺仪；一个或多个磁力计；一个或多个其它非基于摄像头的位置传感器、力传感器或方位传感器；或它们的组合。与HMD 200集成在一起的一个或多个摄像头(未示出)可以检测所述光点。HMD 200中的计算单元230可以使用检测到的光点来推测HMD 200的位置和移动，以及识别HMD 200周围的真实对象的形状和位置。

电子显示器245可以与前部刚性体205集成在一起，并且可以如计算单元230所指示的向用户提供图像光。在各种实施例中，电子显示器245可以是单个电子显示器或多个电子显示器(例如，用户的每只眼睛一个显示器)。电子显示器245的示例包括：液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)显示器、有源矩阵有机发光二极管显示器(active-matrix organic light-emittingdiode display，AMOLED)、包括一个或多个量子点发光二极管(quantum dot light-emitting diode，QOLED)子像素的显示器、投影仪单元(例如，微型LED、激光器(LASER)等)、某种其它显示器、或它们的某种组合。

在一些实施方式中，HMD 200可以耦接到诸如个人计算机(personal computer，PC)(未示出)等核心处理部件和/或一个或多个外部传感器(未示出)。外部传感器可以(例如通过从HMD 200发射的光)对HMD 200进行监测，PC可以使用该HMD结合来自IMU 215和位置传感器220的输出，来确定HMD 200的位置和移动。

图2B是混合现实HMD系统250的线示图，该混合现实HMD系统250包括混合现实HMD252和核心处理部件254。混合现实HMD 252和核心处理部件254可以经由如链路256所指示的无线连接(例如，60吉兆赫兹(GHz)链路)通信。在其它实施方式中，混合现实系统250仅包括头戴式设备而没有外部计算设备，或者包括混合现实HMD 252与核心处理部件254之间的其它有线连接或无线连接。混合现实HMD 252包括透传式显示器258和框架260。框架260可以容纳各种电子部件(未示出)，例如光投影仪(例如，激光器、LED等)、摄像头、眼动追踪传感器、微机电系统(MEMS)部件、网络部件等。

投影仪可以例如经由光学元件耦接到透传式显示器258，以向用户显示媒体。所述光学元件可以包括用于将来自投影仪的光引导到用户的眼睛的一个或多个波导组件、一个或多个反射器、一个或多个透镜、一个或多个反射镜、一个或多个准直器、一个或多个光栅等。可以经由链路256将图像数据从核心处理部件254传输到HMD 252。HMD 252中的控制器可以将图像数据转换为来自投影仪的光脉冲，所述光脉冲可以作为输出光经由光学元件传输到用户的眼睛。所述输出光可以与穿过显示器258的光混合，从而允许输出光呈现这样的虚拟对象：所述虚拟对象看起来如同存在于真实世界中一样。

与HMD 200类似，HMD系统250也可以包括运动和位置追踪单元、摄像头、光源等，所述运动和位置追踪单元、摄像头、光源等允许HMD系统250例如以3DoF或6DoF追踪其自身，追踪用户的各部位(例如，手部、脚部、头部、或其它身体部位)，将虚拟对象绘制为在HMD 252移动时看起来如同静止一样，以及使虚拟对象对手势和其它真实世界对象作出反应。

图2C示出了控制器270，在一些实施方式中，用户可以单手或双手握持控制器270，以与由HMD 200和/或HMD 250呈现的人工现实环境进行交互。控制器270可以直接或经由外部设备(例如，核心处理部件254)与HMD通信。控制器可以有其自己的IMU单元、位置传感器，和/或可以发射更远的光点。HMD 200或HMD 250、外部传感器或控制器中的传感器可以追踪这些控制器光点，以确定控制器的位置和/或方位(例如，以3DoF或6DoF追踪控制器)。HMD200中的计算单元230或核心处理部件254可以结合IMU输出和位置输出，使用该追踪来监测用户手部的位置和运动。控制器还可以包括各种按钮(例如，按钮272A至272F)和/或操纵杆(例如，操纵杆274A和274B)，用户可以对这些按钮和/或操纵杆进行致动来提供输入并与对象进行交互。

在各种实施方式中，HMD 200或HMD 250还可以包括附加的子系统(例如，眼动追踪单元、音频系统、各种网络部件等)，以监测用户的交互和意图的指示。例如，在一些实施方式中，代替控制器或除控制器之外，HMD 200或HMD 250中所包括的或来自外部摄像头的一个或多个摄像头可以监测用户的手部的位置和姿势，以确定手势和其它手部运动和身体运动。作为另一示例，一个或多个光源可以照射用户的单眼或双眼，并且HMD 200或HMD 250可以使用面向眼睛的摄像头来(例如，基于围绕用户角膜的一组反射)捕获该光的反射以确定眼睛位置，从而对用户的眼睛进行建模并确定注视方向。

图3是示出了所公开的技术的一些实施方式可在其中运行的环境300的概况的框图。环境300可以包括一个或多个客户端计算设备305A至305D，该一个或多个客户端计算设备的示例可以包括计算系统100。在一些实施方式中，该多个客户端计算设备中的一些客户端计算设备(例如，客户端计算设备305B)可以是HMD 200或HMD系统250。客户端计算设备305可以在网络环境中使用通过网络330到一个或多个远程计算机(例如，服务器计算设备)的逻辑连接来运行。

在一些实施方式中，服务器310可以是边缘服务器，该边缘服务器接收多个客户端请求，并通过其它服务器(例如，服务器320A至320C)协调对这些请求的实现。服务器计算设备310和服务器计算设备320可以包括计算系统，例如计算系统100。尽管每个服务器计算设备310和320在逻辑上被显示为单个服务器，但多个服务器计算设备均可以是以下分布式计算环境：所述分布式计算环境包含位于同一物理位置处或地理上不同的物理位置处的多个计算设备。

客户端计算设备305、以及服务器计算设备310和320均可以充当其它服务器/一个或多个客户端设备的服务器或客户端。服务器310可以连接到数据库315。服务器320A至320C可以各自连接到对应的数据库325A至325C。如以上所论述的，每个服务器310或320可以与一组服务器相对应，并且这些服务器中的各个服务器可以共享数据库，或者可以具有其自己的数据库。尽管数据库315和325在逻辑上被显示为单个单元，但数据库315和325均可以是包含多个计算设备的分布式计算环境，可以位于其对应的服务器内，或者可以位于同一物理位置处或位于地理上不同的物理位置处。

网络330可以是局域网(local area network，LAN)、广域网(wide area network，WAN)、网状网络、混合网络、或其它有线网络或无线网络。网络330可以是互联网或某种其它的公共网络或专用网络。客户端计算设备305可以经由网络接口例如通过有线通信或无线通信连接到网络330。尽管服务器310与多个服务器320之间的连接被显示为单独的连接，但这些连接可以是包括网络330或单独的公共网络或专用网络的任何类型的局域网、广域网、有线网络、或无线网络。

图4是示出了部件400的框图，在一些实施方式中，这些部件400可在采用了所公开的技术的系统中使用。部件400可以包括在计算系统100的一个设备中，或者可以分布在计算系统100的多个设备上。部件400包括硬件410、中间件420和多个专用部件430。如以上所论述的，实现所公开的技术的系统可以使用各种硬件，所述各种硬件包括处理单元412、工作存储器414、输入和输出设备416(例如，摄像头、显示器、IMU单元、网络连接等)和存储存储器(storage memory)418。在各种实施方式中，存储存储器418可以是以下中的一者或多者：本地设备、到远程存储设备的接口或它们的组合。例如，存储存储器418可以是可通过系统总线访问的一个或多个硬盘驱动器或闪存驱动器，或者可以是云存储供应商(例如，位于存储库315或325中)或其它网络存储库，所述云存储供应商或其它网络存储库经由一个或多个通信网络可访问。在各种实施方式中，部件400可以在客户端计算设备(例如，客户端计算设备305)中实现，或者在服务器计算设备(例如，服务器计算设备310或320)上实现。

中间件420可以包括以下部件：所述部件对硬件410与多个专用部件430之间的资源进行传送。例如，中间件420可以包括操作系统、服务、驱动器、基本输入输出系统(basicinput output system，BIOS)、控制器电路、或其它硬件系统或软件系统。

各专用部件430可以包括以下软件或硬件：所述软件或硬件被配置为执行用于实现通知的查看到固定交互模式的操作。各专用部件430可以包括通知头部锁定显示模块434、注视检测模型436、定时器模块438、通知世界锁定显示模块440、以及部件和应用程序接口(API)(例如，接口432)，所述部件和API可以用于提供用户界面、传输数据以及控制所述多个专用部件。在一些实施方式中，部件400可以位于分布在多个计算设备上的计算系统中，或者可以是对执行多个专用部件430中的一个或多个专用部件的基于服务器的应用程序的接口。尽管多个专用部件430被描绘为单独的部件，但该多个专用部件430可以是功能的逻辑区分或其它非物理区分，和/或可以是一个或多个应用的子模块或代码块。

通知头部锁定显示模块434可以将所接收到的通知的格式设置为始终位于用户视场中的预定义位置(即，作为头部锁定的)处的最小化版本的输出。以下结合图5中的框502提供了设置最小化通知的格式并将其显示为头部锁定的附加细节。

注视检测模型436可以追踪用户的注视，以确定用户当前是否正在看向由通知头部锁定显示模块434或通知世界锁定显示模块440显示的通知的版本。在各种实施方式中，注视检测模型436可以使用来自I/O 416的设备的图像或其它传感器输入，来(例如，基于在用户眼睛的角膜周围反射的光)识别眼睛方向。基于该眼睛方向，注视检测模型436可以推断用户正在看人工现实设备显示器的哪个部分。

定时器模块438可以基于由注视检测模型436追踪的注视，来确定用户已经看向所显示的通知或将目光从所显示的通知移开的时间量的注视定时器是否已经到期。在一个实例中，定时器模块438可以确定用户没有看向通知是否达第一阈值时间量，从而使得该通知被取消。在另一实例中，定时器模块438可以确定用户是否已经看向通知达第二阈值时间量，从而使得该通知被世界锁定和/或最大化。在又一实例中，定时器模块438可以确定用户是否已经将视线从通知移开达第三阈值时间量，从而使得该通知被最小化或取消。以下结合图5的框504、框508和框512提供了检查用于控制通知显示的阈值时间量的附加细节。

通知世界锁定显示模块440可以将所接收到的通知的格式设置为最大化版的输出，使得该通知不管用户的移动而看起来好像处于相同的地理位置(即，作为世界锁定)。在各种实施方式中，通知可以是3DoF世界锁定的或6DoF世界锁定的，从而允许用户移动其头部以将通知移动到其视场内(或者在某些情况下，最初自动地将该通知移动到该用户的视场的中心)。在3DoF世界锁定版本中，当用户靠近/远离通知或在通知周围移动时，用户到通知的视距和角度将保持不变。在6DoF世界锁定版本中，当用户越来越靠近/远离通知或在通知周围移动时，用户到通知的视距和角度将被调整。以下结合图5中的框510提供了设置格式为最大化通知并将其显示为世界锁定的附加细节。

本领域技术人员将理解的是，以上所描述的图1至图4中所示出的、以及以下所论述的多个流程图中的每个流程图中所示出的各部件可以以各种方式改变。例如，可以对逻辑的顺序进行重新排列，可以并行执行多个子步骤，可以省略所示出的逻辑，可以包括其它逻辑等。在一些实施方式中，以上所描述的多个部件中的一个或多个部件可以执行以下所描述的多个过程中的一个或多个过程。

图5是示出了在本技术的一些实施方式中用于通知的查看到固定交互模式的过程500的流程图。在一些实施方式中，过程500可以由人工现实系统来执行，例如，作为对以下各项的执行的一部分：操作系统、控制人工现实环境的加壳类应用程序(shellapplication)、或由人工现实系统执行以控制提供通知的另一应用程序。在一些实施方式中，过程500可以响应于接收到用于在人工现实环境中显示的通知或其它内容项来执行。

在框502处，过程500可以在人工现实设备的视场中的预定义位置处显示头部锁定的通知。在各种实施方式中，预定义位置可以是视场的边缘上或角落处的位置。在一些情况下，头部锁定的通知可以是通知的最小化版本，通知的最小化版本可以是设定的最小化通知大小或特定形状，并且可以提供通知的指示，例如，指定通知的用户和/或应用源、通知内容的预览、与接收通知相关联的时间、用于回应或取消通知的控件等。如上所述，成为头部锁定的通知可以包括：当用户在人工现实环境中四处移动时，将通知保持在用户视场中的相同位置。

在框504处，过程500可以确定用于该通知的显示定时器是否已经到期。在框508处，如果该通知没有成为用户注视的对象，则显示定时器可以是在该通知被取消之前、显示该头部锁定的通知的阈值时间量(例如，3秒、5秒或10秒)。如果显示定时器已经到期，则过程500可以进行到框506，在框506中，可以在过程500结束之前从视场中移除该通知的头部锁定版本。如果显示定时器尚未到期，则过程500可以进行到框508。

在框508处，过程500可以确定被追踪的用户的注视是否指向视场中的头部锁定的通知。如上所述，人工现实设备可以对用户的眼睛位置进行建模。基于这个眼睛位置，可以确定一条将用户的角膜中心连接到用户的视网膜背面的线，以确定用户正在看显示器上的哪个位置。在框508处，过程500可以确定这条线在显示器上的端点是否与头部锁定的通知相对应达阈值时间量(例如，一秒或两秒)。如果否，则过程500可以返回到框504。如果是，则过程可以继续到框510。

在框510处，过程500可以将通知转换为世界锁定的。在一些实施方式中，在框510处，过程500还可以重新设置通知的格式，例如，显示最大化版本，所述最大化版本例如为以下版本：所述版本包括来自该通知的更多消息、该通知中包括的附加图形或3D模型、用于响应该通知的附加控件或输入字段等。在一些情况下，过程500可以自动将通知移动到用户视场的中心。当检测到用户的注视指向通知时，过程500可以使该通知3DoF世界锁定或6DoF世界锁定，从而允许用户移动其头部以将通知移动到其视场内(如果该通知没有自动移动到用户视场的中心)。在3DoF世界锁定版本中，当用户靠近/远离通知或在该通知周围移动时，用户到通知的视距和角度将保持不变。在6DoF世界锁定版本中，当用户越来越靠近/远离通知或在该通知周围移动时，用户到通知的视距和角度将被调整。因此，在3Dof世界锁定版本和6DoF世界锁定版本这两者中，用户可以在其视场中移动通知(例如，可以通过将她的头部指向通知的世界锁定位置来将通知靠近视场的中心)。在6DoF版本中，用户还可以：A)当用户在通知的世界锁定位置周围移动时从不同的角度查看该通知；和/或B)通过靠近或远离通知的世界锁定位置，来使该通知看起来更大或更小。用户还能够与通知的世界锁定版本一起提供的各种控件交互，所述各种控件例如为消息回复控件、通知取消控件、打开相应应用程序的控件等。

过程500可以将通知保持在世界锁定状态，直到在框512处，过程500确定被追踪的用户的注视已经离开该通知达阈值时间量(例如，一秒或两秒)。当过程500做出该确定时，过程500可以继续到框514，在框514处，在一些实施方式中，过程500可以从视场中移除该通知，并且在其它实施方式中，过程500可以返回到框502，以最小化通知、头部锁定该通知并将该通知恢复到预定义位置。除非过程500返回到框502，否则在框514之后，过程500就可以结束。

图6A至图6G为示出了在查看到固定交互模式中呈现的通知的示例600的概念图。示例600存在于图6A中，其中，用户处于环境602中。用户的注视方向604正被人工现实通知系统追踪。矩形606示出了用户进入到环境602的视场。与所接收到的文本消息有关的通知已进入人工现实通知系统，该人工现实通知系统已将该通知的格式设置为指示文本消息的发送者和文本消息的内容预览的最小化版本608。最小化版本608被头部锁定为显示在视场606的左上角。继续图6B中的示例600，被追踪的用户的注视方向604被识别为指向通知的最小化版本608。接下来，在图6C中，示例600示出，人工现实通知系统响应于被追踪的用户的注视方向604已在该通知上停留达1.5秒，而使用该通知的最大化版本610替换最小化版本608。最大化版本610包括全文消息和用于回复该文本消息的控件。最大化版本610被世界锁定在它被最大化时的位置，在这种情况下是在桌子612上方。继续图6D，示例600还示出了6DoF世界锁定实施方式，其中，用户已经靠近该通知的最大化版本610的世界锁定位置，从而使得最大化版本610看起来更大。图6F和图6G示出了通知的最大化版本610的以3DoF世界锁定(图6E)和6DoF世界锁定(图6F)的备选版本。在图6F和图6G中，用户已经远离了通知的最大化版本610。在图6E中通知的最大化版本610是以3DoF世界锁定的情况下，当用户向后移动时，通知的最大化版本610的大小保持不变(与图6D相比)。在图6F中通知的最大化版本610是以6DoF世界锁定的情况下，用户向后移动使得通知的最大化版本610的大小减小(与图6D相比)。最后，在图6G中，示例600示出了用户已经移动到其原始位置，并且被追踪的用户的注视方向604被识别为远离通知的最大化版本610达两秒钟，并且作为响应，人工现实通知系统将该通知返回为通知的最小化版本608，再次头部锁定在视场606的左上角。

图7A和图7B是示出了响应于达到视场最大来最小化虚拟对象的示例700的概念图。示例700开始于图7A，图7A显示了人工现实环境702、用户的注视方向704、用户的视场706、最小化通知708、第一虚拟对象710和第二虚拟对象712。在图7B中，用户的注视704已经移动到最小化通知708，使得该最小化通知708变为最大化通知714(如上所述)。因为最大化通知714、第一虚拟对象710和第二虚拟对象712占据超过了用户视场的最大量(在这种情况下为35％)，所以人工现实通知系统将虚拟对象710和712最小化为仅图标版本716和718，将图标版本716和718移动到用户视场706的角落。

在本说明书中，对“实施方式”(例如，“一些实施方式”、“各种实施方式”、“一个实施方式”、“一实施方式”等)的提及意味着，关于该实施方式而描述的特定特征、结构或特性被包括在本公开的至少一个实施方式中。这些短语在说明书中不同地方的出现不一定都指同一实施方式，也不一定是指与其它实施方式相互排斥的单独实施方式或替代实施方式。此外，描述了可由一些实施方式而不是由其它实施方式呈现的各种特征。类似地，描述了可以是对一些实施方式而不是对其它实施方式的要求的各种要求。

如本文所使用的，高于阈值意味着比较项的值高于指定的其它值，比较项位于具有最大值的某个指定数量的项中，或者比较项的值在指定的最高百分比值内。如本文所使用的，低于阈值意味着比较项的值低于指定的其它值，比较项位于具有最小值的某个指定数量的项中，或者比较项的值在指定的最低百分比值内。如本文所使用的，位于阈值内意味着比较项的值在两个指定的其它值之间，比较项位于中间指定数量的项中，或者比较项的值在中间指定百分比范围内。当没有另外定义时，诸如高或不重要等相对术语可以被理解为分配一个值并确定该值如何与所建立的阈值进行比较。例如，短语“选择快速连接”可以被理解为意味着选择具有分配的与其高于阈值的连接速度相对应的值的连接。

如本文所使用的，词语“或”是指一组项的任何可能的排列。例如，短语“A、B或C”指的是A、B、C中的至少一者、或它们的任意组合，例如以下中的任何一种：A；B；C；A和B；A和C；B和C；A、B和C；或诸如A和A；B、B和C；A、A、B、C和C等任何项的倍数；等。

尽管已经用专用于结构特征和/或方法动作的语言描述了本主题，但应理解，在所附权利要求书中所限定的主题不必局限于上述特定特征或动作。本文已出于说明的目的描述了特定的实施例和实施方式，但可以在不脱离这些实施例和实施方式的范围的情况下进行各种修改。上述特定特征和动作是作为实现所附权利要求书的示例形式而公开的。因此，除了受所附权利要求书限制之外，所述实施例和实施方式不受限制。

以上所提到的任何专利、专利申请和其它参考文献都通过引用并入到本文。如果需要，可以对各方面进行修改，以采用上述各种参考文献的系统、功能和概念来提供又一些实施方式。如果通过引用并入的文献中的陈述或主题与本申请的陈述或主题相冲突，则以本申请为准。

Claims (10)

1.一种用于实现通知的人工现实查看到固定交互模式的方法，所述方法包括：

将所述通知的最小化版本显示为头部锁定在人工现实设备的视场中的预定义位置处；

确定被追踪的用户的注视指向头部锁定的所述通知的最小化版本，并且作为响应，将所述通知转换为最大化和世界锁定的，其中，当用户转动所述用户的头部时，所述通知的最大化和世界锁定版本对所述用户来说看起来没有改变位置；以及

确定被追踪的所述用户的注视远离最大化和世界锁定的所述通知达阈值时间量，并且作为响应，取消所述通知或将所述通知返回到所述预定义位置处的最小化和头部锁定版本。

2.根据权利要求1所述的方法，其中，所述通知的最小化版本包括以下项中的一项或多项：

所述通知的用户和/或应用源的指示；

所述通知的内容预览；

与所述通知的接收相关联的时间；

用于回应或取消所述通知的控件；或者

以上项的任意组合。

3.根据权利要求1所述的方法，其中，确定被追踪的所述用户的注视指向头部锁定的所述通知的最小化版本是基于确定用于显示头部锁定的所述通知的最小化版本的显示定时器尚未到期。

4.根据权利要求1所述的方法，其中，被追踪的所述用户的注视是通过以下方式来追踪的：

对用户的眼睛位置进行建模；

基于所述用户的眼睛位置，定义将所述用户的角膜中心连接到所述用户的视网膜背面的线；以及

确定所述线的端点落在显示器中的位置。

5.根据权利要求1所述的方法，其中，所述通知的最大化版本包括以下项中的一项或多项：

来自所述通知的消息；

包括在所述通知中的图形或3D模型；

用于回应所述通知的控件或输入字段；或者

以上项的任意组合。

6.根据权利要求1所述的方法，其中，将所述通知转换为最大化和世界锁定的包括：将所述通知转换为最大化和3DoF世界锁定的，使得当所述用户靠近和远离所述通知或在所述通知周围移动时，所述用户到所述通知的视距和角度保持不变。

7.根据权利要求1所述的方法，其中，将所述通知转换为最大化和世界锁定的包括：将所述通知转换为最大化和6DoF世界锁定的，使得当所述用户越来越靠近和远离所述通知或围绕所述通知移动时，所述用户到所述通知的视距和角度被调整。

8.根据权利要求1所述的方法，所述方法还包括：

响应于将所述通知转换为最大化和世界锁定的，确定最大化和世界锁定的所述通知和所述人工现实设备的视场中的一个或多个其它虚拟对象占据超过了所述人工现实设备的视场的阈值量；以及

响应于确定最大化和世界锁定的所述通知和所述人工现实设备的视场中的所述一个或多个其它虚拟对象占据超过了所述人工现实设备的视场的所述阈值量：A)将所述一个或多个其它虚拟对象转换为最小化版本或从所述人工现实环境中移除所述一个或多个虚拟对象；以及B)将所述一个或多个虚拟对象的指示移动到单独的界面。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令在被计算系统执行时，使得所述计算系统执行用于实现通知的查看到固定交互模式的过程，所述过程包括根据权利要求1至8所述的方法。

10.一种用于实现通知的查看到固定交互模式的计算系统，所述计算系统包括：

一个或多个处理器；以及

一个或多个存储器，所述一个或多个存储器存储有指令，所述指令在被所述一个或多个处理器执行时，使得所述计算系统执行包括根据权利要求1至8所述的方法的过程。