CN110942518A - 上下文计算机生成现实(cgr)数字助理 - Google Patents

Abstract

本公开题为上下文计算机生成现实(CGR)数字助理。在一种具体实施中，一种提供上下文计算机生成现实(CGR)数字助理方法是在被提供为递交CGR场景的设备处执行的，该设备包括一个或多个处理器、非暂态存储器以及一个或多个显示器。该方法包括获取表征由图像传感器捕获的视场的图像数据。该方法进一步包括在图像数据中识别多个上下文CGR数字助理中的一者的上下文触发器。该方法额外包括选择多个上下文CGR数字助理中的一者的视觉表示，其中该视觉表示是基于上下文并且响应于识别出上下文触发器而选择的。该方法还包括通过显示多个上下文CGR数字助理中的一者的视觉表示来呈现CGR场景，其中视觉表示提供与上下文触发器相关联的信息。

Description

上下文计算机生成现实(CGR)数字助理

相关申请的交叉引用

本专利申请要求2018年9月24日提交的美国临时专利申请No.62/735,291的优先权，该专利申请据此全文以引用方式并入本文。

技术领域

本公开整体涉及多功能设备上的计算机生成现实应用。

背景技术

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟，和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。

增强虚拟(AV)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器，和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器，或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

常规的CGR可能显示很多视觉通知，令用户不知所措。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A-图1C是根据一些具体实施的示例性操作环境的图示。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性头戴式设备(HMD)的框图。

图4A-图4T示出了根据一些具体实施的示例性计算机生成现实(CGR)环境。

图5是根据一些具体实施的提供上下文CGR数字助理的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于提供上下文计算机生成现实(CGR)数字助理的设备、系统和方法。在各种具体实施中，该方法是在被提供为递交CGR场景的设备处执行的，该设备包括一个或多个处理器、非暂态存储器以及一个或多个显示器。该方法包括获取表征由图像传感器捕获的视场的图像数据(有时称为获取“透传”图像数据)。该方法进一步包括在图像数据中识别多个上下文CGR数字助理中的一者的上下文触发器。该方法额外包括选择多个上下文CGR数字助理中的一者的视觉表示，其中该视觉表示是基于上下文并且响应于识别出上下文触发器而选择的。该方法还包括通过合成多个上下文CGR数字助理中的一者的视觉表示来生成CGR场景，其中视觉表示提供与上下文触发器相关联的信息。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器，以及用于执行或使得执行本文所述方法中的任一种的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

如果计算机生成现实(CGR)系统为用户提供了过多的内容，例如，就所显示的信息的数量和频率而言，那么该内容可能导致用户不知所措。本文所公开的各种具体实施通过将用户的注意力巧妙地吸引到相关的计算机生成媒体内容来改善用户的体验。在实施方案中，上下文CGR数字助理在适当的上下文中被合成到合成现实场景当中，并且响应于确定图像数据(例如，通过合成现实场景呈现和透传的内容的图像数据)包括上下文触发器而被提供给用户。因而，上下文CGR数字助理通过将用户的注意力巧妙地吸引到相关的计算机生成媒体内容来辅助用户从合成现实场景中获取信息。此外，由于上下文CGR现实数字助理的表示取决于人们预期一个表示是做什么的和/或对与特定表示相关联的内容的文化上的理解，因而使用上下文CGR数字助理将用户的注意力吸引到合成现实场景中的信息可提供自然的用户体验。

例如，都知道狗快速奔跑和取东西的能力，因而当用户注意到餐厅(真实世界或CGR)时，可将使用计算机生成的狗用作为该用户快速收取餐厅信息的上下文CGR数字助理的视觉表示。其他示例包括显示将用户引导到感兴趣的地方的计算机生成的猫、提供关于某一区域的平面图视角的在前面飞的计算机生成的隼、低声说出关键信息的计算机生成的鹦鹉、指出小细节的计算机生成的蜂鸟或计算机生成的蝴蝶、带路前往某一位置的计算机生成的海豚。将这些虚拟动物拟人化成上下文CGR数字助理的视觉表示允许用户从CGR环境获取信息，而不会感到不知所措。

作为非动物示例，在一些文化当中，天空中的北斗七星提供方向(例如，基本方向)。基于此类文化理解，将计算机生成的北斗七星显示到CGR场景中，以作为提供通往遥远地方的大致方向的上下文CGR数字助理。

在另一个非动物示例中，在CGR场景中，计算机生成的热气球或计算机生成的机器人(例如，计算机生成的无人机)飘浮在空中。响应于用户对天空的注视或表示向上看的用户头部移动，计算机生成的热气球或计算机生成的机器人飞近用户，以便提供方向或导航。就地面上的计算机生成的机器人而言，计算机生成的机器人能够是用以透视障碍物、从很小的地方取得信息、对音乐记录定位的等的上下文CGR数字助理。因而，通过这些上下文CGR数字助理的视觉表示，将信息巧妙地传达给了用户，并且通过这些上下文CGR数字助理获取信息的额外资格和/或能力为用户赋予了掌控力。

图1A是根据一些具体实施的示例性操作架构100A的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100A包括电子设备104A。

在一些具体实施中，电子设备104A被配置为向用户呈现CGR体验。在一些具体实施中，电子设备104A包括软件、固件和/或硬件的合适组合。根据一些具体实施，当用户物理地存在于物理环境103内时，电子设备104A经由显示器122向用户呈现CGR体验，其中物理环境103包括处于电子设备104A的视场111内的场景105当中的桌子107。在一些具体实施中，用户将设备104A拿在他/她的一只或两只手中。在一些具体实施中，在呈现CGR体验时，电子设备104A被配置为呈现CGR内容(例如，CGR圆柱体109)并实现在显示器122上对物理环境103(例如，包括桌子107的表示)的视频透传。在一些具体实施中，控制器102经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与CGR设备104A通信耦接。下面参考图1B进一步描述控制器102。

图1B是根据一些具体实施的示例性计算机生成现实(CGR)环境100B的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

为此，作为非限制性示例，CGR环境100B包括控制器102和CGR设备(例如，头戴式设备(HMD))104B。在图1B的示例中，CGR设备104B由用户10佩戴。在一些具体实施中，CGR设备104B对应于头戴式设备(HMD)、平板电脑、移动电话、可穿戴计算设备等。在一些具体实施中，CGR设备104B被配置为向用户10呈现CGR体验。在一些具体实施中，CGR设备104B包括软件、固件和/或硬件的合适组合。

根据一些具体实施，当用户10虚拟地和/或物理地存在于场景106内时，CGR设备104B向用户10呈现CGR体验。在一些具体实施中，在呈现增强现实(AR)体验时，CGR设备104B被配置为呈现AR内容并实现对场景106的视频透传(例如，CGR设备104B对应于支持CGR的移动电话或平板电脑)。在一些具体实施中，在呈现CGR体验时，CGR设备104B被配置为呈现CGR内容并实现对场景106的光学透视(例如，CGR设备104B对应于支持CGR的眼镜)。在一些具体实施中，在呈现CGR体验时，CGR设备104B被配置为呈现CGR内容并任选地实现对场景106的视频透传(例如，CGR设备104B对应于支持CGR的HMD)。

在一些具体实施中，用户10将CGR设备104B佩戴到其头部(例如，如图1所示)。因此，CGR设备104B包括被提供用于显示CGR内容的一个或多个CGR显示器。在一些具体实施中，CGR设备104B围出了用户10的视场。在一些具体实施中，采用被配置为呈现CGR内容的CGR室、壳体或房间代替CGR设备104B，其中用户10不再佩戴CGR设备104B。在一些具体实施中，用户10将CGR设备104B拿在其一只或两只手中。

在一些具体实施中，控制器102被配置为管理和协调用户10的CGR体验。在一些具体实施中，控制器102包括软件、固件和/或硬件的合适组合。在一些具体实施中，控制器102是相对于场景106处于本地或远程位置的计算设备。例如，控制器102是位于场景106内的本地服务器。在另一个示例中，控制器102是位于场景106之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器102经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与CGR设备104B通信耦接。在一些具体实施中，控制器102的功能由CGR设备104B提供和/或与CGR设备104B结合。

如图1B所示，CGR设备104B呈现场景106。在一些具体实施中，场景106由控制器102和/或CGR设备104B生成。在一些具体实施中，场景106包括计算机生成场景，该场景是真实世界场景的模拟替换。换句话讲，在一些具体实施中，场景106由控制器102和/或CGR设备104B模拟。在此类具体实施中，场景106不同于CGR设备104B所在的真实世界场景。在一些具体实施中，场景106包括作为真实世界场景的修改版本的增强场景。例如，在一些具体实施中，控制器102和/或CGR设备104B修改(例如，增强)CGR设备104B所在的真实世界场景以便生成场景106。在一些具体实施中，控制器102和/或CGR设备104B通过模拟CGR设备104B所在的真实世界场景的副本来生成场景106。在一些具体实施中，控制器102和/或CGR设备104B通过从CGR设备104B所在的真实世界场景的模拟副本中移除和/或向其中添加物项来生成场景106。

参考图1C，图1C是根据一些具体实施的示例性操作环境100C的图示。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100C包括网络20、计算设备30、真实世界场景40和设备104d。

在图1C的示例中，真实世界场景40包括人10。在各种具体实施中，设备104d捕获真实世界场景40的一组图像，并且将表示场景106的数据经由网络20传输至计算设备30。在一些具体实施中，设备104d包括控制器102和相机104c。在一些具体实施中，相机104c捕获该组图像，并且控制器102基于该组图像生成场景数据106。在一些具体实施中，场景数据106包括位于相机104c的视场中的人10的身体姿势信息108。

在各种具体实施中，身体姿势信息108指示处于相机104c的视场中的人10的身体姿势。例如，在一些具体实施中，身体姿势信息108指示人10的关节位置和/或关节取向(例如，肩关节、肘关节、腕关节、骨盆关节、膝关节和踝关节的位置/取向)。在一些具体实施中，身体姿势信息108指示人10的各种身体部分的位置/取向(例如，头部、躯干、上臂、下臂、大腿和小腿的位置/取向)。

在各种具体实施中，通过网络20传输身体姿势信息108消耗的带宽小于传输由相机104c捕获的图像消耗的带宽。在一些具体实施中，网络资源有限，并且设备104d可访问可用量的带宽。在此类具体实施中，传输身体姿势信息108消耗的带宽小于可用量的带宽，而传输由相机104c捕获的图像消耗的带宽可能大于可用量的带宽。在各种具体实施中，传输身体姿势信息108(例如，而不是传输图像)改善了网络20的可操作性，例如，通过使用更少的网络资源(例如，通过使用更小的带宽)。

在一些具体实施中，计算设备30使用身体姿势信息108来渲染人10的化身。例如，在一些具体实施中，计算设备30将身体姿势信息108提供给显示引擎(例如，渲染和显示管线)，该显示引擎利用身体姿势信息108在计算机生成场景中渲染该化身。由于计算设备30采用身体姿势信息108来渲染化身，因此化身的身体姿势相对于人10在真实世界场景40中的身体姿势处于一定相似度以内。因此，观看计算机生成场景中的化身相对于观看真实世界场景40中的图像处于一定的相似度以内。

图2是根据一些具体实施的控制器102的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，控制器102包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、全球移动通信系统(GSM)，码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或相似类型接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括相对于一个或多个处理单元202处于远程位置的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和CGR体验模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关的任务的过程。在一些具体实施中，CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如，一个或多个用户的单重CGR体验，或一个或多个用户的相应群组的多重CGR体验)。为此，在各种具体实施中，CGR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。

在一些具体实施中，数据获取单元242被配置为至少从CGR设备104获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种具体实施中，数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，跟踪单元244被配置为标绘场景105(图1A)并且/或者至少跟踪CGR设备104相对于场景106(图1B)的位置/定位。出于该目的，在各种具体实施中，跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，协调单元246被配置为管理和协调CGR设备104向用户呈现的CGR体验。出于该目的，在各种具体实施中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元248被配置为至少向CGR设备104传输数据(例如，呈现数据、位置数据等)。出于该目的，在各种具体实施中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元242、跟踪单元244、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器102)上，但应当理解，在其他具体实施中，数据获取单元242、跟踪单元244、协调单元246和数据传输单元248的任何组合可位于独立计算设备中。

此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块能够在单个模块中实施，并且单个功能块的各种功能能够在各种具体实施中通过一个或多个功能块来实施。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图3是根据一些具体实施的CGR设备104的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，CGR设备104包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个CGR显示器312、一个或多个面向内部和/或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风307A、一个或多个扬声器307B(例如，耳机或扩音器)、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等中的至少一者。

在一些具体实施中，一个或多个CGR显示器312被配置为向用户提供CGR体验。在一些具体实施中，一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅基液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些具体实施中，一个或多个CGR显示器312对应于衍射显示器、反射显示器、偏振显示器和/或全息波导显示器等。例如，CGR设备104包括单个CGR显示器。在另一个示例中，CGR设备104包括针对用户的每只眼睛的CGR显示器。在一些具体实施中，一个或多个CGR显示器312能够呈现CGR内容。

在一些具体实施中，一个或多个内部的、外部的、朝内的、朝外的、朝向正面的和/或朝向背面的图像传感器314被配置为获取对应于用户面部的至少一部分的图像数据，其中用户面部的至少一部分包括用户的眼睛(因而可称为眼睛跟踪相机)。在一些具体实施中，一个或多个内部的、外部的、朝内的、朝外的、朝向正面的和/或朝向背面的图像传感器314被配置成面向前方(或者向外)，以便获取对应于当不存在CGR设备104时用户将看到的场景的图像数据(因而可以被称为向外相机)。一个或多个内部的、外部的、朝内的、朝外的、朝向正面的和/或朝向背面的图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括相对于一个或多个处理单元302处于远程位置的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和CGR呈现模块340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关的任务的过程。在一些具体实施中，CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。出于该目的，在各种具体实施中，CGR呈现模块340包括数据获取单元342、音频/CGR呈现单元344和数据传输单元346。

在一些具体实施中，数据获取单元342被配置为从一个或多个控制器102(例如，经由一个或多个通信接口308)、一个或多个I/O设备和传感器306或者一个或多个内部的、外部的、朝内的、朝外的、朝向正面的和/或朝向背面的图像传感器314中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种具体实施中，数据获取单元342包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，音频/CGR呈现单元344被配置为经由一个或多个CGR显示器312(以及各种具体实施中的扬声器307B和/或麦克风307A)呈现音频/CGR体验。出于该目的，在各种具体实施中，音频/CGR呈现单元344包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元346被配置为至少向控制器102传输数据(例如，呈现数据、位置数据等)。出于该目的，在各种具体实施中，数据传输单元346包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元342、音频/CGR呈现单元344和数据传输单元346被示为驻留在单个设备(例如，CGR设备104)上，但应当理解，在其他具体实施中，数据获取单元342、音频/CGR呈现单元344和数据传输单元346的任何组合可位于独立计算设备中。

此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实施，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实施。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图4A-图4T示出了根据一些具体实施的示例性CGR环境400。在一些具体实施中，CGR环境400基于设备的向外相机所勘测的真实环境。在各种具体实施中，向外相机是由用户穿戴的设备的一部分，并且包括显示CGR环境400的显示器。因而，在各种具体实施中，用户物理地存在于CGR环境400中。在各种具体实施中，向外相机是将图像数据从向外相机传输到本地设备的远程设备(诸如无人机或机器人)的部分，该本地设备由用户穿戴并且包括显示CGR环境400的显示器。因此，在一些此类具体实施中，用户可物理地处于CGR环境400之外。在一些具体实施中，如上文参考图1C所述，用于渲染CGR环境400的图像数据包括相对于真实世界场景内的人的身体姿势处于一定相似度内的化身。在图4A-图4T中，CGR环境400包括用户405，该用户能够是表示人的化身或者真实环境中的真人。照此，图4A-图4T中描绘的视图能够以是(例如)来自观看CGR环境400中的用户405的第三人视角的视图。

在图4A中，图像数据表征包括餐厅401和人行道上的路灯的街道的视图。用户405看着餐厅401的店面，并且还指向餐厅401上的餐厅标志。在透传图像中识别出了上下文CGR数字助理的上下文触发器。如本文所用，上下文CGR数字助理的上下文触发器包括一个或多个对象、信息(例如，在CGR环境400中可见或嵌入到CGR环境400中)和/或与上下文CGR数字助理执行的可用动作相关联的位置。例如，在图4A中，多个因素能够触发上下文CGR数字助理，该数字助理能够搜寻并返回与该餐厅相关联的信息。此类因素能够包括用户405看向餐厅401、来自用户405的查找有关餐厅401的更多信息的语音命令、用户405指向餐厅401(如图4A所示)、透过餐厅401的窗户窥视或者餐厅401的绝对或相对位置。

在一些具体实施中，至少部分地基于与CGR环境400相关联的上下文(包括对应于狗的上下文含义)来选择计算机生成现实的狗作为上下文CGR数字助理的视觉表示。例如，该上下文含义能够包括狗的动物特性或行为，例如，众所周知的是狗能遵从指令搜寻并且取回东西。在另一个示例中，基于用户配置文件，该上下文含义能够包含用户405对狗能够取回东西的预期。一旦选择狗作为视觉表示，如图4B所示，就在餐厅标志周围显示高光402以指示上下文触发器的接近位置，并且计算机生成的狗404出现在CGR环境400中以辅助信息检索。计算机生成的狗404的视觉表示被合成到CGR环境400中，如图4C所示。计算机生成的狗404检索封装在微缩模型计算机生成娃娃屋406中的餐厅信息。在一些具体实施中，微缩模型计算机生成娃娃屋406表示餐厅401，并且在CGR环境400中显示计算机生成的狗404将微缩模型计算机生成娃娃屋406拖向用户405的动画。在一些具体实施中，用户405然后能够透过微缩模型计算机生成娃娃屋406的窗口或打开微缩模型计算机生成娃娃屋406往里看，从而找到餐厅信息。在一些具体实施中，一旦用户405完成信息检索，计算机生成的狗404与微缩模型计算机生成娃娃屋406的动画就消失。例如，用户的动作，诸如关闭微缩模型计算机生成娃娃屋406的门、从微缩模型计算机生成娃娃屋406走开和/或发信号通知让计算机生成的狗404离开或者在阈值量的时间之后与微缩模型计算机生成娃娃屋406交互可以表明用户405已经完成了对计算机生成的狗404所带来的信息的检索。因此，计算机生成的狗404从用户405处跑开并拖走微缩模型计算机生成娃娃屋406。

图4D-图4H示出了显示根据一些具体实施的促进在CGR环境400中对帐篷412的探查的上下文CGR数字助理的各种视觉表示。在图4D中，图像数据表征包括与帐篷412相距一定距离的用户405的野营地。当用户405走近帐篷412时，在图像数据中识别出了能够辅助对帐篷412的探查的上下文CGR数字助理的上下文触发器。该上下文触发器能够包括用户405看向帐篷412、来自用户405的探查帐篷412的语音命令、用户405走向帐篷412以及/或者帐篷412的绝对位置或相对位置。

在一些具体实施中，如图4E和图4F所示的计算机生成的猫414或者如图4G和图4H所示的计算机生成的机器人(例如，处于地面上的计算机生成无人机)416被选作上下文CGR数字助理的视觉表示。例如，计算机生成的猫414是至少部分地基于动物特性来选择的，例如，对猫的文化理解和/或用户对猫的用户预期(例如，来源于用户配置文件)将人引到有趣的或者神秘的地方。在图4E和图4F中，计算机生成的猫414引导用户405更靠近帐篷412以便探查帐篷412。在图4G中，至少部分地基于用户有兴趣在不进入帐篷412的情况下探查该帐篷的上下文，选择计算机生成的机器人(或人偶)416作为视觉助理的视觉表示。

例如，用户405停在距帐篷412的一定距离处同时眼睛盯着帐篷412表明用户有兴趣在不进入帐篷412的情况下探查该帐篷。在另一个示例中，用户405的行程历史可以表明用户405对该区域感到陌生，并且用户405可能不想踏入不熟悉的区域。此外，上下文可包括计算机生成的机器人(例如，计算机生成的无人机或人偶等)416，用户405已知其具有异乎寻常的视力，能够在无需用户进入帐篷412的情况下就透视帐篷412。如图4H中所示，计算机生成的机器人416的卓越视力揭示了计算机生成的猫418在帐篷412内休息。在一些具体实施中，一旦上下文CGR数字助理出现在CGR环境400中，用户405就被赋予了上下文CGR数字助理的能力。例如，在图4H中，用户405能够具有计算机生成的机器人416的视场，使得用户405被赋予计算机生成的机器人416的卓越视力，以便在不进入帐篷412的情况下获取帐篷412内的信息。

在一些具体实施中，一旦用户405完成信息检索，上下文CGR数字助理就进行动画演示(例如，消失或停止显示)以整理该场景。例如，用户的动作(诸如在看着帐篷412阈值量的时间之后从帐篷412走开)可表明用户已完成对帐篷412的探查并且想要探查该区域中的其他主体。因此，一旦上下文CGR数字助理发挥了其作用，上下文CGR数字助理的视觉表示就会停止显示，例如，当计算机生成的猫414进入帐篷412，计算机生成的猫414消失，以及/或者计算机生成的机器人416飞走和/或走开时。

在一些具体实施中，上下文CGR数字助理的视觉表示具有多重上下文含义，诸如与动物相关联的多重动物特性。例如，如上文参考图4E和图4F所解释的，计算机生成的猫414是基于通常已知的猫将人引导到值得探索的有趣或隐秘的地方的特性而选择的。猫的其他特性包括陪伴、镇静、安抚等。照此，如图4I-图4K中所示，计算机生成的猫414被选择为能够向用户405蜷伏的伴侣的视觉表示。

在图4I中，计算机生成的猫414最初在房间中的沙发418旁边休息，与此同时佩戴生物识别监测设备407的用户405正站在房间对面。例如，基于用户配置文件，来自用户405的输入(例如，来自生物识别监测设备407的脉搏或血压读数)可表明用户405需要安抚。在一些具体实施中，此类生物识别读数触发上下文CGR数字助理安抚用户405。至少部分地基于猫安抚用户405的特性，选择计算机生成的猫414作为上下文CGR数字助理的视觉表示。如图4J所示，计算机生成的猫414走向用户405。如图4K所示，计算机生成的猫414转圈并且发出信号或者邀请用户405去沙发418(例如，通过动画)，使得用户405能够在沙发418上休息并抚摸计算机生成的猫414以获得安抚。

图4L-图4N示出了根据一些具体实施的上下文CGR数字助理的各种视觉表示，其识别CGR环境400中的小细节，并且将注意力吸引到该细节上。在图4L中，图像数据表征用户405正拿着并且阅读菜单422。多种因素能够触发上下文CGR数字助理的激活，该数字助理能够识别小细节，诸如菜单422上的项目。此类因素能够包括但不限于来自用户的输入(例如，用户405在近距离内查看菜单422)和/或菜单422相对于用户405的位置。在一些具体实施中，菜单422上的菜单项能够是基于餐厅上下文的每日特色菜、基于本地评论上下文的本地喜好菜和/或基于用户405的用户配置文件的用户偏好。因此，上下文CGR数字助理能够自动出现在CGR环境400中，并且其外观巧妙地将用户的注意力吸引到菜单422上的用户405可能感兴趣的项目。

在一些具体实施中，基于小空间的上下文(例如，菜单422和用户405之间的短距离或菜单422的页面)和/或上下文CGR数字助理的视觉表示的上下文含义来选择能够适配在小空间中的上下文CGR数字助理的视觉表示。如图4M所示，至少部分地基于蝴蝶的小巧、彩色引人注意的特性以及其落在小空间内的能力选择计算机生成的蝴蝶424作为上下文CGR数字助理的视觉表示。根据一些具体实施，计算机生成的蝴蝶424落在菜单422上靠近某一菜单项的位置上，从而将用户的注意力吸引到菜单项。

如图4N中所示，选择计算机生成的蜂鸟426作为上下文CGR数字助理的视觉表示。计算机生成的蜂鸟426能够使用其针状鸟嘴来精确定位菜单422上的特定项目，或者飞近用户405，从而向用户405轻语该菜单项。在一些具体实施中，使用多个扬声器提供音频输出(例如，轻语)，其中，音频输出在空间上对应于与视场中的计算机生成的蜂鸟426相关联的位置。计算机生成的蜂鸟426(例如)是至少部分地基于其小巧、其针状鸟嘴以及在飞行时发出蜂鸣音的特性而选择的。在一些具体实施中，一旦用户405完成信息检索，例如，通过用户在菜单422上点了靠近计算机生成的蝴蝶424或计算机生成的蜂鸟426的项目或者放下菜单422来指示，那么计算机生成的蝴蝶424或计算机生成的蜂鸟426就做出动画演示(例如，飞走)，以整理该场景。

图4O-图4Q示出了根据一些具体实施的提供关于CGR环境400内的某一区域的不同视角(例如，平面图、鸟瞰图、3D视图或者航拍图)的上下文CGR数字助理的各种视觉表示。在图4O中，图像数据表征用户405站在地面上并看着前面的建筑物。在一些具体实施中，用户405的身体姿势，诸如仰望天空或看着远处的地标，表明用户405有兴趣更多地了解周围或通向地标的路径。响应于图像数据中的身体姿势信息，上下文CGR数字助理的上下文触发器能够辅助用户405探索用户的周围。

在一些具体实施中，上下文CGR数字助理的视觉表示是基于包括视觉表示的至少一种文化含义在内的上下文选择的。如图4P所示，选择了具有卓越视力且在高空飞行的计算机生成的隼或计算机生成的鹰432作为上下文CGR数字助理的视觉表示。如图4Q所示，选择配备有计算机化视力的在空中飞行的计算机生成的无人机(或CGR热气球)434作为上下文CGR数字助理的视觉表示。此外，CGR环境400中的视角已从图4O中的地面视图变成了图4P和图4Q中所示的具有建筑物的3D渲染的平面图436。在一些具体实施中，将与新视角相关联的额外的计算机生成现实内容(例如，从用户405的位置到某一地标的导航路径)提供给用户。视角变化与用户405的视角一致，因为用户405被赋予了上下文CGR数字助理(例如，计算机生成的隼或计算机生成的鹰432或者计算机生成的无人机434)的卓越视力。此外，视角的变化和额外的计算机生成现实内容能够辅助用户405探索周围环境。在一些具体实施中，一旦用户405完成了信息检索，例如，通过向下看或看向别处来指示，或者通过来自用户405的挥手手势或语音命令来指示，计算机生成的隼432或计算机生成的无人机434将飞走或飞到CGR场景的角落。在一些具体实施中，当计算机生成的隼432或计算机生成的无人机434飞走时，计算机生成现实内容(例如，通往地标的高光路径)也逐渐消失。

图4R-图4T示出了根据一些具体实施的在CGR环境400中提供导航的上下文CGR数字助理的各种视觉表示。在图4R中，图像数据表征用户405沿路径442走向火车站444。在火车站444顶上是钟。钟上显示的时间表明用户405计划乘坐的火车即将到达。在一些具体实施中，在透传图像中识别出能够提供导航以及沿路径442至火车站444的引导的上下文CGR数字助理的上下文触发器。上下文触发器包括(例如)时间、用户配置文件和用户的身体姿势以及/或者通向火车站444的路径442等。

海豚常常被认为是地球上最聪明的动物之一，它们利用地球磁场执行诸如导航的行为。此外，已知海豚能够与人进行交互，因为它们与人具有高度的社交性。照此，基于海豚的这些特性，如图4S中所示，选择海豚446作为提供导航并将用户405引导至火车站444的上下文CGR数字助理的视觉表示。在图4S中，水连同在水中游动的海豚446被显示为路径442上的叠加。

在一些具体实施中，依据包括与用户405相关联的日历事件(诸如火车时刻表和当前时间)的上下文，海豚446的动画适合该上下文。例如，如果列车时刻表和当前时间以及/或者用户405的位置表明用户405将要赶不上火车，那么计算机生成的海豚446会游得更快，从而将用户405朝向火车站444引导，使其赶上火车。另一方面，如果上下文表明用户有足够的时间来赶火车，那么计算机生成的海豚446可相对较慢地游向火车站444。在一些具体实施中，将上下文CGR数字助理的视觉表示动画设置为使得视觉表示是交互式的。例如，如图4T所示，当另一个用户405-1出现在CGR环境400中时，游到最接近用户405-1的位置的计算机生成的海豚446-1将绕着另一用户405-1游动。如此处所示，用户405-1可以是该CGR场景中的另一个化身或者用户405的视场内的另一个真实世界人物。因此，遵循计算机生成的海豚446的引导，用户405能够沿路径442行进而不会碰到障碍物(例如，另一个用户405-1或路灯杆等)。

在一些具体实施中，一旦上下文CGR数字助理达到了其目的，该上下文CGR数字助理连同计算机生成现实内容就停止显示。例如，当用户405在距火车站444的阈值距离以内时，用户405可能不再需要计算机生成的海豚446来带路和/或估量其赶上火车的速度。因此，被显示成路径上的叠加的计算机生成的海豚446连同水一起逐渐停止显示，例如，就像计算机生成的海豚446游走并且水消退了一样。

图5是根据一些具体实施的提供上下文CGR数字助理的方法500的流程图表示。在各种具体实施中，方法500由具有一个或多个处理器、非暂态存储器以及一个或多个显示器的设备执行。在一些具体实施中，该设备包括头戴式设备、移动电话、平板电脑和/或无人机。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器和/或控制器(例如，图1中的控制器102)执行。简而言之，在一些情况下，方法500包括：获取表征由图像传感器捕获的视场的图像数据；在图像数据中识别多个上下文CGR数字助理中的一者的上下文触发器；响应于识别出上下文触发器，选择多个上下文CGR数字助理中的一者的视觉表示；以及通过合成多个上下文CGR数字助理中的一者的视觉表示来生成CGR场景，其中视觉表示提供与上下文触发器相关联的信息。

方法500在框502中开始于借助设备获取表征由图像传感器捕获的视场的图像数据。在一些具体实施中，如框504所表示的，获取表征由图像传感器捕获的视场的图像数据(例如，透传图像数据)包括在不同于设备的第二设备上接收表征由图像传感器捕获的视场的图像数据。例如，当用户佩戴头戴式设备时，图像传感器位于空中的无人机或热气球上，以便提供环境的航拍图。在一些具体实施中，如框506所表示的，获取表征由图像传感器捕获的视场的图像数据包括获取表征由被集成到设备当中的图像传感器捕获的视场的图像数据。例如，与头戴式设备集成的一个或多个向外相机能够捕获街道的视图。

方法500在框508中继续借助于设备在图像数据中识别多个上下文CGR数字助理中的一者的上下文触发器。例如，在图4A-图4C中，设备在图像数据中识别出用户405需要有关访问关于餐厅401的信息的辅助。因而，针对能够搜寻并且为用户405带来信息的上下文CGR数字助理(例如，计算机生成的狗404)识别出了上下文CGR数字助理的上下文触发器。在图4D-图4H中，设备在图像数据中识别出用户需要探查帐篷412的辅助。因此，针对能够完成探查帐篷412的动作的上下文CGR数字助理(例如，计算机生成的猫414)识别出了上下文CGR数字助理的上下文触发器。在另一个示例中，在图4L-图4N中，设备在图像数据中识别出用户405需要对菜单422上的细节予以突出显示的辅助。因而，针对能够适配到小空间内并且能够将用户的注意力吸引到菜单422上的小细节上的上下文CGR数字助理(例如，计算机生成的蝴蝶424或计算机生成的蜂鸟426)识别出了上下文CGR数字助理的上下文触发器。在又一个示例中，在图4P和图4Q中，设备在图像数据中识别出用户希望获取环境的航拍图。照此，针对能够为用户赋予卓越视力的上下文CGR数字助理(例如，计算机生成的鹰432或计算机生成的无人机434)识别出了上下文CGR数字助理的上下文触发器。在又一个示例中，在图4R-图4T中，设备在图像数据(例如，火车站建筑物444的时钟上所示的时间)中识别出用户405需要关于通过引向火车站444的路径442的导航的辅助。因此，针对能够提供引导以及通往火车站444的导航的上下文CGR数字助理(例如，计算机生成的海豚446)识别出了上下文CGR数字助理的上下文触发器。

仍然参考图5，如框510所表示的，在一些具体实施中，响应于通过能够连接至设备或者集成到设备当中的输入设备(例如，图3中的I/O设备和传感器306以及/或者图2中的I/O设备206)接收到来自用户的输入，识别出多个上下文CGR数字助理中的一者的上下文触发器。在一些具体实施中，该输入包括在图像数据中。在一些具体实施中，输入设备包括但不限于用于眼睛注视跟踪的眼睛跟踪器或注视传感器、用于语音命令的音频输入设备(例如，麦克风)、用于姿势和/或手势的IMU、具有捕获图像并导出姿势的图像传感器的一个或多个相机、生物识别监测设备(例如，图4I-图4K中的设备407)、用于检测手势的触敏表面以及/或者用于位置跟踪的GPS。

例如，如框512所表示的，当输入设备包括用于检测和跟踪用户的眼睛注视的眼睛跟踪器或凝视传感器时，在图像数据中识别多个上下文CGR数字助理中的一者的上下文触发器包括：(a)检测用户的眼睛注视接近视场中的对象；以及(b)激活图像数据中与对象相关联的上下文触发器。在一个示例中，提供航拍图的上下文触发器与在CGR场景的拐角处飘浮的CGR热气球相关联。当用户看着飘浮CGR热气球的天空时，从注视信息中识别出上下文CGR数字助理的上下文触发器。在另一个示例中，如图4B和图4C中所示，在检测到对餐厅401的注视时，识别出上下文CGR数字助理的上下文触发器，其中，期望上下文CGR数字助理将餐厅信息带给用户405。在又一个示例中，如图4M和图4N所示，在检测到对菜单422的注视时，识别出能够对菜单422上的小细节突出显示的上下文CGR数字助理的上下文触发器。

在一些具体实施中，如框514所表示的，当输入设备包括音频输入设备(例如，麦克风)以获取来自用户的语音命令时，在图像数据中识别多个上下文CGR数字助理中的一者的上下文触发器包括根据语音命令激活上下文触发器。例如，根据“查找关于餐厅的更多信息”的语音命令，识别能够找到关于餐厅的更多信息的上下文CGR数字助理的上下文触发器。在另一个示例中，根据“这份菜单上什么比较不错？”的语音命令，识别能够将用户的注意力吸引到菜单上的厨师特色菜的上下文CGR数字助理的上下文触发器。

在一些具体实施中，如框516所表示的，当输入设备包括惯性测量单元(IMU)以获取用户的身体姿势时，在图像数据中识别多个上下文CGR数字助理中的一者的上下文触发器包括从身体姿势导出用户的身体部分(例如，头部、颈部、胳膊、腿部、手)的位置。在一些具体实施中，如框518所表示的，身体姿势是由一个或多个相机的图像传感器获取的图像导出的。例如，用户佩戴的HMD能够包括前向相机、侧向相机、下向相机等，以获取图像数据。在使用不同的相机捕获用户的不同身体部分并使这些相机捕获的不同图像相关的情况下，能够识别出不同身体部分的位置。在一些具体实施中，身体部分的位置能够指示对图像数据中的主体的兴趣。相应地，能够激活与图像数据中的该主体相关联的上下文CGR数字助理的上下文触发器。例如，如图4A所示，用户405正在指向餐厅401。“指”这一身体姿势表明有兴趣了解关于餐厅401的更多信息。因此，如图4B和图4C所示，激活能够取回餐厅信息并将该信息带给用户405的上下文CGR数字助理的上下文触发器。在另一个示例中，如图4P所示，当用户仰望天空时，身体姿势表明用户希望获取航拍图。照此，激活能够向用户提供景观的不同视角的上下文CGR数字助理的上下文触发器。在又一个示例中，当用户向下看以检查其腕表上的时间时，该身体姿势可表明用户需要跟踪其前往火车站的速度的辅助。相应地，识别出能够辅助前往火车站的导航和引导的上下文CGR数字助理的上下文触发器，如图4S和图4T所示。

重新参考图5，方法500在框520中继续借助于设备选择多个上下文CGR数字助理中的一者的视觉表示，其中视觉表示是基于上下文并且响应于识别出上下文触发器而选择的。在一些具体实施中，上下文包括用户配置文件、日历事件、用户的位置和/或使用历史中的至少一者。例如，基于用户配置文件，用户有兴趣探索周围环境，并且选择计算机生成的隼(图4P)、计算机生成的无人机(图4Q)、CGR热气球或者天空中的CGR北斗七星作为能够提供地面以上的区域的视图的上下文CGR数字助理的视觉表示。

在一些具体实施中，多个上下文CGR数字助理中的一者的视觉表示具有至少一种上下文含义。换句话讲，上下文含义表示人们期望CGR表示做什么和/或对与CGR表示相关联的内容的文化理解。一些上下文含义包括(例如)夜间天空中的北斗七星提供导航或方向；狗能快速奔跑和取物；猫经常是疏离的并且将人引到某个神秘的地方，或者是好奇的，或者使伴侣镇定并对其进行安抚；热气球具有高飞的能力；海豚具有导航以及绕着障碍物游动的能力；蜂鸟/蝴蝶尺寸小巧；鹦鹉会说话；热气球处于高空中能够看到地面上的主体；以及/或者机器人具有去往人类难以抵达的地方的超能力以及超出人脑容量的信息检索能力。

例如，如图4E和图4F所示，基于用户预期猫将用户引导到值得探索的有趣地方，计算机生成的猫414被选作上下文CGR数字助理的视觉表示。在另一个示例中，如图4G和图4H所示，基于用户犹豫着是否要进入营地的帐篷以查看里面有什么，选择具有卓越视力的计算机生成的机器人416作为上下文CGR数字助理的视觉表示。

重新参考图5，方法500在框530中继续借助于设备通过合成多个上下文CGR数字助理中的一者的视觉表示来生成CGR场景，其中视觉表示提供与上下文触发器相关联的信息。在一些具体实施中，如框540所表示的，方法500还包括在一个或多个显示器上显示向用户提供信息的多个上下文CGR数字助理中的一者的视觉表示的动画。在一些具体实施中，视觉表示的动画根据上下文受到调整。例如，计算机生成的海豚的游速根据当前时间和列车时刻表而变化。根据确定用户时间紧迫，计算机生成的海豚可更快地游动从而将用户更快地引导至火车站。另外，如图4T所示，基于另一用户405-1也沿着该路径行走的上下文，处于距用户405-1的阈值距离以内的计算机生成的海豚446-1围绕用户405-1游动，使得跟随计算机生成的海豚446的用户405能够避免撞到障碍物。

在一些具体实施中，如框542所表示的，方法500进一步包括根据一些具体实施来确定用户已接收到信息，并且停止在CGR场景中显示视觉表示的动画。例如，在图4B和图4C中，将计算机生成的狗404检索微缩模型计算机生成娃娃屋406的动画合成到CGR场景400中并作为叠加显示给用户405。在一些具体实施中，用户405能够与视觉表示进行交互，例如，打开微缩模型计算机生成娃娃屋406的窗户或者透过该窗户查看，并发现有关餐厅401的更多信息。

在一些具体实施中，一旦用户结束查看餐厅信息，响应于检测到发信号通知信息查看结束的手势，或在视觉表示的动画被显示阈值时间量之后，上下文CGR数字助理的视觉表示从CGR环境消失，以便整理该场景。例如，在天空中飞行的计算机生成的隼432或计算机生成的无人机434的动画是与变化的视角(例如，具有通往目的地的导航的区域平面图或航拍图)一起显示的，如图4P和图4Q所示。一旦用户405完成信息查看，例如，在检测到发信号通知计算机生成的隼432或计算机生成的无人机434飞走的挥手手势时，计算机生成的隼432飞走并在CGR场景中淡出，或者计算机生成的无人机434飞到角落。相应地，恢复地面视角。在又一个示例中，在水中游动的计算机生成的海豚446被显示成路径442上的叠加，如图4S和图4T所示。根据确定用户已进入火车站444或处于距火车站444的阈值距离以内，计算机生成的海豚446游走并且停止显示水。

在一些具体实施中，设备包括一个或多个输出设备，诸如一个或多个扬声器。如框550所表示的，方法500进一步包括使用多个扬声器来提供音频输出，其中，音频输出在空间上对应于与视场中的多个上下文CGR数字助理中的一者相关联的位置。例如，在图4B和图4C中，能够播放计算机生成的狗叫声以发信号通知狗CGR 404的存在并且将用户的注意力吸引到靠近微缩模型计算机生成娃娃屋406的计算机生成的狗404。在另一个示例中，在图4S和图4T中，可播放拍击水的声音以发信号通知计算机生成的海豚446的存在并且沿着路径442引导用户405。在一些具体实施中，CGR数字助理提供的信息能够被用户读到，从而将用户的注意力吸引到某一位置。例如，如图4N所示的计算机生成的蜂鸟426低语出菜单项，该低语将用户的注意力吸引到菜单422上的项目。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求书中所使用的那样，单数形式的“一个”(“a”“an”)和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (20)

1.一种方法，所述方法包括：

在包括一个或多个处理器、非暂态存储器以及一个或多个显示器的设备处：

获取表征使用图像传感器捕获的视场的图像数据；

在所述图像数据中识别多个上下文计算机生成现实(CGR)数字助理中的一者的上下文触发器；

响应于识别出所述上下文触发器，基于上下文选择所述多个上下文CGR数字助理中的所述一者的视觉表示；以及

通过显示所述多个上下文CGR数字助理中的所述一者的所述视觉表示来呈现CGR场景，其中所述视觉表示提供与所述上下文触发器相关联的信息。

2.根据权利要求1所述的方法，其中，获取表征由所述图像传感器捕获的所述视场的所述图像数据包括在不同于所述设备的第二设备上接收表征使用所述图像传感器捕获的所述视场的所述图像数据。

3.根据权利要求1或2所述的方法，其中，获取表征使用所述图像传感器捕获的所述视场的所述图像数据包括获取表征由被集成到所述设备当中的所述图像传感器捕获的所述视场的所述图像数据。

4.根据权利要求1或2所述的方法，其中，响应于通过连接到所述设备的或集成到所述设备中的输入设备接收到来自用户的输入，而识别出所述多个上下文CGR数字助理中的所述一者的所述上下文触发器。

5.根据权利要求4所述的方法，其中：

所述输入设备包括被配置为检测眼睛注视的注视传感器；以及

在所述图像数据中识别所述多个上下文CGR数字助理中的所述一者的所述上下文触发器包括：

检测所述用户的所述眼睛注视接近所述视场中的对象；以及

激活与所述对象相关联的所述上下文触发器。

6.根据权利要求4所述的方法，其中：

所述输入设备包括音频输入设备；以及

在所述图像数据中识别所述多个上下文CGR数字助理中的所述一者的所述上下文触发器包括根据使用所述音频输入设备接收到的输入来激活所述上下文触发器。

7.根据权利要求4所述的方法，其中：

所述输入设备包括惯性测量单元(IMU)，以获取所述用户的身体姿势；以及

在所述图像数据中识别所述多个上下文CGR数字助理中的所述一者的所述上下文触发器包括：

从所述身体姿势导出所述用户的身体部分的位置，其中，所述身体部分的所述位置表明对所述图像数据中的主体的兴趣；以及

激活所述图像数据中与所述主体相关联的所述上下文触发器。

8.根据权利要求4所述的方法，其中：

所述输入设备包括与HMD相关联的一个或多个相机，所述HMD由所述用户佩戴以获取与所述用户相关联的所述视场；以及

在所述图像数据中识别所述多个上下文CGR数字助理中的所述一者的所述上下文触发器包括：

基于所述视场生成所述用户的姿势信息；

从所述姿势信息导出所述用户的身体部分的位置，其中，所述身体部分的所述位置表明对所述图像数据中的主体的兴趣；以及

激活所述图像数据中与所述主体相关联的所述上下文触发器。

9.根据权利要求1或2所述的方法，其中，所述多个上下文CGR数字助理中的所述一者的所述视觉表示具有至少一种上下文含义。

10.根据权利要求1或2所述的方法，其中，所述上下文包括与用户相关联的日历事件或者所述设备的位置中的至少一者。

11.根据权利要求1或2所述的方法，进一步包括在所述一个或多个显示器上显示所述多个上下文CGR数字助理中的所述一者的所述视觉表示的动画，从而向所述用户提供所述信息，所述显示包括根据所述上下文调整所述动画。

12.根据权利要求11所述的方法，进一步包括：

确定所述用户已经接收到所述信息；以及

停止在所述CGR场景中显示所述多个上下文CGR数字助理中的所述一者的所述动画或所述视觉表示中的至少一者。

13.根据权利要求1或2所述的方法，进一步包括使用多个扬声器来提供音频输出，所述音频输出在空间上对应于与所述视场中的所述多个上下文CGR数字助理中的所述一者相关联的位置。

14.根据权利要求1或2所述的方法，其中，所述设备包括头戴式设备、移动电话、平板电脑或无人机中的至少一者。

15.一种设备，所述设备包括：

一个或多个显示器；

非暂态存储器；以及

一个或多个处理器，所述一个或多个处理器用于：

获取表征由图像传感器捕获的视场的图像数据；

在所述图像数据中识别多个上下文CGR数字助理中的一者的上下文触发器；

响应于识别出所述上下文触发器，选择所述多个上下文CGR数字助理中的所述一者的视觉表示；以及

通过显示所述多个上下文CGR数字助理中的所述一者的所述视觉表示来呈现CGR场景，其中所述视觉表示提供与所述上下文触发器相关联的信息。

16.根据权利要求15所述的设备，其中，获取表征由所述图像传感器捕获的所述视场的所述图像数据包括在不同于所述设备的第二设备上接收表征使用所述图像传感器捕获的所述视场的所述图像数据。

17.根据权利要求15或16所述的设备，其中，获取表征使用所述图像传感器捕获的所述视场的所述图像数据包括获取表征由被集成到所述设备当中的所述图像传感器捕获的所述视场的所述图像数据。

18.一种用于存储一个或多个程序的非暂态存储器，所述一个或多个程序在由具有一个或多个显示器的设备的一个或多个处理器执行时使得所述设备执行操作，所述操作包括：

获取表征由图像传感器捕获的视场的图像数据；

在所述图像数据中识别多个上下文CGR数字助理中的一者的上下文触发器；

响应于识别出所述上下文触发器，选择所述多个上下文CGR数字助理中的所述一者的视觉表示；以及

通过显示所述多个上下文CGR数字助理中的所述一者的所述视觉表示来呈现CGR场景，其中所述视觉表示提供与所述上下文触发器相关联的信息。

19.根据权利要求18所述的非暂态存储器，其中，获取表征由所述图像传感器捕获的所述视场的所述图像数据包括在不同于所述设备的第二设备上接收表征使用所述图像传感器捕获的所述视场的所述图像数据。

20.根据权利要求18或19所述的非暂态存储器，其中，获取表征使用所述图像传感器捕获的所述视场的所述图像数据包括获取表征由被集成到所述设备当中的所述图像传感器捕获的所述视场的所述图像数据。

Images