CN116670722A - 增强现实协作系统 - Google Patents

Abstract

一种系统，其包括：用户设备，该用户设备包括：传感器，其配置成感测与用户设备的物理环境相关的数据，显示器；硬件处理器；以及非暂时性机器可读存储介质，其编码有可由硬件处理器可执行的指令，以：将虚拟对象放置在第二用户设备显示的3D场景中，确定用户设备相对于用户设备的物理环境中的物理位置的姿势，并且基于用户设备相对于放置的虚拟对象的姿势生成虚拟内容的图像，其中虚拟内容的图像由用户设备的一个或多个显示器投射在相对于用户设备的物理环境中的物理位置的预定位置。

Description

增强现实协作系统

相关申请的交叉参考

本申请要求于2020年9月16日提交的美国专利申请第17/023，220号的优先权，其全部内容通过引用并入本文。

背景技术

所公开的技术一般涉及增强现实系统，并且更具体地，一些实施例涉及使用此类系统的协作。

发明内容

一种基于计算机技术的要求保护的解决方案克服了具体出现在计算机技术领域中的问题。

总的来说，公开的一个方面的特征是一种系统，该系统包括：配置成显示虚拟内容的系统，该显示虚拟内容的系统包括：用户设备，包括：一个或多个配置成感测与用户设备的物理环境相关的数据的传感器，以及一个或多个显示器；一个或多个硬件处理器；非暂时性机器可读存储介质，其编码有可由一个或多个硬件处理器执行的指令以：响应于用户设备接收到的用户输入，将虚拟对象放置在由第二用户设备显示的3D场景中的虚拟位置中，该虚拟位置对应于用户设备的物理环境中的物理位置，确定用户设备相对于用户设备的物理环境中的物理位置的姿势，并基于用户设备相对于放置的虚拟对象的姿势生成虚拟内容的图像，其中虚拟内容的图像由用户设备的一个或多个显示器投影在相对于用户设备的物理环境中的物理位置的预定位置。

该系统的实施例可以包括以下特征中的一个或多个。一些实施例包括第二虚拟内容系统，其包括：包括以预定模式布置的多个辐射发射器的结构，以及第二用户设备，其中该第二用户设备包括：一个或多个传感器，其配置成感测多个辐射发射器的输出，以及一个或多个显示器；一个或多个硬件处理器；以及非暂时性机器可读存储介质，其编码有可由一个或多个硬件处理器执行的指令以：基于多个辐射发射器的感测输出确定第二用户设备相对于结构的姿势，并且基于第二用户设备相对于结构的姿势生成虚拟内容的第二图像，其中虚拟内容的第二图像由第二用户设备的一个或多个显示器投影在相对于结构的预定位置。在一些实施例中，第一虚拟内容系统远离第二虚拟内容系统。在一些实施例中，第一虚拟内容系统靠近第二虚拟内容系统。在一些实施例中，指令还可以由一个或多个硬件处理器执行以：生成第一用户设备的虚拟代理：以及基于(i)第一用户设备相对于虚拟对象的姿势将虚拟代理添加到第二图像，其中图像由第二用户设备的一个或多个显示器投影。在一些实施例中，指令可进一步由一个或多个硬件处理器执行以：生成第二用户设备的虚拟代理；并且基于(i)第二用户设备相对于结构的姿势，以及(ii)放置的虚拟对象相对于结构的姿势，将虚拟代理添加到第一图像，其中图像由第一用户设备的一个或多个显示器投影。在一些实施例中，多个辐射发射器被配置成发射红外光；第二用户设备上的一个或多个传感器被配置成感测多个辐射发射器的输出；并且指令可进一步由第二用户设备中的一个或多个硬件处理器执行，以基于多个辐射发射器的感测输出确定第二用户设备相对于结构的姿势。在一些实施例中，指令可进一步由一个或多个硬件处理器执行以响应于由用户设备接收到的用户输入来执行以下至少一项：选择虚拟内容，以及修改虚拟内容。在一些实施例中，第二用户设备可以戴在用户的头上。一些实施例包括手持电子设备；其中，指令可进一步由一个或多个硬件处理器执行，以响应于手持电子设备接收到的用户输入来执行以下至少一项：选择虚拟内容，以及修改虚拟内容。在一些实施例中，第二用户设备还包括至少一个光学元件，其有助于查看与物理环境的视图相结合的第二图像。在一些实施例中，结构附接到物理对象。一些实施例包括配置成显示虚拟内容的第二系统，包括：第二用户设备，该第二用户设备包括：一个或多个传感器中的第二组，其配置成感测与第二用户设备的物理环境相关的数据，以及一个或多个显示器中的第二组；其中指令可进一步由一个或多个硬件处理器执行以：响应于由第二用户设备接收的用户输入，将第二用户设备显示的3D场景中的第二虚拟对象放置在虚拟位置，该虚拟位置对应于第二用户设备的物理环境中的物理位置，确定第二用户设备相对于第二用户设备的物理环境中的物理位置的姿势，并基于第二用户设备相对于放置的虚拟对象的姿势生成虚拟内容的第二图像，其中虚拟内容的第二图像由第二用户设备的一个或多个显示器显示在相对于放置的第二虚拟对象的预定位置。在一些实施例中，第一虚拟内容系统远离第二虚拟内容系统。在一些实施例中，第一虚拟内容系统靠近第二虚拟内容系统。

一般而言，公开的一个方面的特征在于一种非暂时性机器可读存储介质，其编码有可由一个或多个硬件处理器执行的指令，以便针对配置成显示虚拟内容的系统中的用户设备：感测用户设备的物理环境的表示；响应于用户设备接收到的用户输入，将第二用户设备显示的3D场景中的虚拟对象放置在虚拟位置，该虚拟位置对应于用户设备的物理环境中的物理位置；确定用户设备相对于用户设备的物理环境中的物理位置的姿势；并且基于用户设备相对于放置的虚拟对象的姿势生成虚拟内容的图像，其中虚拟内容的图像由用户设备的一个或多个显示器投影在相对于第二用户设备的物理环境中的物理位置的预定位置。

非暂时性机器可读存储介质的实施例可以包括以下特征中的一个或多个。在一些实施例中，指令可进一步由一个或多个硬件处理器执行，以便针对配置成显示虚拟内容的第二系统中的第二用户设备：感测以预定模式布置在结构中的多个辐射发射器的输出；基于多个辐射发射器的感测输出确定第二用户设备相对于结构的姿势，并且基于第二用户设备相对于结构的姿势生成虚拟内容的第二图像，其中虚拟内容的第二图像由第二用户设备的一个或多个显示器投影在相对于结构的预定位置。在一些实施例中，指令还可以由一个或多个硬件处理器执行以：生成第一用户设备的虚拟代理；基于第一用户设备相对于虚拟对象的姿势将虚拟代理添加到第二图像，其中图像由第二用户设备的一个或多个显示器投影。在一些实施例中，指令可进一步由一个或多个硬件处理器执行以：生成第二用户设备的虚拟代理；基于第二用户设备相对于结构的姿势将虚拟代理添加到第一图像，其中图像由第一用户设备的一个或多个显示器显示。在一些实施例中，多个辐射发射器被配置成发射红外光；指令可进一步由第二用户设备的一个或多个硬件处理器执行以：感测多个辐射发射器的输出，并基于多个辐射发射器的感测输出确定第二用户设备相对于结构的姿势。在一些实施例中，指令可进一步由一个或多个硬件处理器执行以响应于由用户设备接收到的用户输入来执行以下至少一项：选择虚拟内容；以及修改虚拟内容，其中第二用户设备包括至少一个光学元件，其有助于查看与第二用户的物理环境的视图相结合的第二图像。

附图说明

本发明根据一个或多个不同的实施例，将结合以下附图进行详细描述。仅出于说明的目的提供附图并且仅描绘典型或示例实施例。

图1示出了根据所公开的技术的一些实施例的以物理全息板为特征的增强现实协作系统。

图2示出了根据所公开的技术的一些实施例的以物理全息板为特征的增强现实协作系统与计算机辅助设计(CAD)系统相结合的使用。

图3是根据所公开的技术的一些实施例的物理全息板的内部透视图。

图4是根据所公开的技术的一些实施例的头部装置的透视图。

图5是根据所公开的技术的一些实施例的附加设备(add-on device)的透视图。

图6是根据所公开的技术的一些实施例的附接有附加设备的用户设备的透视图。

图7示出了根据所公开的技术的一些实施例的以虚拟全息板为特征的增强现实协作系统。

图8示出了根据所公开的技术的实施例的一些示例联网系统。

图9是根据所公开的技术的一些实施例的物理全息系统的过程的流程图。

图10是根据所公开的技术的一些实施例的虚拟全息系统的过程的流程图。

图11是根据所公开的技术的实施例的用于向第二全息系统用户提供第一全息系统中用户的虚拟代理的过程的流程图。

图12是可用于实现本发明中描述的实施例的各种特征的示例计算组件。

附图不是详尽的并且不将本发明限制为所公开的精确形式。

具体实施方式

随着计算和网络技术的不断进步，计算机系统正在为人们提供更好的方式，让他们在同一地点或远程位置进行虚拟协作。同时，增强现实系统正在为人们提供更好的方式来查看和修改三维内容。然而，结合这些系统的尝试被证明是不成功的。目前的系统无法提供足够的视觉质量，通常提供低图像质量和不足的视野。这些系统通常也缺乏提供特写视图的能力，并且不适合戴眼镜的用户。而且这些系统不能让用户看到彼此的眼睛，进一步削弱了协作体验。

此外，这些系统为用户提供的输入和控制特征件不足。当前系统通常很复杂并且在人体工程学方面具有挑战性，例如使文本输入变得困难，并且新用户面临着陡峭的学习曲线。另外，当前系统需要大量准备才能使用。例如，这些系统中的许多在每次使用之前和使用期间通常同时都需要数据准备、软件开发、资势识别技术和/或耗时的房间和表面扫描——以及执行所有这些功能的计算能力。最后，这些系统中的许多与当前的协作系统不兼容，诸如现有的协作会议解决方案。

面对这些挑战，所公开的技术的一些实施例提供了增强现实协作系统，其特征在于为协作系统显示的虚拟内容指定投影位置的物理设备，在本文中也称为物理“全息板”。在这些实施例中，虚拟内容的图像在相对于物理全息板的预定位置向用户显示，使得虚拟内容类似于由全息板投影的全息图。用户可以使用各种用户设备查看虚拟内容并与之交互，包括头部装置、平板计算机、智能电话、控制器、手势和与虚拟控制系统耦合的手势识别等。每个物理全息板不仅为系统提供位置和方向信息，还为用户提供直观的物理参考点。虽然传统的二维协作系统清楚地表明虚拟内容将出现在哪里，但是共享的全息体验可以出现在任何地方，因此用户并不清楚应该看哪里。通过所公开的全息板，所公开的技术充当共享3D监视器，使协作系统的用户清楚虚拟内容将出现在哪里，从而有助于系统的目的和有效性。在一些实施例中，所公开的技术允许3D视频会议，在每个位置都有全息板。这些实施例使分布在不同地域的用户感觉到他们都是在同一张桌子旁进行合作。

在一些实施例中，每个物理全息板可以是包括以已知模式布置的多个辐射发射器，例如红外发射器的结构。全息板可以放置在用户可以聚集在单个位置中的中心位置，例如会议室的桌子。每个用户设备上的传感器可以检测来自发射器的发射以确定头部装置相对于全息板的姿势。如本文所用，对象的“姿势”表示其与另一对象的空间关系，包括位置和方向。

在其他实施例中，用户设备上的传感器可以使用对象或图像识别技术来确定头部装置相对于物理全息板的姿势。在这样的实施例中，物理全息板不需要包括辐射发射器。

在任何实施例中，确定姿势可以包括处理用户设备中的惯性监测单元(IMU)的输出。例如，采用头部装置形式的用户设备可以包括IMU。诸如摄像头之类的传感器通常允许以大约60Hz的相对较低的频率进行定位。相反，IMU可以以非常高的速率提供位置变化，例如以200Hz或更高的频率。这两种技术及其相关输出的融合使协作系统能够实现高度准确的定位，同时还能够对用户的未来位置进行高度准确的预测。

系统可以基于每个用户设备相对于物理全息板的姿势为每个用户设备生成虚拟内容的图像。用户设备可以在相对于物理全息板的预定位置显示图像。例如，虚拟内容对用户来说可能看起来悬停在全息板上方，就好像全息板正在投影虚拟内容的全息图。

所公开的技术的一些实施例提供以虚拟全息板为特征的增强现实协作系统。在这些实施例中，用户可以使用各种用户设备(包括头部装置、平板电脑、智能电话等)查看虚拟内容并与之交互，而无需使用物理全息板。用户可以使用用户设备和表面跟踪软件(诸如ARKit或ARCore)在表面上放置虚拟全息板，而不是在表面上放置物理结构。这些实施例对于可能没有或不方便使用物理全息板的环境来说是理想的，诸如酒店房间。与物理全息板一样，虚拟全息板是用户的视觉参考点，也是使用户环境的坐标系与包括物理或虚拟全息板的远程系统的坐标系保持一致的手段。与物理全息板一样，系统生成虚拟内容的图像以显示在用户设备上相对于虚拟全息板的预定位置。例如，虚拟内容对用户来说可能看起来悬停在虚拟全息板上方，就好像虚拟全息板正在投影虚拟内容的全息图。无论用户位置如何，并且无论使用的是物理还是虚拟全息板，所有用户都可以在相对于全息板的相同位置看到虚拟内容，从而创建呈现共享3D/全息监视器的系统感知。

在一些实施例中，所公开的增强现实系统中的一个或多个可以互连以共享用于通信或协作的虚拟内容。例如，互连系统可以是联网的，并且可以包括一个或多个物理全息系统和一个或多个虚拟全息系统。在这样的实施例中，每个用户可以具有一个或多个权限。例如，权限可以包括查看或编辑虚拟内容的权限。用户可以在协作期间根据用户输入和/或可以在开始时或在协作会话期间在系统上设置的特定参数来改变权限。任何系统都可以远离一个或多个其他系统。任何虚拟全息系统都可以与其他虚拟或物理全息系统并置。

图1示出了根据所公开的技术的一些实施例的以物理全息板为特征的增强现实协作系统100。参照图1，系统100包括物理全息投影板102和三个用户104a、b、c用来查看虚拟内容106并与其交互的多个用户设备，在该示例中该虚拟内容106表示建筑物。在该示例中，用户104a、b使用头部装置108a、b来查看虚拟内容106，而用户104c使用平板电脑110来查看虚拟内容106。

在图1的示例中，用户104b、c是本地的，并且实际存在于与全息板102相同的房间中，而用户104a是远程的，在另一个位置，如虚线所示。远程用户104a的虚拟代理可以作为虚拟内容106的一部分显示给本地用户104b、c，例如如下文详细描述的。在图1的示例中，虚拟代理代表远程用户104a的头部装置108a。

如上所述，每个用户设备相对于物理全息板102的姿势可以通过全息板上的感测发射器或者通过对象或图像识别来确定。为了促进发射器的使用，平板电脑110可以包括传感器，或者可以配备有包括传感器的附加设备，例如如下所述。

该系统可以包括一个或多个计算机系统116，每个计算机系统116都具有存储器和一个或多个处理器，该处理器执行存储在存储器中的指令以生成虚拟内容106的图像以在用户设备上显示给用户104，这些用户设备可以连接到计算机系统116上以用于供电和通信。例如，头部装置可以连接到计算机系统，而移动设备可以依靠自己的电池和计算能力运行。在一些实施例中，该处理中的一些或全部可以在用户设备处发生，这些用户设备可以是电池供电的并且包含在协作系统中运行所需的任何和所有处理器和通信设备。在一些实施例中，用户设备可以具有到计算机的有线连接，例如以提供高图像质量、计算能力和/或电力。在一些实施例中，用户设备可以具有到计算机的无线连接，诸如蓝牙、WiFi等，例如以允许增加用户104的移动性。

用户104可以使用他们的用户设备或者直接或间接连接到他们的用户设备的外围设备来与虚拟内容106交互。例如，智能电话可以包括提供用于与虚拟内容交互的工具的应用程序。在图1的示例中，用户104b被示为使用智能电话112b以使用波束114与内容交互。在一些实施例中，波束114可以是由系统生成并且在用户设备上可见的虚拟波束。与虚拟内容的交互可以包括虚拟内容的选择、虚拟内容的修改、虚拟内容的注释等。

在一些实施例中，其他用户104a、c也可以与虚拟内容106交互，可以是顺序的，也可以是同时的。例如，用户104a可以使用智能电话112a来与虚拟内容106交互，而用户104c可以使用平板电脑110。在一些实施例中，用户104a、b可以使用他们的头部装置108a、b来与虚拟内容106交互。在这样的实施例中，头部装置可以包括用户接口，该用户接口包括触觉控制、注视控制、语音命令等。如下所述，在手势控制系统中，头部装置108可以包括用于检测手势的传感器。

在一些实施例中，所公开的系统可以与其他系统结合使用。例如，系统可以包括应用程序，该应用程序用于使用来自诸如计算机辅助设计(CAD)系统的现有3D工具的3D数据来创建虚拟内容。图2示出了根据所公开的技术的一些实施例的以结合CAD系统的物理全息板为特征的增强现实协作系统200的使用。参照图2，系统200包括物理全息板202和用于观看虚拟内容206的头部装置208，虚拟内容在该示例中表示火箭发动机。在该示例中，系统200还包括CAD系统220。该CAD系统220生成的视图可以与虚拟内容206的视图协调。例如，一个视图的操纵可以影响两个视图，例如实时地。

虽然在图2中物理全息板202被示为独立单元，但是所公开的物理全息板可以采用任何物理形式，并且可以附接到一个或多个物理对象或与一个或多个物理对象集成。在图2中，示出了三个示例。物理全息板202是十字形设计。物理全息板210附接到计算机监视器的框架或与计算机监视器的框架集成。物理全息板212附接到支架214或与支架214集成，用于固定头部装置208。

图3是根据所公开的技术的一些实施例的物理全息板300的内部透视图。在这些实施例中，全息板具有十字形设计并且具有的四个辐射发射器302a、b、c、d布置在物理全息板300的相应臂内。然而，如上所述，所公开的物理全息板可以采用任何物理形状。在一些实施例中，发射器302以系统已知的预定模式布置。这些布置有助于确定用户设备相对于物理全息板300的姿势。

图4是根据所公开的技术的一些实施例的头部装置400的透视图。参照图4，头部装置400可以包括传感器402，该传感器402配置成捕获物理全息板的发射器的发射。例如，当发射器是红外发射器时，传感器402可以包括配置成捕获发射器的图像的红外摄像头。

头部装置400可以包括一个或多个光学元件。光学元件可以实现为任何反射半透明光学器件，例如如404所示。例如，光学元件404可以实现为离轴光学器件、水盆光学器件、棱镜光学器件、平面光学器件(即“波导”)等。在这些实施例中的一些中，光学元件被设计成允许其他并置的用户看到佩戴者的眼睛。半透明光学器件可以由用户替换为反射的不透明光学器件，以获得虚拟现实体验。

在一些实施例中，光学元件404可以由显示器替代或增强以允许直通增强现实或虚拟现实体验。在这样的实施例中，显示器可以是位于用户眼前的用户设备中的LCD、LED、OLED或其他显示器。在这样的实施例中，显示器有助于观看与物理环境结合的虚拟内容的图像。在这些实施例的一些中，头部装置400包括用于捕获物理环境图像的摄像头，并且这些图像被添加到虚拟内容的图像中，因此佩戴者看到与物理环境集成的虚拟内容。在这样的实施例中，头部装置的前部可以是不透明的。

头部装置400可以包括头部附接机构406。可以以任何方式实现头部附接机构406。例如，头部附接机构406可以实现为头带等。在一些实施例中，光学元件404被定位成使得头部装置400提供充足的空间来容纳佩戴眼镜的用户。

在一些实施例中，用于观看虚拟内容的用户设备可以实现为手持计算机，诸如智能电话、平板电脑等。在一些实施例中，这些手持用户设备可以包括能够检测物理全息板的发射器的传感器。在一些实施例中，在用户设备可能不能够进行这种感测的情况下，一些实施例可以提供或被配置成接受能够执行感测的附加设备。

图5是根据所公开的技术的一些实施例的附加设备500的透视图。参照图5，附加设备500可以包括配置成将附加设备500附接到用户设备的附接设备502。在图5的示例中，附接设备502被实现为夹具。然而，附接设备502可以以任何方式附接到用户设备。

图6是根据所公开的技术的一些实施例的附接有附加设备500的用户设备600的透视图。在图6的示例中，用户设备被实现为智能电话。然而，用户设备600可以是能够执行这里描述的功能的任何设备。

在一些实施例中，附加设备500可以被配置成与用户设备600无线通信。例如，附加设备500可以包括蓝牙收发器、NFC设备、WiFi设备等。在一些实施例中，附加设备500可以具有到用户设备600的有线通信连接。例如，附加设备500可以具有配置成连接到用户设备600的连接器的连接器。在一些实施例中，在附加设备500和用户设备600之间没有直接的有线或无线通信连接。相反，附加设备500可以通信到计算机网络，用户设备600也连接到该计算机网络，例如经由该用户设备的蜂窝或互联网连接(例如，经由WiFi)。在一些实施例中，附加设备500可以包括NFC标签以将附加设备500和用户设备600配对以用于直接通信。例如，用户可以进入会议室，拿起附加设备500，其与用户设备600配对，向用户设备600标识自己，该用户设备600自动打开用户设备600上的控制器应用程序。

在一些实施例中，附加设备500可以具有独立于用户设备600的电源的电源。在一些实施例中，附加设备500可以被配置成从用户设备600汲取电力。在一些实施例中，附加设备500可以被配置成向用户设备600提供电力。所描述的配置的所有组合都被设想。

图7示出了根据所公开的技术的一些实施例的以虚拟全息板702为特征的增强现实协作系统700。参照图7，系统700包括用户可以用来查看虚拟内容706并与其交互的用户设备，在该示例中，虚拟内容表示火箭发动机。在图7的示例中，用户设备被实现为平板电脑710。然而，用户设备可以是能够执行本文描述的功能的任何设备。例如，用户设备可以实现为头部装置、智能电话、笔记本计算机等。

用户可以使用平板电脑710以将平板电脑710显示的3D场景中的虚拟对象放置在虚拟位置中，该虚拟位置对应于用户的物理环境中的物理位置。在该示例中，用户已经将虚拟全息板702放置在对应于桌子720的表面的虚拟位置中。当然，用户也可以将虚拟全息板702放置在对应于用户的物理环境中的其他表面的虚拟位置中。

与物理全息板一样，虚拟全息板用作用户的参考点。在一些实施例中，系统可以确定平板电脑710相对于由虚拟全息板702指示的物理表面的姿势。例如，在平板电脑710上执行的应用程序可以使用一个或多个传感器来扫描和跟踪物理环境中的表面，并且确定由虚拟全息板所指示的相对于平板电脑710的物理位置。

基于平板电脑710相对于用户选择的并且由平板电脑710实现的表面跟踪软件启用的桌子720的表面的姿势，系统生成虚拟内容706和虚拟全息板702的图像。平板电脑710然后可以在相对于虚拟全息板702的预定位置显示图像。例如，虚拟内容对用户来说可能看起来悬停在虚拟全息板上方，就好像该全息板正在投影虚拟内容的全息图一样。该图像可以包括虚拟全息板702的图像。该图像可以包括物理环境的图像，如图7所示，其中该图像包括桌子720的图像。

图8示出了根据所公开的技术的实施例的一些示例联网系统。一个或多个系统可以包括无线路由器以连接系统的一个或多个组件。无线路由器可以采用任何无线技术，例如包括WiGig、WiFi6、5G毫米波等。

显示了几个示例系统配置，其通过网络812互连。然而，应该理解的是，可以采用其他系统配置并以任何数量互连。虽然用户设备被示为头部装置，但是可以采用任何种类的用户设备。在804处示出了在一个房间中包括两个用户和一个物理全息板的配置。在配置804中，两个用户正在观看相同的虚拟内容。在806处示出了包括一个房间中的两个用户和第一物理全息板以及第二房间中的一个用户和第二物理全息板的配置。在配置806中，所有三个用户都在观看相同的虚拟内容。在808处示出了包括一个房间中的一个用户和第一物理全息板以及第二房间中的一个用户和第二物理全息板的配置。在配置808中，两个用户正在观看相同的虚拟内容。在810处显示了在一个房间中包括一个用户和一个虚拟全息板(由虚线指示)的配置。

图9是根据所公开的技术的一些实施例的物理全息系统的过程900的流程图。例如，过程900可以由图1的物理全息系统100执行。为了清楚起见，针对一个用户设备描述过程900。然而，可以针对物理全息系统中的每个用户设备执行过程900。

参照图9，过程900可以包括在902处感测布置在结构中的多个辐射发射器的输出。在图1的示例中，头部装置108中的每一个可以包括一个或多个传感器，例如图4的传感器402。在手势控制系统中，头部装置108可以包括用于检测手势的附加传感器。每个用户设备可以包括传感器，例如集成在用户设备中或作为诸如图5的附加设备500的附加设备的一部分。发射器可以是红外发射器，并且传感器可以是捕获红外发射器图像的摄像头。

再次参照图9，过程900可以包括在904处基于辐射发射器的感测输出和IMU的输出来确定用户设备相对于结构的姿势。继续图1的示例，计算机系统(一个或多个)116可以确定用户设备108相对于物理全息板102的姿势。

再次参照图9，过程900可以包括在906处基于用户设备相对于结构的姿势生成虚拟内容的图像。继续图1的示例，计算机系统(一个或多个)116可以基于用户设备108相对于全息板102的姿势为用户设备108生成虚拟内容106的图像。

每个用户设备可以具有相对于全息板102的不同姿势。因此每个图像可以不同，并且可以呈现从相应姿势观看的虚拟内容。系统可以固定虚拟内容相对于全息板102的方向，并且可以频繁地更新图像。例如，可以使用复杂算法(诸如融合摄像头和惯性传感器以及基于头部运动模型的预测)以高速率刷新图像。因此，虚拟内容可能看起来保持静止，从而用户可以在房间内四处移动以从不同的视角观看虚拟内容。

对于允许立体观看的用户设备，系统可以生成一对图像。这样的用户设备可以同时显示该对图像作为虚拟内容的立体图像。

再次参照图9，过程900可以包括在908处在相对于结构的预定位置中在用户设备的光学元件上显示图像。继续图1的示例，计算机系统116可以将图像传输到用户设备，并且响应于接收图像，用户设备可以在其显示器或光学元件上显示图像。过程900可以重复，为用户提供无缝的观看体验。

图10是根据所公开的技术的一些实施例的虚拟全息系统的过程1000的流程图。例如，过程1000可以由图7的虚拟全息系统700执行。为了清楚起见，过程1000是针对一个用户设备描述的。然而，可以为虚拟全息系统中的每个用户设备执行过程1000。

参照图10，过程1000可以包括在1002捕获与物理环境相关的数据。在图7的示例中，平板电脑710可以包括用于捕获图像的传感器。传感器可以实现为摄像头、深度传感器等或其组合。

再次参照图10，在图7的示例中，平板电脑710可以包括用于捕获图像的传感器。传感器可以实现为摄像头、深度传感器等或其组合。

再次参照图10，过程1000可以包括在1003处确定用户设备相对于物理环境的姿势，以及在1004处响应于用户设备接收到的用户输入，将用户设备显示的3D场景中的虚拟对象放置在与物理环境中的物理位置相对应的虚拟位置。继续图7的示例，用户可以使用平板电脑710将虚拟全息板702放置在桌子720上。然后，即使平板电脑710被用户移动，虚拟全息板702看起来仍保持在该位置。

再次参照图10，过程1000可以包括在1006处确定用户设备相对于放置的虚拟对象的物理位置的姿势。继续图7的示例，平板电脑710可以确定平板电脑710相对于虚拟全息板702的姿势。也就是说，平板电脑710可以确定平板电脑710相对于桌子720上的物理位置的姿势，其中虚拟全息板702已经被放置在虚拟环境中。可以以任何合适的方式确定该姿势。例如，姿势可以由诸如ARKit或ARCore的商用应用程序确定，该应用程序创建表面的虚拟地图和用户物理环境的其他显著物理特征，应用程序被编程为识别用户物理环境。

再次参照图10，过程1000可以包括在1008处基于用户设备相对于虚拟对象的物理位置的姿势生成虚拟内容的图像。继续图7的示例，平板电脑710可以基于平板电脑710相对于对应于用户放置虚拟全息板的物理位置的姿势，为用户生成虚拟内容706的图像。该图像呈现从那个姿势观看的虚拟内容706。系统可以固定虚拟内容相对于虚拟全息板702的方向，并且可以频繁地更新图像。因此，虚拟内容看起来保持静止，使得用户可以在房间内四处移动以从不同的角度观看虚拟内容。

对于允许立体观看的用户设备，系统可以生成一对图像。这样的用户设备可以同时显示该对图像作为虚拟内容的立体图像。

再次参照图10，过程1000可以包括在1010在预定位置在用户设备的显示器或光学元件上显示图像，该预定位置相对于放置的虚拟对象的物理位置。继续图7的示例，图像可以显示在如图7所示的平板电脑710上。在其他实施例中，图像可以显示在其他用户设备上，诸如头部装置、智能电话、膝上型计算机等。过程1000可以重复，为用户提供无缝的观看体验。

在一些实施例中，用户可以与其他用户共享他们的虚拟内容图像。例如，在解释虚拟内容的特定视图时，演示者可以共享演示者对虚拟内容的视图，以便其他用户看到相同的视图。

在一些实施例中，每个联网系统可以在提供给其本地用户的图像中包括其他系统中的用户和/或用户设备的表示。在此称为“虚拟代理”的这些表示可以采用任何形式。例如，用户的虚拟代理可以仅表示该用户当前使用的用户设备。然而，可以以任何方式表示虚拟代理。在一些实施例中，可以跟踪用户的移动以提供更真实的虚拟代理。例如，系统可以跟踪用户的头部、手、身体、眼睛等的运动。

图11是根据所公开的技术的实施例的用于向第二全息系统用户提供第一全息系统中用户的虚拟代理的过程1100的流程图。第一和第二全息系统中的任一个可以是虚拟全息系统或物理全息系统。

参照图11，过程1100可以包括在1102处在物理全息系统中生成用户设备的虚拟代理。虚拟代理可以包括一个或多个三维对象。虚拟代理可以代表一个或多个用户设备、用户、用户正在使用的控制设备或其任何组合。

再次参照图11，过程1100可以包括在1104处将虚拟代理添加到用于第二全息系统的虚拟内容的图像。在一些实施例中，虚拟代理基于用户设备相对于第一全息系统中的全息板的姿势被添加到虚拟内容的图像。这种姿势的使用保留了用户与虚拟内容之间的空间关系，因此该关系在第二全息系统中被虚拟代理复制。

在一些实施例中，第一全息系统可以将虚拟代理添加到虚拟内容的图像，并且将那些图像提供给第二全息系统。或者，第一全息系统可以将虚拟代理或表示虚拟代理的信息连同描述用户设备相对于结构的姿势的信息一起传输到第二全息系统，从而使第二全息系统能够生成包括虚拟代理的虚拟内容的图像。

最后，过程1100可以包括在1106处在第二全息系统中显示图像。例如，图像可以显示在第二全息系统的用户用来查看虚拟内容的一个或多个用户设备上。

在一些实施例中，所公开的系统可以协作以在每个系统处以相同的地理方向呈现虚拟内容。在这样的实施例中，每个系统可以使用指南针方向来定向虚拟内容。例如，表示建筑物的虚拟内容可以定向为使得建筑物的北侧面向北。在这样的实施例中，物理全息板可以包括指南针。在一些实施例中，用户可以看到指南针，因此用户可以将全息板旋转到面朝北方。在一些实施例中，指南针可以包括发送器以将方向信息发送到生成虚拟内容的图像的设备，该设备可以使用该方向信息来相应地旋转虚拟内容。在一些实施例中，物理全息板可以包括设计元素，该设计元素指示应当如何将全息板放置在房间中以向观众提供虚拟内容的期望视角。例如，全息板的顶部可能有一个带有“观众”一词的箭头，以指示正确的取向。

这些技术也可以用于虚拟代理的定位。例如，当第一全息板的用户位于虚拟内容的西边时，虚拟代理可以在虚拟内容的西边的第二全息系统中呈现。在某些情况下，多个系统中的用户可能相对于虚拟内容占据相同的位置。叠加这些用户的虚拟代理可能会让用户感到不安。因此，在一些实施例中，系统可以显示虚拟代理使得其不出现在彼此之上。

可能希望将虚拟内容和虚拟代理的照明条件与将显示虚拟内容处的照明条件相匹配。因此，在一些实施例中，物理全息板和/或用户设备可以包括用于检测环境照明条件的摄像头。摄像头可以具有宽视野，例如具有鱼眼镜头。生成虚拟内容的图像的计算系统和/或设备然后可以相应地调整虚拟内容的照明。

图12描绘了示例计算机系统1200的框图，其中可以实现本文描述的实施例。计算机系统1200包括总线1202或用于传递信息的其他通信机制、与总线1202耦合用于处理信息的一个或多个硬件处理器1204。硬件处理器1204可以是例如一个或多个通用微处理器。

计算机系统1200还包括耦合到总线1202的主存储器1206，诸如随机存取存储器(RAM)、高速缓存和/或其他动态存储设备，用于存储要由处理器1204执行的信息和指令。主存储器1206还可用于在执行要由处理器1204执行的指令期间存储临时变量或其他中间信息。当这些指令存储在处理器1204可访问的存储介质中时，将计算机系统1200呈现为专用机器，该专用机器被定制为执行指令中指定的操作。

计算机系统1200还包括耦合到总线1202的只读存储器(ROM)1208或其他静态存储设备，用于为处理器1204存储静态信息和指令。存储设备1210，诸如磁盘、光盘或USB拇指驱动器(闪存驱动器)等被提供并耦合到总线1202以用于存储信息和指令。

计算机系统1200可以经由总线1202耦合到显示器1212，诸如液晶显示器(LCD)(或触摸屏)，用于向计算机用户显示信息。包括字母数字键和其他键的输入设备1214耦合到总线1202，用于将信息和命令选择传送到处理器1204。另一种类型的用户输入设备是光标控件1216，诸如鼠标、轨迹球或光标方向键，用于将方向信息和命令选择传送到处理器1204并用于控制显示器1212上的光标移动。在一些实施例中，可以经由在没有光标的触摸屏上接收触摸来实现与光标控制相同的方向信息和命令选择。

计算系统1200可以包括用于实现GUI的用户界面模块，该模块可以作为由计算设备执行的可执行软件代码存储在大容量存储设备中。这个模块和其他模块可以包括，例如，组件，诸如软件组件、面向对象的软件组件、类组件和任务组件、过程、功能、属性、程序、子例程、程序代码段、驱动程序、固件、微代码、电路系统、数据、数据库、数据结构、表格、数组和变量。

一般而言，如本文所用，词语“组件”、“引擎”、“系统”、“数据库”、“数据存储”等可指体现在硬件或固件中的逻辑，或指软件指令的集合，可能具有入口点和出口点，用编程语言编写，诸如Java、C、C++和Python。软件组件可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用诸如BASIC、Perl或Python之类的解释性编程语言编写。应该理解的是，软件组件可以从其他组件或从它们自身调用，和/或可以响应于检测到的事件或中断被调用。配置用于在计算设备上执行的软件组件可以在计算机可读介质上提供，诸如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质，或作为数字下载物(并且可能最初以压缩或可安装格式存储，需要在执行前安装、解压缩或解密)。这样的软件代码可以部分地或全部地存储在执行计算设备的存储器设备上，以供计算设备执行。软件指令可以嵌入到固件中，诸如EPROM。还应当理解的是，硬件组件可以包括连接的逻辑单元，诸如门和触发器，和/或可以包括可编程单元，诸如可编程门阵列或处理器。

计算机系统1200可以使用定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实现本文描述的技术，这些逻辑与计算机系统相结合导致或编程计算机系统1200成为专用机器。根据实施例，本文的技术由计算机系统1200响应于处理器1204执行包含在主存储器1206中的一个或多个指令的一个或多个序列而执行。这样的指令可以从诸如存储设备1210的另一存储介质读取到主存储器1206中。包含在主存储器1206中的指令序列的执行导致处理器1204执行本文描述的处理步骤。在备选实施例中，硬连线电路系统可用于代替软件指令或与软件指令结合使用。

本文使用的术语“非暂时性介质”和类似术语是指存储使机器以特定方式操作的数据和/或指令的任何介质。这种非暂时性介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，诸如存储设备1210。易失性介质包括动态存储器，诸如主存储器1206。非暂时性介质的常见形式包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、任何带有孔图案的物理介质、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其他内存芯片或盒式磁带，以及相同的网络版本。

非暂时性介质不同于传输介质，但可以与传输介质结合使用。传输介质参与非暂时性介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括构成总线1202的电线。传输介质也可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间产生的那些。

计算机系统1200还包括耦合到总线1202的通信接口1218。网络接口1218提供耦合到一个或多个网络链路的双向数据通信，该一个或多个网络链路连接到一个或多个本地网络。例如，通信接口1218可以是综合服务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或提供到对应类型的电话线的数据通信连接的调制解调器。作为另一示例，网络接口1218可以是局域网(LAN)卡，以提供到兼容LAN(或与WAN通信的WAN组件)的数据通信连接。也可以实现无线链接。在任何这样的实现中，网络接口1218发送和接收电、电磁或光信号，这些信号携带代表各种类型信息的数字数据流。

网络链路通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链接可以通过本地网络提供到主机或到由互联网服务提供商(ISP)操作的数据设备的连接。ISP又通过现在通常称为“互联网”的全球分组数据通信网络提供数据通信服务。本地网络和互联网都使用承载数字数据流的电、电磁或光信号。通过各种网络的信号和网络链路上的信号以及通过通信接口1218的信号是传输介质的示例形式，这些信号将数字数据传送到计算机系统1200以及从计算机系统1200传送数字数据。

计算机系统1200可以通过网络、网络链路和通信接口1218发送消息和接收数据，包括程序代码。在互联网示例中，服务器可以通过互连网、ISP、本地网络和通信接口1218传输应用程序的请求代码。

接收到的代码可以在其被接收时由处理器1204执行，和/或存储在存储设备1210或其他非易失性存储器中以供稍后执行。

在前面的部分中描述的每个过程、方法和算法都可以体现在由一个或多个计算机系统或包括计算机硬件的计算机处理器执行的代码组件中，并且可以由代码组件完全或部分地自动化。一个或多个计算机系统或计算机处理器还可以操作以支持在“云计算”环境中或作为“软件即服务”(SaaS)的相关操作的执行。这些过程和算法可以部分或全部在专用电路系统中实现。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。不同的组合和子组合旨在落入本发明的范围内，并且在一些实现中可以省略某些方法或过程框。本文描述的方法和过程也不限于任何特定的顺序，并且与其相关的框或状态可以以其他合适的顺序执行，或者可以并行执行，或者以某个其他方式执行。块或状态可以添加到所公开的示例实施例或从中移除。某些操作或过程的执行可以分布在计算机系统或计算机处理器之间，不仅驻留在单个机器内，而是部署在多个机器上。

如本文所使用的，可以利用任何形式的硬件或硬件和软件的组合来实现电路。例如，可以实现一个或多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑组件、软件例程或其他机制来组成电路。在实现中，本文描述的各种电路可以实现为分立电路，或者描述的功能和特征可以在一个或多个电路之间部分或全部共享。尽管各种特征或功能元素可能被单独描述或声明为单独的电路，但这些特征和功能可以在一个或多个公共电路之间共享，并且此类描述不应要求或暗示需要单独的电路来实现此类特征或功能。在电路全部或部分使用软件实施的情况下，此类软件可实施为与能够执行关于其描述的功能的计算或处理系统一起操作，诸如计算机系统1200。

如本文所用，术语“或”可以被解释为包含或排他的意义。此外，单数形式的资源、操作或结构的描述不应被理解为排除复数形式。条件性语言，诸如“可以”(can/could/might/may)，除非另有具体说明，或在上下文中以其他方式理解，否则通常旨在传达某些实施例包括，而其他实施例不包括某些特征、元素和/或步骤。

除非另有明确说明，否则本文件中使用的术语和短语及其变体应被解释为开放式而非限制性的。诸如“常规”、“传统”、“正常”、“标准”、“已知”等形容词和具有类似含义的术语不应被解释为将在给定时间段内描述的项目限制在给定时间可用的项目上，而应被理解为包括现在或将来任何时候可用或已知的常规、传统、正常或标准技术。在某些情况下，存在诸如“一个或多个”、“至少”、“但不限于”或其他类似短语等扩大范围的词语和短语，不应理解为在可能没有这些扩大范围短语的情况下，打算或要求采用较窄的情况。

Claims (22)

1.一种系统，其包括：

虚拟内容系统，其配置成显示虚拟内容，所述虚拟内容系统包括：

用户设备，其包括：

一个或更多个传感器，其配置成感测与所述用户设备的物理环境相关的数据，以及

一个或更多个显示器；

一个或更多个硬件处理器；以及

非暂时性机器可读存储介质，其编码有由所述一个或更多个硬件处理器可执行的指令，以：

响应于所述用户设备接收到的用户输入，将所述第二用户设备显示的3D场景中的虚拟对象放置在对应于所述用户设备的所述物理环境中的物理位置的虚拟位置中，

确定所述用户设备相对于所述用户设备的所述物理环境中的所述物理位置的姿势，并且

基于所述用户设备相对于所放置的虚拟对象的所述姿势生成虚拟内容的图像，其中所述虚拟内容的所述图像由所述用户设备的所述一个或更多个显示器投影在相对于所述用户设备的所述物理环境的所述物理位置的预定位置中。

2.根据权利要求1所述的系统，进一步包括：

第二虚拟内容系统，其包括：

结构，所述结构包括以预定模式布置的多个辐射发射器，以及

第二用户设备，其中所述第二用户设备包括：

一个或更多个传感器，其配置成感测所述多个辐射发射器的输出，以及

一个或更多个显示器；

一个或更多个硬件处理器；以及

非暂时性机器可读存储介质，其编码有由所述一个或更多个硬件处理器可执行的指令以：

基于所述多个辐射发射器的所感测输出来确定所述第二用户设备相对于所述结构的姿势，并且

基于所述第二用户设备相对于所述结构的所述姿势生成所述虚拟内容的第二图像，其中所述虚拟内容的所述第二图像由所述第二用户设备的所述一个或更多个显示器投影在相对于所述结构的预定位置中。

3.根据权利要求2所述的系统，其中：

所述第一虚拟内容系统远离所述第二虚拟内容系统。

4.根据权利要求2所述的系统，其中

所述第一虚拟内容系统靠近所述第二虚拟内容系统。

5.根据权利要求3所述的系统，其中所述指令还由所述一个或更多个硬件处理器可执行，以：

生成所述第一用户设备的虚拟代理；并且

基于(i)所述第一用户设备相对于所述虚拟对象的所述姿势，将所述虚拟代理添加到所述第二图像，其中所述图像由所述第二用户设备的所述一个或更多个显示器投影。

6.根据权利要求3的系统，其中所述指令还由所述一个或更多个硬件处理器可执行，以：

生成所述第二用户设备的虚拟代理；并且

基于(i)所述第二用户设备相对于所述结构的所述姿势，以及(ii)所述放置的虚拟对象相对于所述结构的所述姿势，将所述虚拟代理添加到所述第一图像，其中所述图像由所述第一用户设备的所述一个或更多个显示器投影。

7.根据权利要求2所述的系统，其中：

所述多个辐射发射器被配置成发射红外光；

所述第二用户设备上的所述一个或更多个传感器被配置成感测所述多个辐射发射器的所述输出；并且

所述指令还由所述第二用户设备中的所述一个或更多个硬件处理器可执行，以基于所述多个辐射发射器的所感测输出来确定所述第二用户设备相对于所述结构的所述姿势。

8.根据权利要求1所述的系统，其中所述指令还由所述一个或更多个硬件处理器可执行，以响应于所述用户设备接收到的所述用户输入，执行以下至少一项：

选择所述虚拟内容，以及

修改所述虚拟内容。

9.根据权利要求2所述的系统，其中所述第二用户设备可以佩戴在所述用户的头上。

10.根据权利要求1所述的系统，进一步包括：

手持电子设备；

其中所述指令还由所述一个或更多个硬件处理器可执行，以响应于所述手持电子设备接收到的用户输入，执行以下中的至少一个：

选择所述虚拟内容，以及

修改所述虚拟内容。

11.根据权利要求2所述的系统，其中所述第二用户设备还包括至少一个光学元件，所述光学元件有助于观看与所述物理环境的视图集成的所述第二图像。

12.根据权利要求2所述的系统，其中所述结构附接到物理对象。

13.根据权利要求1所述的系统，其包括：

第二系统，其配置成显示虚拟内容，所述第二系统包括：

第二用户设备，其包括：

一个或更多个传感器的第二集合，其配置成感测与所述第二用户设备的物理环境相关的数据，以及

一个或更多个显示器的第二集合；

其中所述指令还由所述一个或更多个硬件处理器可执行以：

响应于由所述第二用户设备接收的用户输入，将由所述第二用户设备显示的3D场景中的第二虚拟对象放置在虚拟位置，所述虚拟位置对应于与所述第二用户设备的所述物理环境中的物理位置，

确定所述第二用户设备相对于所述第二用户设备的所述物理环境中的所述物理位置的姿势，并且

基于所述第二用户设备相对于所放置的虚拟对象的所述姿势来生成所述虚拟内容的第二图像，其中所述虚拟内容的所述第二图像由所述第二用户设备的所述一个或更多个显示器显示在相对于所放置的第二虚拟对象的预定位置。

14.根据权利要求13所述的系统，其中：

所述第一虚拟内容系统远离所述第二虚拟内容系统。

15.根据权利要求13所述的系统，其中

所述第一虚拟内容系统靠近所述第二虚拟内容系统。

16.一种非暂时性机器可读存储介质，其编码有由所述一个或更多个硬件处理器可执行的指令，以针对配置成显示虚拟内容的系统中的用户设备：

感测所述用户设备的物理环境的表示；

响应于由所述用户设备接收的用户输入，将由所述第二用户设备显示的3D场景中的虚拟对象放置在虚拟位置，所述虚拟位置对应于所述用户设备的所述物理环境中的物理位置；

确定所述用户设备相对于所述用户设备的所述物理环境中的所述物理位置的姿势；并且

基于所述用户设备相对于所放置的虚拟对象的所述姿势生成虚拟内容的图像，其中所述虚拟内容的所述图像由所述用户设备的一个或更多个显示器投影在相对于所述第二用户设备的所述物理环境中的所述物理位置的预定位置。

17.根据权利要求16所述的非暂时性机器可读存储介质，其中所述指令还由所述一个或更多个硬件处理器可执行，以针对配置成显示所述虚拟内容的第二系统中的第二用户设备：

感测以预定模式布置在结构中的多个辐射发射器的输出；

基于所述多个辐射发射器的所感测输出来确定所述第二用户设备相对于所述结构的姿势，并且

基于所述第二用户设备相对于所述结构的所述姿势生成所述虚拟内容的第二图像，其中所述虚拟内容的所述第二图像由所述第二用户设备的一个或更多个显示器投影在相对于所述结构的预定位置。

18.根据权利要求17所述的非暂时性机器可读存储介质，其中所述指令还由所述一个或更多个硬件处理器可执行，以：

生成所述第一用户设备的虚拟代理；并且

基于所述第一用户设备相对于所述虚拟对象的所述姿势，将所述虚拟代理添加到所述第二图像，其中所述图像由所述第二用户设备的所述一个或更多个显示器投影。

19.根据权利要求17所述的非暂时性机器可读存储介质，其中所述指令还由所述一个或更多个硬件处理器可执行，以：

生成所述第二用户设备的虚拟代理；并且

基于所述第二用户设备相对于所述结构的姿势，将所述虚拟代理添加到所述第一图像，其中所述图像由所述第一用户设备的所述一个或更多个显示器显示。

20.根据权利要求17所述的非暂时性机器可读存储介质，其中：

所述多个辐射发射器被配置成发射红外光；

所述指令还由所述第二用户设备的所述一个或更多个硬件处理器可执行，以：

感测所述多个辐射发射器的所述输出，并且

基于所述多个辐射发射器的所感测输出来确定所述第二用户设备相对于所述结构的所述姿势。

21.根据权利要求16所述的非暂时性机器可读存储介质，其中所述指令还由所述一个或更多个硬件处理器可执行，以响应于所述用户设备接收到的所述用户输入，执行以下至少一项：

选择所述虚拟内容；以及

修改所述虚拟内容。

22.根据权利要求17所述的非暂时性机器可读存储介质，其中第二用户设备包括至少一个光学元件，所述光学元件有助于观看与所述第二用户的物理环境视图集成的所述第二图像。