CN113508354A - 显示环境的表示 - Google Patents

Abstract

一种方法包括显示由家庭ER世界坐标表征的家庭ER环境，包括一个或多个相应ER环境的一个或多个立体模型视图表示。每个立体模型视图表示包括根据对应的ER世界坐标以空间关系布置的ER对象。在一些具体实施中，响应于检测到指向第一立体模型视图表示的输入，该方法包括转换该家庭ER环境。转换该家庭ER环境包括根据该家庭ER世界坐标和对应的ER世界坐标转换这些ER对象的子集之间的空间关系。在一些具体实施中，响应于检测到与多个立体模型视图表示中的第一个立体模型视图表示相关联的输入，该方法包括将该多个立体模型视图表示中的该第一个立体模型视图表示的显示从第一查看矢量改变为第二查看矢量，同时保持ER对象的布置。

Description

显示环境的表示

技术领域

本公开涉及显示内容，并且具体地讲，涉及显示环境的相应表示。

背景技术

先前可用的设备可在操作环境内显示内容。在增强现实(AR)应用程序中，操作环境对应于包括物理对象的物理(例如，现实世界)环境，并且先前可用的设备显示叠加在该物理环境的图形表示上的虚拟对象。在虚拟现实(VR)应用程序中，操作环境对应于包括纯虚拟对象的虚拟环境。

然而，该设备缺少用于在操作环境内启用对所显示的内容的三维(3D)操纵的机构。该设备还缺少用于显示虚拟对象的机构，使得虚拟对象和物理对象在操作环境内彼此遮挡。

发明内容

根据一些具体实施，在具有一个或多个处理器、非暂态存储器、一个或多个输入设备和显示设备的电子设备处执行一种方法。该方法包括经由显示设备显示由家庭ER世界坐标表征的家庭增强现实(ER)环境，包括第一ER环境的第一立体模型视图表示。该第一立体模型视图表示包括根据第一ER世界坐标以空间关系布置的ER对象中的一个或多个ER对象。该方法包括经由该一个或多个输入设备检测指向该第一立体模型视图表示的第一输入。该方法包括响应于检测到该第一输入，通过以下方式转换该家庭ER环境：停止在该家庭ER环境内显示该第一立体模型视图表示；根据该家庭ER世界坐标和该第一ER世界坐标转换该一个或多个ER对象的子集之间的该空间关系；以及基于该转换，经由该显示设备显示该家庭ER环境内的该一个或多个ER对象的该子集。

根据一些具体实施，在具有一个或多个处理器、非暂态存储器、一个或多个输入设备和显示设备的电子设备处执行一种方法。该方法包括经由该显示设备从对应的多个查看矢量显示多个立体模型视图表示。该多个立体模型视图表示对应于多个增强现实(ER)环境。该多个立体模型视图表示中的每一个立体模型视图表示均与表征相应ER环境的相应ER世界坐标集相关联。该多个立体模型视图表示包括从第一查看矢量显示的该多个立体模型视图表示中的第一个立体模型视图表示。该多个立体模型视图表示中的第一个立体模型视图表示包括根据第一ER世界坐标集布置的ER对象中的第一个或多个ER对象。该方法包括经由该一个或多个输入设备检测与多个立体模型视图表示中的第一个立体模型视图表示相关联的输入。该方法包括，响应于检测到该输入，将该多个立体模型视图表示中的第一个立体模型视图表示的显示从该第一查看矢量改变为第二查看矢量，同时保持根据该第一ER世界坐标集布置的第一个或多个ER对象。

根据一些具体实施，一种电子设备包括一个或多个处理器、非暂态存储器、一个或多个输入设备和显示设备。一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由电子设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施，一种电子设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些具体实施，一种用于在电子设备中使用的信息处理装置包括用于执行或导致执行本文所述方法中的任一种方法的操作的装置。

附图说明

为了更好地理解各种所述具体实施，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。

图1是根据一些具体实施的便携式多功能设备的示例的框图。

图2A至图2V是根据一些具体实施的操作环境的示例。

图3是根据一些具体实施的基于用户输入改变ER环境的立体模型视图表示的透视图的方法的流程图。

图4是根据一些具体实施的根据与对应的立体模型视图表示相关联的相应坐标和家庭ER世界坐标转换ER对象的子集之间的空间关系的方法的流程图。

在一些情况下，设备可在操作环境内显示一个或多个对象。在一些应用中，设备修改当前操作环境的显示。修改当前操作环境可包括在当前操作环境内的相应预先确定的位置处显示不同(例如，新的)虚拟对象，而与用户输入无关。在当前操作环境内的预先确定的位置处显示虚拟对象是有问题的，因为也在当前操作环境内的虚拟对象和物理(例如，现实世界)对象可能彼此阻碍(例如，遮挡)，从而降低由当前操作环境提供的功能。

相比之下，各种具体实施包括系统、方法和电子设备，其响应于检测到指向第一ER环境的第一立体模型视图表示的第一输入，根据家庭ER世界坐标和第一ER世界坐标将包括在第一立体模型视图表示中的ER对象的子集转换为家庭ER环境。在一些具体实施中，该方法包括响应于检测到第二输入来移动ER对象的子集。例如，在一些具体实施中，该方法包括相对于家庭ER环境内的物理对象移动ER对象的子集。因此，物理对象和ER对象之间的阻挡(例如，遮挡)无效，从而相对于家庭ER环境实现更丰富的一组功能。

在一些情况下，设备可在操作环境内显示内容。例如，在常规视频会议应用程序中，操作环境对应于共享通信环境。该设备基于个体的相应录制视频流来显示与该共享通信环境相关联的远程定位的个体。因此，个体可以图形方式彼此交互。该设备以二维(2D)方式在操作环境内显示内容，诸如与视频会议相关联的平面2D视频流。然而，该设备缺少用于在操作环境内启用对所显示的内容的三维(3D)操纵的机构。

相比之下，各种具体实施包括使得能够基于用户输入改变多个所显示的立体模型视图表示中的第一个立体模型视图表示的透视图的方法、系统和电子设备。该多个立体模型视图表示对应于多个增强现实(ER)环境。该多个立体模型视图表示中的每一个立体模型视图表示均与表征相应ER环境的相应ER世界坐标集相关联。基于用户输入，电子设备改变了多个立体模型视图表示中的第一个立体模型视图表示的透视图，同时根据相应ER世界坐标集保持其中的ER对象的先前布置。因此，可从3D角度操纵多个立体模型视图表示中的第一个立体模型视图表示，从而相对于ER环境实现更丰富的一组功能。

具体实施方式

现在将详细地参考具体实施，这些具体实施的实施例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的具体实施的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的具体实施可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使具体实施的各个方面晦涩难懂。

还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的具体实施的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。

在本文中对各种所述具体实施的描述中所使用的术语只是为了描述特定具体实施的目的，而并非旨在进行限制。如在对各种所述具体实施的描述中和所附权利要求书中所使用的那样，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。

如本文中所使用，根据上下文，术语“如果”任选地被解释为意指“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为意指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

描述了用于与各种增强型现实技术相关地使用此类系统的电子系统和技术的各种示例。

物理布景是指各个人可在不使用电子系统的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素，诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。

与物理布景相比，增强现实(ER)布景或计算机生成的现实(CGR)布景是指各个人通过使用电子系统可感测和/或以其他方式与之交互的完全的(或部分的)计算机生成的布景。在ER/CGR中，局部地监视人的移动，并且响应于此，以与一个或多个物理定律一致的方式来改变与ER/CGR布景中的至少一个虚拟对象对应的至少一个属性。例如，响应于ER/CGR系统检测到人向上看，ER/CGR系统能够以与此类声音和外观会在物理布景中改变的方式一致的方式来调整呈现给人的各种音频和图形。也可例如响应于移动的表示(例如，语音命令)而进行对ER/CGR布景中的虚拟对象的属性的调整。

人可以利用一种或多种感觉，诸如视觉、嗅觉、味觉、触觉和听觉来感测ER/CGR对象和/或与其交互。例如，人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性，该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些ER/CGR布景中，人可仅感测音频对象和/或仅与其交互。

虚拟现实(VR)是ER/CGR的一个示例。VR布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。VR布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测VR布景中的虚拟对象和/或与其交互。

混合现实(MR)是ER/CGR的另一个示例。MR布景是指被配置为将计算机生成的感官输入(例如，虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上，MR布景介于一端处的完全物理布景和另一端处的VR布景之间并且不包括这些布景。

在一些MR布景中，计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外，用于呈现MR布景的一些电子系统可以检测相对于物理布景的位置和/或取向，以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如，系统可检测移动并相应地调整计算机生成的感官输入，使得例如虚拟树相对于物理结构看起来是固定的。

增强现实(AR)是MR的示例。AR布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如，电子系统可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如，此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合，其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此，人可观察叠加在物理布景上的虚拟对象。当系统捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示AR布景时，所显示的图像被称为视频透传。另选地，透明或半透明显示器可被包括在用于显示AR布景的电子系统中，使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上，使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中，可利用投影系统以便将虚拟对象投影到物理布景上。例如，虚拟对象可在物理表面上被投影，或作为全息图，使得个体观察叠加在物理布景之上的虚拟对象。

AR布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如，物理布景的表示的至少一部分能够以图形方式修改(例如，放大)，使得所修改的部分仍可表示初始捕获的图像(但不是完全复制的版本)。另选地，在提供视频透传时，可修改一个或多个传感器图像，以便施加与由图像传感器捕获的视点不同的特定视点。再如，物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。

增强虚拟(AV)是MR的另一个示例。AV布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地，虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征，诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如，AR公园可包括虚拟结构、植物和树木，尽管AR公园布景内的动物可包括从物理动物的图像准确复制的特征。

各种系统允许人们感测ER/CGR布景和/或与其交互。例如，头戴式系统可包括一个或多个扬声器和不透明显示器。又如，外部显示器(例如，智能电话)可结合到头戴式系统内。头戴式系统可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。头戴式系统中还可包括透明或半透明显示器。半透明或透明显示器可例如包括基板，(表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含LED、OLED、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如，电子系统可以是基于投影的系统。在基于投影的系统中，视网膜投影可用于将图像投影到人的视网膜上。另选地，基于投影的系统还可将虚拟对象投影到物理布景中，例如，诸如将虚拟对象投影为全息图或投影到物理表面上。ER/CGR系统的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如，具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。

图1是根据一些具体实施的便携式多功能设备100(为了简洁起见，在本文中有时也称为“电子设备100”)的示例的框图。电子设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、输入/输出(I/O)子系统106、扬声器111、触敏显示系统112、惯性测量单元(IMU)130、图像传感器143(例如，相机)、接触强度传感器165、音频传感器113(例如麦克风)、眼睛跟踪传感器164(例如，包括在头戴式设备(HMD)内)、手部跟踪传感器150、身体姿势传感器190和其他输入或控制设备116。在一些具体实施中，电子设备100对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备、头戴式设备(HMD)、头戴式壳体(例如，电子设备100滑动到或以其他方式附接到头戴式壳体)等中的一者。在一些具体实施中，头戴式壳体被成形为形成用于接收具有显示器的电子设备100的接收器。

在一些具体实施中，外围设备接口118、一个或多个处理单元120和存储器控制器122任选地在单个芯片诸如芯片103上实现。在一些其他具体实施中，它们任选地在独立的芯片上实现。

I/O子系统106将电子设备100上的输入/输出外围设备诸如触敏显示系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、图像传感器控制器158、强度传感器控制器159、音频控制器157、眼睛跟踪控制器162、用于其他输入或控制设备的一个或多个输入控制器160、IMU控制器132、手部跟踪控制器180、身体姿势控制器195和隐私子系统170。一个或多个输入控制器160从其他输入或控制设备116接收电信号/将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的具体实施中，一个或多个输入控制器160任选地与以下各项中的任一者耦接(或不与以下各项中的任一者耦接)：键盘、红外线端口、通用串行总线(USB)端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮任选地包括用于扬声器111和/或音频传感器113的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮。在一些具体实施中，其他输入或控制设备116包括获取关于电子设备100相对于物理环境的位置和/或取向的信息的定位系统(例如，GPS)。

触敏显示系统112提供电子设备100与用户之间的输入接口和输出接口。显示控制器156从触敏显示系统112接收电信号和/或将电信号发送至触敏显示系统。触敏显示系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些具体实施中，一些视觉输出或全部视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接、或其他用户界面控件。

触敏显示系统112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触敏显示系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在示例性具体实施中，触敏显示系统112和用户之间的接触点对应于用户的手指或触笔。

触敏显示系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他具体实施中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外线技术和表面声波技术。

用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些具体实施中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些具体实施中，电子设备100将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。

扬声器111和音频传感器113提供用户与电子设备100之间的音频接口。音频电路从外围设备接口118接收音频数据，将音频数据转换为电信号，并且将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路还接收由音频传感器113(例如，麦克风)从声波转换的电信号。音频电路将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输到存储器102和/或RF电路。在一些具体实施中，音频电路还包括耳麦插孔。该耳麦插孔提供音频电路与可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备为诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。

惯性测量单元(IMU)130包括加速度计、陀螺仪和/或磁力仪，以便测量相对于电子设备100的各种力、角速率和/或磁场信息。因此，根据各种具体实施，IMU检测电子设备100的一个或多个位置改变输入，诸如电子设备100被摇动、旋转、沿特定方向移动等。

图像传感器143捕获静态图像和/或视频。在一些具体实施中，光学传感器143位于电子设备100的背面上，与电子设备100正面上的触摸屏相背对，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些具体实施中，另一图像传感器143位于电子设备100的正面上，使得获取该用户的图像(例如，用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。在一些具体实施中，图像传感器集成在HMD内。

接触强度传感器165检测电子设备100上的接触的强度(例如，电子设备100的触敏表面上的触摸输入)。接触强度传感器165与I/O子系统106中的强度传感器控制器159耦接。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从物理环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些具体实施中，至少一个接触强度传感器165与电子设备100的触敏表面并置排列或邻近。在一些具体实施中，至少一个接触强度传感器165位于电子设备100的背面上。

眼睛跟踪传感器164检测电子设备100的用户的眼睛注视，并且生成指示用户的眼睛注视的眼睛跟踪数据。在各种具体实施中，眼睛跟踪数据包括指示用户在显示面板上的固定点(例如，关注点)的数据，该显示面板为诸如头戴式设备(HMD)、头戴式壳体或平视显示器内的显示面板。

手部跟踪传感器150获取指示用户的手部位置的手部跟踪数据。在各种具体实施中，电子设备100利用手部跟踪数据以便操纵ER环境的立体模型视图表示的显示。例如，在一些具体实施中，电子设备100移动立体模型视图表示以便跟踪用户的手部的当前位置。又如，电子设备

身体姿势传感器190获取指示用户的头部或身体的位置的身体姿势数据。在各种具体实施中，电子设备100利用身体姿势数据以便操纵ER环境的立体模型视图表示的显示。例如，身体姿势数据指示用户正在侧向转动他/她的头部，并且电子设备100相应地操纵ER环境的立体模型视图表示的透视图。

在各种具体实施中，电子设备100包括隐私子系统170，该隐私子系统170包括与用户信息相关联的一个或多个隐私设置滤波器，诸如包括在与用户相关联的眼睛注视数据和/或身体位置数据中的用户信息。在一些具体实施中，隐私子系统170选择性地防止和/或限制电子设备100或其部分获取和/或传输用户信息。为此，隐私子系统170响应于提示用户进行用户偏好和/或选择来从用户接收用户偏好和/或选择。在一些具体实施中，隐私子系统170防止电子设备100获取和/或传输用户信息，除非并且直到隐私子系统170从用户获取到知情同意。在一些具体实施中，隐私子系统170匿名化(例如，加扰或模糊)某些类型的用户信息。例如，隐私子系统170接收指定隐私子系统170匿名化哪些类型的用户信息的用户输入。作为另一示例，隐私子系统170独立于用户指定(例如，自动地)匿名化可能包括敏感和/或识别信息的某些类型的用户信息。又如，隐私系统170拒绝访问具有不满足与ER会话相关联的访问级别标准的第一访问级别的第一个体，并且允许访问具有满足访问级别标准的第二访问级别的第二个体。

图2A至图2V是根据一些具体实施的操作环境200的示例。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

为此，如图2A所示，操作环境200包括由用户210握持的电子设备203和物理桌子220。在一些具体实施中，电子设备203对应于移动设备，诸如智能电话、膝上型电脑、平板电脑等。在一些具体实施中，电子设备203与图1中的电子设备100类似并且从其修改而来。电子设备203与视场204相关联，该视场与操作环境200的一部分相关联。

根据各种具体实施，电子设备203被配置为向用户210呈现家庭ER环境206。家庭ER环境206由家庭ER世界坐标208表征。在一些具体实施中，家庭ER世界坐标208限定存在于三维(3D)空间中的点集。在一些具体实施中，家庭ER环境206对应于纯虚拟环境，因此电子设备203在家庭ER环境206内不显示物理桌子220，而不管电子设备203相对于操作环境200的位置如何。

在一些具体实施中，家庭ER环境206对应于AR环境。例如，在一些具体实施中，电子设备203被配置为呈现家庭ER环境206并使视频信号能够穿过其中的操作环境200内的物理对象的至少一部分。作为一个示例，参考图2F，在穿戴电子设备203的用户210将电子设备203的取向朝向物理桌子220旋转之后，电子设备203在家庭ER环境206内显示物理桌子220。又如，在一些具体实施中，电子设备203包括透明或附加显示器，其使得能够光学透视操作环境200，包括操作环境200内的物理对象。

家庭ER环境206包括第一ER环境的第一立体模型视图表示230和第二ER环境的第二立体模型视图表示240。在一些具体实施中，立体模型视图表示表示纯虚拟环境。另一方面，在一些具体实施中，立体模型视图表示至少部分地表示真实环境。例如，在一些具体实施中，立体模型视图表示包括真实环境的结构特征，诸如用户客厅的墙壁、地板和天花板。又如，在一些具体实施中，立体模型视图表示包括在虚拟结构特征内的物理对象，诸如虚拟房间内的真实桌子。

第一立体模型视图表示230包括根据第一ER世界坐标232以空间关系布置的ER对象中的一个或多个ER对象。例如，第一ER世界坐标232限定存在于3D空间中的相应点集。即，第一立体模型视图表示230包括电视234、化身236和沙发238。化身236对应于与第一ER环境相关联(例如，连接至第一ER环境)的个体的虚拟表示。例如，在一些具体实施中，化身236与ER会话相关联，该ER会话使得能够在第一ER环境内显示个体的图形表示。在一些具体实施中，电子设备203动态地更新第一立体模型视图表示230，诸如经由电视234回放视频内容，或化身236的移动，以便反映第一ER环境内的变化。

第二立体模型视图表示240包括根据第二ER世界坐标242以空间关系布置的ER对象中的一个或多个ER对象。即，第二立体模型视图表示240包括餐柜244和椅子246。例如，第二ER世界坐标242限定存在于3D空间中的相应点集。本领域的普通技术人员将会理解，立体模型视图表示可包括以多种方式布置的任何数量和类型的ER对象。本领域的普通技术人员将会理解，立体模型视图表示可包括任何数量的化身。

在一些具体实施中，电子设备203对应于用户210穿戴的头戴式设备(HMD)。HMD呈现了上文参考图2A描述的家庭ER环境206。在一些具体实施中，HMD包括与视场204相关联的图像传感器，并且该HMD在家庭ER环境206内显示包括物理对象的AR内容。在一些具体实施中，HMD类似于并适配自图1中的电子设备100。在一些具体实施中，HMD被配置为呈现家庭ER环境206并使视频信号能够穿过其中的操作环境200内的物理对象的至少一部分。又如，在一些具体实施中，HMD包括透明或附加显示器，其使得能够光学透视操作环境200，包括操作环境200内的物理对象。

在一些具体实施中，HMD包括显示家庭ER环境206的集成显示器(例如，内置显示器)。在一些具体实施中，HMD包括可头戴壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。在各种具体实施中，头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，图2A所示的电子设备203)的接收器。例如，在一些具体实施中，电子设备203滑动/卡扣到头戴式壳体或以其他方式附接到该头戴式壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)家庭ER环境206。

图2B至图2H示出了基于各种用户输入改变第一立体模型视图表示230和第二立体模型视图表示240的相应透视图。如图2B所示，电子设备203检测到与第二立体模型视图表示240相关联的输入250。输入250请求将第二立体模型视图表示240沿着家庭ER世界坐标208的z轴向上移动到第一立体模型视图表示230上方的位置。例如，在一些具体实施中，电子设备203的眼睛跟踪传感器(例如，集成在其中)检测到输入250，其中输入250对应于指示用户210的眼睛注视指向第二立体模型视图表示240的眼睛注视输入。又如，在一些具体实施中，电子设备203的(例如，集成在其中的)手部跟踪传感器检测到输入250，其中输入250对应于由用户210进行的指向第二立体模型视图表示240的手部跟踪运动。

响应于检测到图2B中的输入250，电子设备203通过将第二立体模型视图表示240移动到第一立体模型视图表示230上方的位置，将第二立体模型视图表示240的显示从第一查看矢量改变为第二查看矢量，如图2C所示。查看矢量提供相对于用户210和家庭ER坐标系208的视场(FOV)、姿势/旋转坐标、平移坐标、视角等中的一者或多者。在将第二立体模型视图表示240的显示从第一查看矢量改变为第二查看矢量时，电子设备203根据第二ER世界坐标242保持餐柜244和椅子246。换句话讲，电子设备203在第二立体模型视图表示240内保持餐柜244和椅子246之间的空间关系。例如，如图2B和图2C所示，餐柜244的较长边缘基本上沿着(例如，平行于)第二ER世界坐标242的y轴延伸。又如，如图2B和图2C所示，餐柜244的腿的底部和椅子246的腿的底部位于第二ER世界坐标242的z轴的z＝0位置处。再如，电子设备203保持餐柜244和椅子246沿着图2B和图2C中的第二ER世界坐标242的x-y平面相对于彼此的相应位置。

如图2D所示，电子设备203检测到移动输入251，诸如经由电子设备203的IMU。移动输入251对应于用户210在操作环境200内围绕第一立体模型视图表示230和第二立体模型视图表示240顺时针(如从上方查看)移动。响应于检测到图2D中的移动输入251，与电子设备203相关联并且因此与所显示的家庭ER环境206相关联的视场204包括物理桌子220的一部分，如图2E所示。

进一步响应于检测到图2D中的移动输入251，电子设备203根据家庭ER环境206的旋转改变第一立体模型视图表示230和第二立体模型视图表示240的显示，如图2E所示。即，电子设备203根据家庭ER世界坐标208的对应旋转(如通过图2D和图2E之间的第一ER世界坐标232的旋转所指示的)将第一立体模型视图表示230和其中的ER对象(例如，电视234、化身236和沙发238)旋转90度。例如，化身236的视图从图2D中化身236的前视图改变为图2E中化身236的侧视图。在旋转第一立体模型视图表示230时，电子设备203根据第一ER世界坐标232保持电视234、化身236和沙发238。换句话讲，电子设备203在第一立体模型视图表示230内保持电视234、化身236和沙发238之间的空间关系。

此外，如图2E所示，电子设备203根据家庭ER世界坐标208的对应旋转(如通过图2D和图2E之间的第二ER世界坐标242的旋转所指示的)将第二立体模型视图表示240和其中的ER对象(例如，餐柜244和椅子246)旋转90度。例如，餐柜244的视图从图2D中餐柜244的前视图改变为图2E中餐柜244的侧视图。在旋转第二立体模型视图表示240时，电子设备203根据第二ER世界坐标242保持餐柜244和椅子246。换句话讲，电子设备203在第二立体模型视图表示240内保持餐柜244和椅子246之间的空间关系。

如图2F所示，电子设备203检测到指向第一立体模型视图表示230的选择输入252。例如，由电子设备203的眼睛跟踪传感器或由电子设备203的手部跟踪传感器检测到选择输入252。响应于检测到图2F中的选择输入252，电子设备203停止显示第二立体模型视图表示240并保持显示第一立体模型视图表示230，如图2G所示。

如图2H所示，电子设备203检测到指向第一立体模型视图表示230的操纵输入253。操纵输入253相对于家庭ER世界坐标208将第一立体模型视图表示230逆时针(如从上方观察)旋转90度。因此，如图2H和图2I所示，与第一立体模型视图表示230相关联的第一ER世界坐标232根据操纵输入253旋转，而家庭ER世界坐标208不改变。因此，电视234、化身236和沙发238的相应视图在图2H和图2I之间从侧视图改变为前视图。

图2J至图2N示出了与ER会话相关联的功能，该ER会话与第一ER环境相关联。ER会话使得个体的相应图形表示能够同时处于第一ER环境内。例如，ER会话使得由化身236表示的特定个体能够处于第一ER环境内。在一些具体实施中，电子设备203接收加入ER会话的请求并显示对应的指示。例如，在一些具体实施中，该指示对应于ER加入界面254，如图2J所示。此外，如图2J所示，电子设备203播放(例如，经由扬声器)与特定个体相关联的第一组语音数据256，该特定个体与ER会话相关联(例如，连接到ER会话)。例如，第一组语音数据256是加入ER会话的言语请求，诸如“嘿，Bob，加入我的ER环境，我们几乎可以一起看电视”。又如，第一组语音数据256包括与第一ER环境相关联的环境噪声，诸如来自电视234的噪声。

如图2K和图2L所示，电子设备203基于特定个体的对应移动显示化身236的动画。如图2K所示，化身236从站立在沙发238旁边移动到坐在沙发238上面向电视234，如移动箭头257所示，其仅出于说明性目的而示出。因此，如图2L所示，电子设备203显示第一立体模型视图表示230，其中化身236已经从沙发238旁边移动到坐在沙发238上并面向电视234。

如图2M所示，电子设备203(例如，经由音频传感器)从用户210获取第二组语音数据258并将第二组语音数据258提供给特定个体。例如，第二组语音数据258是加入ER会话的言语请求，诸如“嘿，Jill，好的，我会加入你的ER环境，我想在电视上看棒球比赛”。

图2N至图2V示出了根据第一ER世界坐标232和家庭ER世界坐标208来转换第一立体模型视图表示230内的ER对象的子集之间的空间关系。如图2N所示，第一立体模型视图表示230具有由第一参考测量结果260a指示的第一高度值，其仅出于说明性目的而示出。

如图2N所示，电子设备203检测到接受输入259，该接受输入接受加入ER会话的请求。响应于检测到图2N中的接受输入259，电子设备203：停止显示第一立体模型视图表示230，根据第一ER世界坐标232和家庭ER世界坐标208转换第一立体模型视图表示230内的ER对象的子集，并且基于该转换显示ER对象的子集，如图2O所示。在一些具体实施中，如图2O所示，电子设备203在有界ER环境261内显示ER对象的子集。如图2O所示，有界ER环境261具有由第二参考测量结果260b指示的第二高度值，其仅出于说明性目的而示出。值得注意的是，如图2O所示，由第二参考测量结果260b指示的第二高度值大于由第一参考测量结果260a指示的第一高度值。本领域的普通技术人员将会理解，有界ER环境261的其他尺寸分量(例如，深度和宽度)大于第一立体模型视图表示230的对应尺寸分量。

显示有界ER环境261可帮助用户210重新定位ER对象的子集，以避开物理对象并因此避免视觉遮挡，如下文将描述的。在一些具体实施中，电子设备203在无有界ER环境261的情况下显示ER对象的子集。

如图2O所示，ER对象的子集包括基于电视234的转换的电视264、基于化身236的转换的化身266以及基于沙发238的转换的沙发268。转换的电视264、转换的化身266和转换的268根据基于第一ER世界坐标232的转换的ER世界坐标262布置。与第一立体模型视图表示230和其中的ER对象相比，有界ER环境261和其中的ER对象的子集更准确地表示稍后可合并到家庭ER环境206中或替换该家庭ER环境的ER对象。例如，在一些具体实施中，转换ER对象的子集对应于根据缩放系数放大ER对象的每个子集。缩放系数可为预先确定的或者可由用户输入来指定。例如，在一些具体实施中，缩放系数对应于真实尺寸。在该示例中，ER对象的子集看起来基本上等同于它们在合并到家庭ER环境206中或替换该家庭ER环境之后的方式。

在一些具体实施中，电子设备203布置转换的电视264、转换的化身266和转换的沙发268，以便匹配(在误差阈值内)由第一ER世界坐标232和家庭ER世界坐标208限定的第一立体模型视图表示230内的电视234、化身236和沙发238的对应布置。例如，与图2N所示的第一立体模型视图表示230内的对应ER对象相比，图2O所示的ER对象的子集(264、266、268)相对于彼此类似地定位和取向。

在一些具体实施中，ER对象子集的转换导致转换的电视264、转换的化身266和转换的沙发268之间的相对距离在误差阈值内匹配第一立体模型视图表示230内的对应ER对象的相对距离。

在一些具体实施中，ER对象子集的转换对应于改变ER对象子集中的一些或全部子集的分辨率。例如，在一些具体实施中，电子设备203执行对象识别(例如，语义分割或对象跟踪)，以便识别动态ER对象(例如，化身236)，并且降低静态ER对象(例如，沙发238)的分辨率。

在一些具体实施中，有界ER环境261和ER对象的子集被家庭ER环境206内的一个或多个物理对象遮挡。例如，如图2O所示，有界ER环境261和ER对象的子集最初沿着家庭ER环境206的后壁显示。因此，如果用户210请求将ER对象的子集合并到家庭ER环境206中，则转换的电视264将在后壁后面并因此被后壁阻挡，从而降低用户210的体验。因此，根据各种具体实施，电子设备203能够移动ER对象的子集以避免物理遮挡。

例如，参见图2P，电子设备203检测对应于将有界ER环境261和其中的ER对象的子集移动远离家庭ER环境206的后壁的输入270。响应于检测到图2P中的输入270，电子设备203将有界ER环境261和其中的ER对象的子集远离后壁移动到物理桌子220上方，如图2Q所示。然而，如图2Q所示，转换的化身266和转换的沙发268遮挡物理桌子220的一部分。

如图2R所示，电子设备203检测对应于进一步将有界ER环境261和其中的ER对象的子集沿着家庭ER世界坐标208的z轴向下移动远离物理桌子220的输入272。响应于检测到图2R中的输入272，电子设备203将有界ER环境261和其中的ER对象沿着家庭ER世界坐标208的z轴向下移动。因此，如图2S所示，转换的化身266和转换的沙发268不再遮挡物理桌子220，从而改善了用户210的体验。

如图2T所示，电子设备203检测到指向有界ER环境261的输入274。输入274对应于进入第一ER环境的请求。在一些具体实施中，响应于检测到图2T中的输入274，电子设备203将真实尺寸(例如，实际尺寸)电视282、真实尺寸化身284和真实尺寸沙发286添加到家庭ER环境206，如图2U所示。值得注意的是，如图2U所示，真实尺寸电视282位于视场204内，但真实尺寸化身284和真实尺寸沙发286并非如此。然而，如果用户210将电子设备203顺时针旋转90度(如从上方观察)，诸如通过将他或她的头部朝向真实尺寸化身284转动，则真实尺寸化身284和真实尺寸沙发286将位于视场204内。

在一些具体实施中，将ER对象的子集添加到家庭ER环境206对应于将ER对象的子集的尺寸调整为真实尺寸。如图2U所示，转换的化身266和转换的沙发268不遮挡物理桌子220。因此，用户210可与真实尺寸ER对象进行交互，而与提供附加输入无关，从而导致更愉快的体验并减少电子设备203的处理器、存储器和电池利用。

在一些具体实施中，响应于检测到图2T中的输入274，电子设备203用第一ER环境290替换家庭ER环境206，诸如当第一ER环境290是纯VR环境时，如图2V所示。第一ER环境290包括真实尺寸电视282、真实尺寸化身284和真实尺寸沙发286，但不包括物理桌子220。

图3是根据一些具体实施的基于用户输入改变ER环境的立体模型视图表示的透视图的方法300的流程图。在各种具体实施中，方法300或其部分由电子设备(例如，图1中的电子设备100、图2A至图2V中的电子设备203)执行。在各种具体实施中，方法300或其部分由HMD执行。在一些具体实施中，方法300由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法300中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。

如框302所示，在一些具体实施中，方法300包括生成分别对应于多个ER环境的多个立体模型视图表示。在一些具体实施中，方法300包括获取多个表征矢量，这些表征矢量分别提供对应的多个ER环境的多个空间表征。该多个表征矢量中的每一个表征矢量包括分别标识一个或多个ER对象的多个对象标签值。该多个表征矢量中的每一个表征矢量还包括提供该一个或多个ER对象相对于彼此的相应位置的多个相对位置值。此外，方法300包括根据相对位置值从对应的多个ER环境和多个表征矢量生成对应的多个ER环境的多个立体模型视图表示。例如，对象标签值可包括实例对象标签值和/或语义对象标签值。又如，对象标签值可以包括一个子值或多个子值。又如，ER环境的特定体积区域可包括三个对象，并且因此具有三个对应的对象标签值，诸如“第一对象”、“第二对象”和“第三对象”。对象标签值可与对象和/或对象的特征(例如，桌子、椅子、拐角、边缘等)相关联。此外，对象标签值可标识移动对象，诸如ER环境内特定个体的化身。在一些具体实施中，空间表征对应于体积(例如，三维(3D))表征。

在一些具体实施中，生成多个立体模型视图表示基于缩放系数，诸如根据缩放系数按比例缩小对应的多个ER环境。例如，在一些具体实施中，缩放系数为预先确定的。又如，缩放系数经由用户输入来获取，诸如指向电子设备的触敏表面的示能表示的输入或对应于用户的眼睛注视位置的输入。再如，在一些具体实施中，方法300包括基于物理环境内的物理对象来确定缩放系数。为此，在一些具体实施中，方法300包括：经由图像传感器获取由与该图像传感器相关联的物理环境的视场界定的透传图像数据；在该透传图像数据内识别物理环境内的一个或多个物理对象；以及基于该一个或多个物理对象来确定缩放系数。例如，缩放系数可基于该一个或多个物理对象的相应位置和/或尺寸(例如，体积)，诸如在物理环境内存在相对较大的物理对象时按比例缩小更多。在一些具体实施中，缩放系数基于相应ER环境的尺寸(例如，体积)。

如框304所示，方法300包括经由显示设备从对应的多个查看矢量显示多个立体模型视图表示。该多个立体模型视图表示对应于多个增强现实(ER)环境。该多个立体模型视图表示中的每一个立体模型视图表示均与表征相应ER环境的相应ER世界坐标集相关联。该多个立体模型视图表示包括从第一查看矢量显示的该多个立体模型视图表示中的第一个立体模型视图表示。该多个立体模型视图表示中的第一个立体模型视图表示包括根据第一ER世界坐标集布置的ER对象中的第一个或多个ER对象。又如，该多个立体模型视图表示中的每一个立体模型视图表示对应于与相应ER世界坐标集相关联的有界区域。在对应的立体模型视图表示内的特定多个ER对象的取向、位置等基于相应ER世界坐标集。这些ER对象可包括可移动无生命对象(例如，椅子或桌子)、生命对象(例如，表示个体的一个或多个化身)和无生命结构对象(例如，天花板、墙壁、立体模型视图表示的边界)的组合。在一些具体实施中，电子设备根据确定满足空间接近度阈值来显示多个立体模型视图表示。例如，立体模型视图表示彼此间隔开足够远，以便避免相互遮挡。特定查看矢量提供以下中的一者或多者：视场(FOV)、姿势/旋转坐标、平移坐标、视角等。

在一些具体实施中，方法300包括在家庭ER环境(诸如图2A至图2V中的家庭ER环境206)内显示多个立体模型视图表示。作为一个示例，参考图2A，电子设备203显示了家庭ER环境206内的第一ER环境的第一立体模型视图表示230和第二ER环境的第二立体模型视图表示240。继续该示例，第一立体模型视图表示230包括根据第一ER世界坐标232布置的电视234、化身236和沙发238。继续该示例，第二立体模型视图表示240包括根据第二ER世界坐标242布置的餐柜244和椅子246。

在一些具体实施中，方法300包括在多个立体模型视图表示中的特定一个立体模型视图表示内显示与该多个立体模型视图表示中的该特定一个立体模型视图表示相关联的相应ER环境内的活动记录。在一些具体实施中，该记录包括在先前一段时间内的多个立体模型视图表示中的特定一个立体模型视图表示内的活动。例如，该记录包括过去一天中的活动，指示五人进入并离开相应的ER环境，并且这些人中的三人在相应ER环境内的白板上画画。

在一些具体实施中，电子设备基于控制值显示多个立体模型视图表示。例如，这些控制值可经由用户输入来设置。控制值可包括例如以下各项的组合：是否静音、预览用户是否可与已加入第一ER会话的个体通信，以及/或者预览用户是否看到已加入并离开的人以及何时的历史(例如，日志)。

在一些具体实施中，电子设备基于眼睛注视数据来显示多个立体模型视图表示。为此，方法300包括获取指示眼睛注视位置的眼睛注视数据，其中显示多个立体模型视图表示基于该眼睛注视数据。例如，当眼睛注视数据指示眼睛注视位置最靠近该多个立体模型视图表示中的特定一个立体模型视图表示时，电子设备以高分辨率(例如，强调)渲染和显示该多个立体模型视图表示中的该特定一个立体模型视图表示。又如，当眼睛注视数据指示眼睛注视位置不在距该多个立体模型视图表示的另一个立体模型视图表示的阈值距离内达阈值时间量时，电子设备不显示该多个立体模型视图表示中的该另一个立体模型视图表示。再如，电子设备停止对不在距眼睛注视位置的阈值距离内的多个立体模型视图表示的一部分的内容执行实时更新(例如，保持静态)。

如框306所示，在一些具体实施中，该多个立体模型视图表示对应于对应的多个ER环境的缩小尺寸表示。作为一个示例，图2N所示的第一立体模型视图表示230内的电视234对应于图2U所示的真实尺寸电视282的缩小尺寸版本。在一些具体实施中，特定立体模型视图表示内的ER对象的数量与具有对应ER环境的ER对象的数量相同或更少。例如，方法300包括选择性地渲染和/或显示某些对象，诸如显示生命对象(例如，化身236)，但不渲染家庭ER环境的结构特征(例如，墙壁)。在一些具体实施中，方法300包括以不同保真度级别(例如，分辨率)渲染特定立体模型视图表示的不同特征。通过选择性地渲染和/或显示，电子设备减少了对处理和电池资源的利用。

如框308所示，在一些具体实施中，显示该多个立体模型视图表示包括以动画方式显示该多个立体模型视图表示的一部分。作为一个示例，参考图2K和图2L，电子设备203显示化身236的移动，因为与化身236相关联的个体正在他或她相应的物理环境内移动，从而导致他或她的化身236在ER环境内的最终移动。

如框310所示，在一些具体实施中，对应的多个ER环境的至少一个子集分别与对应于多个ER会话的多个ER环境相关联。该多个ER环境中的每一个ER环境使个体的图形表示能够在ER环境内同时出现。根据各种具体实施，一个或多个对应个体中的每一个个体与满足访问级别标准的相应访问级别相关联，该访问级别标准与相应ER会话相关联，诸如由图1中的隐私子系统170管理。因此，例如，与当前与ER环境相关联的个体中的任何个体没有预先存在的关系的特定个体不能查看对应的立体模型视图表示。

如框312所示，在一些具体实施中，多个立体模型视图表示中的至少一个子集包括一个或多个对应个体的一个或多个ER表示(例如，化身)。该一个或多个对应个体中的每一个个体与相应的ER会话相关联。作为一个示例，参考图2A，电子设备203显示与ER会话相关联的化身236，该ER会话本身与第一ER环境相关联。在一些具体实施中，方法300包括在电子设备和立体模型视图表示内的化身之间提供双向音频。为此，方法300包括经由电子设备的扬声器播放第一组语音数据，同时显示多个立体模型视图表示。第一组语音数据与一个或多个对应个体相关联，该一个或多个对应个体与特定ER会话相关联，该特定ER会话与相应ER环境相关联。例如，第一组语音数据由该一个或多个对应个体发出。又如，第一组语音数据的回放是实时的或经由缓冲延迟的。再如，第一组语音数据可以被空间化，以便听起来好像来自于立体模型视图表示内。此外，方法300包括经由电子设备的音频传感器从与该电子设备相关联的用户获取第二组语音数据。此外，方法300包括将第二组语音数据提供给相应的ER环境，使得第二组语音数据可被与特定ER会话相关联的一个或多个对应个体听到。第二组语音数据可以多种方式呈现给相应ER环境的参与者，诸如来自相应ER环境上方的空间化音频。

如框314所示，在一些具体实施中，多个立体模型视图表示中的第一个立体模型视图表示对应于第一ER环境的增强现实(AR)表示。例如，该多个立体模型视图表示中的第一个立体模型视图表示包括叠加在与操作环境的物理特征相关联的环境数据上的AR内容。例如，参考图2A，第一立体模型视图表示230内的沙发238可对应于与第一ER环境相关联的物理沙发。在一些具体实施中，方法300包括获取(例如，经由图像传感器)环境数据(例如，透传图像数据)、生成ER对象，以及将这些ER对象叠加在环境数据上。

如框316所示，在一些具体实施中，多个立体模型视图表示中的第一个立体模型视图表示对应于第一ER环境的虚拟现实(VR)表示。例如，第二立体模型视图表示240，包括结构对象(例如，地板和墙壁)，餐柜244和椅子246对应于ER对象。

如框318所示，方法300包括经由一个或多个输入设备检测与多个立体模型视图表示中的第一个立体模型视图表示相关联的输入。如框320所示，在一些具体实施中，该输入指向多个立体模型视图表示中的第一个立体模型视图表示。作为一个示例，参考图2H，操纵输入253指向第一立体模型视图表示230。例如，该输入改变了多个立体模型视图表示中的第一个立体模型视图表示的取向(例如，旋转)。又如，该输入沿着轴移动多个立体模型视图表示中的第一个立体模型视图表示，诸如沿着x-y轴平移多个立体模型视图表示中的第一个立体模型视图表示。

如框322所示，在一些具体实施中，该输入对应于电子设备相对于多个立体模型视图表示中的第一个立体模型视图表示从第一姿势到第二姿势的位置变化。如框324所示，在一些具体实施中，该输入指向多个立体模型视图表示。例如，电子设备包括检测电子设备的位置变化的IMU。作为一个示例，参考图2D，电子设备203检测对应于用户210在操作环境200内围绕第一立体模型视图表示230和第二立体模型视图表示240移动的移动输入251。响应于检测到移动输入251，电子设备203将第一立体模型视图表示230和第二立体模型视图表示240从第一姿势改变为第二姿势。

如框326所示，方法300包括响应于检测到该输入，将该多个立体模型视图表示中的第一个立体模型视图表示的显示从该第一查看矢量改变为第二查看矢量，同时保持根据该第一ER世界坐标集布置的第一个或多个ER对象。作为一个示例，参考图2D和图2E，响应于检测到移动输入251，电子设备203相应地改变与第一立体模型视图表示230和第二立体模型视图表示240相关联的相应查看矢量，如通过对第一ER世界坐标232和第二ER世界坐标242的相应改变所指示的。又如，参考图2H和图2I，响应于检测到指向第一立体模型视图表示230的操纵输入253，电子设备203对应地旋转第一立体模型视图表示230，如通过相对于家庭ER世界坐标208对第一ER世界坐标232的改变所指示的。

图4是根据一些具体实施的根据与对应的立体模型视图表示相关联的相应坐标和家庭ER世界坐标转换ER对象的子集之间的空间关系的方法400的流程图。在各种具体实施中，方法400或其部分由电子设备(例如，图1中的电子设备100、图2A至图2V中的电子设备203)执行。在各种具体实施中，方法400或其部分由HMD执行。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些实施方式中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在各种具体实施中，方法400中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。

如框402所示，在一些具体实施中，方法400包括显示家庭ER环境内的对应多个ER环境的多个立体模型视图表示。该多个立体模型视图表示包括第一ER环境的第一立体模型视图表示。作为一个示例，参考图2A，电子设备203显示了家庭ER环境206内的第一ER环境的第一立体模型视图表示230和第二ER环境的第二立体模型视图表示240。继续该示例，第一立体模型视图表示230包括根据第一ER世界坐标232布置的电视234、化身236和沙发238。继续该示例，第二立体模型视图表示240包括根据第二ER世界坐标242布置的餐柜244和椅子246。

在一些具体实施中，如框404所示，方法400包括检测从该多个立体模型视图表示中选择第一立体模型视图表示的选择输入。作为一个示例，参考图2F，电子设备203检测到指向第一立体模型视图表示230的选择输入252。在一些具体实施中，如框406所示，该选择输入基于由例如集成在电子设备或HMD内的眼睛跟踪传感器获取的眼睛注视数据。例如，该眼睛注视数据指示用户的眼睛注视位置指向该多个立体模型视图表示中的第一立体模型视图表示。

如框408所示，方法400包括显示由家庭ER世界坐标表征的家庭ER环境，包括第一ER环境的第一立体模型视图表示。该第一立体模型视图表示包括根据第一ER世界坐标以空间关系布置的ER对象中的一个或多个ER对象。在一些具体实施中，显示该第一立体模型视图表示包括停止显示该多个立体模型视图表示中的剩余者。在一些具体实施中，显示该第一立体模型视图表示包括以比该第一立体模型视图表示更低的分辨率显示该多个立体模型视图表示中的剩余者。在一些具体实施中，显示该第一立体模型视图表示包括停止对该第一立体模型视图表示的内容执行实时更新。在一些具体实施中，该第一立体模型视图表示对应于第一ER环境的缩小尺寸表示。例如，该一个或多个ER对象包括可移动对象(例如，椅子或桌子)、生命对象(例如，表示相应个体的一个或多个化身)、结构对象(例如，天花板、墙壁、立体模型视图表示的边界)、锚定对象(例如，书架)等的组合。该一个或多个ER对象的取向、位置等基于第一ER世界坐标。在一些具体实施中，如框410所示，家庭ER环境包括与家庭ER世界坐标相关联的一个或多个物理对象。作为一个示例，参考图2A，家庭ER环境206包括物理桌子220。

如框412所示，方法400包括检测指向第一立体模型视图表示的第一输入。作为一个示例，参考图2N，接受输入259接受加入与第一立体模型视图表示230相关联的ER会话的邀请。例如，第一输入与发起(例如，加入或显示)第一ER环境的兴趣相关联，诸如语音输入、拾取或放下第一立体模型视图表示(例如，如经由手部传感器检测到的)等。

如框414所示，方法400包括响应于检测到第一输入，转换家庭ER环境。根据一些具体实施，转换家庭ER环境包括停止在家庭ER环境内显示第一立体模型视图表示，并且根据家庭ER世界坐标和第一ER世界坐标来转换一个或多个ER对象的子集之间的空间关系。如框416所示，方法400包括基于该转换显示家庭ER环境内的该一个或多个ER对象的子集。作为一个示例，响应于检测到选择图2N中的第一立体模型视图表示230的接受输入259，电子设备203显示包括转换的电视264、转换的化身266和转换的沙发268的有界ER环境261，如图2O所示。例如，该一个或多个ER对象的子集对应于对应ER对象的相应表示。又如，该一个或多个ER对象的子集可包括该一个或多个ER对象中的一些或全部ER对象。在一些具体实施中，转换空间关系包括与第一立体模型视图表示内的相同对象相比，增大该一个或多个ER对象的子集的相应尺寸。在一些具体实施中，转换空间关系包括与第一立体模型视图表示内的相同对象相比，增大该一个或多个ER对象的子集之间的距离，同时保持该一个或多个ER对象的子集之间的相对距离。例如，在第一立体模型视图表示中，ER订书机距离ER桌子1英寸，距离ER墙壁3英寸，该转换将ER订书机与ER桌子之间的距离改变为2英寸，将ER订书机与ER墙壁之间的距离改变为6英寸。在一些具体实施中，转换空间关系包括相对于家庭ER环境移动一个或多个ER对象的子集，诸如沿着x-y轴拖动该一个或多个ER对象的子集。在一些具体实施中，转换空间关系包括连续增大该一个或多个ER对象的子集的相应尺寸，直到实现该一个或多个ER对象的子集的真实尺寸表示。

在一些具体实施中，如框418所示，方法400包括响应于检测到第一输入，从第一查看矢量显示该一个或多个ER对象的子集。例如，特定查看矢量提供以下中的一者或多者：视场(FOV)、姿势/旋转坐标、平移坐标、视角等。

在一些具体实施中，如框420所示，方法400包括基于所识别的物理对象来移动该一个或多个ER对象的子集。为此，方法400包括经由图像传感器获取由与该图像传感器相关联的视场界定的环境数据(例如，透传图像数据)，其中该环境数据与包括一个或多个物理对象的物理环境相关联。此外，方法400包括在环境数据内识别位于该一个或多个ER对象的子集的空间接近度阈值内的该一个或多个物理对象中的特定一个物理对象，以及基于该一个或多个物理对象中的该特定一个物理对象相对于该一个或多个物理对象移动该一个或多个ER对象的子集。例如，方法400包括经由例如实例分割和/或语义分割来识别该一个或多个物理对象中的特定一个物理对象。又如，该一个或多个物理对象中的特定一个物理对象大于体积阈值，因此可能遮挡该一个或多个ER对象的子集。在一些具体实施中，该一个或多个物理对象中的特定一个物理对象满足相对于该一个或多个ER对象的子集的空间接近度阈值。例如，当该一个或多个物理对象中的特定一个物理对象距该一个或多个ER对象的子集的距离小于阈值距离时，满足空间接近度阈值。在一些具体实施中，方法400包括显示指示该一个或多个物理对象中的特定一个物理对象的指示符，诸如在该一个或多个物理对象中的特定一个物理对象的一部分的表面上的颜色叠加或动画(例如，“不要将ER环境向下移动，因为那里有一堵大墙”)。

在一些具体实施中，如框422所示，方法400包括检测第二输入。作为一个示例，该第二输入指向该一个或多个ER对象的子集。例如，该第二输入指向单独的示能表示，诸如按下左箭头以便向左移动立体模型视图表示。在一些具体实施中，该第二输入具有三个自由度。例如，立体模型视图表示可沿着x-z平面自转、旋转和/或平移，但不在y方向上向上或向下移动。在一些具体实施中，经由惯性测量单元(IMU)诸如陀螺仪或加速度计来检测该第二输入。又如，该第二输入对应于电子设备相对于该一个或多个ER对象的子集从第一姿势到第二姿势的位置变化。

在一些具体实施中，如框424所示，经由手部跟踪传感器或眼睛跟踪传感器检测该第二输入。为此，在一些具体实施中，方法400包括：经由手部跟踪传感器检测该第二输入；基于该第二输入从该手部跟踪传感器获取手部跟踪数据；以及根据该手部跟踪数据确定该第二输入指向该一个或多个ER对象的子集。例如，方法400包括将由手部跟踪数据指示的手部位置与该一个或多个ER对象的子集的位置进行比较。在一些具体实施中，方法400包括：经由眼睛跟踪传感器检测该第二输入；基于该第二输入从该眼睛跟踪传感器获取眼睛跟踪数据；以及根据该眼睛跟踪数据确定该第二输入指向该一个或多个ER对象的子集。例如，方法400包括通过将由眼睛注视数据指示的眼睛注视位置与该一个或多个ER对象的子集的位置进行比较来确定指向该一个或多个ER对象的子集的第二输入。

在一些具体实施中，如框426所示，方法400包括响应于检测到该第二输入，将该一个或多个ER对象的子集的显示从第一查看矢量改变为第二查看矢量，同时保持根据第一ER世界坐标布置的该一个或多个ER对象的子集。例如，将该一个或多个ER对象的子集的显示从第一查看矢量改变为第二查看矢量可包括以标称旋转量沿着固定轴旋转、翻转或移动等的组合。作为一个示例，响应于检测到图2R中的输入272，电子设备203将转换的电视264、转换的化身266和转换的沙发268从物理桌子220上方沿着家庭ER世界坐标208的z轴向下移动到图2S中的物理桌子220的侧面。继续该示例，电子设备203根据转换的ER世界坐标262保持转换的电视264、转换的化身266和转换的沙发268的布置。在一些具体实施中，如框428所示，基于电子设备从第一姿势到第二姿势的位置变化，将该一个或多个ER对象的子集的显示从第一查看矢量改变为第二查看矢量。在一些具体实施中，如框430所示，将该一个或多个ER对象的子集的显示从第一查看矢量改变为第二查看矢量包括相对于该一个或多个物理对象移动该一个或多个ER对象的子集。

在一些具体实施中，如框432所示，方法400包括检测请求进入第一ER环境的输入。作为一个示例，参考图2T，输入274指向有界ER环境261，并且对应于进入有界ER环境261的请求。例如，输入274对应于眼睛注视输入、手势、语音输入、触摸输入等中的一者。又如，输入274对应于将立体模型视图表示放置或放下在地面上，以便使得该立体模型视图表示能够扩展到真实尺寸，或者以便使得该立体模型视图表示能够替换当前环境。

在一些具体实施中，如框434所示，方法400包括响应于检测到请求进入第一ER环境的输入，将该一个或多个ER对象的子集添加到家庭ER环境。作为一个示例，响应于检测到图2T中的输入274，电子设备203将转换的电视264、转换的化身266和转换的沙发268添加到包括物理桌子220的家庭ER环境206，如图2U所示。在一些具体实施中，将该一个或多个ER对象的子集添加到家庭ER环境包括将该一个或多个ER对象的子集叠加在家庭ER环境内的物理对象上。在一些具体实施中，将该一个或多个ER对象的子集添加到家庭ER环境包括对第一ER环境的物理特征(例如，结构特征，诸如墙壁、地板)进行蒙皮，并且除了将该一个或多个ER对象的子集添加到家庭ER环境之外，还添加物理特征。

在一些具体实施中，如框436所示，方法400包括响应于检测到请求进入第一ER环境的输入，用包括该一个或多个ER对象的子集的第一ER环境替换家庭ER环境。例如，用第一ER环境替换家庭ER环境对应于用纯VR环境替换家庭ER环境。作为一个示例，响应于检测到图2T中的输入274，电子设备203用第一ER环境290替换家庭ER环境206，如图2V所示。与图2U所示的家庭ER环境206不同，第一ER环境290对应于纯VR环境，因此不包括物理桌子220。

本公开描述了各种特征，其中没有一个特征能够单独实现本文所述的益处。应当理解，本文所述的各种特征可被组合、修改或省略，这对本领域的普通技术人员是显而易见的。本文具体描述的那些之外的其他组合和子组合对于普通技术人员而言将显而易见，并旨在形成本公开的一部分。本文结合各种流程图步骤和/或阶段描述了各种方法。应当理解，在很多情况下，某些步骤和/或阶段可被组合在一起，使得流程图中所示的多个步骤和/或阶段可作为单个步骤和/或阶段来被执行。另外，某些步骤和/或阶段可分成要独立执行的附加子部件。在一些情况下，可重新布置步骤和/或阶段的次序，并且可完全省略某些步骤和/或阶段。另外，本文所述的方法应被理解为可广泛解释的，使得也可执行除本文所示和所述那些之外的附加步骤和/或阶段。

本文所述的一些或所有方法和任务可由计算机系统执行和完全自动化。在一些情况下，计算机系统可包括通过网络进行通信和互操作以执行所述功能的多个不同的计算机或计算设备(例如，物理服务器、工作站、存储阵列等)。每个此类计算设备通常包括处理器(或多个处理器)，该处理器执行存储在存储器或其他非暂态计算机可读存储介质或设备中的程序指令或模块。本文所公开的各种功能可在此类程序指令中实现，但另选地可在计算机系统的专用电路(例如，ASIC或FPGA或GP-GPU)中实现所公开的功能中的一些或全部。在计算机系统包括多个计算设备的情况下，这些设备可位于同一位置或不位于同一位置。可通过将物理存储设备诸如固态存储器芯片和/或磁盘转换成不同状态来持久地存储所公开的方法和任务的结果。

本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如，可利用此类个人信息以便在电子设备上提供改进的隐私屏幕。然而，在收集此类个人信息的程度上，此类信息应在用户知情同意的情况下获取。如本文所描述的，用户应了解和控制其个人信息的使用。

个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。此外，此类政策应是完善的、用户可访问的，并且被认为符合或高于政府/行业标准。此外，除任何合理和合法的目的外，各方不得分发、出售或以其他方式分享此类信息。

然而，用户可限制各方能访问或以其他方式获取个人信息的程度。例如，可调整设置或其他偏好，使得用户可决定其个人信息是否可由各种实体访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。例如，如果收集到用户偏好、账户名称和/或位置历史，则该信息可被模糊化或以其他方式一般化，使得该信息不会识别相应用户。

本公开并不旨在限于本文所示的具体实施。对于本领域的技术人员而言，对本公开中描述的具体实施的各种修改可为显而易见的，并且可将本文所定义的一般原理应用于其他具体实施，而不脱离本公开的实质或范围。本文所提供的本发明的教导内容可应用于其他方法和系统，并且不限于上述方法和系统，并且可组合上述各种具体实施的元素和动作以提供更多具体实施。因此，本文描述的新颖方法和系统可以以多种其他形式来实现；此外，在不脱离本公开的实质的情况下，可以对本文所述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等同内容旨在涵盖落入本公开的范围和实质内的此类形式或修改形式。

Claims (51)

1.一种方法，包括：

在包括一个或多个处理器、非暂态存储器、一个或多个输入设备和显示设备的电子设备处：

经由所述显示设备显示来自对应的多个查看矢量的多个立体模型视图表示，其中所述多个立体模型视图表示对应于多个增强现实(ER)环境，其中所述多个立体模型视图表示中的每一个立体模型视图表示与表征相应ER环境的相应ER世界坐标集相关联，其中所述多个立体模型视图表示包括从第一查看矢量显示的所述多个立体模型视图表示中的第一立体模型视图表示，并且其中所述多个立体模型视图表示中的所述第一立体模型视图表示包括根据第一ER世界坐标集布置的ER对象中的第一一个或多个ER对象；

经由所述一个或多个输入设备检测与所述多个立体模型视图表示中的所述第一立体模型视图表示相关联的输入；以及

响应于检测到所述输入，将所述多个立体模型视图表示中的所述第一立体模型视图表示的显示从所述第一查看矢量改变为第二查看矢量，同时保持根据所述第一ER世界坐标集布置的所述第一一个或多个ER对象。

2.根据权利要求1所述的方法，其中所述输入是针对所述多个立体模型视图表示中的所述第一立体模型视图表示。

3.根据权利要求2所述的方法，其中所述一个或多个输入设备包括手部跟踪传感器，所述方法还包括：

经由所述手部跟踪传感器检测所述输入；

基于所述输入从所述手部跟踪传感器获取手部跟踪数据；以及

根据所述手部跟踪数据确定所述输入是针对所述多个立体模型视图表示中的所述第一立体模型视图表示。

4.根据权利要求2所述的方法，其中所述一个或多个输入设备包括眼睛跟踪传感器，所述方法还包括：

经由所述眼睛跟踪传感器检测所述输入；

基于所述输入从所述眼睛跟踪传感器获取眼睛跟踪数据；以及

根据所述眼睛跟踪数据确定所述输入是针对所述多个立体模型视图表示中的所述第一立体模型视图表示。

5.根据权利要求1至4中任一项所述的方法，其中所述输入对应于所述电子设备相对于所述多个立体模型视图表示中的所述第一立体模型视图表示从第一姿势到第二姿势的位置变化。

6.根据权利要求5所述的方法，其中所述一个或多个输入设备包括位置变化传感器，所述方法还包括：

经由所述位置变化传感器检测所述输入；

基于所述输入从所述位置变化传感器获取位置变化数据；以及

基于所述位置变化数据确定所述电子设备的所述位置变化。

7.根据权利要求1至6中任一项所述的方法，其中所述输入还与所述多个立体模型视图表示中的第二立体模型视图表示相关联，并且其中从第三查看矢量显示所述多个立体模型视图表示中的所述第二立体模型视图表示，并且其中所述多个立体模型视图表示中的所述第二立体模型视图表示包括根据第二ER世界坐标集布置的ER对象中的第二一个或多个ER对象，所述方法还包括响应于检测到所述输入，将所述多个立体模型视图表示中的所述第二立体模型视图表示的显示从所述第三查看矢量改变为第四查看矢量，同时保持根据所述第二ER世界坐标集布置的所述第二一个或多个ER对象。

8.根据权利要求1至7中任一项所述的方法，其中所述多个立体模型视图表示对应于对应的多个ER环境的缩小尺寸表示。

9.根据权利要求1至8中任一项所述的方法，其中所述多个立体模型视图表示中的所述第一立体模型视图表示对应于第一ER环境的虚拟现实(VR)表示。

10.根据权利要求1至8中任一项所述的方法，其中所述多个立体模型视图表示中的所述第一立体模型视图表示对应于第一ER环境的增强现实(AR)表示，并且其中所述多个立体模型视图表示中的所述第一立体模型视图表示包括覆盖在与所述第一ER环境的物理特征相关联的环境数据上的AR内容。

11.根据权利要求1至10中任一项所述的方法，其中显示所述多个立体模型视图表示包括使所述多个立体模型视图表示的一部分成为动画。

12.根据权利要求1至11中任一项所述的方法，还包括：

获取分别提供对应的多个ER环境的多个空间表征的多个表征矢量，其中所述多个表征矢量中的每一个表征矢量包括分别标识一个或多个ER对象的多个对象标签值，并且其中所述多个表征矢量中的每一个表征矢量还包括提供所述一个或多个ER对象相对于彼此的相应位置的多个相对位置值；以及

根据所述多个相对位置值从所述对应的多个ER环境和所述多个表征矢量生成所述对应的多个ER环境的所述多个立体模型视图表示。

13.根据权利要求12所述的方法，其中生成所述多个立体模型视图表示包括根据缩放因子按比例缩小所述对应的多个ER环境。

14.根据权利要求13所述的方法，还包括经由所述一个或多个输入设备获取指定所述缩放因子的缩放请求输入。

15.根据权利要求13所述的方法，其中所述电子设备包括图像传感器，所述方法还包括：

经由所述图像传感器获取由与所述图像传感器相关联的物理环境的视场界定的透传图像数据；

在所述透传图像数据内识别所述物理环境内的一个或多个物理对象；以及

基于所述一个或多个物理对象来确定所述缩放因子。

16.根据权利要求1至15中任一项所述的方法，其中所述对应的多个ER环境的至少一个子集分别与对应于彼此不同的多个ER会话的多个ER环境相关联，并且其中所述多个ER环境中的每一个ER环境使个体能够在所述ER环境内同时进行图形表示。

17.根据权利要求16所述的方法，其中对应于所述对应的多个ER环境的至少所述子集的所述多个立体模型视图表示的至少一个子集中的每一个立体模型视图表示包括与相应的ER会话相关联的一个或多个对应个体的一个或多个ER表示。

18.根据权利要求17所述的方法，其中所述一个或多个对应个体中的每一个对应个体与一相应访问级别相关联，该相应访问级别满足与所述相应ER会话相关联的访问级别标准。

19.根据权利要求16所述的方法，还包括：

经由所述电子设备的扬声器播放第一组语音数据，同时显示所述多个立体模型视图表示，其中所述第一组语音数据与一个或多个对应个体相关联，所述一个或多个对应个体与特定ER会话相关联，所述特定ER会话与相应ER环境相关联；

经由所述电子设备的音频传感器从与所述电子设备相关联的用户获取第二组语音数据；以及

将所述第二组语音数据提供给所述相应ER环境，使得所述第二组语音数据能够被与所述特定ER会话相关联的所述一个或多个对应个体听到。

20.根据权利要求16所述的方法，其中对应于所述对应的多个ER环境的至少所述子集的所述多个立体模型视图表示的至少一个子集中的每一个立体模型视图表示与相应的ER会话相关联，并且其中显示所述多个立体模型视图表示基于有关加入所述多个ER会话的所述电子设备的历史数据。

21.根据权利要求1至20中任一项所述的方法，还包括经由眼睛跟踪传感器获取指示眼睛注视位置的眼睛注视数据，其中显示所述多个立体模型视图表示基于所述眼睛注视数据。

22.根据权利要求1至21中任一项所述的方法，还包括：

经由所述一个或多个输入设备接收选择所述多个立体模型视图表示中的所述第一立体模型视图表示的立体模型选择输入；以及

响应于接收到所述立体模型选择输入：

经由所述显示设备显示与所述多个立体模型视图表示中的所述第一立体模型视图表示相关联的ER环境；以及

停止显示所述多个立体模型视图表示。

23.根据权利要求1至22中任一项所述的方法，还包括在所述多个立体模型视图表示中的一个特定立体模型视图表示内显示与所述多个立体模型视图表示中的所述特定立体模型视图表示相关联的相应ER环境内的活动记录。

24.根据权利要求1至23中任一项所述的方法，其中显示所述多个立体模型视图表示基于控制值。

25.一种电子设备，包括：

一个或多个处理器；

非暂态存储器；

一个或多个输入设备；

显示设备；和

一个或多个程序，其中所述一个或多个程序被存储在所述非暂态存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行或导致执行根据权利要求1至24所述的方法中的任一种方法的指令。

26.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备执行时使得所述电子设备执行或导致执行根据权利要求1至24所述的方法中的任一种方法。

27.一种电子设备，包括：

一个或多个处理器；

非暂态存储器；

一个或多个输入设备；

显示设备；和

用于执行或导致执行根据权利要求1至24所述的方法中的任一种方法的装置。

28.一种用于在电子设备中使用的信息处理装置，包括用于执行或导致执行根据权利要求1至24所述的方法中的任一种方法的装置。

29.一种方法，包括：

在包括一个或多个处理器、非暂态存储器、一个或多个输入设备和显示设备的电子设备处：

经由所述显示设备显示由家庭增强现实(ER)世界坐标表征的家ER环境，包括第一ER环境的第一立体模型视图表示，其中所述第一立体模型视图表示包括根据第一ER世界坐标按空间关系布置的ER对象中的一个或多个ER对象；

经由所述一个或多个输入设备检测针对所述第一立体模型视图表示的第一输入；以及

响应于检测到所述第一输入，通过以下操作转换所述家庭ER环境：

停止在所述家庭ER环境内显示所述第一立体模型视图表示，

根据所述家庭ER世界坐标和所述第一ER世界坐标转换所述一个或多个ER对象的子集之间的所述空间关系，以及

基于所述转换，经由所述显示设备显示所述家庭ER环境内的所述一个或多个ER对象的所述子集。

30.根据权利要求29所述的方法，还包括：

在基于所述转换在所述家庭ER环境内显示所述一个或多个ER对象的所述子集时，经由所述一个或多个输入设备检测第二输入；以及

响应于检测到所述第二输入，将所述一个或多个ER对象的所述子集添加到所述家庭ER环境。

31.根据权利要求29所述的方法，还包括：

在基于所述转换在所述家庭ER环境内显示所述一个或多个ER对象的所述子集时，经由所述一个或多个输入设备检测第二输入；以及

响应于检测到所述第二输入，用包括所述一个或多个ER对象的所述子集的所述第一ER环境替换所述家庭ER环境。

32.根据权利要求29至31中任一项所述的方法，其中，响应于检测到所述第一输入，从第一查看矢量显示所述一个或多个ER对象的所述子集，所述方法还包括：

在基于所述转换在所述家庭ER环境内显示所述一个或多个ER对象的所述子集时，经由所述一个或多个输入设备检测第二输入；以及

响应于检测到所述第二输入，将所述一个或多个ER对象的所述子集的显示从所述第一查看矢量改变为第二查看矢量，同时保持根据所述第一ER世界坐标布置的所述一个或多个ER对象的所述子集。

33.根据权利要求32所述的方法，其中所述第二输入是针对所述一个或多个ER对象的所述子集。

34.根据权利要求33所述的方法，其中所述一个或多个输入设备包括手部跟踪传感器，所述方法还包括：

经由所述手部跟踪传感器检测所述第二输入；

基于所述第二输入从所述手部跟踪传感器获取手部跟踪数据；以及

根据所述手部跟踪数据确定所述第二输入是针对所述一个或多个ER对象的所述子集。

35.根据权利要求33所述的方法，其中所述一个或多个输入设备包括眼睛跟踪传感器，所述方法还包括：

经由所述眼睛跟踪传感器检测所述第二输入；

基于所述第二输入从所述眼睛跟踪传感器获取眼睛跟踪数据；以及

根据所述眼睛跟踪数据确定所述第二输入是针对所述一个或多个ER对象的所述子集。

36.根据权利要求32所述的方法，其中所述家庭ER环境包括与所述家庭ER世界坐标相关联的一个或多个物理对象，并且其中将所述一个或多个ER对象的所述子集的显示从所述第一查看矢量改变为所述第二查看矢量包括相对于所述一个或多个物理对象移动所述一个或多个ER对象的所述子集。

37.根据权利要求32所述的方法，其中所述第二输入对应于所述电子设备相对于所述一个或多个ER对象的所述子集从第一姿势到第二姿势的位置变化，并且其中将所述一个或多个ER对象的所述子集的显示从所述第一查看矢量改变为所述第二查看矢量基于所述电子设备从所述第一姿势到所述第二姿势的所述位置变化。

38.根据权利要求29至37中任一项所述的方法，还包括：

经由图像传感器获取由与所述图像传感器相关联的视场界定的环境数据，其中所述环境数据与包括一个或多个物理对象的物理环境相关联；

在所述环境数据内识别位于所述一个或多个ER对象的所述子集的空间接近度阈值内的所述一个或多个物理对象中的一个特定物理对象；以及

基于所述一个或多个物理对象中的所述特定物理对象相对于所述一个或多个物理对象移动所述一个或多个ER对象的所述子集。

39.根据权利要求29至38中任一项所述的方法，还包括：

经由所述显示设备显示所述家庭ER环境内的对应多个ER环境的多个立体模型视图表示，其中所述多个立体模型视图表示包括所述第一立体模型视图表示；以及

响应于检测到所述第一输入，从所述多个立体模型视图表示中选择所述第一立体模型视图表示。

40.根据权利要求29至39中任一项所述的方法，还包括：

经由所述显示设备显示所述家庭ER环境内的对应多个ER环境的多个立体模型视图表示，其中所述多个立体模型视图表示包括所述第一立体模型视图表示；以及

经由所述一个或多个输入设备检测从所述多个立体模型视图表示中选择所述第一立体模型视图表示的选择输入；以及

响应于检测到所述选择输入，保持所述第一立体模型视图表示在所述家庭ER环境内的显示并停止显示所述多个立体模型视图表示中的剩余者。

41.根据权利要求40所述的方法，还包括经由眼睛跟踪传感器获取指示眼睛注视位置的眼睛注视数据，其中所述选择输入基于所述眼睛注视位置。

42.根据权利要求29至41中任一项所述的方法，其中所述第一ER环境与ER会话相关联，所述ER会话使得个体能够在所述第一ER环境内同时进行相应图形表示。

43.根据权利要求42所述的方法，其中所述第一ER环境包括分别与连接到所述ER会话的一个或多个个体相关联的一个或多个ER表示。

44.根据权利要求43所述的方法，其中所述一个或多个个体中的每一个个体具有满足与所述ER会话相关联的访问级别标准的相应访问级别。

45.根据权利要求43所述的方法，还包括：

在显示所述第一立体模型视图表示时：

经由所述电子设备的扬声器播放与连接到所述ER会话的所述一个或多个个体相关联的第一组语音数据；

经由所述电子设备的音频传感器从与所述电子设备相关联的用户获取第二组语音数据；以及

将所述第二组语音数据提供给连接到所述ER会话的所述一个或多个个体。

46.根据权利要求29至45中任一项所述的方法，还包括：

获取提供所述第一ER环境的空间表征的表征矢量，其中所述表征矢量包括分别标识所述一个或多个ER对象的多个对象标签值，并且其中所述表征矢量还包括提供所述一个或多个ER对象相对于彼此的相应位置的多个相对位置值；以及

根据所述第一ER环境和所述表征矢量生成所述第一立体模型视图表示。

47.根据权利要求29至46中任一项所述的方法，其中显示所述第一立体模型视图表示包括使所述一个或多个ER对象的一部分成为动画。

48.一种电子设备，包括：

一个或多个处理器；

非暂态存储器；

一个或多个输入设备；

显示设备；和

一个或多个程序，其中所述一个或多个程序被存储在所述非暂态存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行或导致执行根据权利要求29至47所述的方法中的任一种方法的指令。

49.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备执行时使得所述电子设备执行或导致执行根据权利要求29至47所述的方法中的任一种方法。

50.一种电子设备，包括：

一个或多个处理器；

非暂态存储器；

一个或多个输入设备；

显示设备；和

用于执行或导致执行根据权利要求29至47所述的方法中的任一种方法的装置。

51.一种用于在电子设备中使用的信息处理装置，包括用于执行或导致执行根据权利要求29至47所述的方法中的任一种方法的装置。

Images