CN110888567A - 三维内容中基于位置的虚拟元件模态 - Google Patents

Abstract

本公开涉及三维内容中基于位置的虚拟元件模态。本文公开的各种具体实施包括使设备能够提供虚拟元件和物理环境的视图的设备、系统和方法，其中虚拟元件的呈现基于相对于物理环境的定位。在一个示例中，设备被配置为检测虚拟元件的定位的变化，例如，当添加、移动虚拟元件或者改变虚拟元件周围的物理环境时。虚拟元件在物理环境中的位置用于检测虚拟元件的呈现所依赖的物理环境的属性。因此，该设备被进一步配置为基于虚拟元件的放置来检测物理环境的属性(例如，表面、桌子、半空中等)，并基于检测到的属性呈现虚拟元件。

Description

三维内容中基于位置的虚拟元件模态

相关申请的交叉引用

本申请要求2018年9月11日提交的美国临时申请序列号62/729,671的权益，该申请全文以引用方式并入本文。

技术领域

本公开一般涉及计算机生成现实(CGR)环境的显示，尤其涉及用于在三维(3D)内容中显示虚拟元件的系统、方法和设备，其中内容中的虚拟元件改变模态。

背景技术

各种设备用于为用户提供计算机生成的现实(CGR)环境。此类体验的3D内容可由用户使用移动设备、头戴式设备(“HMD”)或呈现内容的视觉或音频特征的其他设备来体验。该体验可以是但不必是沉浸式的，例如，提供用户体验到的大部分或全部视觉或音频内容。该内容可包括透传视频(例如，其中现实世界内容由相机捕获并且在具有附加内容的显示器上显示)或光学透视(例如，其中直接或者通过玻璃查看现实世界内容并且用所显示的附加内容补充)。

一些设备和软件程序有利于显示包括虚拟对象/元件的3D内容。然而，这些设备和软件程序没有提供足够的特征部来适应或定制此类虚拟对象/元件的模态。

发明内容

本文所公开的各种具体实施包括使设备能够呈现虚拟元件和物理环境的视图的设备、系统和方法，其中虚拟元件的呈现基于视图中虚拟元件的位置处的物理环境的属性。在一个示例中，设备被配置为检测视图中的变化，例如，当虚拟元件放置在视图中相对于物理环境的位置处并且虚拟元件在视图中的位置用于检测物理环境的属性时。因此，该设备被进一步配置为基于虚拟元件的放置来检测物理环境的属性(例如，表面、桌子等)，并基于检测到的属性呈现虚拟元件。

如在以上示例和本文其他地方所示的一些具体实施因此使得能够基于虚拟元件相对于物理环境的属性的位置来呈现虚拟元件。虚拟元件的创建者(包括包含虚拟元件的应用程序的创建者)能够提供具有外观、功能和交互特征的虚拟元件的视图，外观、功能和交互特征适应于使用它们的物理环境的表示。使用包括此类自适应虚拟元件的视图的最终用户体验可明显更好。最终用户能够看到基于虚拟元件相对于物理环境的位置呈现的虚拟元件的视图，并且可有很大的自由来移动虚拟元件以体验其不同呈现中的虚拟元件。

在一些具体实施中，非暂态计算机可读存储介质中存储有计算机可执行的指令，以执行或促使执行本文所述的任何方法。根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或导致执行本文所述方法中的任一种的指令。在一些具体实施中，本文所述的方法在具有一个或多个处理器和计算机可读存储介质诸如桌面、膝上型计算机、平板电脑等的设备处执行。

附图说明

因此，本公开能够被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施的在设备上提供的3D环境，其中设备基于第一虚拟元件相对于环境的定位来显示第一虚拟元件。

图2示出了根据一些具体实施的由图1提供的3D环境，其中所述设备为头戴式设备。

图3示出了根据一些具体实施的在设备上提供的3D环境，其中设备基于第二虚拟元件相对于环境的定位来显示第二虚拟元件。

图4示出了根据一些具体实施的由图3提供的3D环境，其中所述设备为头戴式设备。

图5是根据一些具体实施的图1的设备的框图，该设备包括向操作系统提供虚拟元件以供包含在3D环境中的多个应用程序。

图6是示出了根据一些具体实施的示例性设备的设备部件的框图。

图7为用于呈现包括虚拟元件的视图的方法的流程图表示，其中虚拟元件的呈现基于相对于视图中示出的物理环境的定位。

图8为用于在显示器上呈现3D内容的方法的流程图表示，其中虚拟元件基于虚拟元件相对于3D内容中所示环境的位置而改变模态。

图9是用于在显示器上呈现内容的方法的流程图表示，其中虚拟元件基于虚拟元件相对于内容中所示环境的位置而改变模态。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

参见图1和图2，示出了用于实现本公开的各方面的示例操作环境5。一般来讲，操作环境5表示涉及3D内容的显示的设备10，包括但不限于计算机生成的现实(CGR)环境。CGR环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或与之交互的虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与现实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。如本文所用，其中物理环境的至少一些光可以通过透明或半透明显示器的HMD被称为“光学透视”HMD。

另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。

进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。

头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

在一些具体实施中，设备10是被配置为向用户呈现CGR内容20的手持电子设备(例如，智能手机或平板电脑)。在一些具体实施中，设备10是用户佩戴的头戴式设备(HMD)。此类HMD可包围用户的视场。在一些具体实施中，HMD以一个或多个屏幕被定位成在用户的视场中显示CGR内容的方式被佩戴。在一些具体实施中，两个设备(例如，HMD和与HMD无线通信的控制器设备)彼此通信以提供CGR内容(例如，HMD使用相机和传感器来编译关于现实世界场景5的信息并且具有一个或多个显示器来显示CGR内容，并且控制器设备处理该相机/传感器数据和其他数据以向HMD提供CGR内容)。

在图1和图2中，3D内容(例如，CGR环境15)组合现实世界场景20的描绘(例如，经由本地捕获的现实世界场景20的图像)与虚拟元件的描绘。各种具体实施使得设备10能够以不同的查看模式(例如，单眼地、立体地等)查看或编辑CGR环境。CGR环境可为透传视频(例如，其中现实世界内容由相机捕获并显示在显示器上)或光学透视(例如，直接或透过玻璃查看现实世界的内容)。例如，CGR系统可以通过将渲染的3D图形集成到由车载相机捕获的实时视频流中，在消费者手机的显示器上向用户提供透传视频。又如，CGR系统可通过将所渲染的3D图形叠加到可穿戴透视头戴式显示器(“HMD”)当中而为用户提供光学透视CGR，从而借助于所叠加的3D模型以电子方式增强用户对现实世界的光学视图。

内容中的虚拟元件的模态基于虚拟元件相对于内容的位置。在一些具体实施中，当虚拟元件首次插入到内容中时，例如，基于虚拟元件的初始位置，确定虚拟元件的模态。在一些具体实施中，虚拟元件的模态被确定并且当虚拟元件在内容中移动时被改变。在一些具体实施中，对内容进行的变化影响虚拟元件的模态。例如，设备10的用户可以移动或改变与虚拟元件相关联的内容的属性，例如，消除虚拟元件“搁置”的虚拟表面，使得虚拟元件留在开放的3D空间(例如，“半空中”)。

在图1和图2的示例中，设备10呈现CGR环境15。在设备10上观察到的CGR环境15描绘了具有现实物品的现实世界场景20，例如，茶几25、墙壁30、地板35和开放的3D空间40。在CGR环境15中自动或手动地包括一个或多个虚拟元件。在一个示例中，基于CGR环境15中的现实对象自动选择虚拟元件。又如，用户提供输入以选择要包括在CGR环境15中的一个或多个虚拟元件。在一些具体实施中，CGR环境15包括来自单个源的虚拟元件，诸如来自单个软件应用程序的虚拟元件。在其他具体实施中，CGR环境15包括来自多个源的虚拟元件的布置。例如，CGR环境15可以为现实或虚拟元件提供CGR“桌面”，包括来自多个单独执行的软件应用程序的多个虚拟元件。例如，此类环境可以显示现实环境的桌子的描绘，其具有定位在桌子的顶表面上、墙壁上或者地板上等的一个或多个虚拟元件，并且此类虚拟元件可以已经由单个的单独执行的应用程序提供。

在图1和图2的示例中，CGR环境15阐述了诸如茶几25、墙壁30、地板35的平坦表面，但是在一些具体实施中，CGR环境15可以另选地阐述非平坦表面(例如，具有复杂几何结构的表面)，包括现实世界非平坦表面和虚拟或合成的非平坦表面。此外，一些具体实施可以使用平面、三角形网元或体积表示来捕捉或表示现实世界场景20，以及生成CGR环境15。在一些具体实施中，参考计算机辅助绘图(“CAD”)模型可用于识别或表示项目，例如，茶几25。

在一些具体实施中，基于现实世界场景20或CGR环境15内的纹理(例如，颜色)的转变或差异来识别现实世界场景20的现实项目。例如，现实项目(例如，茶几25)可以包括黑色区域，并且现实世界场景20或CGR环境15的紧邻区域可以是白色。因此，可以通过识别浅色和深色之间的纹理转变区域来确定现实项目的边界。在一些具体实施中，可基于运动恢复结构(“SfM”)方法、同时定位和映射(“SLAM”)方法、计算机视觉无源立体方法、包括结构化光的计算机视觉活动立体方法、光度立体方法、明暗恢复形状方法、散焦恢复形状方法、几何模型拟合方法、机器学习方法或单目深度估计方法来识别现实项目。

本文公开的设备、系统和方法使得能够基于虚拟元件与CGR环境15中的物理或虚拟属性的相对位置来显示虚拟元件。当设备10的用户在CGR环境15内放置或重新定位虚拟元件或者改变虚拟元件周围的CGR环境15时，虚拟元件的模态变化或适应。具体地，基于虚拟元件相对于附近CGR内容的一个或多个属性的位置来确定虚拟元件的模态。此类模态可包括虚拟元件的外观、功能或交互方面。

此外，CGR环境15可以包括共面虚拟元件，例如，在现实环境的桌子的描绘上显示的虚拟监视器，其具有位于虚拟监视器的虚拟屏幕上的一个或多个虚拟元件。在此类具体实施中，第一共面虚拟元件(例如，虚拟监视器)可以充当用于放置一个或多个次级共面虚拟元件(例如，天气应用程序)的接收器，并且可以限定用于放置次级共面虚拟元件的边界。在另外的具体实施中，第一共面虚拟元件可以为次级共面虚拟元件提供模态语境，即，次级共面虚拟元件的模态可以基于第一共面虚拟元件而变化或适应。

根据虚拟元件在CGR环境15中的不同位置，虚拟元件(例如，天气对象)以不同模态45、50、55包括在CGR环境15中。为了说明这一点，图1中以不同模态在不同位置描绘了虚拟元件的多个实例。虚拟元件的这些实例描绘了虚拟元件在不同位置处的模态，例如，因为在使用CGR内容期间虚拟元件可能定位在不同的时间点。因此，不同的模态45、50、55不一定在同一时刻显示。如果虚拟元件的多个不同实例同时包括在CGR内容中，则不同模态45、50、55将仅在同一时刻显示，这在一些具体实施中是可能的。

图1示出了虚拟元件的模态如何取决于其相对于CGR环境15的一个或多个属性的位置(例如，在表面、垂直表面、水平表面、墙壁、地板、天花板、桌子上，在半空中等)。在该示例中，虚拟元件的模态取决于虚拟元件是位于茶几25上、墙壁30上、地板35上还是开放的3D空间40中。

虚拟元件的模态(例如，外观、功能和交互特征)可由虚拟元件创建者配置，例如，虚拟元件创建者可以为与多个CGR内容属性(例如，表面、水平表面、垂直表面、墙壁、地板、桌子、天花板等)相关联的多个位置状态(例如，在水平表面上、在垂直表面上、在半空中等)中的每一个创建不同的模态状态定义。

图1示出了以垂直表面模态45显示的虚拟元件。基于虚拟元件定位在墙壁30上并因此与垂直表面属性相关联，虚拟元件以垂直表面模态45显示(例如，作为天气标志)。在该示例中，虚拟元件的垂直表面模态45显示表示天气以及高和低预测的每日温度的2D图像或符号。虚拟元件的功能和交互性可取决于其模态。例如，虚拟元件的垂直表面模态45可以提供模态特定的功能，诸如多普勒雷达图的显示。又如，虚拟元件的垂直表面模态45可以提供模态特定的用户交互性，诸如用户可控制的动画。例如，虚拟元件的垂直表面模态45可以被配置为当在设备10的触摸屏上点击或触摸虚拟元件或靠近虚拟元件的区域时提供天气动画。在另一个示例中，虚拟元件的垂直表面模态45可以被配置为当虚拟元件被悬停、被触摸或被点击时改变其外观，例如其显示的信息。又如，虚拟元件的垂直表面模态45可以被配置为基于用户的交互来扩大其外观。

图1还示出了在开放空间模态50中显示的虚拟元件。在该示例中，虚拟元件的开放空间模态50的外观、功能和交互性与垂直表面模态45的外观、功能和交互性不同。与垂直表面模态45的2D外观相反，开放空间模态50具有3D外观。开放空间模态50提供用户当前地理位置中的当前天气或预测天气状况的3D表示，例如，显示浮动太阳、雨云、龙卷风等。

图1还示出了以水平表面模态55显示的虚拟元件。在该示例中，虚拟元件的水平表面模态55的外观、功能和交互性不同于垂直表面模态45和开放空间模态50的外观、功能和交互性。该示例中的虚拟元件相对于现实世界茶几25的描绘的水平平坦表面定位。基于该位置，虚拟元件以水平表面模态55显示，例如，作为装饰性雪球，其中当前或预测的天气以3D方式显示在球体内。此外，示例性水平表面模态55根据预测的天气使用时变内容(例如，球体中下雪或者下雨)来呈现天气。水平表面模态55(例如，雪球)的交互性可以包括当用户经由设备10的界面点击或触摸球体时开始或停止球体的动画。如本领域普通技术人员所调整的，虚拟元件的外观、功能和交互性可包括任何数量的特征，例如，当通过设备10点击或触摸雪球时显示附加预测信息。

图2示出了由图1提供的环境，其中该设备是被配置为佩戴在用户65的头部上的HMD。此类HMD可包围用户65的视场。HMD可包括被配置为显示CGR环境15的一个或多个屏幕或者其他显示器。在一些具体实施中，HMD包括一个或多个屏幕或其他显示器以显示具有在用户65的视场中的现实世界内容的虚拟元件。在一些具体实施中，HMD以一个或多个屏幕被定位成在用户65的视场中显示具有现实世界场景20的现实世界内容的CGR环境15的方式被佩戴。在一些具体实施中，提供CGR环境15的设备10是腔室、壳体或房间，其被配置为呈现CGR环境15，其中用户65不佩戴或保持设备10。

图3和图4示出了示例性操作环境70，其中CGR内容包括提供时间信息(诸如当前时间)的虚拟元件。在示例性操作环境70中，现实世界场景20包括多个现实世界对象和相关联的属性，例如，墙壁30、地板35、桌子75和开放的3D空间40。与图1和图2的示例一样，图3和图4的示例中描绘的CGR环境15包括当被放置在相对于CGR内容的属性的不同位置时具有不同模态的虚拟元件。虚拟元件的模态(例如，外观、功能和交互特征)能够由虚拟元件创建者配置，例如，虚拟元件创建者可以为与多个CGR内容属性(例如，表面、水平表面、垂直表面、墙壁、地板、桌子、天花板等)相关联的多个位置状态(例如，在水平表面上、在垂直表面上、在半空中等)中的每一个创建不同的模态状态定义。

图3示出了在垂直表面模态45中显示的虚拟元件。在示例性操作环境70中，用户可以将虚拟元件定位在CGR环境15中的墙壁30附近。当定位在墙壁30附近时，虚拟元件具有垂直表面模态80。在垂直表面模态80中，虚拟元件具有挂钟的外观、功能和交互性。

虚拟元件可被配置为由最终用户以其一种或多种模态定制。例如，当虚拟元件放置在墙壁30附近时，虚拟元件可以以垂直表面模态80显示，并且可以向用户呈现模态特定的显示选项，例如，用户可以选择在该特定垂直表面模态80中以模拟还是数字格式显示时间。

图3还示出了以地板模态85显示的虚拟元件。作为沿着墙壁30放置虚拟元件的替代形式，用户可以将虚拟元件放置在靠近地板35的位置。在示例性图示中，虚拟元件的地板形态85是站立的落地式大钟。虚拟元件的地板模态85可以提供模态特定功能和交互特征。例如，地板模态85可以包括游摆，当用户提供设备10的用户交互(例如，语音命令、手势、凝视等)时，从落地式大钟的面部出现的杜鹃鸟等。

图3还示出了以水平表面模态55显示的虚拟元件。例如，如果用户将虚拟元件定位在CGR环境15中的桌子75的水平表面附近，则虚拟元件可以以水平表面模态90显示。在水平表面模态90中，虚拟元件具有时钟收音机的外观。在该示例中，水平表面模态90为用户提供通过交互式特征部105进行交互的能力。具体地，虚拟元件(例如，时钟收音机)的水平表面模态90包括旋钮或按钮，以通过调谐收音机或调节时钟收音机的音量来控制虚拟元件的无线电特征。

如图4所示，设备10可以是配置为佩戴在用户65的头部上的HMD。

在一些具体实施中，CGR内容，包括现实世界对象和虚拟元件的描述，由单个应用程序提供。在其他具体实施中，诸如操作系统的应用程序提供CGR内容，其包括共享的虚拟空间，其中来自单独源的内容被组合。在一个示例中，操作系统提供共享虚拟空间，其包括由一个或多个单独的应用程序提供的虚拟元件。图5提供了此类具体实施的示例。

图5是根据一些具体实施的包括多个应用程序115a-n的设备10的框图，该多个应用程序向操作系统130提供虚拟元件(诸如，虚拟元件120)，以供包含在CGR环境15中。在该示例中，应用程序115a提供虚拟元件120，其包括关于虚拟元件120的放置和模态的信息。此类模态信息诸如关于虚拟元件120应如何在不同模式下出现、起作用和交互的信息。模态信息能包括虚拟元件120的一个或多个2D或3D模型。在一些具体实施中，虚拟元件120的3D模型识别3D空间中的点的集合，通过各种几何实体连接，诸如三角形、线条、曲线、曲面等。在图5中，虚拟元件120被添加到CGR环境15并且在CGR环境15的视图200中在桌子125的顶部上示出。虚拟元件120由应用程序115a提供给操作系统130，并且包括指示虚拟元件120将基于放置改变模态的模态信息。

图6是示出了根据一些具体实施的设备10的设备部件的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备10包括一个或多个处理单元142(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器146、一个或多个通信接口148(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或类似类型的接口)、一个或多个编程(例如，I/O)接口150、一个或多个显示器152、一个或多个面向内部或面向外部的图像传感器154、存储器160以及用于互连这些部件和各种其他部件的一条或多条通信总线144。

在一些具体实施中，一条或多条通信总线144包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器146包括触摸屏、软键、键盘、虚拟键盘、按钮、旋钮、操纵杆、开关、拨号盘、惯性测量单元(IMU)、加速度计、磁力仪、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测器、心率监测器、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构化光、飞行时间等)等的至少一者。在一些具体实施中，由一个或多个I/O设备和传感器146检测到的设备10的移动、旋转或位置向设备10提供输入。

在一些具体实施中，一个或多个显示器152被配置为呈现用户界面。在一些具体实施中，一个或多个显示器152对应于全息、数字光处理(“DLP”)、液晶显示器(“LCD”)、硅上液晶(“LCoS”)、有机发光场效应晶体管(“OLET”)、有机发光二极管(“OLED”)、表面传导电子发射器显示器(“SED”)、场发射显示器(“FED”)、量子点发光二极管(“QD-LED”)、微机电系统(“MEMS”)或者类似显示器类型。在一些具体实施中，一个或多个显示器152对应于衍射、反射、偏振、全息等波导显示器。例如，设备10包括单个显示器。又如，设备10包括针对每只眼睛的显示器。在一些具体实施中，一个或多个显示器152能够呈现CGR内容。

在一些具体实施中，一个或多个图像传感器系统154被配置为获得对应于设备10的本地场景的至少一部分的图像数据。一个或多个图像传感器系统154能包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(“CMOS”)图像传感器或电荷耦合器件(“CCD”)图像传感器)、单色相机、IR相机、或者基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统154还包括发射光的照明源，诸如闪光灯。

存储器160包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器160包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器160任选地包括远离一个或多个处理单元142定位的一个或多个存储设备。存储器160包括非暂态计算机可读存储介质。在一些具体实施中，存储器160或存储器160的非暂态计算机可读存储介质存储以下程序、模块和数据结构，或其子集，包括任选的操作系统130和一个或多个应用程序115a-n。操作系统130包括用于处理各种基本系统服务和用于执行硬件相关任务的过程。

在一些具体实施中，操作系统130包括CGR内容创建单元132，用于使用来自多个源的数据(例如，来自相机的现实世界数据和来自一个或多个应用程序138(例如，115a-n)的虚拟元件)生成CGR内容(例如，CGR环境的视图)。操作系统130还包括由一个或多个应用程序138用于确定模态的CGR模态选择器单元134。CGR模态选择器单元134被配置为基于虚拟元件相对于CGR内容的位置来识别模态。操作系统130还包括应用接口单元136，用于从应用程序138接收信息，诸如虚拟元件信息，以及与应用程序115a-n交换关于虚拟元件的放置和模态选择的信息，如由CGR内容创建单元132和CGR模态选择器单元134所解释的。在一些具体实施中，基于位置调整模态的功能被内置到应用程序115a-n而不是操作系统130中。在一些具体实施中，单个应用程序、模块或其他功能单元定义虚拟元件，并且包括用于创建CGR内容的功能，并且根据基于CGR内容中的虚拟元件的位置选择的模态，在CGR内容中包括虚拟元件。

图6更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图6中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。

图7是用于呈现包括虚拟元件的视图的方法700的流程图表示，其中虚拟元件的呈现基于相对于视图中描绘的物理环境的定位。在一些具体实施中，方法700由设备(例如，图1至图6的设备10)执行。方法700能够在移动设备、HMD、台式计算机、膝上型电脑或服务器设备上执行。在一些具体实施中，方法700由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法700由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框710处，设备使用图像传感器来获取表示物理环境的图像数据。图像可由本地或远程录像机/相机捕获，并且在一些具体实施中，录像机/相机可为独立设备，可并入移动电话或视频游戏控制器中，或可包括在HMD中。由现实世界场景反射的光可以由一个或多个相机图像捕获。在一些具体实施中，该方法可以组合现实世界场景的一个或多个相机图像以形成环境的单个图像或3D模型。

在框720处，方法700提供描绘设备的显示器上的一个或多个虚拟元件和物理环境的视图。该视图可包括透传视频(例如，其中现实世界内容由相机捕获并与虚拟元件一起显示在显示器上)或光学透视内容(例如，其中直接或通过玻璃查看现实世界内容并用虚拟元件的显示图像补充)。

在框730处，方法700检测视图中的变化。该变化可以包括将虚拟元件放置在视图中相对于视图中描绘的物理环境的位置处。此外，设备可以通过将虚拟元件定位在该位置处的输入来接收该变化。例如，设备的用户可以提供键盘输入、鼠标输入、触摸输入、语音输入或其他输入以改变包括虚拟元件的视图的属性或特性。例如，用户可以改变虚拟元件或3D模型的尺寸、颜色、纹理、方向等，添加3D模型或3D模型的一部分，删除3D模型或3D模型的一部分等。在一些具体实施中，综合或合并变化以提高系统效率。例如，变化能够涉及检测3D模型的初始状态和最终状态之间的多个变化，以及识别3D模型的初始状态和最终状态之间的差异。例如，如果虚拟元件首先向左移动10个单位然后向右移动5个单位，则可以识别虚拟元件向左移动5个单位的单个变化。

在框740处，方法700基于视图中虚拟元件的位置来检测视图中描绘的物理环境中的属性。在一些具体实施中，检测属性包括检测表面、相邻表面或元件，或虚拟元件位于视图中描绘的物理环境中的表面的类型，例如，确定虚拟元件是位于自由空间还是位于地板、桌子、墙壁或天花板上。在一些具体实施中，检测属性包括使用诸如神经网络或其他机器学习模型的模型来识别物理环境的对象和其他属性。在一些具体实施中，训练机器学习模型以识别墙壁、天花板、地板、桌子、坡道、平坦平面、曲面、圆形表面、纹理表面，特定颜色或纹理的表面等。在一些具体实施中，检测属性包括使用分类器识别视图中描绘的物理环境的一部分的分类或者识别虚拟元件可定位在其上的部分的量，例如，检测到虚拟元件位于半空中(例如，虚拟元件未定位在表面上)。此外，在一些具体实施中，方法700确定具有坐标系的物理环境的3D模型，并基于虚拟元件相对于3D模型中的属性的位置来识别属性。在一些具体实施中，方法700基于属性确定是否允许在该位置处显示元件。

在框750处，方法700基于属性呈现虚拟元件。在一些具体实施中，方法700基于属性选择虚拟元件的模态(例如，外观、功能或交互性)。图1至图4提供了基于虚拟元件相对于环境属性的位置来调整虚拟元件的模态(例如，外观、功能或交互性)的示例。

在具体实施中，方法700更新设备的显示器上的视图，使得视图根据所选模态包括虚拟元件。方法700可将通知发送至提供虚拟元件的单独应用程序。通知可以标识与虚拟元件的位置对应的视图的属性，并且应用程序可以基于模态用更新虚拟元件的外观、功能或交互性的特定信息进行响应。

图8是用于在显示器上呈现3D内容的方法800的流程图表示，其中3D内容(例如，虚拟元件)基于3D内容相对于CGR环境的位置改变模态。在一些具体实施中，方法800由设备(例如，图1至图6的设备10)执行。方法800能够在移动设备、HMD、台式计算机、膝上型电脑或服务器设备上执行。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框810处，方法800在设备的显示器上呈现CGR环境的视图。CGR环境可以包括一个或多个3D内容项目(例如，物理或虚拟元件)。3D内容可包括透传视频(例如，其中现实世界内容由相机捕获并与虚拟元件一起显示在显示器上)或光学透视内容(例如，其中直接或通过玻璃查看现实世界内容并用虚拟元件的显示图像补充)。

在框820处，方法800检测与3D内容相关联的变化。该变化可以包括将虚拟元件定位在相对于环境的其余部分的位置处。此外，设备可以通过将虚拟元件定位在该位置处的输入来接收该变化。例如，设备的用户可以提供手检测输入、键盘输入、鼠标输入、触摸输入、语音输入或其他输入以改变3D内容的属性，包括虚拟元件。例如，用户可以改变虚拟元件或3D模型的尺寸、颜色、纹理、方向等，添加3D模型或3D模型的一部分，删除3D模型或3D模型的一部分等。

在框830处，方法800基于3D内容的位置来检测属性。在一些具体实施中，检测属性包括检测相邻表面或元件，或虚拟元件在3D内容中所描绘的环境中定位在其上的表面的类型，例如，确定虚拟元件是位于自由空间中还是位于地板、桌子、墙壁、天花板或其他虚拟元件上。在一些具体实施中，检测属性包括使用分类器识别3D场景中描绘的环境的一部分的分类和/或识别虚拟元件可位于其上的可用部分的量，例如，检测到虚拟元件位于半空中或位于另一个共面虚拟元件的边界内。此外，在一些具体实施中，方法800确定具有坐标系的CGR环境的3D模型，并基于虚拟元件相对于CGR环境中的属性的位置来识别属性。在一些具体实施中，方法800基于属性确定是否允许在该位置处显示元件。

属性用于描述CGR环境的部件，包括现实世界和/或虚拟部件，以及虚拟对象。此外，属性可以表现出类内变化(例如，海洋可能具有波浪或者可能不具有波浪)以及类间关系(例如，水池和海洋都可以具有波浪)。属性的示例可以包括表面属性(例如，有光泽的)、功能或示能表示(例如，弹跳、闪烁)、空间包络属性(例如，封闭的、对称的)、材料属性(例如，铝、木材)或任何其他基于属性的3D内容表示。

在框840处，方法800基于属性选择虚拟元件的模态。在一些具体实施中，方法800基于属性选择虚拟元件的外观、功能和/或交互性。

在框850处，方法800在设备的显示器上更新3D内容。可以根据所选择的模态更新3D内容以包括虚拟元件。方法800可以向提供虚拟元件的单独应用程序发送通知。通知可以标识与虚拟元件的位置相对应的属性，并且应用程序可以用更新虚拟元件的外观、功能或交互性的模态特定信息进行响应。

图9是用于在显示器上呈现CGR环境的方法900的流程图表示，其中虚拟元件基于虚拟元件相对于CGR环境的其余部分的位置来改变模态。在一些具体实施中，方法900由设备(例如，图1至图6的设备10)执行。方法900能在移动设备、HMD、台式计算机、膝上型电脑或服务器设备上执行。在一些具体实施中，方法900由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法900由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框910处，方法900在设备的显示器上呈现CGR环境的视图。CGR环境可包括透传视频(例如，其中现实世界内容由相机捕获并与虚拟元件一起显示在显示器上)或光学透视内容(例如，其中直接或通过玻璃查看现实世界内容并用虚拟元件的显示图像补充)。

在框920处，方法900检测与CGR环境相关联的变化。该改变可以包括在相对于CGR环境中描绘的物理环境和/或虚拟环境/元件的位置处定位虚拟元件和/或物理对象。此外，设备可以通过将虚拟元件定位在该位置处的输入来接收该变化。例如，设备的用户可以提供手检测输入、键盘输入、鼠标输入、触摸输入、语音输入或其他输入以改变包括虚拟元件的CGR环境的属性。例如，用户可以改变虚拟元件或3D模型的尺寸、颜色、纹理、取向等，添加3D模型或3D模型的一部分，删除3D模型或3D模型的一部分等。又如，用户可以改变现实世界环境中的物理对象的位置，这又可以改变CGR环境中描绘的虚拟元件相对于物理对象的相对位置。

在框930处，方法900基于虚拟元件的位置检测CGR环境中描绘的表面(或在独立或浮动项目的情况下缺少表面)。在一些具体实施中，检测表面包括检测相邻表面或元件，或虚拟元件在CGR内容中所描绘的环境中定位于其上的表面的类型，例如，确定虚拟元件是位于自由空间中还是位于地板、桌子、墙壁、天花板或其他虚拟元件上。在一些具体实施中，检测表面包括使用分类器识别CGR环境中描绘的环境的一部分的分类和/或识别虚拟元件可位于其上的可用部分的量，例如，检测到虚拟元件位于半空中或位于另一个共面虚拟元件的边界内。此外，在一些具体实施中，方法900确定具有坐标系的CGR环境的3D模型，并基于虚拟元件的位置相对于3D模型中的表面的位置来识别表面。

在一些具体实施中，虚拟对象的模态基于虚拟对象相对于另一个或多个虚拟对象的位置。例如，虚拟对象的模态可以取决于其所在的另一个虚拟对象(例如，虚拟对象是在虚拟地板还是虚拟墙壁上，在虚拟桌子上还是在半空中等)。

在一些具体实施中，一种方法提供描绘多个虚拟对象或其他元件的环境的视图。该方法检测该视图中的变化。该变化可以包括自动或基于用户输入将虚拟元件放置在视图中相对于该视图中所描绘的一个或多个其他虚拟元件的位置处。此外，设备可以通过将虚拟元件定位在该位置处的输入来接收该变化。例如，设备的用户可以提供键盘输入、鼠标输入、触摸输入、语音输入或其他输入以改变包括虚拟元件的视图的属性或特性。例如，用户可以改变虚拟元件或虚拟元件的3D模型的尺寸、颜色、纹理、方向等，添加3D模型或3D模型的一部分，删除3D模型或3D模型的一部分等。

该方法基于视图中的虚拟元件的位置来检测视图中描绘的一个或多个其他虚拟元件的属性。在一些具体实施中，检测属性包括检测虚拟表面、相邻虚拟表面或虚拟元件，或虚拟元件所在的虚拟表面的类型，例如，确定虚拟元件是否位于虚拟地板、虚拟桌面、虚拟墙壁或虚拟天花板上。在一些具体实施中，该方法基于该属性确定是否允许在该位置处显示虚拟元件。该方法基于一个或多个其他虚拟元件的属性来选择或改变虚拟元件的模态。在一些具体实施中，该方法基于属性选择虚拟元件的外观、功能或交互性，并根据所选择的模态更新视图以包括虚拟元件。该方法可以向提供虚拟元件的单独应用程序发送通知。通知可以识别与虚拟元件的位置相对应的视图的属性，并且应用程序可以用更新虚拟元件的外观、功能或交互性的模态特定信息进行响应。

可以包括表面的CGR环境对象的示例包括但不限于另一虚拟元件、桌子、地板、墙壁、书桌、书、水体、山、场地、车辆、柜台、人脸、人的手、人的头发、另一个人体部位、整个人体、动物或其他生物体、衣服、一张纸、杂志、书、车、机器或具有平坦表面的其他人造物体，以及随时间可呈现平坦表面的任何其他现实世界或虚拟物体或场景。此外，CGR内容可包括任何数量的平坦表面。此外，术语“表面”不旨在将本公开的表面限制于CGR环境的特定对象或部分。可以在CGR环境中识别一个或多个表面，因此，在一些具体实施中，可以识别单个表面，并且在其他具体实施中，可以识别CGR环境中的所有表面。此外，纹理信息可以与表面相关联，例如颜色或外观。关于CGR环境中的表面或多个表面的信息可以用于多种目的，包括但不限于涉及生成或合成光源、阴影或以其他方式解释虚拟元件的渲染的目的。

在框940处，方法900基于表面选择虚拟元件的模态。在一些具体实施中，方法900基于表面选择虚拟元件的外观、功能和/或交互性。

在框950处，方法900在设备的显示器上更新CGR环境，使得CGR环境根据所选择的模态包括虚拟元件。方法900可以向提供虚拟元件的单独应用程序发送通知。通知可以识别与虚拟元件的位置相对应的CGR环境的属性，并且应用程序可以用更新虚拟元件的外观、功能或交互性的模态特定信息进行响应。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、设备或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算设备编程或配置为实现本公开主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (20)

1.一种方法，所述方法包括：

在具有处理器和计算机可读介质的设备处：

提供包括虚拟元件和物理环境的视图；

检测所述视图中的变化，所述变化包括将所述虚拟元件放置在所述视图中相对于所述物理环境的位置处；

检测在所述视图中的所述虚拟元件的所述位置处的所述物理环境的属性；以及

基于所检测到的属性呈现所述虚拟元件。

2.根据权利要求1所述的方法，其中提供所述视图包括：

使用图像传感器获取所述物理环境的图像；

使用所获得的图像来生成所述物理环境的表示；以及

用所述物理环境的所述表示来呈现所述虚拟元件。

3.根据权利要求1所述的方法，其中提供所述视图包括：

使用图像传感器来识别所述物理环境中的特征；以及

响应于识别所述特征，在光学透视显示器上呈现所述虚拟对象。

4.根据权利要求1所述的方法，其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述属性是第一属性，显示具有第一视觉外观的所述虚拟元件；以及

根据确定所述属性为第二属性，显示具有第二视觉外观的所述虚拟元件，其中所述第一视觉外观不同于所述第二视觉外观。

5.根据权利要求1所述的方法，其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述属性为第一属性，提供具有第一功能的所述虚拟元件；以及

根据确定所述属性为第二属性，提供具有第二功能的所述虚拟元件，其中所述第一功能不同于所述第二功能。

6.根据权利要求1所述的方法，其中检测所述视图中的所述变化包括接收表示所述虚拟元件的所述位置中的变化的用户输入。

7.根据权利要求1所述的方法，其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述虚拟元件在平坦表面上，提供具有第一模态的所述虚拟元件；或者

根据确定所述虚拟元件不在平坦表面上，提供具有第二模态的所述虚拟元件，其中所述第一模态不同于所述第二模态。

8.根据权利要求1所述的方法，其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述虚拟元件在水平平坦表面上，提供具有第一模态的所述虚拟元件；或者

根据确定所述虚拟元件不在水平平坦表面上，提供具有第二模态的所述虚拟元件，其中所述第一模态不同于所述第二模态。

9.根据权利要求1所述的方法，其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述虚拟元件在垂直平坦表面上，提供具有第一模态的所述虚拟元件；或者

根据确定所述虚拟元件不在垂直平坦表面上，提供具有第二模态的所述虚拟元件，其中所述第一模态不同于所述第二模态。

10.根据权利要求1所述的方法，其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述虚拟元件在水平平坦表面上，提供具有第一模态的所述虚拟元件；或者

根据确定所述虚拟元件在垂直平坦表面上，提供具有第二模态的所述虚拟元件，其中所述第一模态不同于所述第二模态。

11.根据权利要求1所述的方法，其中检测所述属性包括检测所述位置是否为平坦表面，并且其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述平坦表面为墙壁，显示具有第一视觉外观的所述虚拟元件；或者

根据确定所述平坦表面不是墙壁，显示具有第二视觉外观的所述虚拟元件，其中所述第一视觉外观不同于所述第二视觉外观。

12.根据权利要求1所述的方法，其中检测所述属性包括检测所述位置是否为平坦表面，并且其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述平坦表面为桌子，显示具有第一视觉外观的所述虚拟元件；或者

根据确定所述平坦表面不是桌子，显示具有第二视觉外观的所述虚拟元件，其中所述第一视觉外观不同于所述第二视觉外观。

13.根据权利要求1所述的方法，其中检测所述属性包括检测所述位置是否为平坦表面，并且其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述平坦表面为地板，显示具有第一视觉外观的所述虚拟元件；或者

根据确定所述平坦表面不是地板，显示具有第二视觉外观的所述虚拟元件，其中所述第一视觉外观不同于所述第二视觉外观。

14.根据权利要求1所述的方法，其中检测所述属性包括检测所述位置是否为平坦表面，并且其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述平坦表面为斜坡，显示具有第一视觉外观的所述虚拟元件；或者

根据确定所述平坦表面不是斜坡，显示具有第二视觉外观的所述虚拟元件，其中所述第一视觉外观不同于所述第二视觉外观。

15.根据权利要求1所述的方法，其中检测所述属性包括检测所述位置是否为平坦表面，并且其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述平坦表面为楼梯，显示具有第一视觉外观的所述虚拟元件；或者

根据确定所述平坦表面不是楼梯，显示具有第二视觉外观的所述虚拟元件，其中所述第一视觉外观不同于所述第二视觉外观。

16.根据权利要求1所述的方法，其中检测所述属性包括检测所述位置是否为平坦表面，并且其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述平坦表面为天花板，显示具有第一视觉外观的所述虚拟元件；或者

根据确定所述平坦表面不是天花板，显示具有第二视觉外观的所述虚拟元件，其中所述第一视觉外观不同于所述第二视觉外观。

17.根据权利要求1所述的方法，其中检测所述属性包括：

使用分类器来识别所述物理环境的一部分的分类；以及

识别所述虚拟元件能够定位于其上的所述可用部分的量。

18.根据权利要求1所述的方法，其中基于所检测到的属性呈现所述虚拟元件包括：

根据确定所述属性为第一属性，在所述位置处显示所述虚拟元件；以及

根据确定所述属性为第二属性，将所显示的虚拟元件移动远离所述位置，其中所述第一属性不同于所述第二属性。

19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机可执行的程序指令以执行包括以下项的操作：

在设备处提供视图，所述视图包括虚拟元件和物理环境；

检测所述视图中的变化，所述变化包括将所述虚拟元件放置在所述视图中相对于所述物理环境的位置处；

检测在所述视图中的所述虚拟元件的所述位置处的所述物理环境的属性；以及

基于所检测到的属性呈现所述虚拟元件。

20.一种系统，所述系统包括：

电子设备，所述电子设备具有显示器和图像传感器；

处理器；以及

包括指令的计算机可读存储介质，所述指令在由所述处理器执行时使得所述系统执行操作，所述操作包括：

提供包括虚拟元件和物理环境的视图；

检测所述视图中的变化，所述变化包括将所述虚拟元件放置在所述视图中相对于所述物理环境的位置处；

检测在所述视图中的所述虚拟元件的所述位置处的所述物理环境的属性；以及

基于所检测到的属性呈现所述虚拟元件。

Images