CN113661470A - 基于物理尺寸呈现环境 - Google Patents

Abstract

本文所公开的各种具体实施包括用于生成具有缩放的计算机生成现实(CGR)对象的尺寸上准确的CGR环境的设备、系统和方法。在一些具体实施中，一种方法包括获取对应于物理环境的环境数据。基于该环境数据来识别位于该物理环境内的已知物理物品。该已知物理物品与已知尺寸相关联。基于该已知物理物品的该已知尺寸来确定该物理环境的物理尺寸。生成表示该物理环境的CGR环境。该CGR环境的虚拟尺寸是该物理环境的该物理尺寸的函数。

Description

基于物理尺寸呈现环境

相关申请的交叉引用

本申请要求于2019年9月26日提交的美国专利申请号62/906,659的优先权，该专利申请据此全文以引用方式并入本文。

技术领域

本公开整体涉及计算机生成现实(CGR)环境和对象的渲染。

背景技术

一些设备能够生成和呈现计算机生成现实(CGR)环境。一些CGR环境包括虚拟环境，这些虚拟环境是物理环境的模拟替换。一些CGR环境包括增强环境，这些增强环境是物理环境的修改版本。呈现CGR环境的一些设备包括移动通信设备，诸如智能电话、头戴式显示器(HMD)、眼镜、抬头显示器(HUD)和光学投影系统。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A示出了根据一些具体实施的示例性操作环境。

图1B示出了根据一些具体实施的另一示例性操作环境。

图2示出了根据各种具体实施的生成CGR环境的示例性系统。

图3是根据一些具体实施的示例性CGR内容模块的框图。

图4A至图4C是根据一些具体实施的用于生成CGR环境的方法的流程图表示。

图5是根据一些具体实施的设备的框图。

图6示出了根据各种具体实施的在增强现实(AR)环境中显示CGR对象的示例性系统。

图7是根据一些具体实施的示例性CGR内容模块的框图。

图8A至图8C是根据一些具体实施的用于在AR环境中显示CGR对象的方法的流程图表示。

图9是根据一些具体实施的设备的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于生成具有缩放的计算机生成现实(CGR)对象的尺寸上准确的CGR环境的设备、系统和方法。在一些具体实施中，一种方法包括获取对应于物理环境的环境数据。基于该环境数据来识别位于该物理环境内的已知物理物品。该已知物理物品与已知尺寸相关联。基于该已知物理物品的该已知尺寸来确定该物理环境的物理尺寸。生成表示该物理环境的CGR环境。该CGR环境的虚拟尺寸是该物理环境的该物理尺寸的函数。

本文所公开的各种具体实施包括用于在增强现实(AR)环境中实例化CGR对象并基于与该CGR对象相关联的尺寸信息和已知物理物品的已知尺寸来缩放该CGR对象的设备、系统和方法。在一些具体实施中，一种方法包括显示对应于物理环境的AR环境。确定在该AR环境中显示CGR对象。该CGR对象表示与物理尺寸相关联的物理物品。识别位于该物理环境内的已知物理物品。该已知物理物品与已知尺寸相关联。该CGR对象的虚拟尺寸基于该已知物理物品的该已知尺寸和该CGR对象表示的该物理物品的该物理尺寸来确定。该CGR对象根据该虚拟尺寸显示在该AR环境中。

根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

本公开提供了用于生成具有缩放的计算机生成现实(CGR)对象的尺寸上准确的CGR环境的方法、系统和/或设备。在一些具体实施中，一种方法包括获取对应于物理环境的环境数据。基于该环境数据来识别位于该物理环境内的已知物理物品。该已知物理物品与已知尺寸相关联。基于该已知物理物品的该已知尺寸来确定该物理环境的物理尺寸。生成表示该物理环境的CGR环境。该CGR环境的虚拟尺寸是该物理环境的该物理尺寸的函数。

在一些具体实施中，设备生成并呈现计算机生成现实(CGR)内容，该CGR内容包括虚拟尺寸与物理环境的物理尺寸成比例的CGR环境。在一些具体实施中，基于传感器信息，控制器检测物理环境中的物理对象，并且例如通过搜索包括关于物理对象的信息的数据库来获取物理对象的尺寸。在一些具体实施中，控制器生成物理环境的语义构造。语义构造可包括虚拟尺寸与物理对象的物理尺寸成比例的物理对象的CGR表示。在一些具体实施中，如果检测到的物理对象与已知尺寸的物理对象具有一定的相似度，则控制器基于传感器信息使用物理对象的已知尺寸来确定其他物理对象和物理环境的相对尺寸。

本公开提供了用于在增强现实(AR)环境中实例化CGR对象并基于与该CGR对象相关联的尺寸信息和已知物理物品的已知尺寸来缩放CGR对象的方法、系统和/或设备。在一些具体实施中，一种方法包括显示对应于物理环境的AR环境。确定在该AR环境中显示CGR对象。该CGR对象表示与物理尺寸相关联的物理物品。识别位于该物理环境内的已知物理物品。该已知物理物品与已知尺寸相关联。该CGR对象的虚拟尺寸基于该已知物理物品的该已知尺寸和该CGR对象表示的该物理物品的该物理尺寸来确定。该CGR对象根据该虚拟尺寸显示在该AR环境中。

在一些具体实施中，基于已知物理物品的已知尺寸来缩放增强现实(AR)环境中的CGR对象。例如，可在对应于客厅的AR环境中识别电源插座。电源插座由标准管控并且具有已知高度(例如，4英寸或大约10厘米)。在一些具体实施中，CGR对象(诸如椅子)基于电源插座来缩放。更一般地，CGR对象可基于已知物理物品的已知尺寸、已知物理物品距设备的距离、对应于CGR对象的物理物品的尺寸和/或CGR对象将被放置的距离中的一者或多者来缩放。

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感觉中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

图1A示出了根据一些具体实施的示例性操作环境100。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括电子设备102和控制器104。在一些具体实施中，电子设备102是或包括智能电话、平板电脑、膝上型电脑和/或台式电脑。电子设备102可由用户106穿戴或携带。

如图1A所示，电子设备102和/或控制器104获取(例如，接收、检索和/或检测)对应于物理环境108的环境数据。例如，环境数据可包括由图像传感器110(诸如相机)捕获的图像或视频。在一些具体实施中，环境数据包括由深度传感器捕获的深度信息。

在一些具体实施中，电子设备102和/或控制器104基于环境数据来识别物理环境108中的已知物理物品112。例如，在一些具体实施中，电子设备102和/或控制器104对环境数据执行语义分割和/或实例分割以检测已知物理物品112。在一些具体实施中，电子设备102和/或控制器104识别与物理物品相关联的数据的光学机器可读表示(例如，条形码或QR码)。数据的光学机器可读表示可用于识别已知物理物品112。

已知物理物品112与已知尺寸114(例如，已知物理物品112的高度、长度、宽度、体积和/或面积)相关联。在一些具体实施中，电子设备102和/或控制器104基于已知尺寸114来确定(例如，估计)物理环境108的物理尺寸116(例如，物理环境108的高度、长度、宽度、体积和/或面积)。在一些具体实施中，电子设备102和/或控制器104例如从数据存储库或经由网络获取已知尺寸114。在一些具体实施中，电子设备102和/或控制器104基于环境数据的对应于已知物理物品112的一部分来执行图像搜索。在一些具体实施中，电子设备102和/或控制器104基于已知尺寸114和已知物理物品112与物理环境108的比例来确定物理尺寸116。

现在参考图1B，在一些具体实施中，电子设备102和/或控制器104可呈现表示物理环境108的计算机生成现实(CGR)环境120。在一些具体实施中，CGR环境120包括作为物理环境108的模拟替换的虚拟环境。例如，CGR环境120可由电子设备102和/或控制器104模拟。在此类具体实施中，CGR环境120与电子设备102所在的物理环境108不同。

在一些具体实施中，CGR环境120包括作为物理环境108的修改版本的增强环境。例如，在一些具体实施中，电子设备102和/或控制器104修改(例如，增强)电子设备102所在的物理环境108，以便生成CGR环境120。在一些具体实施中，电子设备102和/或控制器104通过模拟电子设备102所在的物理环境108的副本来生成CGR环境120。在一些具体实施中，电子设备102和/或控制器104通过从电子设备102所在的物理环境108的模拟副本移除和/或添加项来生成CGR环境120。

在一些具体实施中，CGR环境120与虚拟尺寸122(例如，CGR环境120的高度、长度、宽度、体积和/或面积)相关联。在一些具体实施中，虚拟尺寸122是物理环境108的物理尺寸116的函数。例如，虚拟尺寸122与物理尺寸116成比例(例如，物理环境108的物理高度与物理宽度之间的比率与CGR环境120的虚拟高度与虚拟宽度之间的比率大致相同)。

在一些具体实施中，CGR环境120是对应于物理环境108的增强现实(AR)环境。例如，CGR环境120可被渲染为物理环境108的光学透传，其中一个或多个CGR对象被渲染，物理环境108作为背景，例如覆盖在物理环境上方。在一些具体实施中，图像传感器110获取对应于物理环境108的图像数据，并且CGR环境120被渲染为物理环境108的视频透传。在视频透传中，电子设备102和/或控制器104显示具有物理环境108的CGR表示的一个或多个CGR对象。

在一些具体实施中，电子设备102和/或控制器104确定在CGR环境120中显示CGR对象124。CGR对象120表示与物理尺寸相关联的物理物品。例如，电子设备102和/或控制器104可确定显示CGR椅子，其表示与物理尺寸(例如，物理椅子的高度)相关联的物理椅子。

在一些具体实施中，电子设备102和/或控制器104识别物理环境108中的已知物理物品126。已知物理物品126可为与图1A所示的已知物理物品112相同的物理物品，或者可为不同的物理物品。已知物理物品126与已知尺寸128相关联。例如，如果已知物理物品126为电源插座，则电子设备102和/或控制器104可确定电源插座具有已知高度(例如，4英寸或大约10厘米，例如，如由标准机构发布的标准(诸如国家电气规程(NEC))所定义)。在一些具体实施中，电子设备102和/或控制器104从数据存储库或通过网络获取已知尺寸128。

在一些具体实施中，电子设备102和/或控制器104基于CGR对象124表示的物理物品的已知尺寸128和物理尺寸来确定CGR对象124的虚拟尺寸130。例如，如果CGR对象124表示椅子，则虚拟尺寸130可为CGR对象124的高度。电子设备102和/或控制器104可基于物理环境108中的电源插座的高度和CGR对象124表示的物理椅子的高度来确定CGR对象124的高度。

在一些具体实施中，由用户106穿戴的头戴式设备(HMD)根据各种具体实施呈现(例如，显示)计算机生成现实(CGR)环境120。在一些具体实施中，HMD包括显示CGR环境120的集成显示器(例如，内置显示器)。在一些具体实施中，HMD包括头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，图1A的电子设备102可附接到头戴式壳体。在各种具体实施中，头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备102)的接收器。例如，在一些具体实施中，电子设备102滑动或卡扣到头戴式壳体或以其他方式附接到该头戴式壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)CGR环境120。在各种具体实施中，电子设备104的示例包括智能电话、平板电脑、媒体播放器、膝上型电脑等。

图2示出了根据各种具体实施的生成CGR环境的示例性系统200。在一些具体实施中，环境传感器202获取对应于物理环境的环境数据204。例如，在一些具体实施中，环境传感器202包括获取环境的图像208的图像传感器206，诸如相机。

在一些具体实施中，图像208是静止图像。在一些具体实施中，图像208是形成视频馈送的一部分的图像帧。该图像208包括多个像素。像素中的一些像素(例如，第一组像素)表示对象。其他像素(例如，第二组像素)表示背景，例如，图像208的不表示对象的部分。应当理解，表示一个对象的像素可表示不同对象的背景。

在一些具体实施中，环境传感器202包括获取对应于物理环境的深度数据212的深度传感器210。深度数据212可独立于图像208或与该图像结合使用，以识别物理环境中的一个或多个对象。

在一些具体实施中，CGR内容模块214从环境传感器202接收环境数据204。在一些具体实施中，CGR内容模块214基于环境数据204来识别物理环境中的已知物理物品。例如，CGR内容模块214可对环境数据204执行语义分割和/或实例分割以识别已知物理物品。在一些具体实施中，环境数据204包括图像，并且CGR内容模块214将一个或多个滤波器和/或遮罩应用于图像以将图像中的像素表征为与相应对象(诸如已知物理物品)相关联。

在一些具体实施中，图像208包括与已知物理物品相关联的数据的光学机器可读表示(例如，条形码或QR码)。CGR内容模块214可例如向产品数据库发送查询以获取识别已知物理物品的信息。

该已知物理物品与已知尺寸相关联。在一些具体实施中，CGR内容模块214获取已知物理物品的尺寸信息。例如，CGR内容模块214可向数据存储库216或经由网络218(诸如局域网(LAN)或互联网)向服务发送包括识别已知物理物品的信息的查询。在一些具体实施中，识别已知物理物品的信息包括语义标签、产品标识符和/或图像。响应于该查询，CGR内容模块214可接收已知物理物品的尺寸信息。在一些具体实施中，如果已知物理物品的尺寸信息不可用，则CGR内容模块214接收与已知物理物品具有一定相似度的物理物品的尺寸信息。

在一些具体实施中，CGR内容模块214基于已知物理物品的已知尺寸来确定物理环境的物理尺寸。在一些具体实施中，CGR内容模块214基于已知物理物品的已知尺寸(例如，响应于查询而接收到的尺寸信息)以及已知物理物品与物理环境的比例来确定物理环境的物理尺寸。例如，如果CGR内容模块214将已知物理物品识别为具有两米已知宽度的书桌，并且书桌占据墙壁长度的一半，则CGR内容模块214可确定墙壁是四米长。

在一些具体实施中，CGR内容模块214生成表示物理环境的CGR环境。CGR环境与作为物理环境的物理尺寸的函数的虚拟尺寸相关联。CGR内容模块214可将CGR环境提供给显示引擎220，该显示引擎使用显示器222准备CGR环境以用于输出。

图3是根据一些具体实施的示例性CGR内容模块300的框图。在一些具体实施中，CGR内容模块300实现图2所示的CGR内容模块214。数据获取器310可获取对应于物理环境的环境数据302。

在一些具体实施中，环境数据302包括图像304。在一些具体实施中，图像304是静止图像。在一些具体实施中，图像304是形成视频馈送的一部分的图像帧。该图像304包括多个像素。像素中的一些像素(例如，第一组像素)表示对象。其他像素(例如，第二组像素)表示背景，例如，图像304的不表示对象的部分。应当理解，表示一个对象的像素可表示不同对象的背景。

在一些具体实施中，环境数据302包括对应于物理环境的深度数据306。深度数据306可独立于图像304或与该图像结合使用，以识别物理环境中的一个或多个对象。

在一些具体实施中，数据获取器310可获取与物理物品相关联的数据的光学机器可读表示308。光学机器可读表示308可被实现为例如条形码或QR码。在一些具体实施中，光学机器可读表示308是图像304的一部分。在一些具体实施中，光学机器可读表示308与图像304分开捕获。

在一些具体实施中，对象分析器320基于图像304、深度数据306和/或光学机器可读表示308中的一者或多者来识别物理环境中的已知物理物品。在一些具体实施中，对象分析器320对环境数据302(例如，图像304)执行语义分割和/或实例分割以识别已知物理物品。在一些具体实施中，已知物理物品由图像304的一部分表示，并且对象分析器320对图像304的该部分执行语义分割和/或实例分割以识别已知物理物品。

在一些具体实施中，对象分析器320确定识别已知物理物品的对象标识符322，诸如语义标签和/或产品标识符。在一些具体实施中，对象分析器320基于与对应于已知物理物品或与已知物理物品具有一定相似度的物理物品相关的可用信息来确定已知物理物品的对象标识符322。该信息可从一个或多个来源获取。

例如，在一些具体实施中，对象分析器320基于从数据库324(例如，本地数据库)接收到的信息来确定对象标识符322。例如，数据库324可存储对应于(例如，已知物理物品的相同模型的)已知物理物品的物理物品(例如，椅子)的产品规格。在一些具体实施中，数据库324存储与已知物理物品具有一定相似度(例如，相似性阈值)的物理物品的产品规格。例如，如果产品规格对于对应于已知物理物品的同一椅子模型是不可用的，则对象分析器320可将产品规格用于类似的椅子模型。

在一些具体实施中，尺寸确定器330接收对象标识符322并确定已知物理物品的已知尺寸。在一些具体实施中，尺寸确定器330获取已知物理物品的尺寸信息。例如，尺寸确定器330可向数据存储库326或经由网络328(例如，局域网或互联网)可访问的服务发送查询。数据存储库326可存储多个已知物理物品的尺寸信息。

查询可包括识别已知物理物品的信息，诸如对象标识符322或已知物理物品的图像。响应于该查询，尺寸确定器330可接收已知物理物品的尺寸信息。在一些具体实施中，如果已知物理物品的尺寸信息不可用，则尺寸确定器330接收与已知物理物品具有一定相似度的物理物品的尺寸信息。例如，如果已知物理物品是椅子，并且数据存储库326不存储对应于已知物理物品的相同椅子模型的尺寸信息，则尺寸确定器330可替代地接收类似椅子模型的尺寸信息。

在一些具体实施中，尺寸确定器330基于已知物理物品的已知尺寸来确定物理环境的物理尺寸。在一些具体实施中，尺寸确定器330基于已知尺寸和已知物理物品与物理环境的比例来确定物理环境的物理尺寸。例如，已知物理物品可为沿办公室的墙壁定位的书桌，并且书桌的已知尺寸可为两米的宽度。如果书桌的宽度与墙壁的比例为1:2(例如，书桌占据书桌所沿的墙壁的一半)，则尺寸确定器330可确定书桌所沿的墙壁为四米长。在一些具体实施中，尺寸确定器330基于该确定来确定物理环境的其他物理尺寸。例如，如果壁的高度为壁的长度的四分之三，则尺寸确定器330可确定壁为三米高。

在一些具体实施中，环境生成器340生成表示(例如，建模)物理环境的CGR环境。在一些具体实施中，CGR环境是物理环境的计算机生成模型。CGR环境可作为CGR内容项342的一部分输出，该CGR内容项还可包括一个或多个CGR对象。在一些具体实施中，CGR环境具有虚拟尺寸，例如，多个像素。虚拟尺寸是物理环境的物理尺寸的函数。例如，在一些具体实施中，环境生成器340确定用于渲染物理环境的物理尺寸的像素数量。

图4A至图4C是根据一些具体实施的用于生成CGR环境的方法400的流程图表示。在各种具体实施中，方法400由设备(例如，图1A和图1B中所示的电子设备102或控制器104，或图2中所示的系统200)执行。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，在各种具体实施中，方法400包括获取对应于物理环境的环境数据，基于环境数据来识别位于物理环境中的已知物理物品，基于已知物理物品的已知尺寸来确定物理环境的物理尺寸，以及基于物理环境的物理尺寸来生成用虚拟尺寸表示物理环境的CGR环境。

参考图4A，如框410所示，在各种具体实施中，方法400包括获取对应于物理环境的环境数据。参考图4B，如框410a所示，环境数据可包括物理环境的图像。在一些具体实施中，图像是静止图像。在一些具体实施中，图像是形成视频馈送的一部分的图像帧。该图像包括多个像素。

在一些具体实施中，如框410b所示，方法400包括从图像传感器(诸如相机)接收物理环境的图像。图像传感器可通过姿态(例如，可应用于由图像传感器捕获的二维图像以确定由图像表示的三维物理环境的变换)来表征。在一些具体实施中，如框410c所示，确定图像传感器的姿态。如框410d所示，在一些具体实施中，缩放系数根据姿态来确定。确定缩放系数可有利于校正可归因于图像传感器的姿态的图像的表观失真。

在一些具体实施中，如框410e所示，环境数据包括深度数据。深度数据可独立于图像使用或与图像结合使用，以识别物理环境中的一个或多个对象。在一些具体实施中，如框410f所示，从深度传感器接收深度数据。

如框420所示，在一些具体实施中，方法400包括基于环境数据来识别位于物理环境内的已知物理物品。该已知物理物品与已知尺寸相关联。在一些具体实施中，例如，基于图像来识别已知物理物品。在一些具体实施中，基于深度数据来识别已知物理物品。

如框420a所示，在一些具体实施中，对环境数据执行语义分割和/或实例分割以识别已知物理物品。例如，在一些具体实施中，图像的一部分(例如，第一组像素)表示已知物理物品。可将一个或多个滤波器和/或遮罩应用于图像以将第一组像素与表示背景(例如，图像的不表示已知物理物品的一部分)的第二组像素区分开。可执行语义分割以将已知物理物品与识别已知物理物品的类型(例如，“椅子”)的语义标签相关联。可执行实例分割以将已知物理物品与语义标签相关联，该语义标签将已知物理物品与类似类型的其他物理物品(例如，“椅子1”)区分开。在一些具体实施中，语义分割和/或实例分割生成语义标签，该语义标签识别已知物理物品的模型，例如，椅子的特定模型。

如框420b所示，在一些具体实施中，方法400包括识别与已知物理物品相关联的数据的光学机器可读表示。光学机器可读表示可实现为例如条形码或QR码。在一些具体实施中，光学机器可读表示是环境数据的一部分。在一些具体实施中，光学机器可读表示例如在后续扫描期间和/或使用不同传感器与环境数据分开捕获。在一些具体实施中，光学机器可读表示识别已知物理物品的模型。

如框430所示，在一些具体实施中，方法400包括基于已知物理物品的已知尺寸来确定物理环境的物理尺寸。参考图4C，如框430a所示，方法400可包括获取已知物理物品的已知尺寸。

在一些具体实施中，如框430b所示，从数据存储库检索已知物理物品的已知尺寸。例如，如果已知物理物品为特定模型的书桌，则数据存储库可返回书桌的特定模型的长度、宽度和/或高度。如果数据存储库不具有书桌的特定模型的尺寸信息，则数据存储库可返回书桌的类似模型的尺寸信息或通用(例如，假想)书桌的一般化尺寸信息。数据存储库可包括多个已知物理物品(例如，多个书桌模型和/或通用书桌)的尺寸信息。

在一些具体实施中，如框430c所示，经由网络(例如，经由局域网(LAN)或互联网的服务)检索已知物理物品的已知尺寸。例如，如果已知物理物品为特定模型的书桌，则服务可返回书桌的特定模型的长度、宽度和/或高度。如果服务不具有书桌的特定模型的尺寸信息，则服务可返回书桌的类似模型的尺寸信息或通用(例如，假想)书桌的一般化尺寸信息。服务可包括多个已知物理物品(例如，多个书桌模型和/或通用书桌)的尺寸信息。

在一些具体实施中，响应于查询返回已知物理物品的已知尺寸。例如，在一些具体实施中，已知物理物品对应于环境数据的一部分(例如，第一组像素)，如框430d所示。如框430e所示，方法400可包括发送对图像搜索的查询，该图像搜索基于已知物理物品对应的环境数据的部分，例如第一组像素。在一些具体实施中，如框430f所示，响应于查询，接收已知物理物品的尺寸信息。在一些具体实施中，如框430g所示，响应于查询，接收与已知物理物品具有一定相似度的物理物品的尺寸信息。例如，如果尺寸信息对于查询中指示的桌面的特定模型不可用，则尺寸信息可针对类似的桌面返回。

如框430h所示，方法400可包括基于对应于已知物理物品的产品标识符来发送查询。例如，产品标识符可为语义标签。在一些具体实施中，产品标识符标识已知物理物品的特定模型。在一些具体实施中，如框430i所示，响应于查询，接收已知物理物品的尺寸信息。在一些具体实施中，如框430j所示，响应于查询，接收与已知物理物品具有一定相似度的物理物品的尺寸信息。例如，如果尺寸信息对于查询中指示的桌面的特定模型不可用，则尺寸信息可针对类似的桌面返回。

在一些具体实施中，如框430k所示，方法400包括接收指示已知物理物品的已知尺寸的用户输入。例如，用户可使用键盘、鼠标和/或触摸屏界面上的手势控件来提供指示书桌的长度、宽度和/或高度的用户输入。

在一些具体实施中，如框430l所示，基于已知物理物品的已知尺寸和已知物理物品与物理环境的比例来确定物理环境的物理尺寸。例如，已知物理物品可为沿办公室的墙壁定位的书桌，并且书桌的已知尺寸可为两米的宽度。如果书桌的宽度与墙壁的比例为1:2(例如，书桌占据书桌所沿的墙壁的一半)，则尺寸确定器330可确定书桌所沿的墙壁为四米长。在一些具体实施中，尺寸确定器330基于该确定来确定物理环境的其他物理尺寸。例如，如果壁的高度为壁的长度的四分之三，则尺寸确定器330可确定壁为三米高。

在一些具体实施中，如框440所示，方法400包括生成表示物理环境的CGR环境。在一些具体实施中，CGR环境具有虚拟尺寸，例如，多个像素。虚拟尺寸是物理环境的物理尺寸的函数。例如，在一些具体实施中，环境生成器340确定用于渲染物理环境的物理尺寸的像素数量。

图5是根据一些具体实施的利用设备的一个或多个部件(例如，图1A和图1B所示的电子设备102和/或控制器104，或者图2所示的系统200)启用的设备500的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备500包括一个或多个处理单元(CPU)502、一个或多个输入/输出(I/O)设备506、一个或多个通信接口508、一个或多个编程接口510、存储器520以及用于互连这些和各种其他部件的一个或多个通信总线504。

在一些具体实施中，提供了通信接口508以便除其他用途之外，在云托管网络管理系统与包括一个或多个兼容设备的至少一个专用网络之间建立和维护元数据隧道。在一些具体实施中，一条或多条通信总线504包括互连并控制系统部件之间的通信的电路。存储器520包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器520任选地包括与一个或多个CPU 502远程定位的一个或多个存储设备。存储器520包括非暂态计算机可读存储介质。

在一些具体实施中，存储器520或者存储器520的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统530、数据获取器310、对象分析器320、尺寸确定器330和环境生成器340。如本文所述，数据获取器310可包括用于获取对应于物理环境的环境数据的指令310a和/或启发法和元数据310b。如本文所述，对象分析器320可包括用于基于环境数据来识别物理环境中的已知物理物品的指令320a和/或启发法和元数据320b。如本文所述，尺寸确定器330可包括用于基于已知物理物品的已知尺寸来确定物理环境的物理尺寸的指令330a和/或启发法和元数据330b。如本文所述，环境生成器340可包括用于生成表示物理环境的CGR环境的指令340a和/或启发法和元数据340b。

在一些具体实施中，一个或多个I/O设备506包括用于捕获环境数据的环境传感器。在一些具体实施中，环境传感器包括用于捕获表示一组一个或多个图像的图像数据的图像传感器(例如，相机)。在一些具体实施中，环境传感器包括用于捕获深度数据的深度传感器(例如，深度相机)。在一些具体实施中，一个或多个I/O设备506包括用于显示CGR环境的显示器。在一些具体实施中，显示器包括光学透视式显示器(例如，用于显示物理环境的光学透传)。在一些具体实施中，显示器包括不透明显示器(例如，用于显示物理环境的视频透传)。

应当理解，图5用作可存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图5中单独示出的一些功能块可作为单个块实施，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实施。块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图6示出了根据各种具体实施的在增强现实(AR)环境602中显示CGR对象的示例性系统600。在一些具体实施中，显示器604显示AR环境602。在一些具体实施中，显示器604实现为电子设备102的一部分。在一些具体实施中，显示器604实现为HMD的一部分。

在一些具体实施中，AR环境602对应于物理环境。例如，AR环境602可被渲染为物理环境的光学透传，其中一个或多个CGR对象被渲染，物理环境作为背景，例如覆盖在物理环境上方。在一些具体实施中，环境传感器606(例如，包括图像传感器608和/或深度传感器610)获取对应于物理环境的图像数据，并且AR环境602被渲染为物理环境的视频透传。在视频透传中，显示器604显示具有物理环境的CGR表示的一个或多个CGR对象。

在一些具体实施中，CGR内容模块612生成AR环境602。在一些具体实施中，CGR内容模块612从CGR内容源616获取CGR内容，例如CGR内容项614。CGR内容项614可包括AR环境602。在一些具体实施中，CGR内容模块612将包括AR环境602的CGR内容项614提供给显示引擎618，该显示引擎准备CGR内容项614以用于使用显示器604输出。

在一些具体实施中，CGR内容模块612确定在AR环境602中显示CGR对象620。CGR对象620对应于具有物理尺寸的物理对象。例如，CGR对象620可对应于具有物理高度、宽度和/或长度的物理椅子。在一些具体实施中，CGR对象620所对应的物理对象存在于物理环境中。在一些具体实施中，CGR对象620所对应的物理对象不存在于物理环境中。在任一种情况下，希望利用适当的缩放来渲染CGR对象620，例如，使得CGR对象620与AR环境602的其他特征部成比例。

在一些具体实施中，CGR内容模块612识别位于物理环境中的已知物理物品。在一些具体实施中，环境传感器606获取对应于物理环境的环境数据622。例如，在一些具体实施中，图像传感器608获取环境的图像624。

在一些具体实施中，图像624是静止图像。在一些具体实施中，图像624是形成视频馈送的一部分的图像帧。该图像624包括多个像素。像素中的一些像素(例如，第一组像素)表示对象。其他像素(例如，第二组像素)表示背景，例如，图像624的不表示对象的部分。应当理解，表示一个对象的像素可表示不同对象的背景。

在一些具体实施中，深度传感器610获取对应于环境的深度数据626。深度数据626可独立于图像624或与该图像结合使用，以识别已知物理物品。

在一些具体实施中，CGR内容模块612从环境传感器606接收环境数据622。在一些具体实施中，CGR内容模块612基于环境数据606来识别物理环境中的已知物理物品。例如，CGR内容模块612可对环境数据606执行语义分割和/或实例分割以识别已知物理物品。在一些具体实施中，环境数据606包括图像，并且CGR内容模块612将一个或多个滤波器和/或遮罩应用于图像以将图像中的像素表征为与相应对象(诸如已知物理物品)相关联。

在一些具体实施中，图像传感器608读取(例如，检测)与已知物理物品相关联的数据的光学机器可读表示(例如，条形码或QR码)。CGR内容模块612可例如向产品数据库发送查询以获取识别已知物理物品的信息。

该已知物理物品与已知尺寸相关联。在一些具体实施中，CGR内容模块612获取已知物理物品的尺寸信息。例如，CGR内容模块612可向数据存储库628经由网络630(诸如局域网(LAN)或互联网)向服务发送包括识别已知物理物品的信息的查询。在一些具体实施中，识别已知物理物品的信息包括语义标签、产品标识符和/或图像。响应于该查询，CGR内容模块612可接收已知物理物品的尺寸信息。在一些具体实施中，如果已知物理物品的尺寸信息不可用，则CGR内容模块612接收与已知物理物品具有一定相似度的物理物品的尺寸信息。

在一些具体实施中，CGR内容模块612基于已知物理物品的已知尺寸和CGR对象620表示的物理物品的物理尺寸来确定CGR对象620的虚拟尺寸。例如，如果CGR对象620是CGR椅子并且已知物理物品是电源插座，则CGR内容模块612可基于由CGR椅子表示的物理椅子的物理高度和电源插座的已知物理高度来确定CGR椅子的虚拟高度。例如，如果电源插座高四英寸并且物理椅子高20英寸(例如，电源插座高五倍)，则CGR内容模块612可确定CGR椅子的虚拟高度是电源插座的高度的五倍。在一些具体实施中，当CGR椅子显示在电源插座旁边时，CGR椅子占据相对于电源插座占据的像素数量的像素数量的五倍的高度。

在一些具体实施中，CGR内容模块612基于多个因素中的至少一个因素来缩放CGR对象620的虚拟尺寸。例如，在一些具体实施中，CGR内容模块612基于已知物理物品的已知尺寸(例如，电源插座的高度)来缩放CGR对象620的虚拟尺寸。在一些具体实施中，CGR内容模块612基于已知物理物品与在其中实现系统600的设备的距离来缩放CGR对象620的虚拟尺寸。在一些具体实施中，CGR内容模块612基于对应于CGR对象620的物理物品的物理尺寸(例如，物理椅子的物理高度)来缩放CGR对象620的虚拟尺寸。在一些具体实施中，CGR内容模块612基于CGR对象620在AR环境602内的放置位置(例如，CGR对象620距用户的放置距离)来缩放CGR对象620的虚拟尺寸。

在一些具体实施中，CGR内容模块612根据虚拟尺寸在AR环境602中显示CGR对象620。例如，如果CGR内容模块612确定CGR对象620的虚拟高度是已知物理对象的高度的五倍，则CGR内容模块612可显示CGR对象620，虚拟高度占据已知物理对象的高度的五倍的像素。

图7是根据一些具体实施的示例性CGR内容模块700的框图。在一些具体实施中，CGR内容模块700实现图6所示的CGR内容模块612。在一些具体实施中，CGR内容获取器710获取CGR内容，例如CGR内容项702，以使用显示器(诸如图6的显示器604)来显示。CGR内容项702可包括对应于物理环境的AR环境。在一些具体实施中，CGR内容获取器710生成CGR内容项702，包括AR环境。在一些具体实施中，CGR内容获取器710从CGR内容源704获取CGR内容项702。

在一些具体实施中，CGR内容获取器710确定在AR环境中显示CGR对象。例如，CGR内容获取器710可从CGR内容源704或从另一源获取CGR对象。CGR对象对应于具有物理尺寸的物理对象。例如，CGR对象可为具有物理高度、宽度和/或长度的物理椅子的表示。CGR对象所对应的物理对象可或可不存在于物理环境中。在任一种情况下，希望利用适当的缩放来渲染CGR对象，例如，使得CGR对象与AR环境的其他特征部成比例。

在一些具体实施中，CGR内容模块700识别位于物理环境中的已知物理物品。在一些具体实施中，环境传感器706获取对应于物理环境的环境数据708，并将环境数据708提供给数据获取器720。在一些具体实施中，环境传感器706包括获取物理环境的图像714的图像传感器712(例如，相机)。在一些具体实施中，环境传感器706包括获取对应于物理环境的深度数据718的深度传感器716。深度数据718可独立于图像714或与该图像结合使用，以识别已知物理物品。

在一些具体实施中，图像714是静止图像。在一些具体实施中，图像714是形成视频馈送的一部分的图像帧。该图像714包括多个像素。像素中的一些像素(例如，第一组像素)表示对象。其他像素(例如，第二组像素)表示背景，例如，图像714的不表示对象的部分。应当理解，表示一个对象的像素可表示不同对象的背景。

在一些具体实施中，对象分析器730基于环境数据708来识别物理环境中的已知物理物品。已知物理物品与CGR对象可根据其缩放的已知物理尺寸相关联。在一些具体实施中，对象分析器730对环境数据708执行语义分割和/或实例分割以识别已知物理物品。在一些具体实施中，环境数据708包括图像714，并且对象分析器730将一个或多个滤波器和/或遮罩应用于图像714以将图像714中的像素表征为与相应对象(诸如已知物理物品)相关联。在一些具体实施中，已知物理物品由图像714的一部分表示，并且对象分析器730对图像714的该部分执行语义分割和/或实例分割以识别已知物理物品。

在一些具体实施中，数据获取器720可获取与已知物理物品相关联的数据的光学机器可读表示。光学机器可读表示可实现为例如条形码或QR码。在一些具体实施中，光学机器可读表示是图像714的一部分。在一些具体实施中，光学机器可读表示与图像714分开捕获，例如，在单独的扫描中捕获。

在一些具体实施中，对象分析器730确定识别已知物理物品的对象标识符732，诸如语义标签和/或产品标识符。在一些具体实施中，对象分析器730基于与对应于已知物理物品或与已知物理物品具有一定相似度的物理物品相关的可用信息来确定已知物理物品的对象标识符732。该信息可从一个或多个来源获取。

例如，在一些具体实施中，对象分析器730基于从数据库734(例如，本地数据库)接收到的信息来确定对象标识符732。例如，数据库734可存储对应于(例如，已知物理物品的相同模型的)已知物理物品的物理物品(例如，椅子)的产品规格。在一些具体实施中，数据库734存储与已知物理物品具有一定相似度的物理物品的产品规格。例如，如果产品规格对于对应于已知物理物品的同一椅子模型是不可用的，则对象分析器730可将产品规格用于类似的椅子模型。

该已知物理物品与已知尺寸相关联。在一些具体实施中，尺寸确定器740获取已知物理物品的尺寸信息。例如，尺寸确定器740可向数据存储库742或经由网络744(诸如局域网(LAN)或互联网)向服务发送包括识别已知物理物品的信息的查询。在一些具体实施中，识别已知物理物品的信息包括语义标签、产品标识符和/或图像。响应于该查询，尺寸确定器740可接收已知物理物品的尺寸信息。例如，如果已知物理物品为标准电源插座，则尺寸确定器740可接收指示标准电源插座的高度为四英寸的信息。在一些具体实施中，如果已知物理物品的尺寸信息不可用，则尺寸确定器740接收与已知物理物品具有一定相似度的物理物品的尺寸信息。

在一些具体实施中，尺寸确定器740基于已知物理物品的已知尺寸和CGR对象表示的物理物品的物理尺寸来确定CGR对象的虚拟尺寸。例如，如果CGR对象是CGR椅子并且已知物理物品是电源插座，则尺寸确定器740可基于由CGR椅子表示的物理椅子的物理高度和电源插座的已知物理高度来确定CGR椅子的虚拟高度。

在一些具体实施中，尺寸确定器740基于多个因素中的至少一个因素来缩放CGR对象的虚拟尺寸。在一些具体实施中，尺寸确定器740基于已知物理物品的已知尺寸(例如，电源插座的高度)来缩放CGR对象的虚拟尺寸。例如，如果电源插座高四英寸并且物理椅子高20英寸(例如，电源插座高五倍)，则尺寸确定器740可确定CGR椅子的虚拟高度是电源插座的高度的五倍。在一些具体实施中，当CGR椅子显示在电源插座旁边时，CGR椅子占据相对于电源插座占据的像素数量的像素的五倍的高度。

在一些具体实施中，尺寸确定器740基于已知物理物品与在其中实现CGR内容模块700的设备的距离来缩放CGR对象的虚拟尺寸。例如，如果CGR内容模块700在相对于电源插座位于房间的相对侧的HMD中实现，则电源插座可在AR环境的显示器中占据更少的像素。因此，相对于电源插座缩放CGR对象可使得CGR对象看起来比电源插座更靠近HMD时更小。在一些具体实施中，当确定CGR对象的虚拟尺寸时，尺寸确定器740考虑已知物理物品与设备的距离，例如，以补偿该潜在效果。

在一些具体实施中，尺寸确定器740基于对应于CGR对象的物理物品的物理尺寸来缩放CGR对象的虚拟尺寸。例如，如果CGR对象是物理椅子的表示，则尺寸确定器740可基于物理椅子的物理高度来缩放CGR对象的虚拟高度。例如，物理物品的物理高度可通过向数据存储库742或经由网络744向服务发送识别物理物品的查询来确定。

在一些具体实施中，尺寸确定器740基于CGR对象在AR环境内的放置位置(例如，CGR对象距用户的放置距离)来缩放CGR对象的虚拟尺寸。例如，如果CGR对象要远离用户放置，则尺寸确定器740可缩放CGR对象以看起来更小。相反，如果CGR对象要靠近用户放置，则尺寸确定器740可缩放CGR对象以看起来更大。

在一些具体实施中，CGR内容模块700根据虚拟尺寸在AR环境中显示CGR对象。在一些具体实施中，对象生成器750生成经修改的CGR内容项752，该经修改的CGR内容项包括在与虚拟尺寸一致的AR环境内实例化的CGR对象。例如，如果尺寸确定器740确定CGR对象的虚拟高度是已知物理对象的高度的五倍，则对象生成器750可实例化CGR对象，虚拟高度占据已知物理对象的高度的五倍像素数量。

图8A至图8C是根据一些具体实施的用于在AR环境中显示CGR对象的方法800的流程图表示。在各种具体实施中，方法800由设备(例如，图1A和图1B中所示的电子设备102和/或控制器104，或图6中所示的系统600)执行。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，在各种具体实施中，方法800包括显示对应于物理环境的AR环境；确定在AR环境中显示CGR对象；识别位于物理环境内的已知物理物品；基于已知物理物品的已知尺寸和由CGR对象表示的物理物品的物理尺寸来确定CGR对象的虚拟尺寸；并且根据虚拟尺寸在AR环境中显示CGR对象。

参考图8A，如框810所示，在各种具体实施中，方法800包括显示对应于物理环境的AR环境。参考图8B，如框810a所示，AR环境602可被渲染为物理环境的光学透传，其中一个或多个CGR对象被渲染，物理环境作为背景，例如覆盖在通过例如HMD中的透镜感知的物理环境上方。

如框810b所示，在一些具体实施中，图像传感器(诸如相机)获取对应于物理环境的图像数据。AR环境被渲染为物理环境的视频透传，如框810c所示。在视频透传中，设备显示具有物理环境的CGR表示的一个或多个CGR对象。

如框820所示，在各种具体实施中，方法800包括确定在AR环境中显示CGR对象。该CGR对象表示与物理尺寸相关联的物理物品。例如，CGR对象可表示与物理高度相关联的物理椅子。

在一些具体实施中，如框820a所示，获取在AR环境中显示CGR对象的请求。可从用户接收该请求。例如，在一些具体实施中，如框820b所示，接收用户输入以在AR环境中显示CGR对象。例如，用户输入可包括来自鼠标、键盘的输入和/或来自触摸屏界面的基于手势的输入。在一些具体实施中，请求由进程或应用程序生成，而无需用户的任何干预。

在一些具体实施中，如框830所示，方法800包括识别位于物理环境内的已知物理对象。已知物理对象与已知尺寸相关联。在一些具体实施中，如框830a所示，对环境数据执行语义分割和/或实例分割以识别已知物理物品。在一些具体实施中，环境数据包括由图像传感器(诸如相机)捕获的图像。可将一个或多个滤波器和/或遮罩应用于图像以将图像中的像素表征为与相应对象(诸如已知物理物品)相关联。在一些具体实施中，已知物理物品由图像的一部分表示，并且对图像的该部分执行语义分割和/或实例分割以识别已知物理物品。

在一些具体实施中，如框830b所示，识别与已知物理物品相关联的数据的光学机器可读表示。光学机器可读表示可实现为例如条形码或QR码。

在一些具体实施中，查询被发送到例如产品数据库以获取识别已知物理物品的信息。在一些具体实施中，识别已知物理物品的信息包括语义标签、产品标识符和/或图像。如框830c所示，可基于对应于已知物理物品的产品标识符来发送查询。例如，如果数据的光学机器可读表示包括对应于已知物理物品的型号或统一产品代码(UPC)标识符，则查询可包括该信息。在一些具体实施中，如框830d所示，方法800包括响应于该查询，接收已知物理物品的尺寸信息。例如，如果该信息可用，则产品数据库可从特定制造商返回特定型号的电源插座的高度。在一些具体实施中，如框830e所示，方法800包括响应于该查询，接收与已知物理物品具有一定相似度的物理物品的尺寸信息。例如，如果产品数据库不具有用于特定类型的电源插座的信息，则产品数据库可改为返回一般化电源插座的高度，例如制造商之间的平均值或标准高度。在一些具体实施中，如框830f所示，方法800包括接收指示已知物理物品的尺寸信息的用户输入。例如，用户可使用键盘、鼠标和/或触摸屏界面上的手势控件来提供指示电源插座的宽度和/或高度的用户输入。

在一些具体实施中，如框840所示，方法800包括基于已知物理物品的已知尺寸和CGR对象表示的物理物品的物理尺寸来确定CGR对象的虚拟尺寸。例如，如果CGR对象是CGR椅子并且已知物理物品是电源插座，则CGR椅子的虚拟高度可基于由CGR椅子表示的物理椅子的物理高度和电源插座的已知物理高度。

在一些具体实施中，尺寸确定器740基于多个因素中的至少一个因素来缩放CGR对象的虚拟尺寸。在一些具体实施中，CGR对象的虚拟尺寸基于已知物理物品的已知尺寸(例如，电源插座的高度)。例如，如果电源插座高四英寸并且物理椅子高20英寸(例如，电源插座高五倍)，则CGR椅子的虚拟高度是电源插座的高度的五倍。在一些具体实施中，当CGR椅子显示在电源插座旁边时，CGR椅子占据相对于电源插座占据的像素数量的像素的五倍的高度。

现在参考图8C，如框840a所示，CGR对象的虚拟尺寸可基于已知物理物品与其中实现系统600的设备的距离来缩放。例如，如果系统600在在相对于电源插座位于房间的相对侧的HMD中实现，则电源插座可在AR环境的显示器中占据更少的像素。因此，相对于电源插座缩放CGR对象可使得CGR对象看起来比电源插座更靠近HMD时更小。在一些具体实施中，CGR对象的缩放考虑了已知物理物品与设备的距离，例如，以补偿该潜在效果。

在一些具体实施中，如框840b所示，CGR对象的虚拟尺寸基于CGR对象在AR环境内的放置位置(例如，CGR对象距用户的放置距离)来缩放。可假设用户基本上与设备并置排列。在一些具体实施中，如框840c所示，CGR对象的虚拟尺寸基于设备与CGR对象的放置位置之间的距离来确定。例如，如果CGR对象要远离用户放置，则CGR对象可被缩放以看起来更小。相反，如果CGR对象将靠近用户放置，则CGR对象可被缩放以看起来更大。

在一些具体实施中，如框840d所示，CGR对象的虚拟尺寸基于已知物理物品与CGR对象的放置位置之间的距离来确定。例如，如果CGR对象靠近已知物理物品放置，则CGR对象的虚拟尺寸可根据已知物理物品的已知尺寸来缩放。在一些具体实施中，如果CGR对象将在AR环境中远离已知物理物品放置，则可使用附加缩放因子来补偿由于视角而引起的表观大小差异。

在一些具体实施中，如框840e所示，CGR对象的虚拟尺寸基于AR环境的虚拟尺寸来确定。例如，在对应于双汽车车库的AR环境中，可基于AR环境的虚拟宽度的大约一半来将表示汽车的CGR对象缩放成具有虚拟宽度。

在一些具体实施中，如框850所示，方法800包括根据虚拟尺寸在AR环境中显示CGR对象。在一些具体实施中，生成经修改的CGR内容项。经修改的CGR内容项包括在与虚拟尺寸一致的AR环境内实例化的CGR对象。例如，如果CGR对象的虚拟高度是已知物理对象的高度的五倍，则CGR对象可在AR环境内实例化，虚拟高度占据已知物理对象的高度的五倍的像素数量。

图9是根据一些具体实施的利用设备的一个或多个部件(例如，图1A和图1B所示的电子设备102和/或控制器104，或者图6所示的系统600)启用的设备900的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，服务系统900包括一个或多个处理单元(CPU)902、一个或多个输入/输出(I/O)设备906、一个或多个通信接口908、一个或多个编程接口910、存储器920以及用于互连这些和各种其他部件的一个或多个通信总线904。

在一些具体实施中，提供了通信接口908以便除其他用途之外，在云托管网络管理系统与包括一个或多个兼容设备的至少一个专用网络之间建立和维护元数据隧道。在一些具体实施中，该一条或多条通信总线904包括互连系统部件和控制系统部件之间的通信的电路。存储器920包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器920任选地包括与一个或多个CPU902远程定位的一个或多个存储设备。存储器920包括非暂态计算机可读存储介质。

在一些具体实施中，存储器920或存储器920的非暂态计算机可读存储介质存储下述程序、模块和数据结构或其子集，其中包括任选的操作系统930、CGR内容获取器710、数据获取器720、对象分析器730、尺寸确定器740和对象生成器750。如本文所述，CGR内容获取器710可包括用于获取要显示的CGR内容(包括AR环境)的指令710a和/或启发法和元数据710b。如本文所述，数据获取器720可包括用于获取对应于物理环境的环境数据的指令720a和/或启发法和元数据720b。如本文所述，对象分析器730可包括用于基于环境数据来识别物理环境中的已知物理物品的指令730a和/或启发法和元数据730b。如本文所述，尺寸确定器740可包括用于确定已知物理物品的已知尺寸和/或用于基于已知物理物品的已知尺寸来确定物理环境的物理尺寸的指令740a和/或启发法和元数据740b。如本文所述，对象生成器750可包括用于在AR环境中生成CGR对象的指令750a和/或启发法和元数据750b。

在一些具体实施中，一个或多个I/O设备906包括用于捕获环境数据的环境传感器。在一些具体实施中，环境传感器包括用于捕获表示一组一个或多个图像的图像数据的图像传感器(例如，相机)。在一些具体实施中，环境传感器包括用于捕获深度数据的深度传感器(例如，深度相机)。在一些具体实施中，一个或多个I/O设备906包括用于显示CGR环境的显示器。在一些具体实施中，显示器包括光学透视式显示器(例如，用于显示物理环境的光学透传)。在一些具体实施中，显示器包括不透明显示器(例如，用于显示物理环境的视频透传)。

应当理解，图9用作可存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图9中单独示出的一些功能块可作为单个块实施，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实施。块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (44)

1.一种方法，包括：

在包括非暂态存储器以及与所述非暂态存储器耦接的一个或多个处理器的设备处：

获取对应于物理环境的环境数据；

基于所述环境数据识别位于所述物理环境内的已知物理物品，其中所述已知物理物品与已知尺寸相关联；

基于所述已知物理物品的所述已知尺寸来确定所述物理环境的物理尺寸；以及

生成表示所述物理环境的计算机生成现实(CGR)环境，其中所述CGR环境的虚拟尺寸是所述物理环境的所述物理尺寸的函数。

2.根据权利要求1所述的方法，其中所述环境数据包括所述物理环境的图像。

3.根据权利要求2所述的方法，还包括从图像传感器接收所述物理环境的所述图像。

4.根据权利要求3所述的方法，还包括确定所述图像传感器的姿态。

5.根据权利要求4所述的方法，还包括根据所述姿态确定缩放系数。

6.根据权利要求1至5中任一项所述的方法，其中所述环境数据包括深度数据。

7.根据权利要求6所述的方法，还包括从深度传感器接收所述深度数据。

8.根据权利要求1至7中任一项所述的方法，还包括对所述环境数据执行语义分割或实例分割中的至少一者以识别所述已知物理物品。

9.根据权利要求1至8中任一项所述的方法，还包括识别与所述已知物理物品相关联的数据的光学机器可读表示。

10.根据权利要求1至9中任一项所述的方法，还包括获取所述已知物理物品的所述已知尺寸。

11.根据权利要求1至10中任一项所述的方法，还包括从数据存储库检索所述已知物理物品的所述已知尺寸。

12.根据权利要求1至11中任一项所述的方法，还包括经由网络检索所述已知物理物品的所述已知尺寸。

13.根据权利要求1至12中任一项所述的方法，其中所述已知物理物品对应于所述环境数据的一部分。

14.根据权利要求13所述的方法，还包括基于所述环境数据的所述已知物理物品对应的所述部分来发送对图像搜索的查询。

15.根据权利要求14所述的方法，还包括响应于所述查询接收所述已知物理物品的尺寸信息。

16.根据权利要求14所述的方法，还包括响应于所述查询，接收与所述已知物理物品具有一定相似度的物理物品的尺寸信息。

17.根据权利要求1至16中任一项所述的方法，还包括基于对应于所述已知物理物品的产品标识符来发送查询。

18.根据权利要求17所述的方法，还包括响应于所述查询接收所述已知物理物品的尺寸信息。

19.根据权利要求17所述的方法，还包括响应于所述查询，接收与所述已知物理物品具有一定相似度的物理物品的尺寸信息。

20.根据权利要求1至19中任一项所述的方法，还包括接收指示所述已知物理物品的所述已知尺寸的用户输入。

21.根据权利要求1至20中任一项所述的方法，还包括基于所述已知物理物品的所述已知尺寸以及所述已知物理物品与所述物理环境的比例来确定所述物理环境的所述物理尺寸。

22.一种设备，包括：

环境传感器；

显示器；

一个或多个处理器；

非暂态存储器；和

一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中，所述一个或多个程序当由所述一个或多个处理器执行时使所述设备执行根据权利要求1至21所述的方法中的任一种方法。

23.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由设备的一个或多个处理器执行时使所述设备执行根据权利要求1至21所述的方法中的任一种方法。

24.一种设备，包括：

一个或多个处理器；

非暂态存储器；和

用于使所述设备执行根据权利要求1至21所述的方法中的任一种方法的装置。

25.一种方法，包括：

在包括环境传感器、显示器、非暂态存储器以及与所述环境传感器、所述显示器和所述非暂态存储器耦接的一个或多个处理器的设备处：

在所述显示器上显示对应于物理环境的增强现实(AR)环境；

确定在所述AR环境中显示计算机生成现实(CGR)对象，其中所述CGR对象表示与物理尺寸相关联的物理物品；

基于经由所述环境传感器获取的环境数据来识别位于所述物理环境内的已知物理物品，其中所述已知物理物品与已知尺寸相关联；

基于所述已知物理物品的所述已知尺寸和所述CGR对象表示的所述物理物品的所述物理尺寸来确定所述CGR对象的虚拟尺寸；以及

根据所述虚拟尺寸在所述显示器上显示所述AR环境中的所述CGR对象。

26.根据权利要求25所述的方法，其中所述环境传感器包括图像传感器，并且所述方法还包括经由所述图像传感器获取对应于所述物理环境的图像数据。

27.根据权利要求25至26中任一项所述的方法，还包括显示所述物理环境的视频透传。

28.根据权利要求25至26中任一项所述的方法，还包括显示所述物理环境的光学透传。

29.根据权利要求25至28中任一项所述的方法，还包括获取在所述AR环境中显示所述CGR对象的请求。

30.根据权利要求25至29中任一项所述的方法，还包括接收用户输入以在所述AR环境中显示所述CGR对象。

31.根据权利要求25至30中任一项所述的方法，还包括基于对应于所述已知物理物品的产品标识符来发送查询。

32.根据权利要求31所述的方法，还包括响应于所述查询接收所述已知物理物品的尺寸信息。

33.根据权利要求31所述的方法，还包括响应于所述查询，接收与所述已知物理物品具有一定相似度的物理物品的尺寸信息。

34.根据权利要求25至33中任一项所述的方法，还包括接收指示所述已知物理物品的尺寸信息的用户输入。

35.根据权利要求25至34中任一项所述的方法，还包括基于所述设备与所述已知物理物品之间的距离来确定所述CGR对象的所述虚拟尺寸。

36.根据权利要求25至35中任一项所述的方法，还包括基于所述设备与所述CGR对象的放置位置之间的距离来确定所述CGR对象的所述虚拟尺寸。

37.根据权利要求25至36中任一项所述的方法，还包括基于所述已知物理物品与所述CGR对象的放置位置之间的距离来确定所述CGR对象的所述虚拟尺寸。

38.根据权利要求25至37中任一项所述的方法，还包括基于所述CGR对象的放置位置来确定所述CGR对象的所述虚拟尺寸。

39.根据权利要求25至38中任一项所述的方法，还包括对所述环境数据执行语义分割或实例分割中的至少一者以识别所述已知物理物品。

40.根据权利要求25至39中任一项所述的方法，还包括识别与所述已知物理物品相关联的数据的光学机器可读表示。

41.根据权利要求25至40中任一项所述的方法，还包括基于所述AR环境的虚拟尺寸来确定所述CGR对象的所述虚拟尺寸。

42.一种设备，包括：

环境传感器；

显示器；

一个或多个处理器；

非暂态存储器；和

一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中，所述一个或多个程序当由所述一个或多个处理器执行时使所述设备执行根据权利要求25至41所述的方法中的任一种方法。

43.一种用于存储一个或多个程序的非暂态存储器，所述一个或多个程序当由设备的一个或多个处理器执行时使所述设备执行根据权利要求25至41所述的方法中的任一种方法。

44.一种设备，包括：

一个或多个处理器；

非暂态存储器；和

用于使所述设备执行根据权利要求25至41所述的方法中的任一种方法的装置。

Images