CN110554770A - 静态遮挡物 - Google Patents

Abstract

本发明涉及静态遮挡物。一些具体实施涉及在具有处理器、存储器和图像传感器的计算装置上使用图像传感器获得物理环境的图像。各种具体实施检测图像中的物理环境对象的描绘，并基于图像中的对象的描绘和物理环境对象的3D模型来确定3D空间中的对象的3D位置。各种具体实施基于3D空间中的对象的3D位置和虚拟对象的3D位置来确定遮挡。然后基于遮挡显示CGR体验，其中对象或虚拟对象的至少一部分被另一个遮挡。

Description

静态遮挡物

相关申请的交叉引用

本申请要求2018年6月1日提交的美国临时申请序列号62/679,160的权益，该申请全文以引用方式并入本文。

技术领域

本公开一般涉及计算机生成的现实(CGR)体验，并尤其涉及用于在CGR体验中提供遮挡的系统、方法和装置。

背景技术

CGR环境是指人们经由电子系统感测和/或与之交互的完全或部分模拟的环境。CGR体验通常由用户使用移动装置、头戴式装置(HMD)或呈现环境的视觉或音频特征的其他装置来体验。CGR体验可以是但不一定是沉浸式的，例如，提供用户体验的大部分或全部视觉或音频内容。CGR体验可以是视频透视(例如，其中物理环境由相机捕获并且在具有附加内容的显示器上显示)或光学透视(例如，其中直接或透过玻璃观看物理环境并辅以显示的附加内容)。例如，CGR系统可以通过将渲染的三维(“3D”)图形(例如，虚拟对象)集成到由搭载的摄像头捕获的现场视频流中，使用消费者移动电话的显示器上的视频透视来向用户提供CGR体验。作为另一示例，CGR系统可以通过将渲染的3D图形叠加到可穿戴的透视头戴式显示器(“HMD”)中来使用光学透视为用户提供CGR体验，从而用叠加的虚拟对象以电子方式增强用户对物理环境的光学视图。现有的计算系统和应用程序不能充分地提供彼此相关的CGR体验中描绘的物理环境(例如，真实对象)和虚拟对象的遮挡。

发明内容

本文公开的各种具体实施包括执行CGR体验的遮挡处理的装置、系统和方法。例如通过相机捕获图像或图像序列，并与虚拟对象组合以提供CGR环境。CGR环境中的真实对象与虚拟对象之间发生遮挡，其中从用户的角度来看，真实对象位于虚拟对象的前面，从而使虚拟对象的全部或一部分从观看中变得模糊，反之亦然。为了准确地显示这样的遮挡，本文公开的具体实施确定3D空间中的真实对象和虚拟对象的相对位置和几何形状。使用图像数据确定真实对象(例如，博物馆中的雕塑)的位置和几何形状以识别对象的位置并且与存储的真实对象的3D模型(例如，对应于雕塑的3D模型)组合。使用真实对象的3D模型提供关于真实对象的准确几何信息，否则单独检查图像可能无法获得这些信息。使用3D空间中的真实对象和虚拟对象的精确相对位置和几何形状来确定准确的遮挡。因此，当虚拟对象在其前面时，虚拟对象将遮挡真实对象，反之亦然。在一些具体实施中，遮挡边界(例如，在CGR环境的视图的区域处，虚拟对象的边缘在这里与真实对象的边缘相邻)被校正，以进一步改善所显示的遮挡的准确性。

本公开的一些具体实施涉及在具有处理器、存储器和图像传感器的计算装置上，使用图像传感器获得物理环境的图像。这些具体实施接下来检测图像中的真实对象的描绘，例如，在当前帧中，并且基于图像中的真实对象的描绘和真实对象的3D模型来确定3D空间中的对象的三维(3D)位置。各种具体实施基于3D空间中的真实对象的3D位置和虚拟对象的3D位置来确定遮挡。然后提供CGR环境以用于基于遮挡在显示器上观看。CGR环境包括真实对象和虚拟对象，其中根据确定的遮挡来遮挡真实对象或虚拟对象的至少一部分。在一些具体实施中，图像传感器捕获帧序列，并且为帧序列中的每个帧添加遮挡。因此，在CGR体验期间实时确定并显示虚拟对象与真实对象之间的准确遮挡。在一些具体实施中，此类遮挡随时间改变，例如，基于真实对象的移动、虚拟对象的移动、图像传感器的移动或其组合。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；这一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且这一个或多个程序包括用于执行或导致执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种装置包括：一个或多个处理器、非暂态存储器、图像传感器，以及用于执行或引起执行本文所述方法中的任一者的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是示例环境的框图。

图2是根据一些具体实施的移动装置捕获图1的环境中的帧序列的帧的框图。

图3是示出根据一些具体实施的图2的移动装置可访问的存在的真实对象的3D模型的框图。

图4是根据一些具体实施的图2的移动装置呈现包括虚拟对象的CGR环境的框图。

图5A至图5C是根据一些具体实施的图2的移动装置使用帧序列以呈现包括真实对象和虚拟对象的CGR环境的框图。

图6是根据一些具体实施的图2的移动装置呈现包括真实对象和虚拟对象的CGR环境的框图。

图7是示出根据一些具体实施的遮挡不确定区域被解析用于遮挡边界区域中的精确或一致CGR体验的框图。

图8是示出根据一些具体实施的示例性装置的装置部件的框图。

图9是根据一些具体实施的用于在CGR体验中的遮挡呈现的方法的流程图表示。

图10是根据一些具体实施的用于在CGR体验中的遮挡边界呈现的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、装置和电路，以免模糊本文所述的示例具体实施的更多相关方面。

参考图1，示出了用于实现本公开的各方面的示例环境100。通常，操作环境100表示包括真实对象的物理环境中的两个装置105、115。如图1的示例中所描绘，环境100包括由第一用户110使用的第一装置105和由第二用户120使用的第二装置115。在该示例中，环境100是包括图片125和雕塑135的博物馆。两个装置105、115可以单独操作或者与未示出的附加装置交互以捕获物理环境的图像、检测或跟踪那些图像中的对象，或者基于图像和检测/跟踪的对象呈现CGR环境。两个装置105、115中的每者可以无线地或经由有线连接与单独的控制器(未示出)通信以执行这些功能中的一者或多者。类似地，两个装置105、115中的每者可以存储对这些功能有用的参考图像和其他特定于对象的信息，或者可以与存储该信息的单独装置诸如服务器或其他计算装置通信。例如，博物馆可能已经编辑了存储在两个装置105、115上或可由两个装置105、115访问的真实对象的参考图像、真实对象的3D模型，以及真实对象的描述性信息的集合。在检测到由装置捕获的图像中的物理环境对象之后，装置105和115可以使用这些真实对象的3D模型来在CGR环境中执行遮挡。

在一些具体实施中，装置，诸如装置115是由用户佩戴的头戴式装置(HMD)。HMD可以包围第二用户120的视野。HMD可以包括一个或多个屏幕或被配置为显示CGR环境的其他显示器。在一些具体实施中，HMD包括屏幕或其他显示器以在第二用户120的视野中显示CGR环境。在一些具体实施中，HMD以屏幕被定位成在第二用户120的视野中显示CGR环境的方式佩戴。

在一些具体实施中，装置诸如第一装置105是被配置为向第一用户110呈现CGR环境的手持电子装置(例如，智能移动电话或平板计算机)。在一些具体实施中，第一装置105是腔室、外壳或房间，其被配置为呈现CGR环境，其中第一用户110不佩戴或握持第一装置105。

CGR环境是指人们经由电子系统感知和/或与之交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，所述音频对象创建3D或空间音频环境，所述3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感知和/或与之交互的虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可以具有透明或半透明显示器，人可以透过它直接查看物理环境。系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。该系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在通过不透明显示器呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。作为另一示例，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。又如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过所述媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

在一些具体实施中，第一装置105和第二装置115使用户能够改变视点或以其他方式修改CGR环境或与CGR环境交互。在一些具体实施中，第一装置105和第二装置115被配置为接收与显示的内容交互的用户输入。例如，可以在CGR环境中呈现虚拟对象，诸如物理环境中的人或对象的3D表示，或者各自具有交互命令的信息显示。用户可以相对于所描绘的真实对象重新定位虚拟对象或信息显示，或者通过在相应装置上提供用户输入或以其他方式使用相应装置来与交互命令交互。在一个示例中，用户口头陈述“移动球”、“改变背景”或“告诉我关于雕塑的更多信息”以发起或改变虚拟对象内容或CGR环境的显示。

图2是根据一些具体实施的第一装置105捕获图1的环境100中的图像200的框图。在该示例中，第一用户110已将第一装置105定位在环境100中，使得第一装置105的图像传感器捕获图片125和雕塑135的图像200。捕获图像200可以是由第一装置105捕获的帧序列的帧，例如，当第一装置105正在执行CGR环境应用时。在本示例中，第一装置105捕获并显示图像200，包括图片125的描绘225和雕塑135的描绘235。

图3是描绘真实对象的3D表示存在并且可由捕获图像200的第一装置105访问的框图。如图3所示，第一装置105可以访问真实对象雕塑135的3D表示335。在一些具体实施中，3D表示335存储在第一装置105上或远程存储。相反，图片125没有3D表示。3D表示335表示雕塑135的3D表面模型或3D体积模型。在一个具体实施中，3D表示335是非常精确的、高度详细的3D表示335，并且可以包括基于对图像的检查(例如，从描绘235)不容易明显或容易/快速/准确地确定的信息。

图4是图2的第一装置105呈现捕获图像400的框图，该捕获图像400包括图片125的描绘225和基于雕塑135的姿势定位的3D表示335(例如，附加内容)，该雕塑135的姿势在环境100的捕获图像400中检测到。在一些具体实施中，捕获图像400可以是CGR环境。

在各种具体实施中，第一装置105可以基于以下项来检测对象并确定其姿势(例如，3D空间中的位置和取向)：传统的2D或3D对象检测和定位算法、视觉惯性测距(VIO)信息、红外数据、深度检测数据、RGB-D数据、其他信息或其某种组合，如图4所示。在一些具体实施中，在捕获图像400的每个帧中检测姿势。在一个具体实施中，在第一帧中的姿势检测之后，在帧序列的后续帧中，第一装置105可以确定适当的变换(例如，姿势的调整)以确定每个后续帧中的对象的姿势。如图4所示，第一装置105检测捕获图像400中的雕塑135，并用附加内容或3D表示335替换或补充捕获图像400中的雕塑135的描绘235。

如将在图5A至图5C中示出的，多个虚拟对象(虚拟对象)的描绘可以与来自环境100的捕获的图像的物理环境的真实对象组合。在各种具体实施中，使用可访问虚拟对象510和可选择操作员动作，可以将虚拟对象510添加到CGR环境500。

图5A是图2的第一装置105呈现CGR环境500的框图，该CGR环境500包括图片125的描绘225和所检测的雕塑135的描绘235，其中描绘235实际地与球虚拟对象510交互(例如，处理遮挡)。如图5所示，第一装置105(例如，经由用户110与第一装置105交互或基于计算机实现的指令)可以可控制地改变CGR环境500中的球虚拟对象510的姿势(例如，3D空间中的位置和取向)。在各种具体实施中，第一装置105随时间跟踪CGR环境500中的球虚拟对象510的姿势。此外，第一装置105确定并更新现实世界雕塑135的姿势。第一装置105另外检索或访问3D表示335以提供关于雕塑135的几何形状和姿势的附加且通常更准确的信息。通常，第一装置105可以为球虚拟对象510、所描绘的雕塑235描绘在CGR环境500中相对于彼此或相对于第一装置105的图像传感器的视点的相对位置。关于雕塑135和虚拟对象球510的所确定的姿势和几何信息用于显示CGR环境500。该信息可用于确定物理环境中的雕塑135与应当在CGR环境500中描绘的虚拟对象球510之间的准确遮挡和3D交互。

在图5A至图5C的该示例中，球虚拟对象510看起来行进示例性路径520(例如，通过在CGR环境500中示出所描绘的雕塑235和球虚拟对象510之间的真实遮挡)。通过准确且有效地确定3D重建335和雕塑135的姿势以及球虚拟对象510在CGR环境500中的位置来实现逼真的遮挡。在图5A中，在CGR环境500中球虚拟对象510与描绘的雕塑235之间没有遮挡。在图5B中，在CGR环境500中球虚拟对象510在描绘的雕塑235后面并被其遮挡。在图5C中，在CGR环境500中球虚拟对象510在描绘的雕塑235前面并遮挡雕塑235。因此，根据一些具体实施，球虚拟对象510实际上围绕雕塑225的描绘行进路径520。

在各种具体实施中，第一用户110可以在第一装置105上执行CGR环境应用。在一些具体实施中，第一用户110可以在环境100周围物理移动以改变CGR环境500中的描绘。当第一用户110在环境100周围物理移动时，第一装置105上的图像传感器从环境100内的不同位置和取向(例如，相机姿势)捕获帧序列，例如，环境100的捕获图像。在一些具体实施中，即使球虚拟对象510相对于雕塑135固定，图像传感器的物理运动也可以改变遮挡关系，该遮挡关系由第一装置105确定并在CGR环境500中正确呈现。在一些具体实施中，第一装置105上的图像传感器和球虚拟对象510都可以移动，并且遮挡关系由第一装置105确定并且在CGR环境500中正确呈现。

如图6所示，虚拟对象可以包括其中描绘了物理环境的虚拟场景。此类虚拟场景可以包括一些或全部物理环境(例如，环境100)。在各种具体实施中，使用可访问虚拟对象610和可选择操作员动作，可以将虚拟对象610添加到CGR环境600。如图6所示，环境虚拟对象610(例如，凡尔赛宫的场地)可以包括CGR环境600的一部分或全部。在一些具体实施中，雕塑235的描绘在虚拟对象环境中示出，使得虚拟对象610中的对象的姿势是已知的并且可以正确地描绘遮挡，例如，由用户110通过虚拟对象610相对于雕塑135和3D模型335的姿势的相对运动引起的遮挡。

如图6所示，基于雕塑135和3D模型335的姿势，雕塑235的描绘在环境虚拟对象610的一部分后面并且具有被灌木遮挡的底部部分。雕塑235的描绘位于环境虚拟对象610的喷泉前面并且具有遮挡其的顶部部分。在各种具体实施中，例如，当用户110移动通过虚拟对象610或者当雕塑135在环境100中移动时，此类遮挡将改变。在一些具体实施中，可以将附加虚拟对象诸如球虚拟对象510添加到CGR环境600。

图7是示出根据一些具体实施的可以在CGR环境中的遮挡边界区域中发生的遮挡不确定区域的框图。在各种具体实施中，遮挡不确定区域750可以发生在CGR环境500中的所检测的真实对象与虚拟对象之间的遮挡边界处。在一些具体实施中，遮挡不确定区域750由所检测的真实对象和虚拟对象在CGR环境500中的重叠位置和方式引起。在一些具体实施中，遮挡不确定区域750可为预设或可变大小或可为预设或可变数量像素(例如，几个像素或数十个像素)，这基于显示装置特性、所检测的真实对象和虚拟对象的大小、所检测的真实对象和虚拟对象的运动等。在一些具体实施中，在生成或显示CGR环境(例如，CGR环境500)之前解析遮挡不确定区域750。在一些具体实施中，在逐帧过程中解析遮挡不确定区域750。在一些具体实施中，通过遮挡边界区域校正过程来解析遮挡不确定区域750。在一些具体实施中，算法处理标准，其基于确定像素应该是虚拟对象还是所检测的真实对象的一部分以及被遮挡还是可见来精确地确定是否要校正遮挡边界区域中的每个像素。在一些具体实施中，以全图像分辨率校正遮挡边界区域。在一些具体实施中，至少部分地使用降低的图像分辨率来校正遮挡边界区域。

在一些具体实施中，遮挡不确定区域750至少部分地由CGR环境3D坐标系与第一装置105 3D坐标系(例如，图像传感器)之间的不匹配引起。例如，在第一3D空间坐标中确定真实对象的姿势/几何形状，并且与在相同的第一3D空间坐标中确定的虚拟对象的姿势/几何形状进行比较。基于这些位置关系，从图像传感器/用户视点确定并逼真地显示真实对象与虚拟对象之间的遮挡。当对象相对于彼此以及图像传感器/用户视点移动时，可以在帧序列的每个后续帧中重新确定遮挡。在一些具体实施中，第一3D空间坐标位于所显示的CGR环境的第一3D坐标系中。在一些具体实施中，第一3D空间坐标位于装置105处的VIO系统所使用的坐标系中。相反，图像传感器的捕获图像位于装置105(例如，图像传感器)的第二3D坐标系中。

如图7所示，遮挡边界区域760与遮挡不确定区域750重叠。遮挡边界区域760可以与遮挡不确定区域750具有相同的大小或不同的大小。在一些具体实施中，遮挡边界区域760可表示为边界条件或掩模。如图7所示，遮挡边界区域760是三掩模(tri-mask)，其中已知第一像素762处于真实对象描绘235中并且已知第三像素766处于虚拟对象描绘510中，并且不确定的第二像素764需要在生成或显示CGR环境500之前被解析。在一些具体实施中，不确定的第二像素764是预设或可变数量的像素。在一些具体实施中，遮挡边界区域760在单帧图像数据(例如，当前帧)内被解析。在一些具体实施中，使用多帧图像数据(例如，使用来自一个或多个先前帧的信息)来解析遮挡边界区域760。例如，相对于先前帧的移动(例如，旋转或平移移动量)可用于校正当前帧中的不确定第二像素764。在一些具体实施中，使用局部化一致性条件来解析第二像素764。在一些具体实施中，使用局部色彩一致性或遮挡条件一致性来解析第二像素764。

图2至图7的示例示出了用于具有可访问的对应3D虚拟模型的真实对象的CGR环境中的遮挡处理的各种具体实施。使用本文公开的技术有效且准确地确定遮挡可以实现或增强CGR体验。例如，第一用户110可以在第一装置105上执行CGR环境应用并且在环境100周围行走。在各种具体实施中，第一用户110在环境100周围行走并观看屏幕上的实时CGR环境，其包括所检测的和跟踪的真实对象之间的真实遮挡的描绘，所述真实对象具有可访问的对应3D模型，诸如雕塑135以及基于本文公开的技术将其添加到CGR环境的附加虚拟内容。

可以捕获、描绘和跟踪的物理环境中的真实对象的示例包括但不限于图片、绘画、雕塑、灯具，建筑物、标志、桌子、地板、墙、桌、书、水体、山、田地、车辆、柜台、人脸、人手、人发、另一个人体部分、整个人体、动物或其他生物体、衣服、一张纸、杂志、书、车辆、机器或其他人造对象，以及可以识别和建模的任何其他物品或物品组。

图8是示出根据一些具体实施的第一装置105的装置部件的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，第一装置105包括一个或多个处理单元802(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核等)、一个或多个输入/输出(I/O)装置和传感器806、一个或多个通信接口808(例如，USB、火线、雷电、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、紫蜂、SPI、I2C等类型接口)、一个或多个编程(例如，I/O)接口810、一个或多个显示器812、一个或多个面向内部或外部的图像传感器系统814、存储器820，以及一个或多个用于互连这些和各种其他部件的通信总线804。

在一些具体实施中，一条或多条通信总线804包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O装置和传感器806包括触摸屏、软键、键盘、虚拟键盘、按钮、旋钮、操纵杆、开关、拨盘、惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如、血压监测器、心率监测器、血氧传感器、血糖传感器等)、一个或更多麦克风、一个或多个扬声器、触觉引擎、一个或多个深度传感器(例如，结构光、飞行时间等)等中的至少一者。在一些具体实施中，由一个或多个I/O装置和传感器806所检测的第一装置105的移动、旋转或位置向第一装置105提供输入。

在一些具体实施中，一个或多个显示器812被配置为呈现CGR体验。在一些具体实施中，一个或多个显示器812对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应瞬态(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)等显示类型。在一些实施方案中，一个或多个显示器812对应于衍射、反射、偏振、全息等波导显示器。在一个示例中，第一装置105包括单个显示器。在另一示例中，第一装置105包括用于每只眼睛的显示器。在一些具体实施中，一个或多个显示器812能够呈现CGR内容。

在一些具体实施中，一个或多个图像传感器系统814被配置为获得与第一装置105本地的场景的至少一部分对应的图像数据。一个或多个图像传感器系统814可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统814另外包括发光的照明源，诸如闪光灯。

存储器820包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其它随机存取固态存储器装置。在一些具体实施中，存储器820包括非易失性存储器，诸如一个或多个磁盘存储装置、光盘存储装置、闪存存储器装置或其他非易失性固态存储装置。存储器820可选地包括远离一个或多个处理单元802定位的一个或多个存储装置。存储器820包括非暂时性计算机可读存储介质。在一些具体实施中，存储器820或存储器820的非暂时性计算机可读存储介质存储以下程序、模块和数据结构，或其子集，包括可选操作系统830和一个或多个应用程序840。

操作系统830包括用于处理各种基本系统服务和用于执行硬件相关任务的过程。在一些具体实施中，操作系统830包括内置CGR功能，例如，包括CGR体验应用程序或查看器，其被配置为调用一个或多个应用程序840以在用户界面内显示CGR体验。

应用程序840包括遮挡检测/跟踪单元842和CGR体验单元844。遮挡检测/跟踪单元842和CGR体验单元844可以组合成单个应用程序或单元，或者分成一个或多个附加应用程序或单元。遮挡检测/跟踪单元842被配置有可由处理器执行的指令，以使用本文公开的一种或多种技术对CGR体验执行遮挡处理。CGR体验单元844被配置有可由处理器执行以提供CGR体验的指令，该CGR体验包括对包括真实对象和虚拟对象的物理环境的描绘。可以基于存储的真实对象和虚拟对象的3D模型，例如使用本文公开的技术中的一种或多种，基于3D空间中的对象相对于彼此的检测、跟踪和表示来定位虚拟对象。

在一些具体实施中，示出第一装置105的部件的框图可以类似地表示HMD(诸如第二装置115)的部件。此种HMD可以包括容纳头戴式装置的各种部件的壳体(或外壳)。壳体可包括(或耦合到)设置在壳体的近(到用户)端的眼垫。在一些具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将HMD保持在用户的面部上的适当位置(例如，围绕用户的眼睛)。壳体可以容纳显示器，该显示器显示图像，朝向用户的一只或两只眼睛发光。

图8更多地旨在作为存在于特定具体实施中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图8中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。

图9是用于在CGR环境中针对真实对象进行遮挡渲染的方法900的流程图表示。在一些具体实施中，方法900由装置(例如，图1至图8的第一装置105)执行。方法900可以在移动装置、HMD、台式机、膝上型计算机或服务器装置处执行。方法900可以在头戴式装置上执行，该头戴式装置具有用于显示2D图像的屏幕或用于观看立体图像的屏幕。在一些具体实施中，方法900由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法900由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框910处，方法900获得真实对象(例如，雕塑135)的3D虚拟模型。在各种具体实施中，真实对象的3D模型表示真实对象(例如，雕塑135)的3D表面或3D体积。在一些具体实施中，用户从可搜索的本地或远程站点找到或访问雕塑135的3D模型。例如，在博物馆，可以存在用于博物馆中的一件、一些或所有艺术品的可访问3D模型。

在框920处，方法900获取表示物理环境的图像数据。可以使用图像传感器诸如相机来获取此图像数据。在一些具体实施中，图像数据包括一个接一个地或在图像组中获取的帧序列。图像帧可以包括图像数据，诸如识别由图像传感器一次捕获的颜色、强度或其他视觉属性的像素数据。

在框930处，方法900从图像数据中的当前帧中检测来自物理环境的真实对象。在各种具体实施中，方法900确定图像数据的当前帧中的真实对象的姿势。在一些具体实施中，方法900可以基于已知的2D或3D对象检测和定位算法、VIO信息、红外数据、深度检测数据、RGB-D数据、其他信息或其某种组合来检测真实对象并确定其姿势(例如，3D空间中的位置和取向)。在一个示例中，在每个图像帧中检测真实对象。在一个具体实施中，在第一帧中的姿势检测之后，在帧序列的后续帧中，方法900可以确定适当的变换(例如，姿势的调整)以确定每个后续帧中的对象的姿势。确定新转置和与每个当前帧的相关联新姿势的该过程继续，当接收到新帧时，提供关于每个当前帧中的当前姿势的持续信息。

在框940处，方法900使用对应的3D模型执行真实对象的重建。这可以涉及使用所获得的真实对象的3D虚拟模型作为所描绘的物理环境中的真实对象的重建。在一些具体实施中，VIO用于基于物理环境中的真实对象的位置(例如，用户前方2米)来确定VIO系统使用的3D空间中的真实对象的位置。在一些具体实施中，VIO系统分析图像传感器或相机数据(“视觉”)以识别用于测量(“测距”)图像传感器如何相对于识别的地标在空间中移动的地标。运动传感器(“惯性”)数据用于补充或提供VIO系统与图像数据相比较以确定其在空间中的移动的补充信息。在一些具体实施中，为真实对象创建深度图并用于确定3D空间中的3D模型的姿势。在一些具体实施中，VIO系统将3D模型与真实对象的姿势登记在3D空间中。在一些具体实施中，使用当前帧图像中的确定的真实对象的姿势在CGR环境中渲染真实对象的3D模型。

在框950处，方法900比较虚拟对象相对于真实对象的3D位置的3D位置。在一些具体实施中，方法900例如基于真实对象的身份、用户输入、应用程序中的计算机实现的指令或任何其他识别技术来识别要包括在CGR环境(例如，CGR环境500)中的虚拟对象(例如，虚拟对象510)。在框950处，方法900比较3D空间中的虚拟对象和真实对象的位置以确定是否应该显示遮挡。在一些具体实施中，比较真实对象和虚拟对象的姿势和3D几何信息。在一些具体实施中，使用其坐标系，VIO系统跟踪真实对象和虚拟对象在VIO系统使用的3D空间中的何处。在各种具体实施中，确定相对位置，其包括虚拟对象与真实对象的3D模型之间的相对位置、虚拟对象与用户之间的相对位置(例如，图像传感器或相机姿势)，真实对象的3D模型与用户之间的相对位置或其组合。

来自框950的比较可用于从用户的角度实际呈现虚拟对象与真实对象的3D模型之间的遮挡。在各种具体实施中，CGR环境准确地描绘虚拟对象何时在前面并且遮挡真实对象的3D模型的全部或部分。在各种具体实施中，CGR环境准确地描绘了真实对象的3D模型何时在前面并且遮挡虚拟对象的全部或部分。

在各种具体实施中，虚拟对象的3D位置相对于真实对象的3D位置的比较另外用于解决在CGR环境中虚拟对象与真实对象之间的对象碰撞、阴影和其他潜在交互。

在框960处，方法900基于所确定的遮挡在CGR环境中显示具有真实对象的虚拟对象。在一些具体实施中，方法900呈现包括物理环境和附加内容的CGR环境。在一些具体实施中，方法900呈现描绘物理环境和附加内容的CGR环境。在各种具体实施中，在框960处，虚拟对象与描绘物理环境的CGR环境中的真实对象一起显示。

用户可以使用移动装置、头戴式装置(HMD)或呈现环境的视觉或音频特征的其他装置来体验CGR环境。体验可以是但不一定是沉浸式的，例如，提供用户体验的大部分或全部视觉或音频内容。CGR环境可以是视频透视(例如，其中物理环境由相机捕获并且在具有附加内容的显示器上显示)或光学透视(例如，其中直接或通过玻璃查看物理环境内容并补充显示的附加内容)。例如，CGR环境系统可以通过将渲染的三维(“3D”)图形集成到由搭载的相机捕获的实况视频流中，在消费者移动电话的显示器上向用户提供视频透视CGR环境。作为另一个示例，CGR系统可以通过将渲染的3D图形叠加到可穿戴的透视头戴式显示器(“HMD”)中来为用户提供光学透视CGR环境，从而用叠加的附加内容以电子方式增强用户对物理环境的光学查看。

图10是根据一些具体实施的用于真实对象和虚拟对象的CGR环境中的遮挡边界确定的方法1000的流程图表示。在一些具体实施中，方法1000由装置(例如，图1至图8的第一装置105)执行。方法1000可以在移动装置、HMD、台式机、膝上型计算机或服务器装置处执行。方法1000可以在头戴式装置上执行，该头戴式装置具有用于显示2D图像的屏幕或用于观看立体图像的屏幕。在一些具体实施中，方法1000由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法1000由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框1010处，方法1000确定CGR环境中的遮挡不确定区域。在一些具体实施中，遮挡不确定区域基于遮挡边界。遮挡不确定区域可以是预设或可变数量的像素(例如，在全图像分辨率下20像素宽或高)。在一些具体实施中，遮挡不确定区域可以基于虚拟对象或真实对象的3D模型的大小。可以使用遮挡不确定区域的其他估计。

在框1020处，方法1000创建掩模以在遮挡不确定区域处解析虚拟对象或真实对象的3D模型之间的遮挡边界区域。在一些具体实施中，三掩模可以识别被确定为在遮挡之外(例如，未遮挡)的第一区域、被确定为在遮挡内(例如，遮挡)的第二区域与在第一区域和第二区域之间的第三不确定区域(例如，像素764)。在一些具体实施中，尽管例如通过VIO系统确定环境的非常好的近似，但是第三不确定区域可以部分地由虚拟对象的确定的3D位置相对于由图像传感器捕获的图像或图像序列的不匹配引起。

在框1030处，方法1000确定对第三不确定区域的校正。在一些具体实施中，包括但不限于颜色一致性、色彩一致性或描绘的环境一致性的局部一致性标准与第一区域和第二区域一起使用以解析第三不确定区域(例如，消除第三不确定区域)。在一些具体实施中，一个或多个算法基于所选标准确定第三不确定区域中的每个像素的校正。在一些具体实施中，可以通过基于所选择的标准将第三不确定区域中的像素全部或部分地重新分配给第一区域或第二区域来实现校正。

在框1040处，方法1000在生成或显示CGR环境之前校正第三不确定区域。在一些具体实施中，方法1000将校正应用于CGR环境的描绘。在各种具体实施中，可以逐帧地实现校正。在一些具体实施中，可以通过来自一个或多个先前帧的信息来辅助校正。

本文所公开的技术在多种情况和具体实施中提供了优点。在一个具体实施中，移动装置(移动电话、HMD等)上的应用程序被配置为存储或访问关于特定场所诸如电影院或博物馆中的对象(例如，绘画、雕塑、海报等)的信息。该信息可以包括与真实对象对应的3D模型，该3D模型可以用于改善当此类对象在CGR环境中彼此阻挡时真实对象与虚拟对象之间的遮挡。使用真实对象的3D模型改善了确定遮挡测定的准确性和效率。在一些情况下，使用真实对象的3D模型使得遮挡确定能够实时发生，例如，提供与在捕获图像中的每者的时间或大约在该时间由装置捕获的图像对应的启用遮挡的CGR环境。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地描述普通技术人员已知的方法、设备或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”(“a”“an”)和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“comprises”或“comprising”)本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本公开的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本公开原理的说明，并且本领域的技术人员可以在不脱离本公开的范围和实质的情况下实现各种修改。

Claims (19)

1.一种方法，包括：

在具有处理器、存储器和图像传感器的计算装置上：

使用所述图像传感器获得物理环境的图像；

检测所述图像中真实对象的描绘；

基于所述图像中的所述对象的所述描绘和所述对象的三维(3D)模型来确定3D空间中的所述对象的3D位置；

基于所述3D空间中的所述真实对象的所述3D位置和所述虚拟对象的3D位置来确定遮挡；以及

基于所述遮挡在显示器上显示计算机生成现实(CGR)体验，所述CGR体验包括所述真实对象和所述虚拟对象，其中所述真实对象或所述虚拟对象的至少一部分被遮挡。

2.根据权利要求1所述的方法，其中所述虚拟对象基于所述遮挡而遮挡所述真实对象，其中在所述3D空间中所述虚拟对象的3D位置比所述真实对象的3D位置更靠近图像传感器位置。

3.根据权利要求1所述的方法，其中所述真实对象基于所述遮挡而遮挡所述虚拟对象，其中在所述3D空间中所述真实对象的3D位置比所述虚拟对象的3D位置更靠近图像传感器位置。

4.根据权利要求1所述的方法，其中确定3D空间中所述对象的所述3D位置还基于视觉惯性测距法。

5.根据权利要求1所述的方法，其中确定遮挡还包括校正遮挡边界区域。

6.根据权利要求5所述的方法，其中所述遮挡边界区域至少由所述3D空间中的所述对象的所述3D位置与来自所述图像传感器的所述物理环境的所述图像之间的不匹配引起。

7.根据权利要求6所述的方法，还包括通过基于三掩模和CGR体验颜色一致性来固定边界区域不确定性以校正所述遮挡边界区域。

8.根据权利要求5所述的方法，还包括基于所述CGR体验的单个帧来逐帧校正所述遮挡边界区域。

9.根据权利要求5所述的方法，还包括基于所述CGR体验的一个或多个先前帧来校正所述遮挡边界区域。

10.根据权利要求1所述的方法，还包括基于一个或多个先前帧，调整所述3D空间中的所述真实对象的3D位置或所述虚拟对象的3D位置的位置。

11.根据权利要求1所述的方法，其中所述虚拟对象是围绕所述真实对象的虚拟场景。

12.根据权利要求1所述的方法，其中所述被遮挡的空间关系包括所述虚拟对象被所述3D模型部分遮挡、所述虚拟对象被所述3D模型完全遮挡、所述3D模型被所述虚拟对象部分遮挡、或者所述3D模型被所述虚拟对象完全遮挡。

13.根据权利要求1所述的方法，还包括使用稀疏特征比较技术在所述帧的初始帧中检测所述对象的存在和所述对象的初始姿势。

14.一种系统，包括：

非暂态计算机可读存储介质；以及

一个或多个处理器，所述一个或多个处理器耦接至所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行操作，所述操作包括：

使用所述图像传感器获得物理环境的图像；

检测所述图像中真实对象的描绘；

基于所述图像中的所述对象的所述描绘和所述对象的三维(3D)模型，确定3D空间中的所述对象的3D位置；

基于所述3D空间中的所述真实对象的所述3D位置和所述虚拟对象的3D位置来确定遮挡；以及

基于所述遮挡在显示器上显示CGR体验，所述CGR体验包括所述真实对象和所述虚拟对象，其中所述真实对象或所述虚拟对象的至少一部分被遮挡。

15.根据权利要求14所述的系统，其中确定遮挡还包括校正遮挡边界区域，其中所述遮挡边界区域至少由所述3D空间中的所述对象的所述3D位置与来自所述图像传感器的所述物理环境的所述图像之间的不匹配引起。

16.根据权利要求14所述的系统，其中所述被遮挡的空间关系包括所述虚拟对象被所述3D模型部分遮挡、所述虚拟对象被所述3D模型完全遮挡、所述3D模型被所述虚拟对象部分遮挡、或者所述3D模型被所述虚拟对象完全遮挡。

17.一种非暂态计算机可读存储介质，将计算机可执行的程序指令存储在计算机上以执行操作，所述操作包括：

使用所述图像传感器获得物理环境的图像；

检测所述图像中真实对象的描绘；

基于所述图像中的所述对象的所述描绘和所述对象的三维(3D)模型，确定3D空间中的所述对象的3D位置；

基于所述3D空间中的所述真实对象的所述3D位置和所述虚拟对象的3D位置来确定遮挡；以及

基于所述遮挡在显示器上显示CGR体验，所述CGR体验包括所述真实对象和所述虚拟对象，其中所述真实对象或所述虚拟对象的至少一部分被遮挡。

18.根据权利要求17所述的非暂态计算机可读存储介质，其中确定遮挡还包括校正遮挡边界区域，其中所述遮挡边界区域至少由所述3D空间中的所述对象的所述3D位置与来自所述图像传感器的所述物理环境的所述图像之间的不匹配引起。

19.根据权利要求17所述的非暂态计算机可读存储介质，其中所述被遮挡的空间关系包括所述虚拟对象被所述3D模型部分遮挡、所述虚拟对象被所述3D模型完全遮挡、所述3D模型被所述虚拟对象部分遮挡、或者所述3D模型被所述虚拟对象完全遮挡。