CN105493155A - 用于表示物理场景的方法和设备 - Google Patents

Abstract

本发明描述用于通过获得关于物理场景的信息构建所述物理场景的数字表示的系统、方法和装置。基于所述信息，可识别所述物理场景内的平面表面的初始部分。在本发明的一个方面中，构建物理场景的数字表示可包含：获得关于所述物理场景的信息；识别所述物理场景内的平面表面；选择放置在所述平面表面上方的所述物理场景内的物理对象；检测与所述物理对象相关联的特性；使用与所述物理对象相关联的所述特性产生三维3D重建对象；以及将所述平面表面表示为扩增现实AR环境中的扩增现实平面，其中所述AR环境中的所述AR平面能够支持其顶部上的3D重建对象。

Description

用于表示物理场景的方法和设备

技术领域

本发明大体涉及扩增现实环境，且更确切地说涉及现实世界周围环境的基于机器的辨识。

背景技术

在扩增现实(AR)环境中，用户可检视人工或虚拟图形与用户的自然周围环境的集成。在AR的一些较早实施方案中，用户可经由(例如)扩增现实护目镜参看任意显示在用户的自然周围环境当中或内的图形。举例来说，随机蝴蝶的图形可沿着AR护目镜的视线飞行，同时用户继续检视他的或她的自然周围环境，而不管所述蝴蝶与用户正自然地查看的任何事物是否具有任何关联性。在AR的较复杂实施方案中，用户可能够将AR特征或图形直接应用到用户的自然周围环境的对象或结构。举例来说，用户可能想要引导蝴蝶的图形在墙壁或台子上着陆，这首先需要AR环境辨识事实上所述墙壁或台子实际上存在于用户的视野中何处。

在其它情况下，机器人或其它自动机器可在尝试在自然周围环境中定向其自身时应用AR领域中的类似概念和技术。举例来说，机器人可需要理解墙壁和台子存在于周围环境中何处，使得机器人并不会跑到墙壁或台子中。在其它情况下，机器人可通过(例如)识别台子上的杯子且拿起所述杯子而与自然周围环境交互。执行此任务可首先需要机器人成功地识别杯子，且在一些情况下需要成功地识别上面放置杯子的台子。然而，实时实现自然周围环境的基于机器的辨识已证明是难以解决的问题，因为(例如)现有技术不能足够快速或足够高效节能以用于实时目的。因此，在此项技术中需要在实时设定中自然周围环境的基于机器的辨识的改进的方法。

发明内容

本发明大体涉及扩增现实环境，且更确切地说涉及现实世界周围环境的基于机器的辨识。

描述用于通过获得关于物理场景的信息构建物理场景的数字表示的系统、方法和装置。基于所述信息，可识别物理场景内的平面表面的初始部分。在某些方面中，来自物理场景的物理对象可选定和经重建为三维(3D)经重建对象。所述平面表面可表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。

在某些方面中，还可基于所述至少一个所俘获图像识别平面表面的额外部分。基于确定与额外部分相关联的至少一个视觉特性同与已经识别为平面表面的一部分的一或多个部分相关联的至少一个对应视觉特性之间的相似度而将额外部分中的每一者识别为平面表面的一部分。

用于构建物理场景的数字表示的实例方法可包含：获得关于物理场景的信息；识别物理场景内的平面表面；选择放置在平面表面上方的物理场景内的物理对象；检测与物理对象相关联的特性；使用与物理对象相关联的特性产生三维(3D)经重建对象；以及将平面表面表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。

在所述方法的某些方面中，识别用于选择的物理对象可包含：识别平面表面中的一或多个区，其中所述一或多个区对应于平面表面上的物理对象的位置，其中所获得的信息包括物理对象的一或多个特征点，其中每一特征点指示物理对象的外表面上的点相对于平面表面的位置；以及基于一或多个凸面区的位置和所述一或多个特征点识别物理对象的一或多个外表面。

在所述方法的某些方面中，将平面表面表示为AR平面可包含分析包括所述物理对象的物理场景的至少两个图像，以及基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于所述物理场景且排除对应于所述物理对象的至少一个区。所创建的AR平面可包含多个单元，所述多个单元的每一单元表示物理场景中的不含物理对象的区。

在某些方面中，分析物理场景的所述至少两个图像可包含：使用相机俘获第一位置处的物理场景的第一图像，其中所述第一图像包含物理对象；确定相机已从所述第一位置向第二位置移动的距离；使用所述相机俘获第二位置处的物理场景的第二图像，其中所述第二图像包含物理对象；以及使用所述第一图像和所述第二图像确定所述物理对象的深度信息。

在所述方法的某些方面中，产生3D重建对象可包含：获得物理对象的一或多个特征点，其中所述一或多个特征点的每一特征点指示物理对象的外表面上的点相对于平面表面的位置；使用与平面表面相关联的信息和所述一或多个特征点估计物理对象的不可见的部分的形状；以及基于所述估计构建所述3D重建对象。在某些情况下，所述估计包括将所述信息和所述一或多个特征点变换为平面表面的前平行视角。在一些情况下，所述估计包括样条表示、反射对称对象表示、平面表示或弯曲表示中的至少一者。

在本发明的某些方面中，构建物理对象的数字表示可包含基于平面表面的被物理对象遮挡的部分的形状在垂直于平面表面的方向上挤压对象。

在所述方法的某些方面中，将平面表面表示为AR平面可包含：识别物理场景内的平面表面的初始部分；识别平面表面的额外部分，其中所述额外部分中的每一者基于确定与额外部分相关联的至少一个视觉或几何性质同与已经识别为平面表面的一部分的一或多个部分相关联的至少一个对应视觉或几何性质之间的相似度而识别为平面表面的一部分。

在某些实施方案中，识别平面表面的额外部分可包含：建立平面表面在其内驻留的平面区的模型；将所述平面区分割为多个单元；以及将每一单元评估为平面表面的潜在额外部分。评估每一单元可包含以下反复步骤：针对识别为平面表面的额外部分的每一单元，识别尚未识别为平面表面的一部分的相邻单元；以及针对每一经识别的相邻单元，将所述相邻单元评估为平面表面的潜在部分。

用于构建物理场景的数字表示的实例装置可包含存储器、用于获得关于物理场景的信息的相机，和耦合到存储器的处理器。所述处理器可经配置用于：识别物理场景内的平面表面；选择放置在平面表面上方的物理场景内的物理对象；检测与物理对象相关联的特性；使用与物理对象相关联的特性产生三维(3D)经重建对象；以及将平面表面表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。

在所述装置的某些方面中，识别用于选择的物理对象可包含：识别平面表面中的一或多个区，其中所述一或多个区对应于平面表面上的物理对象的位置，其中所获得的信息包括物理对象的一或多个特征点，其中每一特征点指示物理对象的外表面上的点相对于平面表面的位置；以及基于一或多个凸面区的位置和所述一或多个特征点识别物理对象的一或多个外表面。

在所述装置的某些方面中，将平面表面表示为AR平面可包含分析包括所述物理对象的物理场景的至少两个图像，以及基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于所述物理场景且排除对应于所述物理对象的至少一个区。所创建的AR平面可包含多个单元，所述多个单元的每一单元表示物理场景中的不含物理对象的区。

在某些方面中，分析物理场景的所述至少两个图像可包含：使用相机俘获第一位置处的物理场景的第一图像，其中所述第一图像包含物理对象；确定相机已从所述第一位置向第二位置移动的距离；使用所述相机俘获第二位置处的物理场景的第二图像，其中所述第二图像包含物理对象；以及使用所述第一图像和所述第二图像确定所述物理对象的深度信息。

在所述装置的某些方面中，产生3D重建对象可包含：获得物理对象的一或多个特征点，其中所述一或多个特征点的每一特征点指示物理对象的外表面上的点相对于平面表面的位置；使用与平面表面相关联的信息和所述一或多个特征点估计物理对象的不可见的部分的形状；以及基于所述估计构建所述3D重建对象。在某些情况下，所述估计包括将所述信息和所述一或多个特征点变换为平面表面的前平行视角。在一些情况下，所述估计包括样条表示、反射对称对象表示、平面表示或弯曲表示中的至少一者。

在本发明的某些方面中，构建物理对象的数字表示可包含基于平面表面的被物理对象遮挡的部分的形状在垂直于平面表面的方向上挤压对象。

在所述装置的某些方面中，将平面表面表示为AR平面可包含：识别物理场景内的平面表面的初始部分；识别平面表面的额外部分，其中所述额外部分中的每一者基于确定与额外部分相关联的至少一个视觉或几何性质同与已经识别为平面表面的一部分的一或多个部分相关联的至少一个对应视觉或几何性质之间的相似度而识别为平面表面的一部分。

在某些实施方案中，识别平面表面的额外部分可包含：建立平面表面在其内驻留的平面区的模型；将所述平面区分割为多个单元；以及将每一单元评估为平面表面的潜在额外部分。评估每一单元可包含以下反复步骤：针对识别为平面表面的额外部分的每一单元，识别尚未识别为平面表面的一部分的相邻单元；以及针对每一经识别的相邻单元，将所述相邻单元评估为平面表面的潜在部分。

一种实例非暂时性计算机可读存储媒体，其中所述非暂时性计算机可读存储媒体包括可由处理器执行的指令，所述指令包括用于以下操作的指令：识别物理场景内的平面表面；选择放置在平面表面上方的物理场景内的物理对象；检测与物理对象相关联的特性；使用与物理对象相关联的特性产生三维(3D)经重建对象；以及将平面表面表示为扩增现实(AR)环境中的扩增现实平面，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。

在非暂时性计算机可读存储媒体的某些方面中，产生3D重建对象可包含用于以下操作的指令：获得物理对象的一或多个特征点，其中所述一或多个特征点的每一特征点指示物理对象的外表面上的点相对于平面表面的位置；使用与平面表面相关联的信息和所述一或多个特征点估计物理对象的不可见的部分的形状；以及基于所述估计构建所述3D重建对象。在某些情况下，所述估计包括将所述信息和所述一或多个特征点变换为平面表面的前平行视角。在一些情况下，所述估计包括样条表示、反射对称对象表示、平面表示或弯曲表示中的至少一者。

在非暂时性计算机可读存储媒体的某些实例中，AR平面可包含多个单元，所述多个单元的每一单元表示物理场景中的不含物理对象的区。在某些方面中，将平面表面表示为AR平面包括所述处理器进一步包含分析包括所述物理对象的物理场景的至少两个图像，以及基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于所述物理场景且排除对应于所述物理对象的至少一个区。

用于构建物理场景的数字表示的实例设备可包含：用于获得关于物理场景的信息的装置；用于识别物理场景内的平面表面的装置；用于选择放置在平面表面上方的物理场景内的物理对象的装置；用于检测与物理对象相关联的特性的装置；用于使用与物理对象相关联的特性产生三维(3D)经重建对象的装置；以及用于将平面表面表示为扩增现实(AR)环境中的扩增现实平面的装置，其中AR环境中的AR平面能够支持其顶部上的3D重建对象。

在实例设备的某些方面中，产生3D重建对象可包含：用于获得物理对象的一或多个特征点的装置，其中所述一或多个特征点的每一特征点指示物理对象的外表面上的点相对于平面表面的位置；用于使用与平面表面相关联的信息和所述一或多个特征点估计物理对象的不可见的部分的形状的装置；以及用于基于所述估计构建所述3D重建对象的装置。在某些情况下，所述估计包括用于将所述信息和所述一或多个特征点变换到平面表面的前平行视角的装置。在一些情况下，所述估计包括样条表示、反射对称对象表示、平面表示或弯曲表示中的至少一者。

在实例设备的某些实例中，AR平面可包含多个单元，所述多个单元的每一单元表示物理场景中的不含物理对象的区。在某些方面中，将平面表面表示为AR平面可包含用于分析包括所述物理对象的物理场景的至少两个图像的装置，以及用于基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于所述物理场景且排除对应于所述物理对象的至少一个区的装置。

前文已经相当广泛地概述了实例的特征和技术优点，以便使以下具体实施方式可以得到更好理解。将在下文描述额外的特征及优点。所揭示的概念和具体实例可以容易地用作用于修改或设计用于执行本发明的相同目的的其它结构的基础。此类等效构造不脱离所附权利要求书的精神和范围。当结合附图考虑时，关于本发明的组织和操作方法的被认为是本文中所揭示的概念的特性的特征与相关联的优点一起将从以下描述得到更好理解。图式中的每一者都仅出于说明和描述的目的提供且并不提供为对权利要求书的限制的界定。

附图说明

可通过参考以下各图来实现对各种实施例的性质及优点的理解。在附图中，类似组件或特征可以具有相同参考标记。此外，可通过在参考标签之后跟着划线及在类似组件之间进行区分的第二标记来区分为相同类型的各种组件。如果说明书中只使用第一参考标记，那么描述适用于具有相同的第一参考标记的类似组件中的任一者，与第二参考标记无关。

图1说明根据本发明的某些实施例用于在扩增现实(AR)系统中使用计算装置的实例设定。

图2说明根据本发明的某些实施例的实例物理场景。

图3说明表示图2中说明的物理场景的一部分的实例平面表面。

图4说明根据本发明的某些方面可由计算装置执行用于产生物理场景的数字表示的实例操作的流程图。

图5A和5B说明根据本发明的某些方面的凸壳和经细化壳。

图6说明经配置以构造AR平面的模块的实例的框图。

图7说明根据本发明的各方面获得且叠加在对应物理环境上的点云的实例。

图8说明用于创建叠加在对应物理环境上的地平面的点云的实例。

图9说明根据叠加在对应物理环境上的对象而集群的点云的实例。

图10说明叠加在对应物理环境上的三维物理对象的模型的实例。

图11说明叠加在对应物理环境上的AR平面的实例。

图12说明叠加在对应物理环境上的三维物理对象的AR平面和模型的实例。

图13说明根据本发明的某些方面用于创建AR平面的实例过程。

图14说明根据本发明的某些方面用于创建和使用AR平面的实例过程。

图15A和15B分别说明由对象在平面表面上创建的孔和用于产生所述对象的数字表示的经修改孔。

图16为根据本发明的某些方面的平面表面的密集平面表示的简化实例前平行视图。

图17为平面表面的密集平面表示中的孔的简化前平行视图，其说明可如何估计对象的一部分的几何形状的实例。

图18说明用于在物理场景的平面表面上构建对象的数字表示的实例过程。

图19说明用于构建物理场景的数字表示的实例流程图。

图20描述根据本发明的某些方面可用于表示平面表面的计算装置的一个潜在实施方案。

具体实施方式

词语“示范性”在本文中使用以表示“充当实例、例子或说明”。本文中描述为“示范性”的任何实施例或设计未必应被解释为比其它实施例或设计优选或有利。

本发明呈现用于基于用户的自然周围环境在扩增现实(AR)环境中辨识平坦表面和所述平坦表面上的任何对象的方法和设备。

基于未知的现实世界场景建造AR应用可能具有挑战性，因为事先并不知道将在运行时间重建哪一场景和哪一类型的对象。举例来说，事先并不知道用户即将进入房间还是外出到自然环境中。因此，可能极其难以基于任何类型的场景创建复杂的扩增现实应用。

通常，有可能使用场景的一般表示，例如用于整个场景的一个大三角形网格。在一些情况下，如果某人想要渲染经重建场景，那么这可能是合理的。然而，可能需要不仅渲染经重建场景并且与具有各种现实和虚拟对象的经渲染场景交互。可通过将经重建场景分段为若干部分而实现例如在现实世界对象周围增长虚拟工厂等较复杂的使用情况。本文中所描述的实施例实现将一般场景重建为有意义的经重建组件，所述有意义的经重建组件与具有不同特性的个别表面和对象相关。

本发明的某些实施例可将未知的现实世界场景表示为具有其顶部上的多个对象的扩增现实(AR)平面。所提议的表示可用于用于室内AR应用的大多数典型情形，例如台面或地板。所提议的表示还可用于室外AR应用。

通过根据所描述的实施例表示和重建场景，可针对表示地平面(例如，台子/地板)的AR平面执行有意义的分段，且可在AR平面的顶部上表示个别对象。对于某些实施例，所表示的对象可用于来自AR环境中的物理场景的现实世界对象的个别扩增和替代。举例来说，可用不同颜色扩增现实世界对象的颜色，或可用虚拟对象完全替换现实世界对象。此外，可基于多个对象产生复杂的游戏玩法。

如本文所提议的AR平面可具有对应于物理表面的现实边缘(例如，台子的边缘)的边界。使用所提议的表示，开发者可用特定外观渲染AR平面(例如，假设地平面上草生长)。

某些实施例可能够指示经重建平面的边界的周围表面朝上还是朝下指向。举例来说，此信息可用于假设对象落在台子外。然而，当对象到达地板表面的边界(例如，到达墙壁)时，所述边界可终止对象的降落。

在某些实施例中，为分析物理环境，可使用同时定位与绘图(SLAM)过程。SLAM过程可包含正使用相机俘获的物理环境的第一二维图像。二维图像可不具有深度信息。相机可随后移动某一距离。可测量此距离(和方向)。可俘获物理环境的第二图像。通过使用行进的距离和方向，可计算确定为匹配的两个图像中的多个经识别参考点的深度。SLAM过程的实施方案可使用更多图像来细化参考点的所确定的位置且识别物理环境中的额外参考点。除使用SLAM之外，还可使用一些其它形式的三维绘图过程，例如通过俘获包含深度信息的图像，举例来说使用飞行时间分析或立体相机系统。如本文所描述，尽管SLAM过程可用于说明目的，但可使用其它技术代替SLAM而不脱离本发明的范围。

在一些实施例中，可创建点云以检测或进一步细化AR平面或放置在所述AR平面上的对象。所述点云可包含多个参考点，每一参考点具有一深度值。参考点可指代三维坐标系统(例如包括x、y和z的笛卡尔坐标系统)中的点参考给定原点的表示。如本文中详述，使用SLAM过程或其它三维绘图过程获得的点云创建AR平面。在一个实施例中，可创建AR平面使得从AR平面排除虚拟对象可与其发生冲突的物理对象。在另一实施例中，AR平面可表示其中不存在物理对象且虚拟对象可在AR环境中在上面定位和移动而不用关注与物理对象的可能冲突的平面区。

AR平面可界定由例如多边形单元等多个单元组成的平面。每一多边形单元可表示其中虚拟对象可定位而不会与另一对象(例如用户的物理对象的视图)冲突的凸面平面区。作为一实例，参看三维第一人称射击游戏，AR平面可界定其中准许虚拟角色移动的区。举例来说，可从AR平面排除对象、墙壁和悬崖。一旦已创建AR平面，就可准许虚拟对象移动到AR平面上的任何位置。因为已创建AR平面以排除对应于物理对象的区，所以只要虚拟对象定位在AR平面上，就知道虚拟对象将不会不允许与用户的AR环境中的物理对象的视图相交或穿过所述视图(这将不利地影响AR环境的现实性)。

在某些实施例中，AR系统中导出的导航网格或“导航网络”也可被认为是AR平面。在一些情况下，在描述AR系统时AR平面也可被称作导航网格或导航网络。在一些情况下，在描述AR环境时例如AR平面、导航网格或导航网络等术语可互换使用而不背离本发明的范围。

参看图1，说明实例AR系统100。在某些实施例中，AR系统100可经配置以执行SLAM过程。系统100包含计算装置102，例如移动装置。移动装置可为具有输入感测单元的任何便携式计算装置，例如相机和显示器。此处，计算装置102可为移动装置(例如智能电话)，但本文中所描述的功能性不限于智能电话。举例来说，计算装置102可为任何便携式或移动装置，例如数码相机、可携式摄像机、平板计算机、个人数字助理、视频游戏控制台、头戴式显示器(HMD)或其它可穿戴显示器、投影仪装置或其它装置。此外，作为移动装置的替代，可使用例如个人计算机(例如，桌上型计算机)等计算装置102或其它非手持式装置或通常不被标记为移动装置的装置。计算装置102可包含用于俘获现实世界物理环境中的物理对象的图像的相机。在所说明的实施例中，圆柱体(例如，汤罐)呈现于台子104上。

计算装置102可经配置以通过俘获物理环境的图像(此处俘获在上面定位汤的罐的台子的图像)且在补充有一或多个虚拟对象的透明或半透明显示器上显示额外图像来扩增现实。图1中，三维角色106叠加在包含台子104的物理环境的视图上。三维角色106可以是任何形式的虚拟对象，而并不限于拟人角色。可准许三维角色106在已构建于台子104的表面上的AR平面上移动到各种位置，如本文中详述。在某些实施例中，AR平面可经构建使得从AR平面排除汤罐，因此防止三维角色106与计算装置102的显示器上呈现的AR环境中的汤罐发生冲突。

图2说明根据本发明的某些实施例的实例物理场景200。如所说明，场景可包含台子210的一部分(例如，平坦表面)。此外，一些物理对象215(例如，书、杯子、玩具等)定位在台子210的顶部上。在一些图像中，阴影和反射也可在台子210上可见。在一些实施例中，计算装置102可俘获用于特征点(例如，SLAM)确定的一或多个图像和/或其它数据。所述一或多个图像可在计算装置102的显示器230上实时或近实时展示。此外，显示器230还可展示覆叠在所述一或多个所显示图像上的AR图形和/或其它信息。计算装置102可包括平板计算机、智能电话、个人相机等等，且所述一或多个图像可为来自由计算装置102的相机俘获的视频内容的图像。

技术可由例如AR应用等应用执行，所述应用由计算装置102执行以使用(例如)图像处理和/或特征点信息确定平面表面的位置、定向和尺寸，且产生可为平面表面的经重建表示的扩增现实(AR)平面。这些技术可进一步利用图像目标217，其可为具有计算装置102已知的特征的对象，以帮助确定平面表面的特征。

图3说明表示图2中说明的物理场景的一部分的实例AR平面310。如所说明，台子210(例如，平坦表面)在场景中识别。三角形网格315表示由所提议的方法识别的平面表面。

通过分析更多部分(例如，单元)且将其添加到平面表面的所述经识别部分，所表示的AR平面310的边界(或界限)可随时间增长。此通常在平面表面的更多区域归因于新视角而变得可见时发生。在图3中，AR平面310的表示的界限尚未正确地指示平面表面210的所有物理界限。然而，取决于所利用的算法，所述表示可在额外信息(例如，不同角度处的图像)可用的情况下继续得以改进和细化。在此实例中，展示线315以帮助说明AR平面310。可注意到，AR平面310包含大量线315，但仅标记两条线。

AR平面310可不仅指示平面表面210的界限可在何处，并且可包含其中平面表面210的部分被遮挡的“孔”320。出于对象检测的目的，这些孔320可指示对象215的存在。由对象215(例如归因于使用统计信息的平面扫掠、平面扩展)投射的孔320很可能归因于遮挡而大于实际对象215。换句话说，除非前平行(即，直接从头顶)检视平面表面210，否则对象215将遮挡平面表面210的在对象后方的某一部分。图15A帮助更详细地说明此现象。

图4为根据本发明的某些实施例待由计算装置执行用于创建物理场景的数字表示的方法的流程图。根据一或多个方面，本文中所描述的方法和/或方法步骤的任一者和/或全部可由计算装置102实施和/或在计算装置102中实施，(举例来说)所述计算装置102例如为移动装置和/或图20中更详细地描述的装置。在一个实施例中，下文相对于图4描述的操作中的一或多者由例如处理器2010或另一处理器等计算装置2000的处理器实施。另外或替代地，本文中所描述的方法和/或方法步骤的任一者和/或全部可实施在计算机可读指令中，例如存储在计算机可读媒体(例如存储器2020、存储装置或另一计算机可读媒体)上的计算机可读指令。

在框402处，计算装置可获得物理场景的至少一个图像。举例来说，所述装置可具有相机以俘获一或多个图像。或者，所述装置可接收从场景拍摄的图像。在404处，基于所述至少一个图像，所述装置可识别物理场景内的平面表面的初始部分。举例来说，所述装置可识别用作初始化目标的对象(例如，比如具有印刷在其上的已知图形的一张纸的2维表面、圆柱体，或事先知道的任何其它对象)。尽管本文论述初始化目标，但其它技术可用于检测平面表面的初始部分而不背离本发明的范围。举例来说，可使用用于对象的特征检测来检测放置在表面上的一或多个对象。在其中一或多个对象的基底与表面的一部分共面的情形中，表面的所述部分可指示平面表面的初始部分。

在某些实施例中，初始化对象(例如，图2中的对象217)的使用提供一种供系统快速建立所讨论的平面的位置的方式。图2中由对象217说明初始化对象的实例。可作出关于使用初始化对象的平面的有用假设。举例来说，对于水平面，一个假设可为所述平面垂直于重力方向。应注意，如果初始化目标为场景的一部分，那么可推论相机与所述平面之间的直接关系而不需要假设重力方向。另一方面，如果在无初始化目标的情况下估计所述平面，那么可使用例如重力方向等一些假设，因为场景中可能存在其它主平面(例如，墙壁)。

另一假设可为，因为所述初始化对象静置在表面上，所以初始化对象的底部表面与所述平面共面。基于例如这些假设，可构建平面的模型，且可发现相机相对于平面的位置。

一旦构建AR平面的初始部分的初始模型，就可发现对应于初始化对象在上面静置的现实世界对象(例如，台子)的平面表面。在此实例中，已知台子与已构建的AR平面共面。未知的是，台子在平面的模型内在不同方向上延伸多远，换句话说，台子的边缘在何处。本文中所描述的技术描述如何连续识别平面表面(例如，台子)的额外部分，且提供使用一或多个视觉图像确定平面表面的此模型的实际范围的有效方式。

此外，关于物理场景中的一或多个点(例如，点云)的高度信息可用于系统中以获得平面表面和其顶部上的对象的较好估计值。点云为可在坐标系中表示的数据点的集合。举例来说，在三维坐标系中，这些点可由X、Y以及Z坐标定义。点云常常既定表示对象的外表面。在一个实施例中，可产生一或多个点云作为SLAM(同时定位与绘图)系统的输出。或者，点云可由深度传感器(例如，其可为相机的一部分)产生。

在框406处，基于所述至少一个所获得的图像，所述装置可识别平面表面的额外部分。在一个实施例中，基于确定与额外部分相关联的至少一个视觉或几何性质同与已经识别为平面表面的一部分的一或多个部分相关联的至少一个对应视觉特性之间的相似度而将所述额外部分中的每一者识别为平面表面的一部分。

根据本发明的一个实施例，所使用的视觉特性可为红-绿-蓝(RGB)值的集合，其可为所讨论的部分是否实际上是较大平面表面(例如，台子)的一部分的较好指示。RGB值(例如，台面为特定紫色色调)作为视觉属性与比如像素的亮度值相比可能更有效，其仅可指示相较于平面表面的实际界限不同的光照条件(例如阴影或反射)。

在一个实施例中，可通过建立平面表面在其内驻留的AR平面区来识别平面表面的额外部分。AR平面区可分割成多个单元。每一单元可评估为平面表面的潜在额外部分。

在一个实施例中，所述单元可反复地评估。举例来说，对于识别为平面表面的额外部分的每一单元，识别相邻单元。在一个实施例中，对于尚未识别为平面表面的一部分的每一相邻单元，所述单元可评估为平面表面的潜在部分。如果相邻单元具有与平面表面中的其它单元的特性类似的特性，那么所述单元可添加到AR平面。如果相邻单元并不具有类似特性，那么所述单元可识别为并非AR平面的一部分。可重复所述反复过程直至不能发现平面表面的更多新的额外部分或达到某一其它终止条件为止。

相较于已经识别为平面表面的一部分的单元，可存在评估候选单元的“相似度”或候选者单元“类似”的程度的不同方式。举例来说，已经识别为平面表面的一部分的所有单元的所述至少一个视觉特性可以某一其它方式平均或组合以建立基线。或者，仅一些单元(例如，仅近程中的单元)的所述至少一个视觉属性可用于建立基线。可评估候选单元的所述至少一个视觉属性以确定与基线的“相似度”的量度。如果相似度的度量高于预定阈值，那么候选单元可识别为AR平面的一部分。以其它方式，候选单元可识别为并非AR平面的一部分。

在一个实施例中，计算装置102可获得多个图像且通过使用图像中的信息改进平面表示。举例来说，计算装置102可从一个位置移动到另一位置且从不同角度俘获场景的一或多个图像。计算装置102可通过使用来自较新图像的信息而随时间动态地更新/改进平面表示。在一个实施例中，可随着用户在一区域中移动而实时产生场景的平面表示。

在一个实施例中，所提议的方法可用于处理使用相机(类似于图20中论述的相机2021)拍摄的图像。在另一实施例中，图像可用深度相机(例如，包含深度传感器的相机)拍摄且经处理以产生平面表示。大体来说，任何种类的相机或图像传感器可用于所提议的系统中，而不脱离本文中的教示。

通常，深度传感器提供范围图像，其中每一像素表示到相机的距离。所述像素可容易地转换为三维(3-D)点云。多个范围图像可组合用于覆盖3-D空间的较大部分。如果关于平面的位置及定向的信息可用(应注意边界可能是未知的)，那么可识别定位于平面中的3-D点。3-D点可投影到平面上且因此仅在平面的2-D空间中进一步探究。

参看图5A和5B，为了使用平面内部的点寻找所述平面的外边界，可计算凸壳(如图5A中所说明)。在数学中，欧几里得平面或欧几里得空间中点的集合X的凸壳或凸面包络为含有X的最小凸面集合。举例来说，当X为平面的有界子集时，凸壳可显现为由X周围拉伸的橡皮带形成的形状。在一个实施例中，为了构建较复杂形状，可通过将额外点添加到边界来进一步细化凸壳(如图5B所说明)。举例来说，在图5B中，通过将点502添加到所述形状来进一步细化凸壳。可在其中大自由空间由边界包围的区域中反复地细化所述边界。

在一个实施例中，基于到平面边界的附近3-D点，有可能查明边界的周围表面在平面下方还是上方。边界可相应地标记为朝上或朝下。

图6说明可用于构造AR平面的系统600的实施例。在一些实施例中，扩增现实系统中导出的导航网格或“导航网络”也可被称作AR平面。在一些情况下，在描述扩增现实系统时AR平面也可被称作导航网格或导航网络。系统600可使用图20的系统或某一其它计算机化系统实施。系统600的每一模块可使用软件、固件和/或硬件实施。举例来说，一或多个通用处理器2010和/或专门的处理器可执行系统600的模块中的一些或全部的功能。

SLAM过程引擎610可经配置以使用SLAM过程来基于存在于相机俘获的物理环境的图像中的物理对象创建参考点的点云。SLAM过程引擎610可致使图像的俘获且可识别图像内的各种参考点。可致使第二图像由SLAM过程引擎610俘获。所述第二图像可从与所述第一图像不同的位置俘获。可由SLAM过程引擎610通过确定在获得所述第一和第二图像以及所述两个图像之间共同的参考点时相机的相对定位来确定所述第一和第二图像的俘获的方向和/或之间的距离。举例来说，可在所述第二图像内识别所述第一图像内的至少一些相同参考点。使用基于三角测量的过程，SLAM过程引擎610可确定所述第一和第二图像内存在的至少一些对应参考点的深度。多个额外图像可经俘获，具有经识别的参考点，且针对物理环境计算深度值。因此，SLAM过程可涉及使用两个以上图像，且可计算和细化遍及物理环境的各种参考点的三维位置。SLAM过程引擎610可输出包含多个点的点云，每一点具有三维坐标(也就是说，包含深度值)。这些点中的每一者可对应于存在于使用相机(或其它形式的图像俘获装置)俘获的所述至少两个图像中的每一者中的参考点。作为SLAM过程引擎610的替代，某一其它形式的三维绘图过程可用于创建点云。举例来说，包含深度信息的图像，举例来说使用飞行时间分析或立体相机系统俘获的图像可用于产生物理环境的点云。

图7表示将各种参考点识别为点云的一部分的所俘获图像的实例。SLAM过程引擎610可识别各种参考点。图7中说明的每个点可表示由SLAM过程引擎610基于至少两个经分析图像计算深度值所针对的参考点。举例来说，参考点710-1对应于台子上餐垫的边缘，且参考点710-2对应于面巾纸盒的边缘。这些点中的每一者可具有深度值。

虽然SLAM过程引擎610可用于确定点云(例如图7的点云)，但可采用其它布置。举例来说，可使用例如立体相机系统或飞行时间相机系统等能够测量深度的相机代替(或扩增)SLAM过程引擎610。SLAM过程引擎610可允许确定深度信息，而不需要除计算装置102的常规硬件外的额外硬件，常规硬件包含常规二维相机和移动感测硬件(例如陀螺仪和/或加速计)。在一个实例中，陀螺仪和/或加速计可进一步辅助确定相机相对于物理场景(或场景中的对象)的距离/定向的改变。

返回到图6的系统600，SLAM过程引擎610输出的点云可包含用于由表面绘图引擎620绘制地平面的某一数目的近似共面参考点。在物理环境中，可存在至少一个表面，例如台面、地板、地面等。由此，在一个实例中，具有最大数目的共面参考点的平面可用作地平面。由此，放置在地平面上的AR对象既定呈现为如同座落在充当地平面的物理表面的顶部上。参看图8，确定降落在将充当地平面的平面上的外部参考点可经连接以形成地平面的外部限制。可通过经由额外过程进一步绘制表面(包含基于颜色绘制表面)来扩展地平面。

在一些实施例中，地平面由用户选定作为到表面绘图引擎620的输入。举例来说，在所俘获图像中，用户可选择所述表面以用作地平面。否则，可通过由表面绘图引擎620将平面配合到尽可能多的参考点来发现地平面。图8说明到确定为共面的参考点的地平面配合的视觉实例。配合到地平面的参考点由802指示。参考点802之间的线804可表示地平面的外部范围。

对于由表面绘图引擎620创建的地平面，可创建多个单元。每一单元可为整个落在地平面内的多边形。在一些实施例中，所创建的多边形可为三个或四个边，且可全部与地平面共面。多边形的顶点可为界定地平面的范围的参考点。

返回到图6的系统600，由SLAM过程引擎610输出的点云可由点云集群引擎630分析。点云集群引擎630可根据参考点确定是什么对象的一部分而集群参考点。确定为地平面的一部分的参考点可由点云集群引擎630排除而不进行分析。例如基于位置、深度、经识别边界和/或颜色特性确定为属于相同对象的参考点可集群在一起。参看图9，由来自点云的英文字母表(a、b、c、d、e、f)的不同字母所指示的参考点表示已集群在一起的点。字母‘a’参考点对应于纸巾盒；字母‘b’参考点对应于高杯子；字母‘c’参考点对应于编织容器；字母‘d’参考点对应于书；绿参考点对应于小杯子；字母‘e’参考点对应于蜡烛；且未标记参考点对应于台子的表面。

对象建模引擎640可用以对基于由点云集群引擎630集群的参考点识别的物理对象建模。对象建模引擎640可使用简化的几何形状对基于由点云集群引擎630集群的参考点识别的对象建模。举例来说，参看图10，6边三维几何形状可用于对每一物理对象建模。或者，较复杂几何形状可用于创建经识别对象的更精确几何模型。每一几何模型可与一位置相关联使得每一几何模型参考由表面绘图引擎620创建的地平面而放置。每一几何模型可用于确定虚拟对象不应放置的位置以帮助维持AR环境中的现实性。除经集群参考点之外，还可使用来自物理对象的观察到的轮廓的颜色信息和/或所确定的形状信息来界定和/或细化相关联的几何模型。

AR平面构造引擎650可使用由表面绘图引擎620确定的地平面和由对象建模引擎640确定的物理对象模型创建AR平面(黑色表面)。图11说明基于图8的地平面和图10的经建模对象创建的AR平面(由1102所指示的黑色固体表面)的实施例。AR平面的创建可包含从与经建模对象相交或接触的地平面的地平面部分进行裁剪(或以其它方式移除)。此可涉及减小地平面的范围和/或从地平面移除一或多个区以创建AR平面。AR平面的创建可涉及细分地平面的单元以避免经建模对象(例如，单元的一或多个细分部可维持为AR平面中的单元，且单元的一或多个细分部可从AR平面排除，因为其与经建模对象重叠或接触)。新单元的顶点可或可不对应于来自点云的先前识别为地平面的一部分的参考点。对于将为AR平面的一部分的单元，所述单元可必需不同于由对象建模引擎640识别的任何重叠对象。因此，可从AR平面的单元内画出到单元上的任何其它点的直线，而不与经建模对象相交。存在AR平面内的由图11中的1104所指示的“孔”，经建模物理对象位于其中。AR平面并不包含对应于经建模物理对象的这些区。

不论何时虚拟对象位于AR平面单元上，都已知虚拟对象将不会与物理环境中经建模的任何静态对象发生冲突。由此，虚拟对象在AR平面的单元上或当中任意定位或移动，而不与任何物理对象冲突。

再次返回到图6，AR平面实施应用660可表示使用由AR平面构造引擎650创建的AR平面的应用。AR平面实施应用660可接收可叠加在物理环境的所俘获图像上的AR平面的单元的坐标。因此，AR平面实施方应用660接收的AR平面是基于AR平面实施应用660将在上面定位或移动一或多个虚拟对象而不会与存在于环境中的物理对象冲突的现实世界物理环境。AR平面可经定位使得其呈现为放置在存在于物理环境中的表面(例如台面)上。举例来说，AR平面实施应用660可准许由AR平面构造引擎650确定的AR平面上的三维虚拟对象的操纵。AR平面实施应用660可使用AR平面用于路径规划，以便确定虚拟对象应如何在AR平面的单元当中移动而不与经建模物理对象冲突。AR平面实施应用660可经配置使得虚拟对象在保留在AR平面的单元内时可在任何方向中直线移动而不与经建模物理对象冲突。AR平面的边缘可充当虚拟对象可在其中放置或移动的限制。

除接收AR平面的单元的坐标外，AR平面实施应用660还可接收对象的建模信息。此建模信息可为由对象建模引擎640确定的对象的几何模型。此建模信息可包含对象的高度信息。虽然AR平面可确保一虚拟对象不会与所述虚拟对象发生冲突，但提供到AR平面实施应用660的建模信息可允许当处于AR平面上在经建模物理对象后方时从视图隐藏虚拟对象。另外，虚拟信息(例如，图形)可覆叠在经建模对象中的一或多者上以扩增或改变AR环境中的物理对象的外观。举例来说，可使小杯子呈现为AR环境中的房子。另外或替代地，在一些实施例中，AR平面的边缘被指派例如“墙壁边缘”或“悬崖边缘”等特性，这可产生由AR平面实施应用660进行的不同处置。墙壁边缘可表示其中存在防止虚拟对象移动得更远的障碍(例如，墙壁、大对象)的AR平面的边缘；悬崖边缘可表示其中存在虚拟对象可从其降落的边缘(例如，台子边缘)的AR平面的边缘。图12说明由对象建模引擎640创建和定位的物理对象结合由AR平面构造引擎650创建的AR平面的几何模型1202。物理对象的AR平面和几何模型的信息可输出到AR实施应用660。

图13说明用于创建AR平面的方法1300的实施例。方法1300可由图20的计算装置或由经配置以分析物理环境的某一其它系统执行。

在框1310处，可分析物理环境。物理环境可包含一或多个物理对象和虚拟对象希望放置在上面的至少一个表面。框1310可包含俘获和分析物理环境的一或多个图像。框1310可包含计算关于呈现于所述表面或所述一或多个物理对象上的各种参考点的深度信息。在框1310处分析物理环境可包含相对于正执行的图6的系统600的引擎610、620、630、640和650论述的过程中的一或多者。

在框1320处，可基于对框1310的分析创建AR平面。AR平面可包含多个单元。每一单元可具有三个或四个边。当处于AR平面的单元上时，已知虚拟对象不会与存在于AR环境中的物理对象中的任一者发生冲突。当保留在特定单元上时，虚拟对象可沿着AR平面的平面在任何方向上直线移动且不会与AR环境中的物理对象中的任一者发生冲突，因为AR平面包括用于物理对象的孔，如先前所描述。在框1320处创建的AR平面可以AR平面的各种单元的坐标的形式输出。AR平面可与物理环境的一的参考点链接。

图14说明用于创建和使用AR平面的方法1400的实施例。方法1400可由图20的系统和/或计算装置或由经配置以分析物理环境的某一其它系统执行。用于执行方法1400的步骤的装置包含图20的计算装置的组件的一或多个例子。方法1400可表示图13的方法1300的更详细实施例。

在框1410处，可俘获物理环境的多个图像。所述一或多个图像可使用相机2021俘获(图20)。在物理环境内，可存在在上面将放置虚拟对象的一或多个表面。所述物理环境还可包含一或多个物理对象，其当在AR环境中表示时不准许与虚拟对象发生冲突。用于俘获多个图像的相机的移动量可作为框1410的一部分测量。

在框1420处，可执行SLAM过程。SLAM过程可基于存在于由相机俘获的物理环境的图像中的一或多者中的物理对象创建参考点的点云。SLAM过程可识别每一图像内的各种参考点。可识别多个所俘获图像中的至少两者中的至少一些相同参考点。使用基于三角测量的过程，SLAM过程可确定存在于图像内的至少一些参考点的深度。SLAM过程可产生包含多个点的点云，每一点具有三维坐标(包含深度值)。这些点中的每一者可对应于存在于(来自相机或其它形式的图像俘获装置)的多个所俘获图像中的至少两者中的参考点。在一些实施例中，可使用除SLAM过程外的建模过程(例如其它形式的三维绘图过程)创建表示物理环境的点云，而不背离本发明的范围。

在框1430处，可使用来自点云的参考点确定地平面。由框1420输出的点云可具有用于创建地平面的至少一些近似共面参考点。在物理场景中，可假定存在至少一个表面，例如台面、地板、地面等。由此，平面可配合到的参考点的最大丛集(预定义误差容限内)可用于界定地平面。所述地平面可自动选定以充当AR平面的表面。由此，放置在地平面上的AR对象既定呈现为如同座落在充当地平面的物理表面的顶部上。可通过经由额外过程进一步绘制表面(包含基于颜色绘制表面)来扩展地平面。在一些实施例中，代替于计算地平面，可由用户经由用户输入选择地平面。举例来说，在所俘获图像中，用户可通过经由用户接口(未图示)提供输入，例如使用移动装置的屏幕上的触控板或触笔突出显示表面的部分，而选择用作地平面的表面。在一些情况下，不管用于识别地平面的方法如何，所创建的地平面都可含有基于地平面的外围顶点的多个单元。地平面的每一单元可为整个落在地平面内的多边形。在一些实施例中，所创建的多边形可为三个或四个边，且可全部与地平面共面。

在步骤1440处，未确定为地平面的一部分的参考点可分组为一或多个丛集。参考点可根据参考点确定是什么对象的一部分而集群。并非地平面的一部分的参考点的集群可使用多种不同准则执行，例如基于点的空间近程、与参考点相关联的颜色。例如基于位置、深度、经识别边界和/或颜色特性确定为属于相同对象的参考点可集群在一起。由此，丛集的数目可取决于经成像物理环境中的物理对象的数目。

在框1450处，可基于在框1440处识别的丛集对物理环境的物理对象建模。简化的几何模型可用于对基于经集群参考点识别的对象建模。较复杂几何形状可用于创建经识别物理对象的更精确几何模型。每一几何模型可与一位置相关联使得每一几何模型参考地平面而放置。每一几何模型可用于确定虚拟对象不应放置的位置以帮助维持AR环境中的现实性。

在框1460处，可使用来自框1430的地平面和来自框1450的物理对象的模型创建AR平面。AR平面的创建可包含从与经建模物理对象相交的地平面的地平面部分进行裁剪(或以其它方式移除)。此可涉及减小地平面的范围和/或在地平面中创建一或多个孔以创建AR平面。对于将成为AR平面的一部分的单元，所述单元可必需与任何重叠的经建模物理对象完全分离。因此，可从AR平面的单元内画出到相同单元上的任何其它点的直线，而不与经建模对象相交。可存在AR平面内的“孔”，经建模物理对象确定位于其中。

在框1470处，AR平面可任选地提供到一应用且由应用使用以用于操纵AR环境中的虚拟对象。AR平面可采用界定AR平面的单元的坐标的形式输出。因此，所述AR平面输出可基于AR环境中的一或多个虚拟对象将在上面定位或移动而不会发生与物理环境中的物理对象的冲突的现实世界物理环境。AR平面可经定位使得其呈现为放置在存在于物理环境中的表面(例如台面)上。AR平面可由一应用用于路径规划，以便确定虚拟对象可如何在AR平面的单元当中移动而不与AR环境中的经建模物理对象冲突。虚拟对象当保留在AR平面的单元内时可在任何方向中直线移动而不与经建模物理对象冲突。AR平面的边缘可充当虚拟对象可在其中放置或移动的限制。因此，在应用内，AR平面可用于限定AR环境内虚拟对象的移动使得虚拟对象并不与AR环境叠加在上面的物理环境的物理对象发生冲突。

关于AR平面何时可有用的实例为叠加在物理环境上的AR环境中正进行的游戏。AR平面可用于确定非玩家角色(其可为虚拟对象)可在何处移动，而不与AR环境中的物理对象发生冲突。举例来说，非玩家角色可朝向玩家的角色移动，同时保持在AR平面上(且因此避免发生与物理对象的冲突)。只要游戏可解释所提供的AR平面使得非玩家角色保持在AR平面上，所述游戏就可不需要解释实际物理环境，同时仍给出避免存在于AR环境中的物理对象的表象。作为额外实例，AR平面还可用于限定玩家运动的位置和定位，例如由用户在准许三维移动的应用中控制的角色。应用内的虚拟对象可类似地在移动中受AR平面限制。虚拟对象、玩家的角色和非玩家角色可由单一三维限界框(或更详细多边形网格)表示，其中所述限界框维持在AR平面上。

除游戏之外，还存在其中AR平面可在AR环境中有用的其它情形。举例来说，对对象在特定物理环境中的外观建模，例如用户正考虑要在用户的厨房中购买的咖啡机(虚拟对象)或用户的车库中的新车。AR平面可用于操纵虚拟对象，同时避免AR环境中的物理对象。因此，咖啡机将不允许放置成与用户的厨房吧台上的搅拌机(物理对象)冲突、而是可放置在用户的厨房吧台上的可用于根据经创建AR平面移动的空光点上。

除接收正输出到应用的AR平面的单元的坐标外，还可输出用于所述一或多个物理对象的建模信息。此建模信息可为在框1450处确定的对象的几何模型。此建模信息可包含对象的高度信息。虽然AR平面可确保一虚拟对象并不与所述虚拟对象发生冲突，但建模信息可允许当存在于AR环境中的AR平面上在经建模物理对象后方时隐藏虚拟对象(或以其它方式修改以供显示)。另外，虚拟信息(例如，图形)可由应用覆叠在经建模对象中的一或多者上以扩增或改变AR环境中的物理对象的外观。图15A说明来自图3的孔1510-A，其不仅可包含其中即使当前平行检视平面表面210时AR平面310也将被对应对象215遮挡的第一部分1530，而且可包含包括其中当俘获平面表面210和对象215的所述一或多个图像时AR平面归因于计算装置102的成角视角而被遮挡的区域的第二部分1520-A。(在所说明的实例中，计算装置102(未图示)将位于对象的与第二部分1520-A相对的侧上)。第二部分1520-A因此归因于对象215的投影或“阴影”，其从计算装置102在俘获所述一或多个图像时的视角来看遮挡平面表面210的在对象215后方的一部分。

在图15A中，因为孔1510-A大于对应对象215，所以基于孔1510-A的尺寸产生的对象215的表示将是不精确的。减小第二部分1520-A的大小不仅可提供平面表面210的更精确表示，而且可提供对象215的更精确表示。

图15B说明经修改孔1510-B(阴影区)，其中第二部分1520-B已减小或移除(如线和箭头所指示)到较小大小。如下文较详细论述，技术不仅可利用关于平面表面自身的信息，而且可利用特征点信息(其可由SLAM提供)来智能地估计减小的第二部分1520-B的尺寸。

图16为根据一个实施例的平面表面的AR平面310的简化前平行视图。AR平面310具有孔320，归因于平面表面上的对象所导致的遮挡。孔320进一步包含(归因于相机的视角)远离相机检视方向投影到AR平面310上的部分1615。围绕对象215的变暗的轮廓1610表示可从本文中所提供的技术实现的对象215的形状的估计。

关于对象215的信息不仅可从AR平面310搜集而且还可从SLAM和/或提供对象215的特征点的其它技术搜集。特征点(每一者表示为图17的对象215中的“x”)可为搜集关于其的位置信息的对象215的外表面上的点。此信息可(例如)指示平面表面的AR平面310上方特征点的高度以及到孔220的前方(或其它边缘)的距离。此处，“孔的前方”是从相机的至少一个所俘获图像的视角来看在所述至少一个所俘获图像中被对象遮挡的平面表面的最接近部分。可使用这些特征点连同关于AR平面310的信息来估计对象215的不可见的部分的几何形状。

图17为平面表面的密集AR平面310中的孔320的简化前平行视图，其说明可如何估计对象的一部分的几何形状的实例。在此实例中，确定(从相机检视方向的视角来看)对象的最接近特征点1710-1，且确定从最接近特征点1710-1到孔320的前方的距离D。孔的后方可随后估计为使用从最远特征点1710-2到平面1720的相同距离D向后延伸的平面。在此实例中，如所展示，对象215的所估计的占用面积远小于孔320，因为对象215的不可见的部分现估计为仅向后延伸到平面1720而非孔320的后方。因此，可产生对象215的表示，其中对象215的看不见的部分仅向后延伸到平面1720。一扩展将为基于前面到特征点1710-1的距离度量估计弯曲/基于样条的后表面表示。

取决于所要功能性，实施例可采用额外或替代的算法估计对象215的在移动装置俘获的一或多个图像中不可见的部分的几何形状。举例来说，所估计的几何形状并不需要为平面，而是实际上可弯曲或给定其它特征。在一个实例中，可计算前平行视图中对象的特征点的二维中点(使用(例如)平面表面的平面中的x及y坐标)，且所述特征点可围绕中点“翻转”(例如，通过围绕中点旋转180度或通过提供反射在平行于相机检视方向的包含所述中点的平面上的特征点的镜像)，借此创建经反射对称对象表示。在另一实例中，可计算中点，且对象的背面可估计为具有由中点到孔的前方的距离给定的半径的曲面。所估计的背面因而为圆柱形形状。其它算法可包含后表面随平面表面上方的高度的变化。在估计提供可大于孔自身的占用面积的情况下(即，其将遮挡平面表面的可见部分)，其可被孔的界限截短。

基于平面的前平行视图中孔的形状，可通过在垂直于平面表面的方向中挤压对象而形成对象表示。挤压的高度可受到几条信息限制，包含：(1)图像中对象的轮廓。如果归因于相机角度存在其中对象轮廓抵靠着平面降落的图像，那么此轮廓可给出对于对象的高度的最大限定。换句话说，可通过抵靠着平面观测多个视图中矫正图像中的对象的轮廓推断对象的合理的表示。在一些情况下，此可被称为空间雕刻。可通过抵靠着平面观测对象的边界且使用所述边界雕刻掉并非所述对象的区域来推断对象的轮廓。在一个实施方案中，此可用于限定高度。在另一实施方案中，可通过执行空间雕刻来检测对象而非仅被排除孔的准确表示。(2)可进一步利用点特征估计对象的顶部的形状。举例来说，一些实施例可使用最高特征点限定对象的挤压高度。另外或替代地，到挤压形状的可变高度表面可基于例如使用样条表示或分段平面表示的孔中的特征点的高度。

可注意到，AR平面310在对象重建过程期间可仍被细化。随着相机到处移动且平面表示经细化，孔可在表示中呈现。放置在平面的顶部上的对象很可能占据平面中孔的某一部分。另外，对象的高度并不确切地已知(不同帧中对象的轮廓确实提供约束)。

其它技术可用于从图像信息检测与物理对象相关联的特性而不背离本发明的范围，例如多个视图上的密集立体或照片一致性。

图18说明用于在物理场景的平面表面上构建对象的数字表示的方法1800的实施例。用于执行方法1800的组件中的一或多者的装置可包含相对于图20更详细地描述的硬件和/或软件装置。替代实施例可包含对所展示实施例的更改。尽管以特定次序说明，但根据不同实施例，方法1800的组件可以不同次序和/或同时执行。此外，所属领域的一般技术人员将认识到许多添加、省略和/或其它变化。

方法1800和本文中所描述的其它技术可由操作系统或装置层级处的硬件和/或软件执行。平面表面(即，AR平面)和/或对象的表示可随后提供到由AR、CV或移动装置执行的其它应用。所述表示可以多种标准化和/或专有格式的任一者提供(例如，3D空间中的网格(三角形和/或多边形)等)。此外，所述表示可大体上实时或近实时提供，使得AR应用能够在移动装置正俘获物理场景的图像的同时显示AR环境。

在框1810处，获得指示平面表面(即，AR平面)的表示的表面信息。如先前所指示，表面信息可基于物理场景的至少一个所俘获图像。参看图13、14和较早描述的任何其它图描述的技术可用于使用表面信息导出AR平面。所述表示可为(例如)使用用于从图像信息界定平面的多种算法中的任一者获得的密集平面表示。这些算法可由与执行图18的方法1800的应用相同的应用或不同的应用执行。

框1820包含获得平面表面上对象的一或多个特征点。特征点可包含指示3D空间中对象的外表面上的点的位置(例如，相对于平面表面)的信息。可举例来说从SLAM提供的对象的点云表示导出这些特征点。

在框1830处，使用表面信息和所述一或多个特征点估计对象的不可见的部分的形状。如先前所指示，多种算法中的任一者可用于估计对象的背面。这些算法可将特征点信息(例如，高度、深度等)与表面信息(例如，孔位置、尺寸等)组合以提供所述估计。所述估计可进一步包含将表面信息和所述一或多个特征点变换到平面表面的前平行视角。在特定实施方案中，关于所述一或多个图像的姿态信息可用于将表面信息和所述一或多个特征点变换到平面表面的前平行视角。估计可进一步包含确定对象的最高(相对于平面表面)和/或最近(从所述一或多个所俘获图像的视角来看)特征点。估计可包含特定形状。举例来说，所述估计可以样条、弯曲和/或平面表示来表示对象的背面。

在框1840处，基于所述估计构建对象的数字表示。如上文所指指示，数字表示可包含对象的所估计的(即，看不见的)部分以及对象的可见部分的表示。数字表示随后可并入特征点以将几何形状提供到对象的可见部分。如先前所指示，所述表示可随后发送到CV应用和/或由CV应用利用。

图19说明用于在物理场景的平面表面上构建对象的数字表示的方法1900的实施例。用于执行方法1900的组件中的一或多者的装置可包含相对于图20更详细地描述的硬件和/或软件装置。替代实施例可包含对所展示实施例的更改。尽管以特定次序说明，但根据不同实施例，方法1900的组件可以不同次序和/或同时执行。此外，所属领域的一般技术人员将认识到许多添加、省略和/或其它变化。

方法1900和本文中所描述的其它技术可由操作系统或装置层级处的硬件和/或软件执行。平面表面(即，AR平面)和/或对象的表示可随后提供到由AR、CV或移动装置执行的其它应用。所述表示可以多种标准化和/或专有格式的任一者提供(例如，3D空间中的网格(三角形和/或多边形)等)。此外，所述表示可大体上实时或近实时提供，使得AR应用能够在移动装置正俘获物理场景的图像的同时显示AR环境。

在框1910处，计算装置的组件获得关于含有至少一平面表面和位于平面表面上的一或多个物理对象的物理场景的信息。在一些情况下，相机可俘获关于物理场景的信息。在其它情况下，信息可提供到计算装置或存储在计算装置上的缓冲器中。在框1920处，计算装置的组件识别物理场景内的平面表面。

在框1930处，计算装置的组件确定对应于平面表面的AR平面，其中所述AR平面包括平面表面的至少一部分且包围与位于平面表面上的所述一或多个物理对象的第一对象相关联的至少一个孔。在某些实施例中，AR平面包括多个单元，所述多个单元的每一单元表示其中虚拟对象可导航而不会与第一对象冲突的区。

在一些实施方案中，确定对应于平面表面的AR平面可包含分析包括第一对象的物理场景的至少两个图像，以及基于对物理场景的所述至少两个图像的分析创建AR平面使得所述AR平面对应于物理场景且不包括对应于第一对象的至少一个区。

此外，在一些实施方案中，分析物理场景的所述至少两个图像可包含：使用相机俘获第一位置处的物理场景的第一图像，其中所述第一图像包含第一对象；确定相机已从所述第一位置向第二位置移动的距离；使用所述相机俘获第二位置处的物理场景的第二图像，其中所述第二图像包含第一对象；以及使用所述第一图像和所述第二图像确定所述第一对象的深度信息。

在一些实施方案中，确定对应于平面表面的AR平面可包含：识别物理场景内的平面表面的初始部分，以及识别平面表面的额外部分，其中所述额外部分中的每一者基于确定与额外部分相关联的至少一个视觉或几何性质同与已经识别为平面表面的一部分的一或多个部分相关联的至少一个对应视觉或几何性质之间的相似度而识别为平面表面的一部分。

在一些方面中，识别平面表面的额外部分可包含：建立平面表面在其内驻留的平面区的模型；将所述平面区分割为多个单元；以及将每一单元评估为平面表面的潜在额外部分。在一些情况下，评估每一单元包括以下反复步骤：针对识别为平面表面的额外部分的每一单元，识别尚未识别为平面表面的一部分的相邻单元；以及针对每一经识别的相邻单元，将所述相邻单元评估为平面表面的潜在部分。

在框1940处，计算装置的组件至少部分地基于关于AR平面的信息确定与所述第一对象相关联的一或多个特性。在某些实施例中，确定与第一对象相关联的一或多个特性可进一步基于识别至少一个或多个特征点。在某些实施例中，与第一对象相关联的一或多个特性可包含：识别平面表面中的一或多个区，其中所述一或多个区对应于平面表面上的第一对象的位置；以及基于一或多个凸面区的位置和所述一或多个特征点确定第一对象的一或多个外表面。然而，可使用其它技术而不背离本发明的范围。在一些实施例中，构建第一对象的数字表示可包含基于平面表面的被第一对象遮挡的一部分的形状在垂直于平面表面的方向上挤压对象。

在框1950处，计算装置的组件使用与第一对象相关联的特性和与AR平面相关联的信息产生第一对象的三维(3D)模型。在一些方面中，产生第一对象的3D模型可包含：获得第一对象的一或多个特征点，其中所述一或多个特征点的每一特征点指示第一对象的外表面上的点相对于平面表面的位置；使用与平面表面相关联的信息和所述一或多个特征点估计第一对象的不可见的部分的形状；以及基于所述估计构建所述3D重建对象。在一些方面中，估计第一对象的不可见的部分的形状可包含使用一或多个表示技术，例如样条表示、反射对称对象表示、平面表示或弯曲表示。参看图15A-B、16、17和较早描述的任何其它图描述的技术可用于产生第一对象的三维(3D)模型。

在框1960处，计算装置的组件产生包括AR平面和第一对象的3D模型的AR环境的数字表示。

图20描述根据某些实施例可用于表示场景的装置的一个潜在实施方案。在一个实施例中，图1中描述的装置102可以过程300的特定描述的细节实施。在图20中展示的装置2000的实施例中，例如相机2021和图像处理模块2022等专门的模块可包含使用所提议的方法俘获和处理图像所需的功能性。相机2021和图像处理模块2022可经实施以与装置2000的各种其它模块交互。举例来说，组合图像可在显示输出2003上输出。此外，图像处理模块可经由来自用户输入模块2006的用户输入控制。用户输入模块2006可接受输入以界定关于所表示场景的用户偏好或识别场景中的初始化目标。存储器2020可经配置以存储图像，且还可存储确定相机和装置如何操作的设定和指令。

在图20处展示的实施例中，所述装置可为移动装置且包含经配置以执行用于在若干组件处执行操作的指令的处理器2010，且可(例如)为通用处理器或适合于在便携式电子装置内实施的微处理器。处理器2010可因此实施如本文所描述的用于操作相机和图像处理模块的特定步骤中的任一者或全部。处理器2010以通信方式与移动装置2000内的多个组件耦合。为了实现此通信耦合，处理器2010可跨越总线2060与其它所说明的组件通信。总线2060可为适于在移动装置2000内传递数据的任何子系统。总线2060可为多个计算机总线并且包含用以传送数据的额外电路。

存储器2020可耦合到处理器2010。在一些实施例中，存储器2020提供短期和长期存储两者且可实际上划分成若干单元。短期存储器可存储可在分析之后丢弃的图像、或所有图像可存储在长期存储装置中，这取决于用户选择。存储器2020可为易失性的，例如静态随机存取存储器(SRAM)及/或动态随机存取存储器(DRAM)；及/或非易失性的，例如只读存储器(ROM)、快闪存储器及其类似者。此外，存储器2020可包含可装卸式存储装置，例如安全数字(SD)卡。因此，存储器2020提供用于移动装置2000的计算机可读指令、数据结构、程序模块及其它数据的存储。在一些实施例中，存储器2020可分布到不同硬件模块中。

在一些实施例中，存储器2020存储多个应用2026。应用2026含有待由处理器2010执行的特定指令。在替代实施例中，其它硬件模块可另外执行某些应用或应用的部分。存储器2020可用于存储用于根据某些实施例实施扫描的模块的计算机可读指令，且还可存储紧凑对象表示作为数据库的一部分。

在一些实施例中，存储器2020包含操作系统2023。操作系统2023可以可操作以起始由应用模块提供的指令的执行和/或管理其它硬件模块以及与可使用无线收发器2012和链路2016的通信模块的接口。操作系统2023可适于跨越移动装置2000的组件执行其它操作，包含线程处理、资源管理、数据存储控制和其它相似功能性。

在一些实施例中，移动装置2000包含多个其它硬件模块2001。其它硬件模块2001中的每一者为移动装置2000内的物理模块。然而，虽然硬件模块2001中的每一者永久地配置为结构，但硬件模块中的相应者可经临时配置以执行特定功能或经临时激活。

其它实施例可包含集成到装置2000中的传感器。传感器2062的实例可为例如加速计、Wi-Fi收发器、卫星导航系统接收器(例如GPS模块)、压力模块、温度模块、音频输出和/或输入模块(例如麦克风)、相机模块、近程传感器、替代线路服务(ALS)模块、电容性触摸传感器、近场通信(NFC)模块、蓝牙收发器、蜂窝收发器、磁力计、陀螺仪、惯性传感器(例如组合加速计和陀螺仪的模块)、环境光传感器、相对湿度传感器或可操作以提供感觉输出和/或接收感觉输入的任何其它类似模块。在一些实施例中，传感器2062的一或多个功能可实施为硬件、软件或固件。此外，如本文所描述，例如加速计、GPS模块、陀螺仪、惯性传感器或其它此类模块等特定硬件模块可结合相机和图像处理模块使用以提供额外信息。在某些实施例中，用户可使用用户输入模块2006选择如何分析图像。

装置2000可包含例如无线通信模块等组件，其可将天线2016和无线收发器2012与任何其它无线通信所必需的硬件、固件或软件集成。此无线通信模块可经配置以经由网络和例如网络接入点等接入点从例如数据源等各种裝置接收信号。在某些实施例中，可将紧凑对象表示传送到服务器计算机、其它移动装置或其它联网计算装置，以存储在远程数据库中，且在裝置执行对象辨识功能性时由多个其它装置使用。

除存储器2020中的其它硬件模块和应用外，移动装置2000还可具有显示输出2003和用户输入模块2006。显示输出2003以图形方式将来自移动装置2000的信息呈现给用户。此信息可从一或多个应用模块、一或多个硬件模块、其组合，或任何其它用于为用户解析图形内容(例如通过操作系统2023)的合适装置导出。显示输出2003可为液晶显示器(LCD)技术、发光聚合物显示器(LPD)技术，或某一其它显示技术。在一些实施例中，显示模块2003是电容性或电阻性触摸屏并且可对与用户的触感和/或触觉接触敏感。在此类实施例中，显示输出2003可包括多触摸敏感显示器。显示输出2003可随后用于显示与相机2021或图像处理模块2022相关联的任何数目的输出，例如警告、设定、阈值、用户接口或其它此类控制。

上文所论述的方法、系统及装置为实例。各种实施例可按需要省略、替换或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以用不同于所描述的次序的次序来执行，和/或可添加、省略和/或组合各个阶段。而且，关于某些实施例描述的特征可在各种其它实施例中加以组合。实施例的不同方面及元件可以类似方式加以组合。

在描述中给出特定细节以提供对实施例的透彻理解。然而，可以在没有这些特定细节的情况下实践实施例。举例来说，已在没有不必要的细节的情况下提到众所周知的电路、过程、算法、结构和技术，以免混淆所述实施例。此描述仅提供实例实施例，且不希望限制各种实施例的范围、适用性或配置。确切地说，实施例的前述描述将为所属领域的技术人员提供用于实施实施例的启迪性描述。可在不脱离各种实施例的精神及范围的情况下对元件的功能及布置做出各种改变。

并且，一些实施例被描述为可以具有过程箭头的流程来描绘的过程。尽管每一流程图或框图可将操作描述为循序过程，但许多操作可并行地或同时执行。此外，可重新布置操作的次序。过程可具有不包含在图式中的额外步骤。此外，可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施所述方法的实施例。当在软件、固件、中间件或微码中实施时，用以执行相关联任务的程序代码或代码段可存储在例如存储媒体等计算机可读媒体中。处理器可执行相关联任务。另外，以上要素可仅为较大系统的组成部分，其中其它规则可优先于各种实施例的应用或以其它方式修改各种实施例的应用，且在实施任何实施例的要素之前、期间或之后，可进行任何数目的步骤。

应注意，如本文所描述的方法可在软件中实施。所述软件可大体来说存储在非暂时性存储装置(例如，存储器)中且由处理器(例如，通用处理器、数字信号处理器等等)实行。

上文所论述的方法、系统及装置为实例。在适当时，各种配置可省略、取代或添加各种程序或组件。举例来说，在替代性配置中，可以不同于所描述的次序的次序来执行方法，和/或可添加、省略和/或组合各种阶段。可以各种其它配置组合相对于特定配置所描述的特征。可以类似方式组合所述配置的不同方面及元件。许多元件是实例且并不限制本发明或权利要求书的范围。

在描述中给出特定细节以提供对实例配置(包含实施方案)的透彻理解。然而，可在并无这些特定细节的情况下实践配置。举例来说，已在并无不必要细节的情况下展示众所周知的电路、过程、算法、结构和技术以避免混淆所述配置。此描述仅提供实例配置，且并不限制权利要求书的范围、适用性或配置。确切地说，所述配置的前述描述将向所属领域的技术人员提供用于实施所描述技术的启迪性描述。可在不脱离本发明的精神或范围的情况下对元件的功能和配置作出各种改变。

并且，可将配置描述为描绘为流程图或框图的过程。尽管每一者可将操作描述为循序过程，但许多操作可并行或同时进行。此外，可以重新布置操作的次序。过程可具有不包含在图中的额外步骤。此外，方法的实例可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合实施。当以软件、固件、中间件或微码实施时，用以执行必要任务的程序代码或代码段可存储在例如存储媒体等非暂时性计算机可读媒体中。处理器可执行所描述的任务。

已描述若干实例配置，可在不脱离本发明的精神的情况下使用各种修改、替代构造及等效物。举例来说，上述元件可为较大系统的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。并且，可在考虑以上要素之前、期间或之后进行许多步骤。

Claims (30)

1.一种用于构建物理场景的数字表示的方法，其包括：

获得关于含有至少一平面表面和位于所述平面表面上的一或多个物理对象的所述物理场景的信息；

识别所述物理场景内的所述平面表面；

确定对应于所述平面表面的AR平面，其中所述AR平面包括所述平面表面的至少一部分且包围与位于所述平面表面上的所述一或多个物理对象的第一对象相关联的至少一个孔；

至少部分地基于关于所述AR平面的信息确定与所述第一对象相关联的一或多个特性；

使用与所述第一对象相关联的所述特性和与所述AR平面相关联的信息产生所述第一对象的三维3D模型；以及

产生包括所述AR平面和所述第一对象的所述3D模型的AR环境的数字表示。

2.根据权利要求1所述的方法，确定与所述第一对象相关联的一或多个特性进一步基于识别至少一个或多个特征点。

3.根据权利要求1所述的方法，其中所述AR平面包括多个单元，所述多个单元的每一单元表示其中虚拟对象可导航而不会与所述第一对象冲突的区。

4.根据权利要求1所述的方法，其中确定与所述第一对象相关联的一或多个特性包括：

识别所述平面表面中的一或多个区，其中所述一或多个区对应于所述平面表面上的所述第一对象的位置；以及

基于一或多个凸面区的位置和所述一或多个特征点确定所述第一对象的一或多个外表面。

5.根据权利要求1所述的方法，其中确定对应于所述平面表面的AR平面包括：

分析包括所述第一对象的所述物理场景的至少两个图像；以及

基于对所述物理场景的所述至少两个图像的分析创建所述AR平面使得所述AR平面对应于所述物理场景且排除对应于所述第一对象的至少一个区。

6.根据权利要求5所述的方法，其中分析所述物理场景的所述至少两个图像包括：

使用相机俘获第一位置处的所述物理场景的第一图像，其中所述第一图像包含所述第一对象；

确定所述相机已从所述第一位置向第二位置移动的距离；

使用所述相机俘获所述第二位置处的所述物理场景的第二图像，其中所述第二图像包含所述第一对象；以及

使用所述第一图像和所述第二图像确定所述第一对象的深度信息。

7.根据权利要求1所述的方法，其中产生所述第一对象的所述3D模型包括：

获得所述第一对象的一或多个特征点，其中所述一或多个特征点的每一特征点指示所述第一对象的外表面上的点相对于所述平面表面的位置；

使用与所述AR平面和所述一或多个特征点相关联的信息估计所述第一对象的不可见的部分的形状；以及

基于所述估计构建3D重建对象。

8.根据权利要求7所述的方法，其中所述估计包括以下各项中的至少一者：

样条表示，

经反射对称对象表示，

平面表示，或

弯曲表示。

9.根据权利要求1所述的方法，其中构建所述第一对象的所述数字表示包含基于所述平面表面的被所述第一对象遮挡的部分的形状在垂直于所述平面表面的方向上挤压对象。

10.根据权利要求1所述的方法，其中确定对应于所述平面表面的所述AR平面包括：

识别所述物理场景内的所述平面表面的初始部分；

识别所述平面表面的额外部分，其中所述额外部分中的每一者基于确定与所述额外部分相关联的至少一个视觉或几何性质同与已经识别为所述平面表面的一部分的一或多个部分相关联的至少一个对应视觉或几何性质之间的相似度而识别为所述平面表面的一部分。

11.根据权利要求10所述的方法，其中识别所述平面表面的所述额外部分包括：

建立所述平面表面在其内驻留的平面区的模型；

将所述平面区分割成多个单元；以及

将每一单元评估为所述平面表面的潜在额外部分。

12.根据权利要求11所述的方法，其中评估每一单元包括以下反复步骤：

针对识别为所述平面表面的额外部分的每一单元，识别尚未被识别为所述平面表面的一部分的相邻单元；以及

针对每一经识别相邻单元，将所述相邻单元评估为所述平面表面的潜在部分。

13.一种用于构建物理场景的数字表示的装置，其包括：

存储器；

相机，其用于获得关于所述物理场景的信息；以及

处理器，其耦合到所述存储器且经配置以：

获得关于含有至少一平面表面和位于所述平面表面上的一或多个物理对象的所述物理场景的信息；

识别所述物理场景内的所述平面表面；

确定对应于所述平面表面的AR平面，其中所述AR平面包括所述平面表面的至少一部分且包围与位于所述平面表面上的所述一或多个物理对象的第一对象相关联的至少一个孔；

至少部分地基于关于所述AR平面的信息确定与所述第一对象相关联的一或多个特性；

使用与所述第一对象相关联的所述特性和与所述AR平面相关联的信息产生所述第一对象的三维3D模型；以及

产生包括所述AR平面和所述第一对象的所述3D模型的AR环境的数字表示。

14.根据权利要求13所述的装置，其中所述处理器进一步经配置以确定与所述第一对象相关联的一或多个特性是进一步基于识别至少一个或多个特征点。

15.根据权利要求13所述的装置，其中所述AR平面包括多个单元，所述多个单元的每一单元表示其中虚拟对象可导航而不会与所述第一对象冲突的区。

16.根据权利要求13所述的装置，其中确定与所述第一对象相关联的一或多个特性包括所述处理器进一步经配置以：

识别所述平面表面中的一或多个区，其中所述一或多个区对应于所述平面表面上的所述第一对象的位置；以及

基于一或多个凸面区的位置和所述一或多个特征点确定所述第一对象的一或多个外表面。

17.根据权利要求13所述的装置，其中确定对应于所述平面表面的AR平面包括所述处理器进一步经配置以：

分析包括所述第一对象的所述物理场景的至少两个图像；以及

基于对所述物理场景的所述至少两个图像的分析创建所述AR平面使得所述AR平面对应于所述物理场景且排除对应于所述第一对象的至少一个区。

18.根据权利要求17所述的装置，其中分析所述物理场景的所述至少两个图像包括所述处理器进一步经配置以：

使用相机俘获第一位置处的所述物理场景的第一图像，其中所述第一图像包含所述第一对象；

确定所述相机已从所述第一位置向第二位置移动的距离；

使用所述相机俘获所述第二位置处的所述物理场景的第二图像，其中所述第二图像包含所述第一对象；以及

使用所述第一图像和所述第二图像确定所述第一对象的深度信息。

19.根据权利要求13所述的装置，其中产生所述第一对象的所述3D模型包括所述处理器进一步经配置以：

获得所述第一对象的一或多个特征点，其中所述一或多个特征点的每一特征点指示所述第一对象的外表面上的点相对于所述平面表面的位置；

使用与所述平面表面和所述一或多个特征点相关联的信息估计所述第一对象的不可见的部分的形状；以及

基于所述估计构建3D重建对象。

20.根据权利要求19所述的装置，其中所述估计包括以下各项中的至少一者：

样条表示，

经反射对称对象表示，

平面表示，或

弯曲表示。

21.根据权利要求13所述的装置，其中构建所述第一对象的所述数字表示包含所述处理器经配置以基于所述平面表面的被所述第一对象遮挡的部分的形状在垂直于所述平面表面的方向上挤压对象。

22.根据权利要求13所述的装置，其中确定对应于所述平面表面的所述AR平面包括所述处理器进一步经配置以：

识别所述物理场景内的所述平面表面的初始部分；

识别所述平面表面的额外部分，其中所述额外部分中的每一者基于确定与所述额外部分相关联的至少一个视觉或几何性质同与已经识别为所述平面表面的一部分的一或多个部分相关联的至少一个对应视觉或几何性质之间的相似度而识别为所述平面表面的一部分。

23.根据权利要求22所述的装置，其中识别所述平面表面的所述额外部分包括所述处理器进一步经配置以：

建立所述平面表面在其内驻留的平面区的模型；

将所述平面区分割成多个单元；以及

将每一单元评估为所述平面表面的潜在额外部分。

24.一种非暂时性计算机可读存储媒体，其中所述非暂时性计算机可读存储媒体包括可由处理器执行的指令，所述指令包括用以进行以下操作的指令：

获得关于含有至少一平面表面和位于所述平面表面上的一或多个物理对象的物理场景的信息；

识别所述物理场景内的所述平面表面；

确定对应于所述平面表面的AR平面，其中所述AR平面包括所述平面表面的至少一部分且包围与位于所述平面表面上的所述一或多个物理对象的第一对象相关联的至少一个孔；

至少部分地基于关于所述AR平面的信息确定与所述第一对象相关联的一或多个特性；

使用与所述第一对象相关联的所述特性和与所述AR平面相关联的信息产生所述第一对象的三维3D模型；以及

产生包括所述AR平面和所述第一对象的所述3D模型的AR环境的数字表示。

25.根据权利要求24所述的非暂时性计算机可读存储媒体，其中确定与所述第一对象相关联的一或多个特性进一步基于识别至少一个或多个特征点。

26.根据权利要求24所述的非暂时性计算机可读存储媒体，其中所述AR平面包括多个单元，所述多个单元的每一单元表示虚拟对象可在其中导航而不与所述第一对象冲突的区。

27.根据权利要求24所述的非暂时性计算机可读存储媒体，其中将所述平面表面表示为所述AR平面包括所述处理器进一步经配置以：

分析包括所述第一对象的所述物理场景的至少两个图像；以及

基于对所述物理场景的所述至少两个图像的分析创建所述AR平面使得所述AR平面对应于所述物理场景且排除对应于所述第一对象的至少一个区。

28.一种设备，其包括：

用于获得关于含有至少一平面表面和位于所述平面表面上的一或多个物理对象的所述物理场景的信息的装置；

用于识别所述物理场景内的所述平面表面的装置；

用于确定对应于所述平面表面的AR平面的装置，其中所述AR平面包括所述平面表面的至少一部分且包围与位于所述平面表面上的所述一或多个物理对象的第一对象相关联的至少一个孔；

用于至少部分地基于关于所述AR平面的信息确定与所述第一对象相关联的一或多个特性的装置；

用于使用与所述第一对象相关联的所述特性和与所述AR平面相关联的信息产生所述第一对象的三维3D模型的装置；以及

用于产生包括所述AR平面和所述第一对象的所述3D模型的AR环境的数字表示的装置。

29.根据权利要求28所述的设备，其中确定与所述第一对象相关联的一或多个特性进一步基于识别至少一个或多个特征点。

30.根据权利要求28所述的设备，其中所述AR平面包括多个单元，所述多个单元的每一单元表示其中虚拟对象可导航而不会与所述第一对象冲突的区。