CN103823553A - 对表面背后的场景的增强现实显示 - Google Patents

Abstract

本发明公开了对表面背后的场景的增强现实显示。公开了涉及经由透视显示设备来增强表面的外观的实施例。例如，一个所公开的实施例提供了一种在包括透视显示设备的计算设备上增强表面的外观的方法。该方法包括：经由面向外的图像传感器获取通过显示器可观看的第一场景的图像数据。该方法进一步包括基于该图像数据识别通过该显示器可观看的表面，并且响应于识别该表面，获取对第二场景的表示，该第二场景包括物理上位于通过该显示器可观看的表面后方的场景以及位于与通过该显示器可观看的表面上下文相关的表面后方的场景的一个或多个。该方法进一步包括经由该透视显示器显示该表示。

Description

对表面背后的场景的增强现实显示

技术领域

本发明涉及经由透视显示设备来增强表面的外观，尤其涉及对表面背后的情景场景的增强现实显示。 

背景技术

表面，诸如墙壁和门，可能会遮挡对场景的观看。为了观看场景，人们可能需要在物理上非常接近该表面时打开，或者以其它方式操作该表面。然而，这种操作在某些情形下是不可能或者不期望的，诸如，当该表面不可及时。 

发明内容

公开了涉及经由透视显示设备来增强表面的外观的实施例。例如，一个公开的实施例提供了一种在包括透视显示设备的计算设备上增强表面的外观的方法。该方法包括：经由面向外的图像传感器获取通过显示器可观看的第一场景的图像数据。该方法进一步包括：基于该图像数据识别通过该显示器可观看的表面，并且响应于识别该表面，获取对第二场景的表示，该第二场景包括物理地位于通过该显示器可观看的表面后方的场景以及位于与通过该显示器可观看的表面上下文(contextually)相关的表面后方的场景中的一个或多个。该方法进一步包括经由该透视显示器显示该表示。 

提供本发明内容是为了以简化形式介绍将在以下具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识出所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限制于解决本公开的任何部分所提到的任何或全部缺点的实现。 

附图说明

图1示出了用于透视显示设备的实施例的示例使用环境，并且也示出了通过该透视显示设备对场景观看的增强的实施例。 

图2和3示出了通过图1的透视显示设备对场景观看的增强的其他实施例。 

图4示意性地显示了示出用于透视显示设备的使用环境实施例的框图。 

图5显示了描绘增强场景视图的方法的实施例的处理流程。 

图6示意性地显示了计算系统的示例实施例。 

具体实施方式

如上所述，各种表面可能遮挡人们对位于该表面后方场景的观看。在一些实例中，对人们来说具备观看什么位于该表面后方，而不需要获得在该表面后方的真实、物理的视图的能力是有利的。诸如，在用户可操作的表面，例如，在诸如冰箱门的用户可操作表面的情况下，操作该表面以获得在该表面后方的视图可能让冷气泄出。类似地，当物理上不接近该表面时，诸如，当人们坐在距该表面要穿过房间的沙发上，或与该表面处于不同位置时，为了观看该表面后方的方便，这种能力也是令人期望的。 

因此，公开了涉及例如经由在遮挡表面或者上下文相关表面的空间配准中显示对被遮挡场景的表示来提供对被遮挡场景的可视表示的实施例。以此方式，用户能够可视地解读被遮挡的场景，即使该用户之前并未观看过该被遮挡的场景和／或并未在空间上接近该被遮挡的场景。 

在详细讨论这些实施例之前，参考图1描述非限制的使用场景，图1以厨房的形式示出了示例环境100。厨房包括通过由用户106佩戴的透视显示设备104可观看的场景102。应当意识到，在一些实施例中，通过透视显示器可观看的场景102与用户的视野可以是实质上同延的，而在其它实施例中，通过透视显示器可观看的场景可以占据用户的视野的一部分。 

正如随后将更加详细描述的，透视显示设备104可以包括一个或多个面向外的图像传感器(诸如，二维相机和／或深度相机)，图像传感器被配置为在用户导航环境时获取表示环境100的图像数据(诸如，彩色／灰度图像、深度图像／点云数据等)。该图像数据可以被用于获得关于该环境(诸如，三维表面地图等)的布局以及包含在其中的对象和表面的布局的信息。 

经由该面向外的图像传感器获取的图像数据可以被用于识别用户在房间内的位置和方向。诸如，通过与一幅或多幅之前获取的图像的比较可以识别房 间中的一个或多个特征点，以确定透视显示设备104在房间内的方向和／或位置。 

该图像数据可被进一步用于识别遮挡另一场景的表面，诸如表面108(例如，冰箱门)。对表面的识别可以包括，例如，经由图像数据检测表面的开启和／或关闭，检测门的形状或者图像数据中的这种特征等。作为另一个示例，透视显示设备104可以为位于所检测表面后方的场景确定图像数据的存在，并且可以因此在遮挡该表面后方的场景时识别该表面，而不需要直接检测门的开启／关闭的动作，不需要将包括该表面的对象的外观进行分类等。进一步地，在一些实施例中，透视显示设备104可以被配置为确定场景102的上下文(例如，冰箱、起居室、办公室、盥洗室等)和／或通过显示设备可观看的表面(例如，冰箱门、橱柜门、墙壁等)。这种上下文对于例如以编程方式确定是否显示在该表面后方的场景的图像数据(诸如，基于一个或多个用户偏好)是有用的。作为非限制的示例，用户可能希望观看被门遮挡场景的图像数据，位于他们家中的场景的图像数据，冰箱内部场景的图像数据，和／或包括如何其他合适上下文的场景的图像数据。因此，一识别一个或多个包括这种上下文的场景，就可以以编程方式显示对所述场景的表示。这种上下文进一步对于例如基于隐私偏好确定是否显示在该表面后方场景的图像数据，并且如果这种显示是可允许的，确定显示哪些数据(例如，在一个被识别的表面位于另一个被识别的表面后方的情况下表面“深度”怎样；是否显示场景的最近图像或者更早的图像，等等)是有用的。因此，这种上下文可以允许关于各种场景的共享、选择和显示的基于场景和／或基于表面的粒度。 

透视显示设备104进一步被配置为通过将物理地位于表面108后方的场景112(例如，冰箱内部)的表示110(例如，图像数据)显示为表面108(即，冰箱门)顶部的“覆盖”来增强表面108的外观。正如随后将更加详细描述的，可以经由任何适合的机制来触发这种增强，所述机制包括但不限于：用户命令和／或显示设备的表面识别。作为另一个示例，在一些实施例中，透视显示设备104可以被配置为确定用户106的注视的方向(例如，经由对用户的一只眼睛或者双眼的位置进行成像的一个或多个成像传感器)，并且可以基于该用户在表面108上的注视来触发表示110。 

场景112的表示110可以包括之前收集的图像数据。例如，该表示可以包括之前由透视显示设备104在用户106与结合表面108的对象的先前交互期间收集的图像数据。作为另一个示例，所显示的表示可以包括之前由不同设备(例如，另一个用户的透视显示设备、智能手机、IP相机等)收集的图像数据。因此，在一些实施例中，透视显示设备104可以被配置为与多个设备共享数据，并且从该多个设备检索数据，以提供最近获取的图像。进一步地，在又一实施例中，用户可以选择观看更早的表示，而不是最近获取的图像，正如随后将更加详细地进行解释的。 

应当意识到，对遮挡场景的显示表示可以包括由该图像数据生成的信息而非图像数据本身，或者除了图像数据本身还有由该图像数据生成的信息。例如，在一些实施例中，该表示可以包括生成的模型(例如，由经由深度相机获取的点云数据所生成的)和／或生成的对场景112的文本描述。在一些实施例中，对这种生成的模型的观看角度／方向可以由用户改变。 

尽管场景112的表示110被示出为与通过透视显示器可观看的表面108的部分空间配准且同延，应当意识到，可以以任何其他适合的方式显示表示110，并且可以经由任何其他适合的设备，而不是透视显示设备来显示表示110。例如，在一些实施例中，可以经由不包括透视显示器的移动计算设备来提供对场景112的增强，如上所述。在这种实施例中，可以经由移动电话、平板计算机或者其他移动设备的图像传感器成像场景，并且例如可以将对场景102的表示(例如，来自图像传感器的“实时馈入”)连同表示110一起作为表面108之上的覆盖进行显示。 

作为又一示例，图2示出了在通过透视显示设备(例如，图1的透视显示设备104)观看时环境202中的场景200的示例实施例。如示出的，以杂货店的形式表示环境202，并且其包括冷藏陈列柜的形式的对象206的表面204(诸如，透视门)。 

该透视显示设备可以被配置为标识对象206是冷藏陈列柜，并进一步确定对象206与另一对象(诸如包括图1的表面108的冰箱)上下文相关。可以基于针对所识别形状的对象的形状和／或外观的分析(例如，经由分类功能)，基于该对象内容的形状和／或外观(例如，牛奶纸盒)，或者任何其他适合的方式 来做出这种确定。进一步地，当识别对象时，可以考虑附加的上下文信息。例如，位置信息(例如，用户正在杂货店)可以被用于帮助识别对象206。 

响应于识别对象206，透视显示设备可以显示增强表面204的外观的图像，其中该图像包括对上下文相关的场景210(在这个示例中的图1的冰箱内部场景112)的表示208。以此方式，杂货店中的冷藏陈列柜的上下文线索和／或该冷藏陈列柜的内容(诸如，牛奶纸盒)可以触发对用户家庭冰箱的内容的最近观看的显示。这允许该用户观看该家庭冰箱的最近内容并且确定是否需要从商店选购任何产品。 

可以以任何适合的方式显示该上下文相关的场景。例如，尽管被示出成显示为基本不透明，应当意识到，对场景210的表示208可以包括更少的不透明度，使得该冷藏陈列柜的内容通过该表示可观看。 

应当意识到，对于所检测的表面，可以存在任何数量的对物理上位于该表面后方和／或与该表面上下文相关的场景的表示以及它们的组合。因此，可以利用各种机制来确定将哪个场景，以及其特定表示显示给用户。例如，在存储了物理上位于该表面后方(或者在与该表面上下文相关的表面后方)的场景的多幅图像的情况下，在一些实施例中可以将最近的表示表现为默认，并且用户可以请求另一个表示(例如，更早的表示)。在其他实施例中，可以表现任何其他的默认值表示。 

在期望对不同场景进行显示处，在一个或多个表面没被识别(例如，由于缺少网络连接、光线暗的场景等)处，和／或根据任何其他适合的机制，可以显示信息可供其使用的场景列表。该列表可被配置为通过用户手动浏览，或者可以以幻灯片或者其他自动进展的方式进行表现。进一步地，可以经由文本、经由图像(例如，缩略图)和／或经由任何其他适合的机制或者机制的结合来表现这种列表。应当意识到，在一些实施例中，可以选择对一个或多个场景的两个或更多个表示，以供同时或顺序观看(例如，比较在两个不同的时刻摄取的场景视图)。 

进一步地，在一些实施例中，透视显示设备可以被配置为允许用户观看多个表面后方。例如，图3示出了表示环境中的各种“深度”的多个场景。更具体地，图3示出了环境302中通过透视显示设备(例如，图1的透视显示设备104) 可观看的场景300，其中场景300包括遮挡场景308(例如，橱柜内部)的对象306(例如，橱柜)的表面304(例如，门)。进一步地，将表面310(例如，墙壁)和表面312(例如，门)示出为至少部分地遮挡场景314(例如，另一个房间)。 

可以根据任何适合的机制或机制的组合将场景308和／或场景314的表示显示给用户。例如，透视显示设备可以包括一个或多个用户能调整的偏好，使得该设备可以被配置为显示被门遮挡的场景(例如，场景308)，但不显示被墙遮挡的场景(例如，场景314)。该透视显示设备也可以包括一个或多个将被显示的关于“定位深度级别”的偏好。例如，在深度级别“1”，可以显示场景308(位于一个表面后方)，而场景314(位于两个表面后方)则不被显示。作为另一个示例，在深度级别“2”，可以显示场景308和场景314。因此，在该透视显示设备允许用户观看不同深度场景的情况下，可以分别地或者一起显示该场景。 

例如，可以通过识别厚度(例如，经由以一个或多个深度相机获取的该墙壁边缘的图像数据)，通过确定用于该墙壁两个面上的场景(例如，场景300和场景314)的信息的可用性，和／或任何其他适合的方式来识别使用环境中的场景之间的墙壁(例如，表面310)。类似地，通过运动识别，通过外观，和／或上下文信息(例如矩形和从地面向上延伸)，特征(例如，门把手)，位置(例如，在更大的，平坦宽阔区域上)，和／或任何其他适合的方式，可以将门(例如，表面312)识别为仅在某些时间存在(例如，在该图像数据的时间上分开的实例中)。 

如上所述，被显示给用户的被遮挡场景(例如，场景314)的表示可以包括之前收集的图像数据。这种之前收集的图像数据可以包括由该用户收集和／或由另一个用户收集的数据。进一步地，该之前收集的图像数据可以表示为该被遮挡场景存储的最新图像，或者图像数据的一个或多个较早实例。另外，在一些实施例中，该图像数据可以包括当前正被不同的计算设备获取的实时图像数据。作为更加具体的示例，场景314的表示可以包括来自当前正在观看场景314的另一个用户(未示出)的图像数据。以这种方式，该用户能够观看基于来自其他用户的图像数据实时更新的场景314的表示。 

这种配置可以提供允许用户通过观看其他用户的场景的表示来找到另一个用户的潜在益处。例如，基于GPS坐标找到通过商场或者办公楼建筑的路线可能是混乱的，由于所述坐标本身不是有意义的并且该用户可能并未做好访问地图的准备。进一步地，墙壁或者其他遮挡可能阻止从该用户的位置到目的地的直接路径。因此，用户能够观看该目的地的当前场景(例如，经由朋友的透视显示设备)以通过识别该目的地附近的路标来向该朋友导航(例如，直接地或者经由计算机视觉技术)。 

在图像数据在用户间共享的实施例中，将被了解的是任何适合的隐私和／或许可机制，和／或它们的组合，可以用于控制对这种图像数据的跨用户访问。例如，在一些实施例中，可由定义对该用户的图像数据的访问的用户维护可信的其他用户的列表。在其他实施例中，也可以基于表面的位置限制访问。例如，用户可以希望限制对在隐私空间(例如，家或工作场所)获取的图像数据的访问，但是可以希望共享在公共空间(例如，购物广场)获取的图像数据。在另一实施例中，通过定义针对不同用户的各种可信等级来提供附加的粒度。例如，可以为家庭成员提供对在用户家里获取的图像数据的访问，而可以限制其他非家庭成员用户访问这种图像数据。将被了解的是这些隐私／许可方案是出于示例的目的而提出的，并且不旨在以任何方式进行限制。 

图4示意性地表示了示出用于透视显示设备的使用环境400的实施例的框图，所述透视显示设备被配置为通过被表面遮挡的场景的视图来增强表面的视图。使用环境400包括示出为透视显示设备1402和透视显示设备N的多个透视显示设备。每个透视显示设备都包括透视显示子系统404，透视显示子系统404被配置为在一个或多个透视显示屏幕上显示图像。该透视显示设备可以采用任何适合的形式，包括但不限于眼镜、护目镜等形式的头戴式近眼显示器。 

每个透视显示设备402都可以进一步包括传感器子系统406，传感器子系统406包括任何适合的传感器。例如，传感器子系统406可以包括一个或多个图像传感器408，诸如，举例来说，一个或多个彩色或者灰度的二维相机401和／或一个或多个深度相机412。深度相机412可以被配置为使用任何适合的技术来测量深度，所述技术包括但不限于飞行时间、结构光和／或立体成像。图像传感器408可以包括一个或多个面向外的相机，一个或多个面向外的相机被配 置为获取通过透视显示设备可观看的背景场景(例如，图1的场景102)的图像数据。进一步地，在一些实施例中，该用户设备可以包括一个或多个照明设备(例如，IR LED、闪光灯、结构光发射器等)以帮助图像获取。响应于一个或多个有关环境的输入(例如，暗光检测)和／或一个或多个用户输入(例如，语音命令)可以激活这种照明设备。在一些实施例中，该图像传感器可以进一步包括一个或多个面向内的图像传感器，该图像传感器被配置为检测眼睛的位置和运动以启用注视追踪(例如，允许对菜单系统的视觉操作，识别朝向表面的眼睛焦点等)。 

从图像传感器408接收到的图像数据可以被存储在图像数据存储414中(例如，闪存、EEPROM等)，并且可以被透视显示设备402用于识别存在于给定环境中的一个或多个表面。进一步地，每个透视显示设备402可以被配置为经由网络418(诸如，计算机网络和／或无线电话网络)与远程服务416和／或一个或多个其他的透视显示设备交互。更进一步地，在一些实施例中，可以经由直接链接420(例如，近场通信)而不是经由网络418来提供透视显示设备之间的交互，或者除了经由网络418以外还经由直接链接420(例如，近场通信)来提供透视显示设备之间的交互。 

远程服务416可以被配置为与多个透视显示设备通信，以从所述透视显示设备接收数据以及将数据发送给所述透视显示设备。进一步地，在一些实施例中，可以由远程服务416提供至少部分上述功能。作为非限制性示例，透视显示设备402可以被配置为获取图像数据并且显示增强的图像，然而剩下的功能(例如，表面标识、相关场景获取、图像增强等)可以由远程服务执行。 

远程服务416可以通信地耦合至数据存储422，数据存储422被示出为了由用户1424和用户N426所表示的多个用户存储信息。应当意识到，可以存储任何适合的数据，包括但不限于图像数据428(例如，从图像传感器408接收到的图像数据和／或从其计算出的信息)和上下文信息430。上下文信息430可以包括但不限于一个或多个表面的环境和／或由图像数据428表示的一个或多个场景。可以由例如透视显示设备402使用这种信息来识别和获取场景的表示，该场景与通过透视显示设备可观看的表面上下文相关(例如，有关于图1的表面108的场景112)。 

尽管数据存储422中的信息被示出为在用户接用户的基础上进行组织，将被了解的是可以以任何适合的方式组织和存储信息。例如，可以按照位置(例如，经由GPS坐标、经由诸如“家”或“工作”的所识别的位置分类)，按照类别(例如，“食物”)等安排图像数据和／或表面信息。 

上下文信息430可以以任何适合的方式被确定并且被指定给图像数据和／或该图像数据中的对象。在一些实施例中，上下文信息430可以至少部分地由用户定义。在一个具体的示例中，参考图1，透视显示设备104可以检测用户朝向表面108的注视，并且用户106可以提供语音命令(例如，“标记表面‘冰箱门”’)以进入表面108的上下文信息430。类似地，透视显示设备104可以检测环境100中的位置，并且用户106可以提供语音命令(例如，“标记场景‘厨房”’)以进入环境100的上下文信息430。 

同样，在一些实施例中，可以经由透视显示设备402、经由远程服务416或者经由其他设备或服务自动地确定上下文信息430。例如，一个或多个分类功能可用于分类由面向外的图像传感器所成像的对象，并且可以基于分类过程的结果，以及对象的位置(家、办公室等)，和／或任何其他适合的上下文信息来应用标签。将理解，这些场景是出于示例的目的而呈现的，而不旨在以任何方式进行限制。 

数据存储422可以进一步包括其他数据432，包括但不限于关于可信的其他用户的信息，可以将图像数据428和／或上下文信息430与这些用户共享。如上所述，可以根据任何适合的粒度来控制对图像数据428和／或上下文信息430的访问。例如，可以基于表面的位置(例如，家相对于公共空间)拒绝所有其他用户的访问，基于一个或多个用户的关系(例如，家中的图像数据受限于家庭成员)拒绝某些用户的访问，和／或根据一个或多个静态的和／或用户可调整的偏好以其它方式来进行控制。 

在这种方式中，设备402的用户能够访问之前由一个或多个不同的设备(诸如家庭成员的透视显示设备或其他图像传感设备)收集的数据。如此，图像数据和／或由图像数据计算出的涉及各种使用环境的信息可以在用户设备之间共享和更新。因此，取决于隐私偏好，用户可以具有对涉及给定环境信息的访问，即使用户之前并未导航到该环境。进一步地，即使该用户之前已经导航该环境， 但是更近一些的更新信息是可用的。 

透视显示设备402可以进一步包括一个或多个音频传感器434，诸如可用作输入机制的一个或多个话筒。透视显示设备402可以进一步包括一个或多个位置传感器436(例如，GPS、RFID、接近度等)。在一些实施例中，该位置传感器可以被配置为提供用于确定该用户设备位置的数据。进一步地，在一些实施例中，来自一个或多个无线通信设备的信息可以用于确定位置，例如，经由对已知无线网络的接近度的检测。 

现在转向图5，显示了描绘用于增强场景视图的方法500的实施例的处理流程。在502，方法500包括经由面向外的图像传感器获取通过显示器可观看的第一场景的图像数据。该图像数据可以从例如，一个或多个二维相机504和／或一个或多个深度相机506获取。 

在508，方法500进一步包括基于该图像数据识别通过该显示器可观看的表面(例如，表面108)。在一些实施例中，识别该表面可以包括基于来自位置传感器(例如，位置传感器436)的位置数据和来自面向外的图像传感器的图像数据中的一个或多个，标识510该计算设备的位置，并且基于这种信息识别该表面。 

识别该表面可以进一步包括识别512该表面是可运动表面还是不可运动表面。例如，通过经由该图像数据检测该表面的运动，门(例如，表面108)是可被识别为门的。作为另一个示例，基于图像数据的两个或更多个的实例(门开启为一个实例，以及门关闭是另一个实例)间的比较，通过被该表面遮挡的一个或多个场景(基于之前收集的图像数据和／或位置数据)的存在，和／或以任何其他适合的方式，表面可被识别为可运动。 

识别该表面可以进一步包括例如通过标识包含通过该显示器可观看的表面(例如，杂货店中的冰箱展示)的对象和物理上位于通过该显示器可观看的表面后方的对象(例如，牛奶纸盒)中一个或多个，确定514通过该显示器可观看的表面(例如，表面204)的上下文。如上所述，应当意识到，可以以任何适合的方式确定该表面的上下文。 

在516，方法500进一步包括响应于识别该表面，获取第二场景的表示，该第二场景包括物理上位于通过该显示器可观看的表面后方的场景和位于与 通过该显示器可观看的表面上下文相关的表面后方的场景中一个或多个。在一些实施例中，该表示可以从本地存储(例如，图像数据存储414)中获取。在其他实施例中，获取对第二场景的表示可以包括从计算机网络上的远程设备(例如，远程服务416)和／或经由直接链接(例如，直接链接420)检索该表示。不管该存储位置，获取该表示可以包括获取520由不是该计算设备的设备收集的实时图像数据。在其他实施例中，获取该表示可以包括获取522由不是该计算设备的设备之前收集的图像数据。 

应当意识到，可以存在任何数量和／或配置的第二场景的表示。例如，参考图2的示例使用环境202，可以存在除了与对象206(例如超市的冷藏展示柜)上下文相关的场景210(例如，用户家里的冰箱)之外的场景，例如，朋友的冰箱、另一商店的冷藏展示柜、食品储存室等等。因此，获取第二场景的表示可以包括从包括与通过该显示器可观看的表面上下文相关的表面的多个场景表示中选择524该表示。这种选择可以由用户手动地执行(例如，通过浏览列表)和／或可以以编程方式确定。 

同样应当进一步意识到，对于任何给定场景来说，可以存在与该场景对应的多个版本的图像数据(例如，昨天的图像数据、一个月以前的图像数据、一年前的图像数据等)。因此，获取第二场景的表示可以进一步包括确定526第二场景的最近表示并且获取第二场景的最仅表示作为默认表示。在其他情况中，观看该图像数据的之前版本可能是期望的。例如，期望观看一个或多个该图像数据的之前版本以标识之前在该场景中存在的一个或多个对象。作为更具体的示例，用户可以参考之前版本的用户冰箱的图像数据，以记住用户喜欢的并且想再次购买的饮料类型。应当意识到，为了示例的目的而呈现上述场景，并不旨在以任何方式进行限制。 

在528，方法500包括检测对显示该表示的触发。可以利用任何适合的触发。示例包括但不限于直接语音命令、上下文触发、以可编程方式生成的触发和姿势(经由眼睛、胳膊、头部和／或其他)中的一个或多个。如上所述，上下文触发可以包括视觉确定的该场景上下文或者对话的基于音频的上下文(例如，对涉及食物的对话的确定)，以及其它。 

例如，根据时间、日期和／或该计算设备之前的状态，可以实现以可编程方 式生成的触发。例如，在一些实施例中，用户可以启用上述增强机制，并且可以执行增强直到所述机制被禁用。换言之，可以识别，并且接着增强每个通过透视显示设备可观看的表面，直到接收到请求禁用这种机制的触发。作为另一个实施例，用户可以指定一个或多个明显的表面(例如，家庭冰箱)，一个或多个上下文(例如，基于食物的表面)，以及或者任何其他操作粒度，为它们提供增强直到接收到请求其它情形的触发。 

在一些实施例中，可以从远程计算设备(例如，另一用户的透视显示设备)接收触发，和／或至少部分地基于从该远程计算设备接收的信息来接收触发。在这种实施例中，和上述讨论的“本地”触发一样，可以根据任何适合的机制或者机制的组合来生成所述触发。例如，正如上面所提到的，场景增强可以允许用户通过观看对其他用户的场景的表示而找到另一个用户。因此，在这种场景中，可以从该其他用户的计算设备接收触发，以提供这种功能。应当意识到，其他触发是可能的，而不会脱离本公开的范围。 

在530，方法500进一步包括经由透视显示器显示该表示。例如，在一些实施例中，显示该表示包括显示532图像以增强该表面的外观，该图像包括在该表面的空间配准中的第二场景的表示。在其他实施例中(例如图2的表示208)，可以以任何其他适合的方式显示该表示。应当意识到，该表示可以包括任何适合的外观并且可以包括不同于从一个或多个图像传感器接收到的图像数据的信息(例如，三维模型、基于文本的信息等)，或者除了从一个或多个图像传感器接收到的图像数据之外的信息(例如，三维模型、基于文本的信息等)。 

如上所述，可能期望为显示设备的用户提供不同“深度”的表面增强。因此，在534，方法500可以进一步包括接收输入以获取对第三场景(例如，场景314)的表示，该第三场景物理上位于第二场景(例如，场景308)中的表面后方。在536，方法500可以包括，响应于该输入，获取对该第三场景的表示。方法500可以进一步包括，在536，经由该透视显示器显示该第三场景的表示。如同该第二场景的表示，应当意识到，该第三场景可以具有任何适合的配置。例如，在一些实施例中，可以在该第二场景中的表面的空间配准中显示该第三场景的表示，而在另外的实施例中，可以经由该透视显示器将该表示显示在其他 位置。 

在一些实施例中，可以将上述方法和过程绑定到包括一个或多个计算机的计算系统。具体而言，本文描述的方法和过程可以被实现为计算机应用，计算机服务，计算机API，计算机库，和／或其他计算机程序产品。 

图6示意性地示出了可以执行上述方法和过程之中的一个或更多个的非限制性计算系统600。透视显示设备104，透视显示设备402以及执行远程服务416的计算设备是计算系统600的非限制性示例。以简化的形式表示计算系统600。将被了解的是，可以使用几乎任何计算机结构，而不脱离本公开的范围。在不同的实施例中，计算系统600可以采用大型机计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、可穿戴计算机、游戏设备等的形式。 

计算系统600包括：逻辑子系统602和数据保持子系统604。计算系统600可以选择性地包括显示子系统606，通信子系统608，和／或图6未示出的其他部件。计算系统600也可以选择性地包括诸如下列用户输入设备，诸如键盘、鼠标、游戏控制器、相机、话筒和／或触摸屏等等。 

逻辑子系统602可以包括被配置为执行一个或多个指令的一个或多个物理设备。例如，该逻辑子系统可以被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或者其他逻辑钩子的一部分。可实现这样的指令以执行任务、实现数据类型、转换一个或多个设备的状态或者以其它方式得到所期望的结果。 

该逻辑子系统可以包括被配置为执行软件指令的一个或多个处理器。附加地或可替代地，该逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。该逻辑子系统的处理器可以是单核或者多核，并且在其上执行的程序可以被配置为并行或分布式的处理。该逻辑子系统可以选择性地包括遍布两个或更多设备的独立组件，所述设备可远程放置和／或被配置为进行协同处理。该逻辑子系统的一个或多个方面可以被虚拟化并且由以云计算配置进行配置的可远程访问的联网计算设备执行。 

数据保持子系统604可以包括一个或多个物理的、非瞬态的设备，这些设备被配置为保持可由该逻辑子系统执行的数据和／或指令以执行本文所述的方 法和过程。在实现这样的方法和过程时，可以转换数据保持子系统604的状态(例如，以保持不同的数据)。 

数据保持子系统604可以包括可移除介质和／或内置设备。数据保持子系统604可以包括光存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)，半导体存储设备(例如，RAM、EPROM、EEPROM等)和／或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)以及其他。数据保持子系统604可以包括具有以下下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读／写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和内容可寻址。在一些实施例中，逻辑子系统602和数据保持子系统604可以被集成到一个或多个共用设备中，例如，专用集成电路或片上系统。 

图6也示出了可移除计算机可读存储介质610形式的数据保持子系统的一方面，可移动计算机可读存储介质可用于存储和／或传输可执行以实现本文所述的方法和过程的数据和／或指令。可移除计算机可读存储介质610可以采用CD、DVD、HD-DVD、蓝光盘、EEPROM和／或软盘的形式等。 

应当意识到，数据保持子系统604包括一个或多个物理的，非瞬态的设备。相反地，在一些实施例中，本文所述的指令的各方面可以按瞬态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和／或其它形式的信息可以通过纯信号来传播。 

应当意识到，文本使用的“服务”可以是跨越多个用户会话可执行的、且对一个或更多系统组件、程序、和／或其他服务可用的应用程序。在一些实现中，服务可以响应于来自客户端的请求而在服务器上运行。 

当被包括包含时，显示子系统606可以被用于呈现由数据保持子系统604所保持的数据的可视表示。当本文所述的方法和过程改变由该数据保持子系统保持的数据，并且因此将该数据保持子系统的状态转换时，可以同样地被转换显示子系统606的状态以在视觉上表示底层数据的改变。显示子系统606可以包括利用几乎任何类型的技术的一个或多个显示设备。这种显示设备可以与逻辑子系统602和／或数据保持子系统604组合在一个共享封装内，或者这种显示设备可以是外围显示设备。 

当被包括时，通信子系统608可以被配置为将计算系统600与一个或多个 其他计算设备可通信地耦合。通信子系统608可以包括与一个或多个不同的通信协议兼容的有线和／或无线通信设备。作为非限制示例，该通信子系统可以被配置为经由无线电话网络、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，该通信子系统可以允许计算系统600经由诸如因特网之类的网络将消息发送到其他设备和／或从其他设备接收消息。 

将被了解的是，文本所述的配置和／或方法本质上是示例性的，并且这些具体的实施例或者示例并不被认为是局限性的，因为多个变体是可能的。本文所述的具体的例程或方法可以表示任何数量处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其它次序执行、并行地执行、或者在某些情况下被省略。同样地，可以改变上述过程的次序。 

本公开的主题包括所有新颖的和非显而易见的本文公开的各种过程、系统和配置，和其它特征、功能、动作和／或特性，以及其任何和所有等效物的组合和子组合。 

Claims (10)

1.一种在包括面向外的图像传感器(408)的计算设备(402)上的方法，包括：

经由所述面向外的图像传感器获取(502)第一场景的图像数据；

基于所述图像数据识别(508)表面；

响应于识别所述表面，获取(516)第二场景的表示，所述第二场景包括物理上位于所述表面后方的场景和位于与所述表面上下文相关的表面后方的场景中的一个或多个；以及

经由显示设备显示(530)所述表示。

2.如权利要求1所述的方法，其特征在于，识别所述表面包括基于来自位置传感器的位置数据和来自所述面向外的图像传感器的图像数据中一个或多个，标识所述计算设备的位置，并且基于所述计算设备的位置识别所述表面。

3.如权利要求1所述的方法，其特征在于，识别所述表面包括识别所述表面是可运动表面还是不可运动表面，并且仅当所述表面是可运动表面时显示所述表示。

4.如权利要求1所述的方法，其特征在于，所述第二场景位于与所述表面上下文相关的表面后方，并且其中识别所述表面包括通过标识包含所述表面的对象和物理上位于所述表面后方的对象中的一个或多个来确定所述表面的上下文。

5.如权利要求4所述的方法，其特征在于，获取所述第二场景的表示包括从包括与所述表面上下文相关的表面的场景的多个表示中选择所述表示。

6.如权利要求1所述的方法，其特征在于，所述第二场景物理上位于所述表面后方，并且其中所述方法进一步包括：

接收输入以获取第三场景的表示，所述第三场景物理上位于第二场景中表面的后方；

响应于所述输入获取所述第三场景的表示；以及

经由所述显示设备显示对所述第三场景的表示。

7.如权利要求1所述的方法，其特征在于，所述显示设备是透视显示设备，并且其中显示所述表示包括显示图像以增强所述表面的外观，所述图像包括在所述表面的空间配准中的第二场景的表示。

8.如权利要求1所述的方法，进一步包括检测触发以显示所述表示，所述触发包括直接语音命令、上下文触发、以编程方式生成的触发以及姿势中的一个或多个。

9.一种计算设备(402，600)，包括：

透视显示设备(404，606)；

面向外的图像传感器(408)，被配置为获取通过所述透视显示设备可观看的场景的图像数据，所述图像传感器包括一个或多个二维相机(410)和／或一个或多个深度相机(412)

被配置为执行指令的逻辑子系统(602)；以及

数据保持子系统(604)，包括存储于其上的可由逻辑子系统执行以进行以下操作的指令：

基于所述图像数据，识别(508)通过所述显示器可观看的表面；

响应于识别所述表面，获取(516)物理上位于通过所述显示器可观看的表面后方的场景和位于与通过所述显示器可观看的表面上下文相关的表面后方的场景中的一个或多个的表示；以及

经由所述透视显示器显示(530)所述表示。

10.如权利要求9所述的计算设备，其特征在于，所述指令可执行以在计算机网络上从远程设备检索所述表示，其中可执行以获取所述表示的指令包括可执行以获取由不是所述计算设备的设备之前收集的图像数据的指令以及可执行以获取由不是所述计算设备的设备收集的实时图像数据的指令中的一个或多个。

Images