CN111813226A - 使用手势和ui控制的遮挡平面通过深度遍历照片增强信息 - Google Patents

Abstract

本申请涉及使用手势和UI控制的遮挡平面通过深度遍历照片增强信息。描述了系统和方法，其获得与通过电子设备捕获的场景相关联的深度数据，获得与在电子设备的预定距离内的多个物理对象相关联的位置数据，生成被配置成在多个物理对象的一部分上方显示的多个增强现实对象，并生成与至少一个场景相对应的多个邻近层，其中相应邻近层被配置成触发与和相应邻近层相关联的AR对象相对应的辅助数据的显示而同时抑制其他AR对象。

Description

使用手势和UI控制的遮挡平面通过深度遍历照片增强信息

相关申请的交叉引用

本申请要求于2019年7月11日提交的标题为“使用手势和UI控制的遮挡平面通过深度遍历照片增强信息(TRAVERSING PHOTO-AUGMENTED INFORMATION THROUGH DEPTHUSING GESTURE AND UI CONTROLLED OCCLUSION PLANES)”的美国临时申请62/873,012的权益，其公开内容通过引用整体并入本文。

技术领域

本公开涉及在二维(2D)屏幕的用户界面中描绘的增强现实(AR)体验和内容。

背景技术

在媒体和其他内容的基于计算机的消费的情况下，向用户(查看者、参与者等)提供沉浸式体验变得越来越普遍。一个领域涉及在诸如智能手机或平板电脑的设备上呈现虚拟现实(VR)和/或增强现实(AR)环境。在AR环境中，用户可以观看屏幕，该屏幕至少呈现物理环境方面(例如，物理空间的视频或实时图像)和AR/VR方面(例如，叠加在视频或图像上的虚拟对象)以提供AR体验。

发明内容

一个或多个计算机的系统可以被配置成借助于具有在系统上安装的软件、固件、硬件或它们的组合来执行特定操作或动作，该软件、固件、硬件或它们的组合在操作中使该系统执行动作。一个或多个计算机程序可以被配置成借助于包括指令来执行特定的操作或动作，所述指令在由数据处理设备执行时使该装置执行动作。

在一个总体方面，一种用于在电子设备上提供增强现实(AR)体验的计算机实现的方法包括至少一个处理设备和存储指令的存储器，所述指令在被执行时使处理设备执行包括下述的操作：获得与由电子设备捕获的至少一个场景相关联的深度数据，获得与在电子设备的预定距离内的多个物理对象相关联的位置数据，生成被配置成在至少一个场景中的多个物理对象的一部分上方(和/或连同其)被显示的多个增强现实(AR)对象，以及生成对应于至少一个场景的多个邻近层。

在一些实施方式中，相应(例如，目标)邻近层被配置成，响应于在电子设备上检测到朝着多个AR对象中的与相应邻近层相关联的至少一个AR对象遍历(例如，通过其导航，在其内移动和/或以其他方式跨越或通过行进)至少一个场景的指示，触发与多个AR对象中的和相应(例如，目标)邻近层相关联的AR对象相对应的辅助数据的显示而同时抑制多个AR对象中的与其它邻近层相关联的AR对象。

例如，此处描述的系统和方法可以在电子设备上检测在至少一个场景内朝向多个AR对象中的与目标邻近层相关联的至少一个AR对象移动的指示，并且响应于该检测，该系统和方法可以触发与来自多个AR对象中的和目标邻近层相关联的AR对象相对应的辅助数据在目标邻近层中显示而同时抑制来自多个AR对象中的与其他邻近层相关联的AR对象的显示。

实施方式可以包括下述特征中的一个或多个。在一些实施方式中，每个AR对象被配置成提供对与该部分中的相应物理对象相对应的位置数据和辅助数据的版本的访问。在一些实施方式中，多个AR对象中的每个AR对象表示功能可见性(affordance)，该功能可见性被配置成检索并提供与每个物理对象或物理位置相关联的位置数据和辅助数据的版本。

在一些实施方式中，该方法包括生成多个邻近层，其包括确定每个AR对象之间的距离；以及基于所确定的距离和与至少一个场景相关联的深度数据，将每个AR对象分布到多个邻近层中的一个邻近层中。在一些实施方式中，相应(例如，目标)邻近层还被配置成，响应于检测到电子设备被移动到距AR对象中的与相应(例如，目标)邻近层相关联的至少一个AR对象的阈值距离内的位置，触发与和相应(例如，目标)邻近层相关联的AR对象相对应的辅助数据的显示而同时抑制与其他邻近层相关联的AR对象。

在一些实施方式中，与其他邻近层相关联的AR对象在被抑制时以折叠状态被描绘，而与相应(例如，目标)邻近层相关联的AR对象在被触发以供显示时以展开状态被描绘。在一些实施方式中，相应(例如，目标)邻近层当被触发以显示与AR对象相对应的辅助数据时被指示为活动的，相应(例如，目标)邻近层还与遮挡平面相关联，其被配置成将还原视觉处理应用于位于遮挡平面和电子设备的相机之间的前景中的其它邻近层的一部分中的一个或者多个AR对象。在一些实施方式中，多个邻近层中的邻近层中的AR对象的至少一部分被确定为在场景中处于与分布在同一邻近层中的其他AR对象不同的深度处。

在一些实施方式中，生成多个邻近层进一步包括确定多个AR对象中的两个或更多个AR对象的重叠，将多个AR对象中的重叠的两个或更多个AR对象分布到多个邻近层中的单个邻近层中，以及当单个邻近层被指示为活动的并且多个AR对象中的两个或更多个AR对象同时被触发以供显示时调整多个AR对象中的两个或更多个AR对象的放置。

所描述的技术的实施方式可以包括计算机可访问介质上的硬件、方法或过程、计算机程序产品或计算机软件。

一种或多种实施方式的细节在附图和下述描述中阐明。根据说明书和附图以及根据权利要求书，其他特征将显而易见。

附图说明

图1是根据本文所描述的实施方式的示例物理空间的第三人称视图，其中用户正在移动设备上体验增强现实(AR)环境。

图2是根据本文所述的实施方式的用于遍历深度密集的AR体验的示例分层用户界面(UI)和基于手势的系统的框图。

图3是图示根据本文描述的实施方式的UI元素在多个层中的呈现的示例图。

图4A至图4C图示基于图3的一个或多个层在场景内填充的AR内容。

图5A至图5B图示根据本文描述的实施方式的场景内填充的AR内容以及与这种AR内容的手势交互。

图6A至图6B图示根据本文所述的实施方式的场景内填充的AR内容以及与此类AR内容的UI交互。

图7是用图解法表示根据在此描述的实施方式的生成多个UI层以提供增强现实(AR)体验的过程的实施方式的流程图。

图8图示可以与这里描述的实现方式一起使用的计算机设备和移动计算机设备的示例。

旨在在各个附图中使用相似或相同的附图标记以指示相似或相同的元件或特征的存在。

具体实施方式

在二维(2D)屏幕设备上描绘的增强现实中，用户界面密度可能受到2D平面上拥挤以及AR界面深度拥挤的影响。例如，与其他内容、对象或信息紧密接近(例如，附近、接近、叠加、覆盖、重叠等)呈现的内容、对象和信息可以被认为是AR界面中的拥挤的(例如，深度密集)的内容。深度拥挤会使用户难以选择内容、对象或信息中的任何一个，而不会无意间选择AR界面中的其他元素。例如，这种深度拥挤可能给尝试访问内容和/或以其他方式与深度密集的AR界面中的元素交互的用户造成困难。为了在深度密集的AR界面中提供易于查看和访问的内容、对象和信息，本文描述的系统和技术可以向分层的AR界面(或其他用户界面)提供用于遍历(例如，导航、滚动、访问)深度密集的AR体验的基于手势的系统。

总的来说，此文档描述用于使用分层架构来提供与用户界面(UI)元素的交互以帮助用户访问和选择与物理空间中的物理对象和位置相关联的密集填充的增强现实(AR)内容的示例系统和技术。随着技术的改进以快速提供对照片增强信息的访问，本文所述的UI架构将改善面向用户的体验，以允许直观地访问与对应于物理空间中的物理对象和位置的(例如，AR界面的)UI元素相关联的所有可用信息。

通常，本文描述的UI架构可以确保将密集填充的AR内容指配给各层，以便允许清晰地呈现和用户访问AR内容。特别地，分层的架构可以根据用户与物理空间中的特定AR内容的接近度在内容的多个堆叠平面中策略性地组织与特定物理空间(例如，场景)相关联的AR内容。策略性组织可以包括生成在堆叠平面中分层的照片增强信息(例如，AR内容和物理环境的相机馈送)。

堆叠平面可以包括可以根据用户(或移动设备)到物理空间中的物理对象以及位置的接近度来访问的UI元素的各层。例如，本文描述的系统和技术可以在用户接近与UI元素相关联的特定物理对象或位置时使用分层架构来在电子设备(例如，移动设备)的二维(2D)屏幕上提供对UI元素的访问以呈现AR内容。在一些实施方式中，用户可以捏合和/或滚动以指示电子设备的屏幕上朝向物理对象或位置的特定表示的运动，这可以触发本文描述的架构来显示(或停止显示)UI元素。根据分层架构，可以配置从用户(或设备)到物理对象或位置的距离，以触发以适当的阈值距离显示AR内容。

UI元素的分层架构可以提供下述优点：当用户接近与相应物理对象和/或位置相对应的一个或多个UI元素时，允许用户通过AR体验来直观地访问与移动设备上描绘的每个UI元素相关联的AR内容。例如，本文描述的系统和技术可以组织在UI中重叠或以其他方式群聚的UI元素，以在精确的接近度检测时展开与UI元素相关联的内容。例如，UI元素可以基于物理对象或位置与访问移动设备上的AR体验的用户的接近度以分层方式被组织。这样的层可以被定义为由本文描述的架构配置的邻近层，以根据所确定的用户(或移动设备)与物理位置和/或对象的接近度对UI元素进行归类。

例如，随着用户穿过物理空间，当用户接近与多个分层的UI元素相关联的物理对象或位置时，本文所述的系统和技术可以检索或访问一个或多个邻近层以开始向用户显示AR内容。可以触发靠近用户(例如，在近距离内)的UI元素，以在移动设备上显示靠近或覆盖在物理对象或位置上的对应AR内容。远离用户的UI元素被归类到不同的邻近层中，并且因此不可以被显示(例如，可以抑制显示)直到用户接近与这样的UI元素相关联的物理对象或位置为止。在一些实施方式中，随着用户移动远离特定UI元素，这些UI元素被折叠并从显示中移除，而随着用户接近与不同UI元素相关联的新物理位置或对象可以在移动设备中显示不同UI元素。

如本文中所使用的，UI元素可以表示被呈现以向访问描绘该UI元素的AR环境的用户提供一个或多个其他UI元素、AR内容、服务和/或操作元素的AR对象。在一些实施方式中，表示AR对象的UI元素可以被称为微光、点、功能可见性等。任何形状或对象都可以表示包括可见元素和不可见元素的UI元素。

如在此使用的，提供给用户的UI元素或AR内容可以包括在移动设备上向用户显示这样的元素或内容。元素或内容的显示可以部分或全部显示。在一些实施方式中，元素和/或内容可以被显示为位于对应于元素和/或内容的场景中的对象或位置的顶部上的覆盖物(即，全部、部分或透明地覆盖)。

总的来说，贯穿本公开内容描述的实施方式可以利用高密度信息(例如，可选择的和可交互的UI元素)来增强基于相机的体验，其可以使用邻近层架构来组织并且随着用户移动穿过与AR场景相关联的物理空间被用户访问。邻近层架构可以提供被牵制在世界空间(例如，物理空间)中的展开的UI层次结构。

在一些实施方式中，本文描述的系统和方法可以允许任何数量的过程参与(在AR环境中)为场景生成和放置UI内容/UI元素。与依赖于应用来提供和放置UI元素的常规AR系统不同，本文描述的系统(例如，框架)和方法利用框架，该框架可以使用在AR计算设备上执行的邻近层来调解并生成用于建议和放置AR环境中的一个或多个场景内的UI元素的功能可见性。

图1是示例物理空间100的第三人称视角，其中用户102正在通过移动设备106的显示器来体验场景104中所示的增强现实(AR)环境。在该附图中以放大视图示出通过移动设备106的显示器查看的场景104，以便于描述。场景104可以由AR应用(图2)生成，并通过移动设备106或其他设备显示给用户102。场景104包括在物理空间100中示出的多个物理元素(例如，树、门、阳台等)的相机馈送。场景104还包括在物理空间100的图像上显示的AR对象108(例如，表示为UI元素的内容)。在一些实施方式中，AR对象108可以连同物理空间100的图像一起显示。在此示例中，AR对象108是关于对象110(例如，门)在物理空间100中的表示的UI元素，其被描绘在AR环境的场景104中表示的同一扇门上。其他对象和UI元素也是可能的。这里，场景104被显示在电子设备(例如，移动设备106)上。通常，场景104可以表示在移动设备106的成像设备的视野内捕获的物理空间100的一部分。用户被示出在位置112处。

如图1中所示，用户102可能已经访问移动设备106并且开始AR体验。用户102可以开始行走、转向或以其他方式查看物理空间中的新位置和对象。随着用户离特定位置和对象越来越近，可以触发UI元素，并且可以在场景104中描绘新AR内容。因为位置112处的用户正在接近对象110(例如，门)，所以本文所描述的系统和技术可以触发与对象110相关联的AR内容的显示。例如，可以将与对象110相关联的UI元素布置在邻近层中，该邻近层在检测到用户到对象110的接近度时触发AR对象108的显示。AR对象108指示与对象110相关联的门是供应咖啡和茶的名叫BB Coffee的企业。另外，AR对象108指示针对该企业的评级、指示移动设备106到该企业的距离以及要找到该企业的跟随方向。可以显示其他内容，并且可以以任何形状、形式和大小来描绘任何或所有内容。

在以上示例中，如果用户102继续沿着人行道114向下走，则可以触发其他UI元素以显示其他AR内容(未示出)。例如，如果用户步行到或靠近位置116(与场景104中的UI元素118相对应)，则可以向用户提供(例如，显示)与位置116有关的附加信息，因为随着用户使移动设备106靠近位置116用户可能已经触发不同的邻近层。此外，一旦用户移动距对象110更远的距离，触发AR对象108的邻近层可以被触发隐藏AR对象108。以这种方式，可以根据检测到的用户/设备到与物理环境中的对象或位置相关联的UI元素的接近度来展开和折叠邻近层。

尽管本文在AR内容的放置方面描述了许多示例，但是提供UI元素/UI内容的AR内容的这种放置可以包括AR内容的初始放置、跟踪、移动等。在一些实施方式中，可以使用特定关系和/或规则来执行初始放置。在一些实施方式中，AR内容的初始或更新放置可以被自动化，或者可以是基于用户输入的，包括但不限于拖动、点击放置等。

图2是根据本文描述的实施方式的用于遍历深度密集增强现实(AR)体验的示例分层用户界面(UI)和基于手势的系统200的框图。系统200可以是(或可以访问)随着用户接近物理空间中的特定位置或对象时可以生成增强现实(或混合现实)环境并提供分层的UI元素的电子设备。在一些实施方式中，系统200是由用户在物理空间中操作的移动设备。用户可以使用移动设备来访问内容(例如，通过网络从服务器提供的虚拟内容)。使用移动设备访问内容可以包括生成、修改、移动和/或选择来自于服务器设备、来自于移动设备上的本地存储器或来自于连接到系统200或具有对可访问系统200的网络的访问权限的另一设备的AR内容、虚拟现实(VR)内容和/或混合现实MR内容。

如图2中所示，移动设备(例如，系统200)包括用户界面系统202。用户界面系统202至少包括UI元素生成器206、AR内容208、输出设备210、输入设备212和UI层214。通常，UI元素生成器206可以生成包括但不限于遮挡平面216和邻近层的UI层。另外，UI元素生成器206可以生成并配置UI元素(例如，AR内容、微光、功能可见性、数据、按钮、图形、动画、图像、视频等)以显示在电子设备上。

在一些实施方式中，UI元素生成器206生成UI元素作为特定形状、对象、微光、功能可见性、点、像素等。在一些实施方式中，UI元素生成器206可以为邻近层的UI对象以及靠近用户的对象生成更大的形状。类似地，UI元素生成器206可以为用于邻近层的UI对象和远离用户的对象生成较小的形状。以这种方式，用户可以在更加靠近用户的UI元素和更加远离用户的UI元素之间进行区分。

UI元素生成器206可以取决于UI元素驻留在哪个邻近层中来生成具有相似大小和形状的UI元素。例如，UI元素生成器206可以为活动邻近层中的任何UI元素生成较大的圆圈。然后，UI元素生成器206可以为不活动邻近层中的任何UI元素生成较小的圆圈。用户可以选择任意一个大小的圆圈，但是可以提供更好的场景视图，因为远处的UI元素的大小较小，其指示这些UI元素比其他较大的UI元素更加远离用户。

UI层214可以包括遮挡平面216和邻近层218。其他层当然是可能的。如本文中所使用的，遮挡平面216表示软件构造，其起到剔除(例如，隐藏或移除)或以其他方式视觉上变小与UI元素相关联的前景和/或隐藏UI元素和与UI元素相关联的AR内容的作用。在一些实施方式中，遮挡平面起到将UI元素隐藏在活动邻近层内的作用。在一些实施方式中，遮挡平面起到隐藏不在活动邻近层中的所有UI元素的作用。因此，被定义为在遮挡平面的后面的AR内容将不会渲染给用户，除非与AR体验相关联的用户和/或设备触发遮挡平面的移除或修改。

在一些实施方式中，遮挡平面216被配置成对位于特定遮挡平面216和移动设备106的相机之间的前景中的不活动邻近层中的一个或多个AR对象应用还原视觉处理。

邻近层218表示定义场景中的可用UI元素的多个平面。邻近层可以是活动的，也可以是不活动的。在一些实施方式中，特定场景的UI元素被散布在邻近层218之中。在用户(或电子设备)正在接近UI元素在邻近层中的特定接近度内时，邻近层可以变为活动的。活动邻近层可以呈现与活动邻近层中的UI元素相关联的信息。不活动邻近层可能不会呈现与在此类层中的UI元素相关联的信息。UI元素可以具有折叠状态或展开状态。在任何给定时刻，可以展开活动邻近层中的每个UI元素，而不活动邻近层中的每个UI元素保持折叠。

AR内容208可以包括流送或分布到一个或多个计算设备的音频/视频信号。AR内容208还可以包括AR应用224和/或在系统200上运行(执行)以生成3D场景、音频信号和/或视频信号的其他应用和算法(或从其中检索)。AR内容208可以被分布或发送到一个或多个计算设备，诸如移动设备106。在示例实施方式中，AR内容208和/或辅助数据225包括三维场景、事实、可执行内容、评论、地址详细信息、基于时间的列表、书籍段落、参考资料和/或图像、视频和其他交互式内容。

在一些实施方式中，AR应用224可以在AR内容208的提供之内或与其相关联地提供辅助数据225。在一些实施方式中，辅助数据225是AR内容208。辅助数据225可以表示基于为特定场景定义的邻近层218在系统200指示的时间向用户显示的非位置数据。辅助数据225可以表示由第三方信息提供者经由AR应用224提供的数据。例如，辅助数据225可以包括广告、事实、可执行内容、指令、方向和/或选项、可以从第三方信息提供商提供的任何和所有这些信息。辅助数据225可以表示从因特网收集的关于物理位置或物理对象的数据。在一些实施方式中，辅助数据225可以表示从信誉良好的在线源收集的信息。辅助数据225可以表示用户在移动设备106上访问的先前数据。辅助数据225可以表示使用深度机器学习和/或神经网络226经由人工智能算法收集的信息，以生成可行动的选项并将其提供给访问移动设备106的用户。

输出设备210可以包括例如用于视觉输出的显示器、用于音频输出的扬声器等。输入设备212可以包括例如可以接收触觉用户输入的触摸输入设备、可以接收可听用户输入的麦克风等。

系统200还包括跟踪系统220。跟踪系统220可以跟踪AR环境中的用户移动、移动设备移动和/或VR/AR对象移动。跟踪系统220至少包括手势模块222、AR应用224，并且可以利用神经网络226进行预测性跟踪等。

神经网络226可以包括检测器，该检测器对图像进行操作以计算例如面部位置，以随着用户在物理空间中移动时对正在移动的用户的预测位置进行建模。例如，这样的网络226可以用于相对于在相机馈送中捕获的正在移动的用户放置AR/MR内容。在一些实施方式中，系统200不使用神经网络226。

系统200还包括感测系统230。在操作中，(例如，操作系统200的)移动设备也可以包括任何数量的传感器和/或设备。例如，移动设备可以包括(或可以访问)例如光传感器、惯性测量单元(IMU)传感器232、音频传感器234、图像传感器236、图像分析器237、深度传感器238(例如，产生深度数据239)、相机、距离/接近度传感器(未示出)、位置传感器(未示出)和/或其他传感器和/或传感器的不同组合。系统200中包括的一些传感器可以提供对移动设备的位置检测和跟踪。系统200中的一些传感器可以提供对物理环境的图像的捕获，以显示在用户界面系统202的组件上。

IMU传感器232可以起到基于IMU传感器232进行的测量针对移动设备检测3D空间中的3D定向的作用。IMU传感器232可以包括一个或多个加速度计、陀螺仪、磁力计和其他此类传感器。通常，IMU传感器232可以例如检测移动设备的运动、移动、速度和/或加速度。在一些实施方式中，例如，可以基于由IMU传感器232提供的数据来检测移动设备106的姿势。例如，基于检测到的姿势，系统200可以更新在移动设备的屏幕中描绘的内容以反映随着移动设备被移动时的该设备的已改变的姿势。

图像传感器236可以检测与相机捕获相关联的背景数据的变化。相机241可以包括面向后方捕获模式和面向前方捕获模式。面向前方捕获模式可以捕获包括任何背景风景的用户。系统200可以用于检测移动并随着用户与移动设备一起移动时提供特定UI元素，并在与移动相对应的位置中适当地描绘AR内容。

AR应用224可以使用图像分析器237和/或图像缓冲器(未示出)基于AR内容208来生成图像以供显示在移动设备上。例如，相机241捕获的一个或多个图像可以存储在图像缓冲器中，以供用户在捕获和存储的图像内放置图像内容和/或AR内容。图像分析器237可以确定图像的各种属性，诸如可以在其上定位AR内容的UI表面和对象的位置。在一些实施方式中，图像分析器237可以分析由相机241捕获的图像，作为在由捕获的图像表示的数据中搜索和获得附加相关信息的基础。系统200可以利用这样的相关信息来提供相关事实、媒体以及与AR环境中呈现的特定对象相关联的其他UI内容。

深度数据239可以由一个或多个深度传感器238捕获。例如，深度传感器238可以捕获深度数据以用在AR内容在移动设备106上的3D呈现中。可以将这种深度传感器238与AR应用224一起视为感测系统230中的深度捕获组件的一部分，以用于表征由相机241捕获的场景，以便在3D显示器上正确地表示它们。跟踪系统220可以跟踪用户头部的位置和定向，以便可以以与用户的当前视角相对应的外观来渲染3D呈现。

多种类型的深度感测或深度捕获中的任何一种都可以用于生成深度数据239。与从相机241捕获的内容相关联的检测到的信号可以被处理以生成与一些或全部场景对应的深度数据239。深度数据239可以用于评估在其中放置UI元素(例如，微光、AR内容、功能可见性等)的哪个邻近层。

深度数据239可以包括或基于关于场景的反映深度传感器(例如，深度传感器238)与该场景中的对象之间的距离的任何信息。对于与场景中的对象相对应的图像中的内容，深度数据239反映到该对象的距离(或深度)。例如，相机241和深度传感器238之间的空间关系可以是已知的，并且可以用于将相机241捕获的图像与来自深度传感器238的信号相关以生成用于图像、场景和/或相机馈送的深度数据239。

GPS 240可以提供移动设备200的全球定位检测。可以使用GPS 240确定用户的位置。可以经由GPS 240确定场景中和场景之外的用户周围的位置。AR应用224可以基于经由GPS 240检索的数据来提供AR内容。

(在移动设备106上操作的)系统200也可以包括控制系统242。控制系统242可以包括例如功率控制设备、音频和视频控制设备、光学控制设备和/或其他此类设备和/或设备的不同组合。

用户界面系统202、跟踪系统220、感测系统230和/或控制系统242可以取决于特定的实施方式而包括更多或更少的设备，并且这些系统中的每一个可以具有与图2中所示的不同的物理布置。系统200还可以包括一个或多个处理器(例如，与系统202、220、230和/或242、存储器246、相机241和通信模块248通信的CPU/GPU 244)。通信模块248可以提供(操作系统200的)移动设备和其它外部设备之间的通信。处理器244被配置成执行指令(例如，计算机程序)以便于执行特定任务。在一些实施方式中，处理器244中的至少一个执行指令以揭露可用切片中的深度密集UI元素的交互性，该可用切片可以根据用户/设备到相应的物理世界位置和/或对象的接近度而折叠和展开。遍及系统200中的组件当中的通信和交互可以利用存储器246。

另外，系统200可以使用或可以访问一个或多个VR/AR/MR外围设备(未示出)。示例外围设备可以包括任何数量的控制器、计算设备、头戴式显示设备、相机、扬声器、跟踪系统和/或与系统200通信的其他设备。

在操作中，系统200可以被配置成在来自于诸如移动设备106的启用AR的设备的实时相机馈送中的物理空间中的它们相关联的真实世界对象和/或位置的上方(例如，在其上面、被覆盖在其上、或者其结合等等)显示UI元素。然后，系统200可以将这些真实世界的对象和/或位置归类成邻近层。随着移动设备106靠近或远离物理空间中的每个各自的真实世界对象和/或位置时，这样的层被系统200展开或折叠。因此，系统200在可用切片中(即，使用邻近层架构)揭露深度密集的UI元素的交互性。可以以视觉上和手势上直观的方式将切片显示给用户，从而提供优于提供AR内容的常规系统的优点。此优点使用户能够以可用的方式访问AR体验所提供的全部交互性，而不必降低AR体验所提供给用户的能力。

图3是图示根据本文描述的实施方式的UI元素在多个层中的呈现的示例图。通常，特定邻近层中的UI元素可能不是严格共面的，而是可能在深度上因预定义的公差而紧密相关。公差可以是系统定义的、用户定义的、应用定义的和/或以其他方式可编程的。

在一些实施方式中，(到用户的设备的)最近的邻近层中的UI元素开始展开，而另外的邻近层开始折叠。活动邻近层可以在活动邻近层之前具有遮挡平面。例如，在图3的堆叠中，遮挡平面308在活动邻近层310之前。其他堆叠方向和布局是可能的。例如，遮挡平面可以剔除或对位于遮挡平面和相机之间的前景中的邻近层中的所有UI元素应用还原视觉处理。

此处示出的层包括邻近层302、邻近层304、邻近层306、遮挡平面308、邻近层310、邻近层312和邻近层314。

层302-314可以被折叠、展开、不活动的、活动的、前景和/或背景。如所示的，邻近层302是不活动的前景邻近层，其包括多个折叠的UI元素。例如，折叠的UI元素包括UI元素316、UI元素318和UI元素320。UI元素316、318和320可能已经被系统200基于检测到的彼此之间的距离折叠并组织到相同的邻近层302中。例如，系统200可以基于元素之间的预定义公差或阈值距离来确定应将特定UI元素分组。

如图3中所示，邻近层304和306表示不活动的前景邻近层，其分别包括UI元素322和UI元素324。UI元素316、318、320、322和324中的每个元素都是折叠的UI元素，这些元素将对用户隐藏，直到用户接近与每个相应(例如，目标)邻近层302-306相关联的物理空间中的对象或位置为止。不活动的前景邻近层302-306可以具有与不活动的背景邻近层不同的视觉外观和/或处理。例如，不活动邻近层可以包括不可见(或几个像素大小)的UI元素。在另一个示例中，不活动邻近层可以包括模糊的UI元素，直到检测到邻近事件为止。UI元素的模糊可以是递减的视觉处理，这可以是用户忽略内容的指示。在一些实施方式中，不活动邻近层可以包括被最小化(例如，大约8个像素乘以8个像素)和/或具有特定的低不透明度(例如，大约30％的不透明)的UI元素。在一些实施方式中，例如，如果未查看、选择或展开那些特定UI元素以提供与特定UI元素相关联的辅助数据，则活动邻近层还可以包括具有上述递减的视觉处理的UI元素。

遮挡平面308被配置成显示、隐藏或减小一个或多个UI元素的大小或形状。在此示例中，遮挡平面308正在启用展开的UI元素326的渲染。在该示例中，遮挡平面308可能隐藏或混淆任何数量的其他UI元素(未示出)，所述其他UI元素未触发用户/移动设备在特定隐藏UI元素的阈值距离内的指示。

邻近层310是活动邻近层。层310包括展开的UI元素328。UI元素328描绘可以作为AR内容插入到在移动设备上表示的物理空间的场景中的信息。在他的示例中，AR内容包括有关前往市场街、和拉古纳街和北角凡尼斯街的公交时刻表的信息。

通常，活动邻近层以展开的视图显示给用户。在一些实施方式中，UI元素将被展开，使得用户可以查看与每个相应元素相关联的AR内容。用户可以通过在AR内容上进行选择、移动、启航、捏合、轻敲等来选择AR内容，与其交互或以其他方式访问该AR内容。在一些实施方式中，用户102可以在移动设备106的屏幕上在展开的UI元素上方执行滑动手势或捏合手势，同时显示与活动邻近层中的UI元素相关联的AR内容。在这样的示例中，活动邻近层可以在其邻近层内褪去或从屏幕上移除到折叠模式。另外，例如，类似于UI元素318，UI元素326可以恢复为较小的形状。在一些实施方式中，将UI元素326放置在折叠模式下也可以使UI元素326模糊，以在继续行走并与表示物理空间的场景的其余部分交互时向用户提供聚焦感。

当活动邻近层310被折叠时，可以选择另一个邻近层并将其呈现为活动邻近层，在该新活动邻近层中包括与UI元素相关联的任何AR内容。在一些实施方式中，在新活动接近层中展开一个或多个UI元素。可以为在新活动邻近层中展开的一个或多个UI元素呈现附加信息。用户可以继续在其各自的(例如，目标)邻近层中滑动UI和/或以其他方式与UI元素交互以折叠和展开UI元素。例如，用户在继续向不活动接近层312移动，这将在系统200检测到用户(例如，移动设备106)在物理空间中的位置或对象(其对应于例如UI元素330)的阈值距离内时触发层312变为活动接近层。然后UI元素330将展开以描绘与位置或对象相关联的信息和/或AR内容。当层312变为活动时，活动邻近层310也将变为不活动。类似地，例如，当用户向表示UI元素332的物理对象或物理位置移动时，不活动的背景邻近层314可以变为活动的。然后，可以在移动设备106的屏幕中向用户呈现与UI元素332相关联的AR内容。

在一些实施方式中，当UI元素被展开时，展开的UI元素可以触发移动设备显示器上的相机馈送放大。此放大可用于为用户指示物理空间中的向前运动。

在一些实施方式中，UI元素生成器206可以通过访问特定UI元素之间的距离来生成邻近层302。例如，如果确定UI元素316、318和320在彼此的阈值距离内(在表示与UI元素316、318和320相关联的对象或位置的对应物理空间中)，则系统200可以确定将UI元素316、318和320放置在同一邻近层302中。在该示例中，系统200可以检索与场景的图像相关联的深度数据225。深度数据225可以用于确定UI元素322和324在阈值距离之外。在一些实施方式中，阈值距离可以为大约一英尺。在一些实施方式中，阈值距离可以为大约一英尺至大约五英尺。在一些实施方式中，阈值距离可以是大约四英尺到大约十英尺。通常，阈值距离可以基于在特定场景中表示的总距离可编程。例如，位置离用户越远，阈值距离间隔可能越大。

图4A图示基于图3的一个或多个层在场景内填充的AR内容。系统200可以在来自诸如移动设备106的启用AR的设备的实时相机馈送中的物理空间中的其相关联的真实世界对象和/或位置上方显示任何数量的UI元素(例如，AR内容)。然后，系统200可以将这些真实世界的对象和/或位置归类到邻近层中。当移动设备106靠近或远离物理空间中的每个相应的真实世界对象和/或位置时，这样的层被系统200展开或折叠。因此，系统200在可用切片中(即，使用邻近层架构)揭露深度密集的UI元素的交互性。可以以视觉上和手势上直观的方式将切片显示给用户，从而提供优于提供AR内容的常规系统的优势。

如图4中所示，用户可以正在操作移动设备106并且经由AR应用224访问AR内容以渲染场景400A。相机可以在移动设备106的显示器上提供图像馈送，如场景400A所示。系统200还可以评估并提供与用户可用的AR内容有关的特定UI元素。AR内容可以指示供用户查看和选择的信息。系统200评估相机馈送/场景400A的视图内可用的UI元素。评估可以包括针对每个UI元素确定在其中指配相应UI元素的邻近层。

在所描绘的场景400A中，系统200确定第一UI元素404和第二UI元素406可用。在此示例中，系统200将UI元素404和406都示出为可选图标，其指示哪些信息可以位于每个UI元素内。例如，第一UI元素404指示饮料可在与图标/UI元素404相对应的位置处用于购买。第二UI元素406指示公共汽车站位于与图标/UI元素406相对应的位置处。

系统200可以提供和更新与场景400A中的特定UI元素相关联的指令和/或方向。例如，指令408指示用户可以在场景中复制并保存文本或其他内容。

在某一时刻，访问移动设备106的用户可以指示由UI元素406指示的公交线路是感兴趣的。用户可以选择表示元素406的图标提供(例如显示)与公交线路相关联的附加信息(例如，附加AR内容)。提供UI元素404和406以及场景400A的底层架构(例如，系统200)可以接收用户手势，并且如果用户朝着特定UI元素移动，则可以折叠或展开邻近层。响应于用户对UI元素406的选择，系统200可以在UI元素406上放大，同时展开关于与UI元素406相关联的物理位置可用的附加信息。

图4B图示基于图4A中的UI元素406的选择而放大的填充在移动设备106上的场景400B内的UI内容/AR内容。这里，基于该选择，场景400A已被更新/修改为场景400B。因为用户对UI元素406的选择，所以系统200提供有关与UI元素406相关联的公交线路的附加信息410。当用户做出手势(例如，垂直滑动、捏合手势等)或以其它方式与UI元素交互时，相机视图缩放可能会改变。如果用户移动到与用户在选择UI元素406之前所驻留在的邻近层不同的邻近层相关联的位置，则邻近层的活动/不活动状态也可能会改变。此外，UI元素的折叠/展开状态可能会随着用户选择或在物理空间内移动时(通过移动设备106的运动检测到)而改变。可能会发生其他视觉效果，以帮助用户理解在移动设备106上呈现的场境或信息。

在图4B中描绘的示例中，在现在被展开的UI元素406的位置处向用户提供附加地址信息410。如果用户进一步与附加信息410交互，则系统200还可以在移动设备106上所示的UI的另一区域中提供附加信息。例如，响应于选择14/48图标414，在区域412中向用户示出附加链接和内容。还可以提供过渡动画来传送随着AR内容改变时AR内容发生了什么，以进一步帮助用户。

在一些实施方式中，用户手势或UI交互可以导致放大或缩小。当用户触发放大时，相机视图可以放大并在移动设备106上描绘放大。此外，活动邻近层中的UI元素可能折叠，并且活动邻近层然后可能变为不活动，而深度上的下一个邻近层变为活动的。当深度上的下一个邻近层变为活动的时，可以展开与该邻近层相关联的UI元素。

视觉效果可以伴随此用户交互。例如，在深度上更靠近活动邻近层的邻近层中的UI元素可能会模糊。当用户触发缩小时，相机视图可以缩小并在移动设备106上描绘缩小。在缩小之后，活动邻近层UI元素折叠，并且活动邻近层将变为不活动的，而在深度上的下一个最近的邻近层变为活动的并且其UI元素被展开。

图4C图示基于图4B中提供的内容的附加选择放大的填充在移动设备106的AR环境内的UI内容。在此，基于该选择，场景400B已被更新为场景400C。例如，用户可能通过选择路线416来接收估计的公交时间到达来指示路线48是感兴趣的。用户也可以开始朝向由UI元素406(图4A)指示的公共汽车站步行。作为响应，系统可以开始提供可能在用户的阈值距离之内的附加信息和其他UI元素。例如，移动设备106可能正在接近UI元素418处的靠近用户的踏板车租赁。系统200可以基于对公交线路信息的选择来确定用户对交通感兴趣，并且可以通过提供在该地区可用的附加交通服务来做出响应。在此示例中，踏板车租赁可能最近已经变得可用(即，另一个用户在与用户的阈值接近度范围内结束租赁会话)。作为响应，系统200呈现UI元素418以供用户消费。随着用户走近由UI元素418指示的踏板车租赁时，当前活动邻近层可能会折叠，并且新邻近层可能会指示为活动的。

在一些实施方式中，可以基于与用户相关联的场境或相关性来向用户显示特定UI元素(例如，AR对象)。例如，如果用户正在寻找交通选项，则可以在移动设备的屏幕中向用户显示其他交通UI元素。

在一些实施方式中，基于对用户可能正在寻找特定位置、对象或信息的确定，系统200可以描绘图标(例如，图4A的UI元素406中的公共汽车图标)而不是通用内容(例如，图5A中的圆圈UI元素504)。

图5A图示场景500A内填充的AR内容以及与这种AR内容的手势交互。例如，场景500A可以被渲染在移动设备106上。系统200可以在来自诸如移动设备106的启用AR的设备的实时相机馈送中的物理空间中的其关联的真实世界对象和/或位置上方显示任何数量的UI元素(例如，AR内容)。然后，系统200可以将真实世界对象和/或位置归类到邻近层。当移动设备106靠近或远离物理空间中的每个相应的真实世界对象和/或位置时，这样的层被系统200被展开或折叠。

如图5A中所示，用户可能正在操作移动设备106并经由AR应用224访问AR内容。相机241可能正在将图像馈送提供在移动设备106的显示器上，如通过场景500A所示。系统200还可以评估并提供与对用户可用的AR内容有关的特定UI元素。AR内容可以指示供用户查看和选择的信息。系统200评估在相机馈送/场景500A的视图内可用的UI元素。评估可以包括针对每个UI元素确定在其中指配相应UI元素的邻近层。

在所描绘的场景500A中，AR内容至少包括UI元素504、UI元素506、UI元素508、UI元素510、UI元素512、UI元素514和UI元素516。UI元素508-516处于不活动邻近层中。UI元素504和506处于活动邻近层中，并且因此在场景502中被最大地示出。系统200评估UI元素504和506，并确定元素504和506一起属于邻近层。例如，系统200可以确定与UI元素504和506相对应的位置/对象在相距预定阈值距离之内并且因此被分组到相同的邻近层。

UI元素508-516均位于不同邻近层中。系统可能已经确定UI元素508-516中的每一个相距足够远以不共享邻近层。另外，因为UI元素508-516更加远离元素504和506(以及用户/移动设备106)，所以系统200可能已经指示UI元素508-516应该被表示为较小的元素。因此，场景500A中从用户到人行道末端的每个UI元素都小于先前的UI元素。元素的大小可以向用户指示与UI元素关联的信息与比另一个更大的UI元素更加远离用户的位置或对象有关。

在某些时候，用户可能希望与UI元素进行交互。用户可以选择场景中描绘的任何UI元素。例如，如果用户选择不活动邻近层中的UI元素，则系统200可以修改场景(未示出)以缩放到场景中的与所选择的UI元素相关联的位置。相反，如果用户选择活动邻近层中的UI元素(例如，元素504或元素506)，则系统200可以提供附加信息。

图5B图示响应于用户选择UI元素504而在场景500B内填充的附加信息(例如，AR内容)。例如，用户可以用他们的手指向上滑动(或捏合或以其他方式选择前进至UI元素504中或靠近UI元素504)。作为响应，除了其他信息之外，系统200可以显示附加AR内容，诸如指示UI元素504是咖啡店的AR内容520。在此，可以从场景500A放大移动设备106中的提供给用户的相机馈送(例如，视图)。

如果用户继续使用移动设备106沿着人行道行走，则当前邻近层和任何相关联的UI元素可能会折叠和模糊。可以将下一个最接近的邻近层指示为活动的，从而展开与该邻近层相关联的UI元素。类似地，用户可以简单地在移动设备106上放大以查看附加内容和/或UI元素，而不是走近物理空间中的物理对象和虚拟空间中的UI元素。

图6A图示根据本文描述的实施方式的场景600A内填充的AR内容以及与这种AR内容的UI交互。类似于图5A，场景600A可以被渲染在移动设备106上。系统200可以在来自于诸如移动设备106的启用AR的设备的实时相机馈送中的物理空间中的它们相关联的真实世界对象和/或位置上方显示任何数量的UI元素(例如，AR内容)。然后，系统200可以将这些现实对象和/或位置归类到邻近层中。随着移动设备106更加靠近或远离物理空间中的每个相应的真实世界对象和/或位置时，这样的层被系统200展开或折叠。

如图6A中所示，用户可能正在操作移动设备106并经由AR应用224访问AR内容。相机241可以在移动设备106的显示器上提供图像馈送，如通过场景600A所示。系统200还可以评估并提供与对用户可用的AR内容有关的特定UI元素。AR内容可以指示供用户查看和选择的信息。系统200评估在相机馈送/场景600A的视图内可用的UI元素。评估可以包括针对每个UI元素确定在其中指配相应UI元素的邻近层。

在所描绘的场景600A中，AR内容至少包括UI元素504和UI元素506，也如图5A中所描述的。类似于图5A还示出附加UI元素。在场景600A中，向用户呈现滑块工具602。用户可以向上拖动滑块工具602以在场景600A中进行深度遍历。

例如，如果用户选择滑块工具602并向上拖动，则系统200可以修改场景(未示出)以缩放到场景中与滑动工具602上的所选择的位置相关联的位置。如图6B中所示，用户向上移动滑动工具602。系统200缩放相机视图，当前层的UI元素折叠并且模糊或消失(在UI元素506的情况下)，并且下一个UI元素展开(元素504现在描绘附加AR内容604，其详述关于在场景600B中捕获的物理位置的信息)。这里，可以从场景600A放大在移动设备106中提供给用户的相机馈送(例如，视图)。

如果用户继续使用移动设备106在人行道上行走，则当前邻近层和任何关联的UI元素可能会折叠和模糊。可以将下一个最近的邻近层指示为活动的，从而展开与该邻近层相关联的UI元素。

图7是根据在此描述的实施方式的用于生成多个UI层以提供增强现实(AR)体验的过程的实施方式的流程图。在此示例中，多个UI层可以与由系统200生成并且在相应(例如，目标)邻近层附近的移动设备处检测到事件时被触发以显示的堆叠的(例如，分层的)邻近层有关。关于图2中的系统200的电子设备处的示例实施方式描述过程700，但是将会理解，该方法可以在具有其他配置的系统上实现。

在块702处，过程700可以包括获得(例如，接收)与由电子设备捕获的至少一个场景相关联的深度数据。例如，相机241可以捕获围绕访问系统200的电子设备(例如，移动设备106)的用户的一个或多个场景。场景可以被渲染以供用户查看。场景可以包括由相机241捕获的物理位置和物理对象。此外，系统200可以将AR对象和/或其他AR内容放置在场景中的物理位置和物理对象上。用户可以通过在电子设备上运动手势或通过使移动设备穿过用户周围的物理环境(例如，在行走时)来细读AR内容。

在块704处，过程700可以包括获得(例如，接收)与电子设备的预定距离内的多个物理位置或物理对象相关联的位置数据。例如，系统200的电子设备可以利用GPS 240、图像传感器236、深度传感器238以及跟踪系统220中的任何一个或全部来获得(例如，接收)位置数据。位置数据可以包括实际的GPS坐标、地图、深度数据239、坐标和/或关于物理位置和/或物理对象的其他基于位置的数据。

在块706处，过程700可以可选地包括：获得(例如，接收)与系统200的电子设备的预定距离内的物理位置或物理对象的至少一部分相关联的辅助数据。例如，系统200可以确定哪些物理位置和/或物理对象在电子设备的预定距离内。这样的位置和对象可以被指示为足够接近用户，以至于用户可能希望查看关于位置和对象的细节。在一些实施方式中，随着用户接近特定邻近层时，可以获得辅助数据。

在块708处，过程700可以包括生成被配置成在至少一个场景中的物理位置或物理对象的一部分上显示的多个增强现实(AR)对象。AR对象表示贯穿本公开描述的UI元素。UI元素(即，AR对象)被配置成提供对对应于该部分中的相应物理位置或物理对象的位置数据和辅助数据的版本的访问。例如，系统200可以确定可能对在移动设备上显示给用户有用的位置数据，同时不显示不是用户友好的或者根本太麻烦而不能在移动设备屏幕上显示的实际坐标或位置数据。因此，位置数据和辅助数据的版本可以是实际数据的压缩和格式化版本。

在块710处，过程700可以包括生成与至少一个场景相对应的多个邻近层。邻近层可以起到在没有使用户和重叠的内容过分拥挤且淹没用户和重叠的内容的情况下在用户方便的时间显示AR对象以及辅助和/或位置数据的作用。生成邻近层可以包括确定每个AR对象之间的距离。例如，系统200可以使用位置数据来确定特定AR对象(例如，UI元素)之间的距离。距离和获得的深度数据239可以用于确定哪些AR对象属于至少一个场景中的哪个邻近层。然后，该距离可以用于将每个AR对象分布到多个邻近层之一中。

在一些实施方式中，生成多个邻近层进一步包括确定多个AR对象中的两个或更多个AR对象的重叠，将多个AR对象中的重叠的两个或更多个AR对象分布到多个邻近层中的单个邻近层中，以及在单个邻近层被指示为活动并且同时触发两个或多个AR对象以供显示时，调整多个AR对象中的两个或多个对象的放置。这样可以确保不会向用户提供因拥挤、重叠等而难以选择的AR对象(例如，UI元素)。

在块712处，过程700可以确定是否检测到场景的遍历指示。如果系统200未检测到这样的指示，则在块714处系统200可以为用户保留(例如，存储，保存)当前邻近层视图。

如果系统200反而在电子设备上检测到遍历至少一个场景的指示，则系统200可以在块716处显示(例如，使显示、触发显示)与和通过检测到的指示触发的特定邻近层相关联的AR对象相对应的辅助数据。例如，电子设备的用户可以提供滑动、捏合和/或其他输入以朝向与特定邻近层相关联的AR对象中的至少一个AR对象移动。类似地，电子设备的用户可以朝向特定邻近层中的AR对象中的至少一个AR对象移动，并且系统可以检测用户移动(例如，电子设备移动)。例如，特定邻近层可以被配置成，响应于检测到电子设备被移动到距与特定邻近层相关联的至少一个AR对象的阈值距离内的位置，触发与和特定邻近层相关联的特定对象相对应的一些或全部辅助数据的显示，同时抑制查看与其它邻近层相关联的AR对象。

响应于检测到移动的指示，系统200可以选择靠近用户的特定邻近层以触发与和特定邻近层相关联的AR对象相对应的辅助数据的显示，同时抑制与其他邻近层相关联的AR对象。在一些实施方式中，系统200可以显示辅助数据的一部分。

在一些实施方式中，与其他邻近层相关联的AR对象在被抑制时以折叠状态被描绘。例如，处于折叠状态的AR对象可以是点、微光、透明的和/或以其他方式从展开状态减小大小和内容。折叠的UI对象(例如，AR对象)的示例在图5A中示出在UI元素508、510和512处，仅举几个例子。在一些实施方式中，与相应的(例如，目标)邻近层(指示为活动的)相关联的AR对象当被触发以供显示时以展开状态被描绘。如图5A中所示，展开状态可以包括诸如UI元素504和506的放大的UI元素。展开状态的另一个示例可以包括具有附加信息520的UI元素504，如图5B中所示。

在一些实施方式中，当被触发以显示与AR对象相对应的辅助数据时，特定邻近层被指示为活动的。这样的邻近层可以进一步与遮挡平面相关联。遮挡平面可以被配置成将还原视觉处理应用于位于遮挡平面和电子设备的相机之间的前景中的其他邻近层的一部分中的一个或多个AR对象。例如，电子设备的用户可能已经移动穿过(或移动到显示器的触发之外)的任何邻近层可以被遮挡平面遮挡。遮挡可能是对内容的全部、部分或减少。

在一些实施方式中，邻近层中的AR对象(例如，UI元素)可以不是严格共面的。AR对象的深度可能相差特定公差。因此，多个邻近层中的特定邻近层中的AR对象的至少一部分可以被确定为在场景中处于与分布在同一邻近层中的其他AR对象不同的深度处。

在一些实施方式中，多个AR对象(例如，UI元素)中的每个AR对象(例如，UI元素)表示功能可见性，其被配置成检索并且提供与每个物理对象或物理位置相关联的位置数据的版本和辅助数据的版本。电子设备的屏幕中描绘的数据量可以是设备配置的、用户配置的、系统配置的和/或AR环境配置的。

在一些实施方式中，例如，可以基于与UI元素相关联的内容是赞助或受欢迎的指示来描绘特定AR对象(例如，UI元素)。可以对这些指示进行评分和/或加权，以便于确定哪些可用UI元素要显示给特定用户。

在一些实施方式中，用于显示UI元素(例如，AR对象)的特定阈值可以基于当所有UI元素(例如，AR对象)处于展开状态时被评估的重叠阈值。如果确定重叠，则可以将特定UI元素(例如，AR对象)移动到其他邻近层中，或者在用户走近每个相应的UI元素(例如，AR对象)时以其它方式在UI中移动以容纳内容的全视图。

图8示出示例计算机设备800和示例移动计算机设备850，其可以与这里描述的技术一起使用。关于计算机设备800和/或移动计算机设备850描述的特征可以包括在上述系统200中。计算设备800旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备850旨在表示各种形式的移动设备，诸如，个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。此处所示的部件、它们的连接和关系以及它们的功能意味着仅是示例性的，并不意味着限制本文档中描述和/或要求保护的本发明的实施方式。

计算设备800包括处理器802、存储器804、存储设备806、连接到存储器804和高速扩展端口810的高速接口808以及连接到低速总线814和存储设备806的低速接口88。部件802、804、806、808、810和812中的每一个都使用各种总线互连，并且可以安装在通用主板上或视情况以其他方式安装。处理器802可以处理用于在计算设备800内执行的指令，包括存储在存储器804或存储设备806中的指令，以在外部输入/输出设备(诸如，耦合到高速接口808的显示器816)上显示GUI的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和存储器类型。同样，可以连接多个计算设备800，每个设备提供必要操作的部分(例如，作为服务器组、刀片服务器组或多处理器系统)。

存储器804将信息存储在计算设备800内。在一种实施方式中，存储器804是一个或多个易失性存储单元。在另一实施方式中，存储器804是一个或多个非易失性存储单元。存储器804也可以是另一种形式的计算机可读介质，诸如，磁盘或光盘。

存储设备806能够为计算设备800提供大容量存储。在一种实施方式中，存储设备806可以是或包含计算机可读介质，诸如，软盘设备、硬盘设备、光盘设备、磁带设备、闪存或其他类似的固态存储设备或设备阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。该计算机程序产品还可以包含在被执行时执行一种或多种方法(诸如，上述方法)的指令。信息载体是计算机或机器可读介质，诸如，存储器804、存储设备806或处理器802上的存储器。

高速控制器808管理计算设备800的带宽密集型操作，而低速控制器812管理较低带宽密集型操作。这种功能分配仅是示例性的。在一种实施方式中，高速控制器808(例如，通过图形处理器或加速器)耦合至存储器804、显示器816，以及耦合至可以接受各种扩展卡(未示出)的高速扩展端口810。在该实施方式中，低速控制器812耦合到存储设备806和低速扩展端口814。低速扩展端口(其可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网))可以例如通过网络适配器耦合到诸如键盘、指示设备、扫描仪的一个或多个输入/输出设备或诸如交换机或路由器的网络设备。

计算设备800可以以多种不同的形式实现，如图所示。例如，它可以被实现为标准服务器820，或者在一组这样的服务器中被实现多次。它也可以实现为机架服务器系统824的一部分。此外，它还可以实现在诸如膝上型计算机822之类的个人计算机中。可替代地，来自计算设备800的部件可以与诸如设备850的移动设备(未示出)中的其他部件组合。每个这样的设备可以包含一个或多个计算设备800、850，并且整个系统可以由彼此通信的多个计算设备800、850组成。

除了其他部件之外，计算设备850包括处理器852、存储器864、诸如显示器854的输入/输出设备、通信接口866和收发器868。设备850还可以配备有存储设备，诸如，微驱动器或其他设备，以提供附加的存储。部件850、852、864、854、866和868中的每一个都使用各种总线互连，并且部件中的若干个可以安装在通用主板上或视情况以其他方式安装。

处理器852可以在计算设备850内执行指令，包括存储在存储器864中的指令。处理器可以被实现为包括单独的以及多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如用于设备850的其他部件的协调(诸如，对用户接口的控制)、由设备850运行的应用以及由设备850进行的无线通信。

处理器852可以通过控制接口858和耦合到显示器854的显示接口856与用户通信。显示器854可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他合适的显示技术。显示接口856可以包括用于驱动显示器854向用户呈现图形和其他信息的适当电路。控制接口858可以从用户接收命令并且将它们转换以提交给处理器852。另外，可以提供与处理器852通信的外部接口862，以便实现设备850与其他设备的近区域通信。外部接口862可以例如在一些实施方式中提供用于有线通信，或者在其他实施方式中提供用于无线通信，并且也可以使用多个接口。

存储器864将信息存储在计算设备850内。存储器864可以被实现为计算机可读介质、易失性存储单元或一个或多个非易失性存储单元中的一个或多个。还可以提供扩展存储器874，并通过扩展接口872将其连接到设备850，扩展接口872可以包括例如SIMM(单列存储器模块)卡接口。这样的扩展存储器874可以为设备850提供额外的存储空间，或者还可以为设备850存储应用或其他信息。具体地，扩展存储器874可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器874可以被提供为设备850的安全模块，并且可以用允许安全使用设备850的指令来编程。此外，可以经由SIMM卡以及附加信息(诸如，以不可入侵的方式在SIMM卡上放置标识信息)来提供安全应用。

存储器可包括例如闪存和/或NVRAM存储器，如下所述。在一种实施方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含在被执行时执行一种或多种方法(诸如，上述方法)的指令。信息载体是计算机或机器可读介质，诸如，存储器864、扩展存储器874或处理器852上的存储器，其可以例如通过收发器868或外部接口862接收。

设备850可以通过通信接口866进行无线通信，该通信接口在必要时可以包括数字信号处理电路。通信接口866可以提供各种模式或协议下(诸如，GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等等)的通信。这样的通信可以例如通过射频收发器868发生。此外，短距离通信可能发生，诸如，使用蓝牙、Wi-Fi或其他这样的收发器(未示出)。此外，GPS(全球定位系统)接收器模块870可以向设备850提供其他与导航和位置相关的无线数据，设备850上运行的应用可以适当地使用上述数据。

设备850还可以使用音频编解码器860以听觉方式进行通信，该音频编解码器可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器860可以类似地诸如通过扬声器在设备850的听筒中为用户生成可听见的声音。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)并且还可以包括由在设备850上运行的应用生成的声音。

如图所示，可以以多种不同形式来实现计算设备850。例如，它可以被实现为蜂窝电话880。它也可以被实现为智能电话882、个人数字助理或其他类似的移动设备的一部分。

本文描述的各种技术的实施方式可以以数字电子电路、或以计算机硬件、固件、软件或它们的组合来实现。在此描述的各种技术可以被实现为计算机程序产品，即，有形地体现在例如机器可读存储设备或传播的信号的信息载体中的计算机程序，以由数据处理设备(例如，可编程处理器、计算机或多台计算机)执行或控制数据处理设备的操作。可以以任何形式的编程语言(包括编译或解释语言)编写诸如上述计算机程序之类的计算机程序，并且可以以任何形式(包括作为独立程序或作为模块、部件、子例程或其他适合在计算环境中使用的单元)来部署该计算机程序。可以将计算机程序部署为在一个站点处的一台计算机或多台计算机上执行，或分布在多个站点上并通过通信网络互连。

方法步骤可以由执行计算机程序以通过对输入数据进行操作并生成输出来执行功能的一个或多个可编程处理器来执行。方法步骤也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置可以实现为上述专用逻辑电路。

适合于执行计算机程序的处理器包括例如通用和专用微处理器以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的元件可以包括至少一个用于执行指令的处理器和一个或多个用于存储指令和数据的存储设备。通常，计算机还可包括一个或多个用于存储数据的大容量存储设备，例如，磁、磁光盘或光盘，或计算机可操作地耦合以从一个或多个大容量存储设备接收数据或将数据传输到一个或多个大容量存储设备，或两者都有。适合于体现计算机程序指令和数据的信息载体包括所有形式的非易失性存储器，例如包括半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

为了提供与用户的交互，可以在具有用于向用户显示信息的显示设备(例如，阴极射线管(CRT)或液晶显示器(LCD)监视器、和用户可以通过其向计算机提供输入的键盘和指示设备(例如，鼠标或轨迹球)的计算机上实现实施方式。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

可以在包括后端部件(例如，作为数据服务器)，或者包括中间件部件(例如，应用服务器)，或者包括前端部件(例如，具有用户通过其可与实施方式进行交互的图形用户界面或Web浏览器的客户端计算机)，或者包括这样的后端、中间件或前端部件的组合的计算系统中实现实施方式。部件可以通过数字数据通信的任何形式或媒介(例如，通信网络)互连。通信网络的示例包括局域网(LAN)和广域网(WAN)，例如，互联网。

可以使用配置用于与包括用户设备、用户界面(UI)设备、用户终端、客户端设备或定制设备的用户接口的硬件和/或软件的任何适当组合来实现根据本文所述的示例实施例的计算设备。该计算设备可以被实现为便携式计算设备，诸如，例如膝上型计算机。该计算设备可以被实现为适于与用户接口的某种其他类型的便携式计算设备，例如，PDA、笔记本计算机或平板计算机。可以将计算设备实现为适于与用户接口的某种其他类型的计算设备，例如，PC。该计算设备可以被实现为适于与用户接口并且适于通过包括移动通信网络的网络进行无线通信的便携式通信设备(例如，移动电话、智能电话、无线蜂窝电话等)。

计算机系统(例如，计算设备)可以被配置为使用任何已知的无线通信技术和协议(包括适用于通过网络进行通信的射频(RF)、微波频率(MWF)和/或红外频率(IRF)无线通信技术和协议)，经由与网络服务器建立的通信链路，通过网络与网络服务器无线地通信。

根据本公开的各个方面，可以在数字电子电路中，或在计算机硬件、固件、软件或它们的组合中实现本文描述的各种技术的实施方式。可以将实施方式实现为计算机程序产品(例如，有形地体现在信息载体、机器可读存储设备、计算机可读介质、有形计算机可读介质中的计算机程序)，以用于通过数据处理设备(例如，可编程处理器、计算机或多台计算机)进行处理，或控制上述数据处理设备的操作。在一些实施方式中，有形的计算机可读存储介质可以被配置为存储指令，该指令在被执行时使处理器执行过程。可以以任何形式的编程语言(包括编译或解释的语言)编写诸如上述计算机程序之类的计算机程序，并且可以以包括作为独立程序或作为模块、部件、子例程或其他适合在计算环境中使用的单元的任何形式来部署该计算机程序。可以将计算机程序部署为在一个站点处的一台计算机或多台计算机上进行处理，或者分布在多个站点上并通过通信网络互连。

本文公开的特定结构和功能细节仅出于描述示例实施例的目的而具有代表性。然而，示例实施例可以以许多替代形式来体现，并且不应被解释为仅限于在此阐述的实施例。

本文所使用的术语仅出于描述特定实施例的目的，并且不旨在限制实施例。如本文所使用的，单数形式“一”，“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。将进一步理解的是，当在本说明书中使用时，术语“包括(comprise)”，“包括(comprising)”，“包含(include)”和/或“包含(including)”规定了所述特征、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、步骤、操作、元件、部件和/或其组的存在或添加。

将理解的是，当一个元件被称为“耦合”、“连接”或“响应”于另一个元件或在另一个元件“上”时，它可以直接被耦合、连接或响应，或者直接位于其上，也可以存在其他元件或中间元件。相比之下，当一个元件被称为“直接耦合”，“直接连接”或“直接响应”于另一个元件或“直接在”另一个元件“上”时，不存在中间元件。如本文所使用的，术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

为了便于描述，在本文中可以使用空间相对术语，诸如“在...下方”，“在...之下”，“在...下部”，“在...之上”，“在...上部”、“最接近的”等，以描述如图所示的一个元件或特征与另一个元件或特征的关系。将理解的是，除了附图中描绘的定向之外，空间相对术语还意图涵盖设备在使用或操作中的不同方向。例如，如果图中的设备被翻转，则被描述为在其他元件或特征“之下”或“下方”的元件将被定向为在其他元件或特征“之上”。因此，术语“在……之下”可以涵盖上和下两个定向。可以以其他方式定向设备(旋转80度或在其他定向)，并且可以相应地解释本文中使用的空间相对描述符。

将理解，尽管在本文中可以使用术语“第一”，“第二”等来描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于区分一个元素和另一个元素。因此，在不脱离本实施例的教导的情况下，“第一”元件可以被称为“第二”元件。

除非另有定义，否则本文中使用的所有术语(包括技术和科学术语)具有与本发明概念所属领域的普通技术人员通常所理解的相同的含义。还将理解的是，诸如在常用词典中定义的那些术语应被解释为具有与它们在相关领域和/或本说明书的上下文中的含义一致的含义，并且将不会以理想化或过于正式的意义来解释，除非在此明确定义。

尽管已经如本文中所描述的那样说明了所描述的实施方式的某些特征，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，将理解，所附权利要求旨在覆盖落入实施方式的范围内的所有此类修改和改变。应当理解，它们仅以示例而非限制的方式给出，并且可以进行形式和细节上的各种改变。除相互排斥的组合之外，本文描述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、部件和/或特征的各种组合和/或子组合。

Claims (20)

1.一种用于在电子设备上提供增强现实(AR)体验的方法，所述方法包括：

获得与通过所述电子设备捕获的至少一个场景相关联的深度数据；

获得与所述电子设备的预定距离内的多个物理对象相关联的位置数据；

生成多个增强现实AR对象，所述多个AR对象被配置成与所述至少一个场景中的所述多个物理对象的一部分相结合被显示；

生成与所述至少一个场景相对应的多个邻近层；

在所述电子设备上检测在所述至少一个场景内朝向所述多个AR对象中的与相应邻近层相关联的至少一个AR对象移动的指示；以及

响应于所述检测，触发与来自所述多个AR对象中和所述相应邻近层相关联的AR对象相对应的辅助数据在所述相应邻近层中的显示而同时抑制来自所述多个AR对象中的与其他邻近层相关联的AR对象的显示。

2.根据权利要求1所述的方法，其中，每个AR对象被配置成提供对与所述部分中的所述相应物理对象相对应的所述位置数据和所述辅助数据的版本的访问。

3.根据权利要求2所述的方法，其中，所述多个AR对象中的每个AR对象表示功能可见性，所述功能可见性被配置成检索并提供与每个物理对象或物理位置相关联的所述位置数据和所述辅助数据的版本。

4.根据权利要求1所述的方法，其中，生成所述多个邻近层包括：

确定每个AR对象之间的距离；以及

基于所述确定的距离和与所述至少一个场景相关联的所述深度数据，将每个AR对象分布到所述多个邻近层中的一个邻近层中。

5.根据权利要求1所述的方法，其中，所述相应邻近层进一步被配置成响应于检测到所述电子设备被移动到距所述AR对象中的与所述相应邻近层相关联的至少一个AR对象的阈值距离内的位置，触发与和所述相应邻近层相关联的所述AR对象相对应的所述辅助数据的显示而同时抑制与其他邻近层相关联的AR对象。

6.根据权利要求1所述的方法，其中：

与其他邻近层相关联的所述AR对象当被抑制时以折叠状态被描绘，并且

与所述相应邻近层相关联的所述AR对象当被触发以供显示时以展开状态被描绘。

7.根据权利要求1所述的方法，其中，所述相应邻近层当被触发以显示与所述AR对象相对应的所述辅助数据时被指示为活动的，所述相应邻近层进一步与遮挡平面相关联，所述遮挡平面被配置成将还原视觉处理应用于位于所述遮挡平面与所述电子设备的相机之间的前景中的其它邻近层的一部分中的一个或者多个AR对象。

8.根据权利要求1所述的方法，其中，所述多个邻近层中的邻近层中的所述AR对象的至少一部分被确定为在所述至少一个场景中处于与分布在同一邻近层中的其他AR对象不同的深度处。

9.根据权利要求1所述的方法，其中，生成所述多个邻近层进一步包括：

确定所述多个AR对象中的两个或更多个AR对象的重叠；

将所述多个AR对象中的重叠的所述两个或更多个AR对象分布到所述多个邻近层中的单个邻近层中；以及

当所述单个邻近层被指示为活动的并且所述多个AR对象中的所述两个或更多个AR对象被同时触发以供显示时，调整所述多个AR对象中的所述两个或更多个AR对象的放置。

10.一种系统，包括：

至少一个处理设备；和

存储指令的存储器，所述指令在执行时，使所述处理设备执行包括下述的操作：

接收与通过所述电子设备捕获的至少一个场景相关联的深度数据；

接收与所述电子设备的预定距离内的多个物理对象相关联的位置数据；

生成多个增强现实AR对象，所述多个AR对象被配置成与所述至少一个场景中的所述多个物理对象的一部分相结合被显示；

生成与所述至少一个场景相对应的多个邻近层；

在所述电子设备上检测在所述至少一个场景内朝向所述多个AR对象中的与目标邻近层相关联的至少一个AR对象移动的指示；并且

响应于所述检测，触发与来自所述多个AR对象中的和所述目标邻近层相关联的AR对象相对应的辅助数据在所述目标邻近层中的显示而同时抑制来自所述多个AR对象中的与其他邻近层相关联的AR对象的显示。

11.根据权利要求10所述的系统，其中，生成所述多个邻近层包括：

确定每个AR对象之间的距离；以及

基于所述确定的距离和与所述至少一个场景相关联的所述深度数据，将每个AR对象分布到所述多个邻近层中的一个邻近层中。

12.根据权利要求10所述的系统，其中，所述目标邻近层进一步被配置成响应于检测到所述电子设备被移动到距所述AR对象中的与所述目标邻近层相关联的至少一个AR对象的阈值距离内的位置，触发与和所述目标邻近层相关联的所述AR对象相对应的所述辅助数据的显示而同时抑制与其他邻近层相关联的AR对象。

13.根据权利要求10所述的系统，其中：

与其他邻近层相关联的所述AR对象当被抑制时以折叠状态被描绘，并且

与所述目标邻近层相关联的所述AR对象当被触发以供显示时以展开状态被描绘。

14.根据权利要求10所述的系统，其中，所述目标邻近层当被触发以显示与所述AR对象相对应的所述辅助数据时被指示为活动的，所述目标邻近层进一步与遮挡平面相关联，所述遮挡平面被配置成将还原视觉处理应用于位于所述遮挡平面与所述电子设备的相机之间的前景中的其它邻近层的一部分中的一个或者多个AR对象。

15.根据权利要求10所述的系统，其中，生成所述多个邻近层进一步包括：

确定所述多个AR对象中的两个或更多个AR对象的重叠；

将所述多个AR对象中的重叠的所述两个或更多个AR对象分布到所述多个邻近层中的单个邻近层中；并且

当所述单个邻近层被指示为活动的并且所述多个AR对象中的所述两个或更多个AR对象被同时触发以供显示时，调整所述多个AR对象中的所述两个或更多个AR对象的放置。

16.一种存储指令的非暂时性计算机可读介质，所述指令在由计算系统的至少一个处理器执行时，使所述计算系统执行操作，所述操作包括：

接收与通过所述电子设备捕获的至少一个场景相关联的深度数据；

接收与所述电子设备的预定距离内的多个物理对象相关联的位置数据；

生成多个增强现实AR对象，所述多个AR对象被配置成与所述至少一个场景中的所述多个物理对象的一部分相结合被显示；

生成与所述至少一个场景相对应的多个邻近层；

在所述电子设备上检测在所述至少一个场景内朝向所述多个AR对象中的与目标邻近层相关联的至少一个AR对象移动的指示；并且

响应于所述检测，触发与来自所述多个AR对象中的和所述目标邻近层相关联的AR对象相对应的辅助数据在所述目标邻近层中的显示而同时抑制来自所述多个AR对象中的与其他邻近层相关联的AR对象的显示。

17.根据权利要求16所述的计算机可读介质，其中，生成所述多个邻近层包括：

确定每个AR对象之间的距离；以及

基于所确定的距离和与所述至少一个场景相关联的所述深度数据，将每个AR对象分布到所述多个邻近层中的一个邻近层中。

18.根据权利要求16所述的计算机可读介质，其中，所述目标邻近层进一步被配置成响应于检测到所述电子设备被移动到距所述AR对象中的与所述目标邻近层相关联的至少一个AR对象的阈值距离内的位置，触发与和所述目标邻近层相关联的所述AR对象相对应的所述辅助数据的显示而同时抑制与其他邻近层相关联的AR对象。

19.根据权利要求16所述的计算机可读介质，其中，所述目标邻近层当被触发以显示与所述AR对象相对应的所述辅助数据时被指示为活动的，所述目标邻近层进一步与遮挡平面相关联，所述遮挡平面被配置成将还原视觉处理应用于位于所述遮挡平面与所述电子设备的相机之间的前景中的其它邻近层的一部分中的一个或者多个AR对象。

20.根据权利要求16所述的计算机可读介质，其中，生成所述多个邻近层进一步包括：

确定所述多个AR对象中的两个或更多个AR对象的重叠；

将所述多个AR对象中的重叠的所述两个或更多个AR对象分布到所述多个邻近层中的单个邻近层中；并且

当所述单个邻近层被指示为活动的并且所述多个AR对象中的所述两个或更多个AR对象被同时触发以供显示时，调整所述多个AR对象中的所述两个或更多个AR对象的放置。

Images