CN110673718B - 用于显示系统的基于聚焦的调试和检查 - Google Patents

Abstract

本公开涉及用于显示系统的基于聚焦的调试和检查。本公开提供了一种用于调试的方法，该方法包括确定用户的眼睛聚焦深度，基于用户的眼睛聚焦深度，确定相对于计算机生成的现实环境中的虚拟视点位置的虚拟焦点，基于虚拟焦点相对于第一对象的位置，将来自计算机生成的现实环境的第一对象从第一呈现模式转变到第二呈现模式，其中第一对象在第一呈现模式中遮挡第二对象从虚拟视点位置的可见性，并且第一对象在第二呈现模式中不遮挡第二对象从虚拟视点位置的可见性，以及在第一对象处于第二呈现模式时，激活相对于第二对象的开发界面的功能。

Description

用于显示系统的基于聚焦的调试和检查

相关申请的交叉引用

本申请要求2018年7月2日提交的美国临时申请No.62/692,929的权益，该申请的内容全文以引用方式并入本文以用于所有目的。

技术领域

本公开整体涉及能够基于注视方向输出内容的显示设备的领域。

背景技术

依赖于注视方向的显示器用于计算机生成的现实系统，诸如虚拟现实系统、增强现实系统和混合现实系统。例如，头戴式显示器通常包括将来自显示设备诸如LCD、LED或OLED显示面板的光引导至用户眼睛的光学组件。头戴式显示器可操作以向用户呈现内容并且可结合头部跟踪和/或手跟踪功能。头戴式显示器可用于向用户呈现内容，诸如三维计算机生成的现实环境。此类环境可包括许多对象，每个对象具有其自身的属性、设置、特征和/或其他特性。

发明内容

本公开的一个方面是用于调试的方法。一种用于调试的方法包括确定用户的眼睛聚焦深度，基于用户的眼睛聚焦深度，确定相对于计算机生成的现实环境中的虚拟视点位置的虚拟焦点，其中计算机生成的现实环境包括第一对象和第二对象，基于虚拟焦点相对于第一对象的位置，将来自计算机生成的现实环境的第一对象从第一呈现模式转变到第二呈现模式，其中第一对象在第一呈现模式中遮挡第二对象从虚拟视点位置的可见性，并且第一对象在第二呈现模式中不遮挡第二对象从虚拟视点位置的可见性，以及当第一对象处于第二呈现模式时，激活相对于第二对象的开发界面的功能。

本公开的另一个方面是一种用于调试的方法。该方法包括确定用户的眼睛聚焦深度，以及基于用户的眼睛聚焦深度，确定相对于计算机生成的现实环境中的虚拟视点位置的虚拟焦点。计算机生成的现实环境包括对象。该方法还包括响应于确定虚拟焦点位于距对象的阈值距离内，选择对象；以及根据对象的选择激活相对于对象的开发界面的功能。

本公开的另一个方面是一种用于调试的方法。该方法包括确定用户的眼睛聚焦深度，以及基于用户的眼睛聚焦深度，确定相对于计算机生成的现实环境中的虚拟视点位置的虚拟焦点。计算机生成的现实环境包括对象。该方法还包括限定穿过虚拟焦点的可见性平面。对象的第一部分位于可见性平面的第一侧上并使用第一呈现模式呈现，在该第一模式中，对象的第一部分是完全可见的，并且对象的第二部分位于可见性平面的第二侧上并使用第二呈现模式呈现，在该第二模式中，对象的第二部分不是完全可见的。该方法还包括当对象的第二部分处于第二呈现模式时，激活相对于对象的第一部分的开发界面的功能。

附图说明

图1是示出包括头戴式显示器和计算设备的显示系统的图示。

图2是示出头戴式显示器的框图。

图3是示出计算设备的框图。

图4是示出处于第一选择状态的对象的第一场景的透视图图示。

图5是示出处于第二选择状态的对象的场景的透视图图示。

图6是示出处于第三选择状态的对象的场景的透视图图示。

图7是示出处于第一呈现模式的第一对象的场景的透视图图示。

图8是示出处于第二呈现模式的第一对象的场景的透视图图示，其中第二对象是可见的。

图9是示出处于完全可见的呈现模式的对象的场景的侧视图图示。

图10是示出处于部分可见的呈现模式的对象的场景的侧视图图示。

图11是示出其中所有层都是可见的分层对象的侧视图图示。

图12是示出其中一些层不可见的分层对象的侧视图图示。

图13是示出第一对象和第二对象的场景的侧视图图示，其中第一对象处于完全可见的呈现模式。

图14是示出第一对象和第二对象的场景的侧视图图示，其中第一对象处于修改的可见性呈现模式。

图15是示出第一对象和第二对象的场景的侧视图图示。

图16是示出第一对象、第二对象和关于场景内第二对象的位置的指示符的场景的侧视图图示。

图17是示出根据第一示例的用于头戴式显示系统的基于聚焦的调试和检查的过程的流程图。

图18是示出根据第二示例的用于头戴式显示系统的基于聚焦的调试和检查的过程的流程图。

图19是示出根据第三示例的用于头戴式显示系统的基于聚焦的调试和检查的过程的流程图。

具体实施方式

本文的公开内容涉及与具体在开发界面中的计算机生成的现实环境的交互。计算机生成的现实环境可包括大量对象和其他资产，并且可定义复杂的视觉和功能关系。本文描述的系统和方法允许调试和检查开发界面内的计算机生成的现实环境，包括使用基于焦点的交互机制来增强和便于查看和选择场景中的对象和其他特征。

图1是示出显示系统100的框图。在本文描述的示例中，显示系统100包括头戴式显示器102(本文为“HMD”)和计算设备104。HMD 102佩戴在用户106的头部上，并且包括允许将图像显示给用户106作为计算机生成的现实(本文为“CGR”)体验的一部分的部件。显示给用户106的图像可取决于注视方向和/或注视深度，其可由与HMD 102相关联的部件测量，如本文将解释的。本文描述的系统和方法还可以设备的形式实现，该设备可操作以根据注视方向和/或注视深度显示内容，但不是由用户106头部安装或佩戴。计算设备104通过有线或无线连接而连接到HMD 102，并且可操作以计算、呈现和/或以其他方式向HMD 102提供内容。

在所示示例中，计算设备104被示出为与HMD分离，并且可是例如独立计算机，诸如膝上型计算机或台式计算机。然而，应该理解的是，本文描述为由计算设备104执行的一些或所有功能可由结合在HMD 102中的等效硬件来执行。此外，在一些具体实施中，结合HMD102和/或计算设备104描述的一些功能可由可移除地连接到HMD 102(即，可在连接位置和断开位置之间移动)的移动计算设备诸如智能电话来执行。作为示例，计算、图像显示和/或感测功能可由可移除地连接到HMD 102的外壳的智能电话执行。

除了使内容显示给用户106之外，HMD 102还结合了可用于控制如何向用户106显示内容的感测功能。如本文将解释的，头部跟踪信息108、眼睛注视角度110和眼睛聚焦深度112可由与HMD 102相关联的传感器检测并且用作控制输入。头部跟踪信息108表示HMD 102的角度取向和/或三维位置，其对应于用户106的头部的角度取向和位置而变化。头部跟踪信息108可以是以三维表示的角度和/或可表示为三维空间中的矢量。眼睛注视角度110表示用户106的眼睛指向并查看场景的方向，并且表示用户106的眼睛相对于用户106的头部的旋转。眼睛注视角度110可以是以三维表示的角度并且/或者可表示为三维空间中的矢量。眼睛聚焦深度112表示用户眼睛试图聚焦的距用户106的眼睛的距离，并且可表示为距离。

计算设备104可操作以执行向用户提供各种类型的功能的软件。在所示示例中，计算设备104提供对应于开发界面114和计算机生成的现实环境116的功能。开发界面114可以是集成开发环境(IDE)或允许开发软件应用程序的另一个软件工具，包括定义场景、对象和定义和/或与对象相关联的参数，以及与场景和/或对象相关联的计算机可执行代码。计算机生成的现实环境116包括计算机可执行程序指令和资产，其定义可使用HMD 102和相关联的输入设备显示和交互的三维场景。通过开发界面114促进与计算机生成的现实环境116的显示和交互，这允许用户查看、检查和修改计算机生成的现实环境及其组成对象和资产的各方面。在本文的描述中，开发界面114和计算机生成的现实环境116被描述为使用由计算设备104执行的软件来实现。在HMD 102设置有机载计算和呈现功能的替代具体实施中，与开发界面114和计算机生成的现实环境116相关联的软件可由HMD 102在本地执行，并且计算设备104可省略或者可以是任选的。

图2是示出HMD 102的框图。HMD 102可包括外壳218、头带220、显示面板222、光学器件224、传感器226、眼睛相机228、处理器230、存储器232、存储装置234、数据连接236和电池238。作为示例，HMD 102可被配置为任何类型的CGR系统，诸如虚拟现实系统、混合现实系统、光学透视增强现实系统或视频透视增强现实系统。

外壳218是HMD 102的其他部件连接到并由其支撑的物理结构。各种配置和材料可用于外壳218。外壳218连接到头带220，头带220相对于使用者的头部支撑外壳218。作为示例，头带220可以是柔性带，围绕用户头部的一部分或全部延伸的刚性结构，或包括不同类型的(例如，柔性、刚性、弹性等)部件的多部分结构。作为示例，可用于头带220的常见配置包括“护目镜”类型配置、“光环”类型配置或“莫霍克”类型配置。

显示面板222是可操作以输出图像诸如静止图像或视频图像的设备。作为示例，显示面板222可以是LCD显示面板、LED显示面板或OLED显示面板。

光学器件224被配置为将从计算设备104发射的光引导到用户的眼睛，并且还可允许来自外部环境的光到达用户的眼睛。作为示例，光学器件224可包括透镜、反射器、偏振器、波导和/或其他部件。在一个具体实施中，光学器件224可包括定位在显示面板222和用户眼睛之间的透镜。在另一个具体实施中，光学器件224可被配置为光学组合器诸如离轴组合器、偏振光束组合器或波导组合器。

传感器226是结合在HMD 102中的设备，诸如通过永久连接到外壳218或头带220。传感器226能够输出表示感测状况的信号。可结合在传感器226中的各个传感器的示例包括利用加速度计、陀螺仪和磁力计来输出描述运动的信息的惯性测量单元、可见光谱相机、红外光谱相机、结构光立体设备、深度相机、激光雷达设备、雷达设备、超声波设备、测量来自外部红外源信号的红外检测器、发射可通过外部红外检测器测量的信号的红外信标、生物识别传感器、电容传感器、温度传感器、光传感器和力传感器。

眼睛相机228是可操作以输出用户眼睛的图像的设备，诸如可见光谱视频相机或红外光谱视频相机。眼睛相机228可位于HMD 102的外壳218中并且指向用户的眼睛。来自眼睛相机228的输出可用于确定用户106的眼睛注视角度110和眼睛聚焦深度112。眼睛注视角度110和眼睛聚焦深度112可使用已知方法确定。作为示例，眼睛注视角度110可基于正交于用户106的眼睛的瞳孔构建的矢量(例如，作为平均值)来确定。可使用众所周知的机器视觉技术来确定瞳孔的识别、位置和角度取向。可基于眼睛相机228获得的图像来确定眼睛聚焦深度112，例如，通过确定正交于用户106的眼睛构建的矢量的会聚点。

处理器230结合在HMD 102中，诸如通过位于HMD 102的外壳218中。处理器230可操作来执行计算机程序指令并且执行由计算机程序指令描述的操作。作为示例，处理器230可以是常规设备诸如中央处理单元。

存储器232可以是易失性、高速、短期信息存储设备诸如随机存取存储器模块。存储器234可以是非易失性信息存储设备诸如闪存模块、硬盘驱动器或固态驱动器。

数据连接236是允许在HMD 102、计算设备104和/或其他设备之间交换信息的通信连接。数据连接236可以是使用任何合适的通信协议的有线连接或无线连接。

电池238可结合在其中HMD 102在没有与外部计算设备(诸如计算设备104)或另一个电源的电力传输连接的情况下操作的具体实施中。例如，HMD 102可在利用无线操作的具体实施中包括电池238。

图3是示出计算设备104的框图。计算设备104可包括处理器340、存储器342、存储装置344、一个或多个输入设备346、一个或多个输出设备348、数据连接350、开发界面软件352以及包括资产356的计算机生成的现实环境软件354。

处理器340可操作来执行计算机程序指令并且执行由计算机程序指令描述的操作。作为示例，处理器340可以是常规设备诸如中央处理单元。存储器342可以是易失性、高速、短期信息存储设备诸如随机存取存储器模块。存储器344可以是非易失性信息存储设备诸如闪存模块、硬盘驱动器或固态驱动器。作为示例，输入设备346可包括键盘、触摸屏输入设备、手势输入设备、音频输入设备(例如，麦克风)、控制杆或位置跟踪控制器。作为示例，输出设备348可包括显示屏、投影显示器、音频输出或触觉输出。数据连接350是有线或无线通信连接，其允许使用任何类型的协议与HMD 102进行通信。例如，计算设备104可将预先呈现的内容传送到HMD 102，并使用数据连接350接收诸如来自HMD 102的传感器输出的信息。

开发界面软件352可由计算设备104执行，并且可操作以提供与开发界面114相关联的功能，其可在开发界面软件352的执行期间使用HMD 102和/或计算设备104来显示和/或交互。计算机生成的现实环境软件354可由计算设备104执行，并且可操作以提供与计算机生成的现实环境116相关联的功能，其可在计算机生成的现实环境软件354的执行期间使用HMD 102和/或计算设备104来显示和/或交互。资产356与计算机生成的现实环境软件354相关联，并且包括通过计算机生成的现实环境116向用户显示的内容以及控制如何显示内容以及用户可如何与内容交互的信息。资产356的示例包括三维模型、动画序列、材料、纹理、着色器、照明对象、虚拟相机对象、对撞机、物理控制器、粒子系统、交互式对象和脚本。

图4是示出包括处于第一选择状态的对象462的场景460的示例的侧视图图示。场景460是用户可通过HMD 102查看的三维场景。场景460表示计算机生成的现实环境116的一部分，并且使用开发界面114来呈现和显示，其允许开发者调试计算机生成的现实环境116，诸如通过查看、测试与之交互和/或修改计算机生成的现实环境116。对象462是存在于场景460中的虚拟三维对象。对象462可在场景460内固定或可移动。

虚拟视点位置464(例如，虚拟相机)相对于场景460定位并且表示用户眼睛的虚拟位置，以便呈现将通过HMD 102显示给用户106的内容。例如，通过使用头部跟踪信息108跟踪HMD 102和用户106的眼睛可控制虚拟视点位置464相对于场景460的位置。

相对于虚拟视点位置464定义虚拟注视射线466。可使用头部跟踪信息和眼睛注视角度110将虚拟注视射线466定义为相对于场景460的三维空间中的矢量，以相对于场景确定与头部角度和用户106的注视方向相对应的视线方向。沿虚拟注视射线466定义虚拟焦点468。虚拟焦点468是估计的位置，表示用户106的眼睛试图聚焦的场景中的点。基于眼睛聚焦深度112确定虚拟焦点468在虚拟空间中距虚拟视点位置464的距离(其也可称为虚拟眼睛聚焦深度)。如前所述，可使用从眼睛相机228获得的图像来确定眼睛聚焦深度112。作为一个示例，通过将缩放因子应用于眼睛聚焦深度112可确定虚拟焦点468距虚拟视点位置464的距离。

在图4中，第一选择状态对应于基于虚拟焦点468不存在任何对象的选择。具体地，虚拟注视射线466朝向对象462取向，并且虚拟焦点468位于虚拟视点位置464和对象462之间。在一些具体实施中，基于对象462的预定距离内的虚拟焦点468的存在来确定对象462的选择的存在或不存在，并且在图4中，虚拟焦点468处于大于距物体462的阈值距离的位置处。因此，在第一选择状态下未选择对象462。

图5是示出场景460的侧视图图示，其包括处于第二选择状态的对象462。响应于由眼睛相机228测量的或以其他方式测量的眼睛聚焦深度112的变化，虚拟焦点468已经相对于图4中所示的位置移动。

第二选择状态对应于选择对象462。在所示示例中，虚拟焦点468在对象462的内部，并且响应于虚拟焦点468在对象462内部，可激活第二选择状态。作为另一个示例，响应于虚拟焦点位于距对象462预定距离内，可激活第二选择状态，并且该距离可相对于相对于对象462的预定点、对象462的中心点、对象462的表面和/或相对于对象462限定的有界区域(例如，边界矩形、球体、胶囊等)来测量。

当第二选择状态是活动的时，可相对于对象462执行动作，诸如修改对象462和/或与对象462相关联的属性。作为一个示例，激活第二选择状态可暂停与对象462相关联的代码执行(例如，附加到对象462的脚本)，同时代码执行继续用于场景460的其他部分，诸如包含在场景460中的其他对象。暂停代码执行可包括触发包含在与对象462相关联的代码中的断点。换句话说，注视信息用于在执行与对象462相关联的代码时触发断点。作为另一个示例，第二选择状态的激活可允许使用输入设备修改对象462的一个或多个属性。使用输入设备修改属性的一个示例包括通过按钮按压或使用控制杆(例如，作为手持输入设备的一部分被包括的拇指杆)来改变与属性相关联的值。如果对象462是具有颜色的可视对象，则可使用按钮按压或使用控制杆来修改颜色。如果对象462是照明对象，则可使用按钮按压或使用控制杆来修改由照明对象发射的光的强度。这些仅是示例，并且可使用相同或不同的输入模态以类似的方式修改其他类型的属性。

图6是示出场景460的侧视图图示，其包括处于第三选择状态的对象462。响应于由眼睛相机228测量的或以其他方式测量的眼睛聚焦深度112的变化，虚拟焦点468已经相对于图4中所示的位置移动。如关于图6所解释的那样，在一个具体实施中，第三选择状态可由在对象462内或在距对象462的预定距离内的虚拟焦点468激活。在另一个具体实施中，第三选择状态可由在对象462内或在距对象462的预定距离内的虚拟焦点468激活大于阈值时间段。

第三选择状态对应于与对象462相关联的附加信息的显示。通过作为场景460的一部分的用户界面元素，响应于第三激活状态的激活而添加到场景460的用户界面元素，或呈现给用户106作为相对于场景460的覆盖的作为平视显示器的一部分的用户界面元素可显示附加信息。在所示示例中，第三选择状态包括作为场景460的一部分的检查器670的显示。检查器670可以是例如在场景460内显示的二维用户界面(例如，通过在平面上投影用户界面)。作为示例，检查器670可显示对应于对象462的属性的值，和/或允许修改对应于对象462的属性的值。

图7是示出处于第一呈现模式的第一对象762的场景760的透视图图示。场景760从虚拟视点位置描绘并且沿虚拟注视射线(图7中未示出)进行取向。在所示示例中，第一对象762是虚拟三维对象，其被呈现并输出以作为场景760的一部分显示。场景760还可包括地平面761，其可以是虚拟对象，或者可以是HMD 102被配置为增强现实系统或混合现实系统的具体实施中的物理地平面。根据虚拟焦点468的描述配置的虚拟焦点768定位在虚拟视点位置和第一对象762之间(例如，在第一对象762的“近侧”或“第一侧”上)或第一对象762内。在第一呈现模式中，可应用标称呈现模式，其以一种方式示出场景中的第一对象762，其中当在开发界面114的上下文之外以最终形式查看时，第一对象762旨在出现在计算机生成的现实环境116中。作为示例，根据与第一对象762相关联的颜色、材料、纹理和/或着色器可呈现第一对象762。

图8是场景760的透视图图示，其示出了处于第二呈现模式的第一对象762和第二对象863。响应于虚拟焦点768已经移过第一对象762(例如，移动到第一对象762的“远侧”或“第二侧”)，激活第二呈现模式。如果不再是这种情况，则可返回到第一种呈现模式。

在与场景760的当前视图相关联的虚拟注视射线穿过第一对象762的情况下，第一呈现模式是使第一对象762阻挡第二对象863的可见性的呈现模式，并且第二呈现模式是其中第一对象不阻挡第二对象863的可见性的呈现状态。

在第二呈现模式中，第一对象762的呈现设置已经响应于虚拟焦点768的改变位置而改变。第二呈现模式相对于第一呈现模式修改第一对象762的呈现设置。从第一呈现模式到第二呈现模式的转变可包括从根据与第一对象762相关联的颜色、材料、纹理和/或着色器进行呈现转变到根据与第二呈现模式相关联的设置进行呈现，并且该设置被配置为当第一对象762处于第一呈现模式时允许第一对象762部分或完全遮挡的对象的可见性。因此，如在所示示例中，当第一对象762处于第一呈现模式(图7)时，第二对象863被遮挡，并且当第一对象762处于第二呈现模式时，第二对象863可见，其中第一对象762以线框呈现模式呈现。当在第二呈现模式中中，可使用与开发界面114相关联的功能相对于第二对象863执行操作，诸如例如检查第二对象863的属性，修改第二对象863的属性，和/或暂停第二对象863的代码执行。

第二呈现模式修改第一对象762相对于第一呈现模式的可见性。作为一个示例，第一对象762可从在第一呈现模式中可见转变为在第二呈现模式中不可见。作为另一个示例，第一对象762可从在第一呈现模式中不透明转变为在第二呈现模式中透明。作为另一个示例，第一对象762可从根据与第一对象762相关联的颜色、材料、纹理和/或着色器进行标称呈现转变为根据线框呈现模式进行呈现。

图9是场景960的侧视图，其示出了处于完全可见呈现模式的对象962。虚拟注视射线966从虚拟视点位置964延伸并朝向对象962进行取向，并且虚拟焦点968位于虚拟视点位置964和对象962之间。对象962、虚拟视点位置964、虚拟注视射线966和虚拟焦点968以先前关于对象462、虚拟视点位置464、虚拟注视射线466和虚拟焦点468描述的方式进行配置。在完全可见的呈现模式中，对象962是完全可见的，并且使用与对象962相关联的属性根据标称呈现设置来呈现。

图10是场景960的侧视图，其示出了处于部分可见呈现模式的对象962。在部分可见呈现模式中，虚拟焦点968定位在对象962内，并且可见性平面1069被定义在虚拟焦点968处。位于虚拟视点位置964和可见性平面1069之间的对象962的第一部分1063a从视图中隐藏(例如，从用户106的视角在场景960中不可见)，或被呈现为使得通过其可看到对象，诸如通过半透明呈现或线框呈现。相对于虚拟视点位置964的对象962的位于可见性平面1069的第一侧上的第二部分1063b被正常呈现并且从用户106的角度在场景960中可见。因此，部分可见的呈现模式允许查看对象962的内部部分(如果存在的话)。通过在虚拟焦点968的位置改变时更新可见性平面1069的位置，定义了适应用户106的眼睛聚焦深度112的对象962的剖视图，从而允许用户实时控制对象962的内部部分的检查。

可生成具有相对于场景960的期望取向的可见性平面1069。作为一个示例，可见性平面1069可相对于可见性平面以期望的取向生成，诸如通过使可见性平面取向成垂直于虚拟注视射线966。作为另一个示例，可见性平面1069可相对于场景960的世界空间以期望的取向生成，诸如通过将可见性平面1069取向成垂直于场景960的世界空间的X轴、Y轴或Z轴中的一个。作为另一个示例，可见性平面1069可相对于对象962的局部坐标空间以期望的取向生成，诸如通过将可见性平面1069取向成垂直于对象962的局部坐标空间的X轴、Y轴或Z轴中的一个。

当处于部分可见性状态时，用户106可访问与开发界面114相关联的功能，以与对象或对象的部分(例如，对象962的内部表面)交互并修改对象或对象的部分，否则该部分从虚拟视点位置964不可见，诸如例如检查对象962的属性，修改对象962的属性，和/或暂停对象962的代码执行。

图11是示出分层对象1162的场景1160的侧视图，其中所有多个层诸如分层对象的第一层至第三层1163a，1163b和1163c都是可见的。作为示例，分层对象1162可以是包括分层的二维部分的用户界面，并且作为场景1160的一部分显示在三维空间中。

虚拟注视射线1166从虚拟视点位置1164延伸并且朝向分层对象1162进行取向，并且虚拟焦点1168位于虚拟视点位置1164和分层对象1162之间。分层对象1162、虚拟视点位置1164、虚拟注视射线1166和虚拟焦点1168以先前关于对象462、虚拟视点位置464、虚拟注视射线466和虚拟焦点468描述的方式进行配置。在图11中所示的示出的示例中，分层对象1162的所有层都是完全可见的，并且使用与分层对象1162相关联的属性根据标称呈现设置来呈现。

图12是示出分层对象1162的侧视图，其中一些层是不可见的。具体地，第一层1163a和第二层1163b已从图11中的可见状态转变到不可见状态，其中层不显示，或使用半透明或线框呈现模式显示，该半透明或线框呈现模式允许在第一层1163a和第二层1163b不遮挡的情况下查看第三层。响应于虚拟焦点1168移动经过第一层1163a和第二层1163b(例如，相对于虚拟视点位置1164移到第一层1163a和第二层1163b的远侧)，第一层1163a和第二层1163b已经转变到不可见状态。作为转变到不可见状态的替代方案，可移动第一层1163a和第二层1163b，使得他们不再遮挡第三层1163c的可见性。

当第三层1163c不再被第一层1163a和第二层1163b遮挡时，用户106可访问与开发界面114相关联的功能以与第三层1163c交互并修改第三层1163c，诸如例如检查第三层1163c的属性，修改第三层1163c的属性，和/或暂停第三层1163c的代码执行。

图13是示出第一对象1362和第二对象的场景1360的侧视图图示。场景1360是包括虚拟对象和物理对象的CGR场景。在场景1360中，第一对象1362是以完全可见的呈现模式呈现的虚拟对象。第二对象1363是物理对象，其是用户106周围的环境的一部分。虚拟注视射线1366从虚拟视点位置1364延伸并且朝向第一对象1362进行取向，并且虚拟焦点1368位于虚拟视点位置1364和第一对象1362之间。第一对象1362、虚拟视点位置1364、虚拟注视射线1366和虚拟焦点1368以先前关于对象462、虚拟视点位置464、虚拟注视射线466和虚拟焦点468描述的方式进行配置。在完全可见的呈现模式中，第一对象1362是完全可见的，并且使用与第一对象1362相关联的属性根据标称呈现设置来呈现。

图14是场景1360的侧视图图示，其示出了处于修改的可见性呈现模式的第一对象1362，其中第一对象是透明的、半透明的、以线框呈现，或者以其他方式不遮挡第二对象1363的可见性。在部分可见呈现模式中，虚拟焦点1368相对于虚拟视点位置1364定位在第一对象1362的远侧上。因此，修改的可见性呈现模式允许响应于虚拟焦点移动经过第一对象1362而查看第二对象1363。

当第二对象1363不再被第一对象1362遮挡时，用户106可访问与开发界面114相关联的功能以检查第二对象1363，诸如例如检查第二对象1363的属性、测量值和/或解释的信息(例如，估计的表面几何形状和/或位置)。

图15是示出第一对象1562和第二对象1563的场景1560的侧视图图示。场景1560是包括物理对象和虚拟对象的CGR场景。在场景1560中，第一对象1562是物理对象，其是用户106周围的环境的一部分。第二对象1563是虚拟对象，其相对于第一对象1562定位，使得从虚拟视点位置1564看其在场景1560内看起来不可见，并且因此由于第一对象1562的遮挡而不使用HMD 102被输出用于显示。虚拟注视射线1566从虚拟视点位置1564延伸并且朝向第一对象1562进行取向，并且虚拟焦点1568位于虚拟视点位置1564和第一对象1562之间。第一对象1562、虚拟视点位置1564、虚拟注视射线1566和虚拟焦点1568以先前关于对象462、虚拟视点位置464、虚拟注视射线466和虚拟焦点468描述的方式进行配置。

图16是场景1560的侧视图图示，其示出了第一对象1562、第二对象1563和关于场景1560内的第二对象的位置的指示符1565。例如，指示器1565可以是第二对象1563的不透明、半透明或线框表示或代表第二对象1563的图形符号。虚拟焦点1568相对于虚拟视点位置1564定位在第一对象1562的远侧上。响应于虚拟焦点1568的位置移动经过场景1560中的第一对象1562，指示符1565在场景1560中被输出，使得看起来在虚拟视点位置1564和第一对象1562之间，使得指示器1565可操作以向用户106指示第二对象1563位于第一对象1562后面并被第一对象1562遮挡。

当显示指示符1565时，用户106可与指示符1565交互以访问与开发界面114相关联的功能以检查和/或修改第二对象1563，诸如通过查看和/或修改与第二对象1563相关联的属性。

图17是示出用于显示系统100的基于聚焦的调试和检查的过程1780的流程图。例如，可使用HMD 102和计算设备104来执行过程1780。过程1780的部分可实现为由计算设备诸如计算设备104的处理器340执行的计算机程序指令。

在操作1781中，从头戴式显示器诸如HMD 102获得传感器输出。传感器输出可包括或可被解释为确定头部跟踪信息108、眼睛注视角度110和眼睛聚焦深度112。在操作1782中，确定虚拟视点位置、虚拟注视射线和虚拟焦点，如关于虚拟视点位置464、虚拟注视射线466和虚拟焦点468所描述的。虚拟视点位置、虚拟注视射线和虚拟焦点位于计算机生成的现实环境中的场景内，如关于计算机生成的现实环境116、场景460、场景760、场景960、场景1160、场景1360和场景1560所描述的。

使用来自与头戴式显示器诸如HMD 102的眼睛相机228相关联的传感器的输出可确定眼睛聚焦深度。基于来自HMD 102的眼睛注视角度110和头部跟踪信息108可确定虚拟注视射线。虚拟焦点可位于虚拟注视射线上。

在操作1783中，基于虚拟焦点相对于第一对象的位置，将位于计算机生成的现实环境中的第一对象从第一呈现模式转变到第二呈现模式。作为示例，第一对象可位于虚拟注视射线上。可以关于场景760和图7-8描述的方式执行第一呈现模式和第二呈现模式之间的转变。例如，第一对象在第一呈现模式中可遮挡第二对象从虚拟视点位置的可见性，并且第一对象在第二呈现模式中可不遮挡第二对象从虚拟视点位置的可见性。

在一些具体实施中，响应于确定虚拟焦点位于第一对象相对于虚拟视点位置的远侧，执行将第一对象从第一呈现模式转变到第二呈现模式。第一呈现模式可利用与第一对象相关联的呈现设置。在第二呈现模式的一些具体实施中，第一对象在第二呈现模式中不可见。在第二呈现模式的一些具体实施中，第一对象在第二呈现模式中是半透明的。在第二呈现模式的一些具体实施中，第一对象在第二呈现模式中被呈现为线框。

在操作1784中，当第一对象处于第二呈现模式时，相对于第二对象激活开发界面的功能，如关于例如开发界面114和检查器670所描述的。

在一些具体实施中，激活开发界面的功能引起显示与第二对象相关联的信息。在一些具体实施中，激活开发界面的功能引起修改与第二对象相关联的信息。在一些具体实施中，激活开发界面的功能引起暂停与第二对象相关联的代码执行。

图18是示出用于显示系统100的基于聚焦的调试和检查的过程1880的流程图。例如，可使用HMD 102和计算设备104来执行过程1880。过程1880的部分可实现为由计算设备诸如计算设备104的处理器340执行的计算机程序指令。

在操作1881中，从头戴式显示器诸如HMD 102获得传感器输出。传感器输出可包括或可被解释为确定头部跟踪信息108、眼睛注视角度110和眼睛聚焦深度112。在操作1882中，确定虚拟视点位置、虚拟注视射线和虚拟焦点，如关于虚拟视点位置464、虚拟注视射线466和虚拟焦点468所描述的。虚拟视点位置、虚拟注视射线和虚拟焦点位于计算机生成的现实环境中的场景内，如关于计算机生成的现实环境116、场景460、场景760、场景960、场景1160、场景1360和场景1560所描述的。

计算机生成的现实环境包括对象。在操作1883中，响应于确定虚拟焦点位于距对象的阈值距离内，选择对象。

在操作1884中，当第一对象处于第二呈现模式时，相对于第二对象激活开发界面的功能，如关于例如开发界面114和检查器670所描述的。在一些具体实施中，响应于确定虚拟焦点已经位于距对象的阈值距离内大于阈值时间段，执行激活开发界面的功能。

图19是示出用于显示系统100的基于聚焦的调试和检查的过程1980的流程图。例如，可使用HMD 102和计算设备104来执行过程1980。过程1980的部分可实现为由计算设备诸如计算设备104的处理器340执行的计算机程序指令。

在操作1981中，从头戴式显示器诸如HMD 102获得传感器输出。传感器输出可包括或可被解释为确定头部跟踪信息108、眼睛注视角度110和眼睛聚焦深度112。在操作1982中，确定虚拟视点位置、虚拟注视射线和虚拟焦点，如关于虚拟视点位置464、虚拟注视射线466和虚拟焦点468所描述的。虚拟视点位置、虚拟注视射线和虚拟焦点位于计算机生成的现实环境中的场景内，如关于计算机生成的现实环境116、场景460、场景760、场景960、场景1160、场景1360和场景1560所描述的。

计算机生成的现实环境包括对象。在操作1983中，定义可见性平面使得其穿过虚拟焦点。对象的第一部分位于可见性平面的第一侧上并使用第一呈现模式呈现，在该第一模式中，对象的第一部分是完全可见的，并且对象的第二部分位于可见性平面的第二侧上并使用第二呈现模式呈现，在该第二模式中，对象的第二部分不是完全可见的。

在操作1984中，当第一对象处于第二呈现模式时，相对于第二对象激活开发界面的功能，如关于例如开发界面114和检查器670所描述的。

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，所述音频对象创建3D或空间音频环境，所述3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过他直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过所述媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或他们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

如上所述，本技术的一个方面是收集和使用可从各种源获得的数据，以改善计算机生成的现实环境中的用户体验。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如，生命信号测量、药物信息、锻炼信息)、出生日期、或任何其他标识或个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于允许访问用户偏好或定制，以便增强用户在计算机生成的现实环境中的体验。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。

本公开设想负责采集，分析，公开，传输，存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，在收到用户知情同意后，应进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，在提供计算机生成的现实环境的系统中使用用户简档，本技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。在另一个示例中，用户可选择不使用用户简档或限制信息存储在用户简档中的时间量。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户上聚集数据)、和/或其他方法来促进去标识。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，通过基于非个人信息数据或绝对最低限度量的个人信息(诸如，与用户相关联的设备所请求的内容、对服务可用的其他非个人信息、或可公开获得的信息)推断偏好可定制计算机生成的环境中的用户体验。

Claims (20)

1.一种用于调试的方法，包括：

确定用户的眼睛聚焦深度；

基于所述用户的所述眼睛聚焦深度来确定相对于计算机生成的现实环境中的虚拟视点位置的虚拟焦点，其中所述计算机生成的现实环境包括第一对象和第二对象；

基于所述虚拟焦点相对于所述第一对象的位置来将所述第一对象从第一呈现模式转变到第二呈现模式，其中所述第一对象在所述第一呈现模式中遮挡所述第二对象从所述虚拟视点位置的可见性，并且所述第一对象在所述第二呈现模式中不遮挡所述第二对象从所述虚拟视点位置的可见性；以及

在所述第一对象处于所述第二呈现模式时，激活相对于所述第二对象的开发界面的功能。

2.根据权利要求1所述的方法，其中使用来自与头戴式显示器相关联的传感器的输出来确定所述眼睛聚焦深度。

3.根据权利要求1所述的方法，其中所述虚拟焦点位于基于眼睛注视角度和头部跟踪信息而确定的虚拟注视射线上。

4.根据权利要求3所述的方法，其中所述第一对象位于所述虚拟注视射线上。

5.根据权利要求1所述的方法，其中响应于确定所述虚拟焦点位于所述第一对象相对于所述虚拟视点位置的远侧上，执行将所述第一对象从所述第一呈现模式转变到所述第二呈现模式。

6.根据权利要求1所述的方法，其中所述第一呈现模式利用与所述第一对象相关联的呈现设置。

7.根据权利要求1所述的方法，其中所述第一对象在所述第二呈现模式中不可见。

8.根据权利要求1所述的方法，其中所述第一对象在所述第二呈现模式中是半透明的。

9.根据权利要求1所述的方法，其中所述第一对象在所述第二呈现模式中被呈现为线框。

10.根据权利要求1所述的方法，其中激活所述开发界面的所述功能引起显示与所述第二对象相关联的信息。

11.根据权利要求1所述的方法，其中激活所述开发界面的所述功能引起修改与所述第二对象相关联的信息。

12.根据权利要求1所述的方法，其中激活所述开发界面的所述功能还引起暂停与所述第二对象相关联的代码执行。

13.一种用于调试的方法，包括：

确定用户的眼睛聚焦深度；

基于所述用户的所述眼睛聚焦深度来确定相对于计算机生成的现实环境中的虚拟视点位置的虚拟焦点，其中所述计算机生成的现实环境包括对象；

响应于确定所述虚拟焦点位于距所述对象的阈值距离内，选择所述对象；以及

根据所述对象的选择激活相对于所述对象的开发界面的功能。

14.根据权利要求13所述的方法，其中响应于确定所述虚拟焦点已经位于距所述对象的所述阈值距离内大于阈值时间段，执行激活所述开发界面的所述功能。

15.根据权利要求13所述的方法，其中激活所述开发界面的所述功能引起显示与所述对象相关联的信息。

16.根据权利要求13所述的方法，其中激活所述开发界面的所述功能引起修改与所述对象相关联的信息。

17.根据权利要求13所述的方法，其中激活所述开发界面的所述功能还引起暂停与所述对象相关联的代码执行。

18.一种用于调试的方法，包括：

确定用户的眼睛聚焦深度；

基于所述用户的所述眼睛聚焦深度来确定相对于计算机生成的现实环境中的虚拟视点位置的虚拟焦点，其中所述计算机生成的现实环境包括对象；

定义穿过所述虚拟焦点的可见性平面，其中所述对象的第一部分位于所述可见性平面的第一侧上并使用第一呈现模式呈现，在所述第一呈现模式中，所述对象的所述第一部分是完全可见的，并且所述对象的第二部分位于所述可见性平面的第二侧上并使用第二呈现模式呈现，在所述第二呈现模式中，所述对象的所述第二部分不是完全可见的；以及

在所述对象的所述第二部分处于所述第二呈现模式时，激活相对于所述对象的所述第一部分的开发界面的功能。

19.根据权利要求18所述的方法，其中所述对象的所述第二部分是在所述第二呈现模式中不可见、半透明或呈现为线框中的至少一者。

20.根据权利要求18所述的方法，其中激活所述开发界面的所述功能引起显示与所述对象的所述第一部分相关联的信息，修改与所述对象的所述第一部分相关联的信息，或暂停与所述对象的所述第一部分相关联的代码执行中的至少一者。

Images