CN110915208B - 使用深度传感器的虚拟现实环境边界 - Google Patents

Abstract

一种用于生成虚拟现实环境边界的方法，包括在电子设备(100)的深度传感器(118)处接收接近于该电子设备的局部环境(112)的深度数据(132)。进一步地，接收定义虚拟有界平面图(800)的外围边界的外边界数据集合(504,506,508,602,604,606,608)。至少部分基于该外边界数据集合和来自该局部环境的深度数据来生成虚拟有界平面图。进一步地，确定该电子设备在该虚拟有界平面图内的相对姿态并且基于该相对姿态在该电子设备的显示器(108)上显示碰撞警告(902,1106)。

Description

使用深度传感器的虚拟现实环境边界

背景技术

支持机器视觉的设备可以采用深度传感器来确定对象在局部环境内的深度或相对距离。例如，头戴式显示器(HMD)系统可以采用深度传感器来识别环境的边界以用于为虚拟现实(VR)应用生成对应的虚拟环境。通常，这些深度传感器依赖于由设备捕捉在对象处投射的已知空间调制或时间调制的光的反射。一些设备利用深度传感器来感应周围对象的深度并且检测障碍物。然而，这样的设备由于持续执行深度感测而经常是功率低效或者需要大量校准来指定房间的某个区域安全导航而不与对象碰撞。因此，深度传感器在非受限设备中的使用可能在操作期间不必要地破坏虚拟现实沉浸或者减小设备的电池寿命。

附图说明

通过参考附图，本公开可以更好地被本领域技术人员所理解并且使得其多个特征和优势对于本领域技术人员是清楚明白的。不同附图中使用相同的附图标记来指示相似或相同的事项。

图1是图示依据本公开的至少一个实施例的被配置为在AR或VR环境中支持基于位置的功能的电子设备的示图。

图2是图示依据本公开的至少一个实施例的实施多个成像相机和深度传感器的电子设备的前平面图的示图。

图3是图示依据本公开的至少一个实施例的图2的电子设备的后平面图的示图。

图4图示了依据本公开的至少一个实施例的由电子设备所实施的示例处理系统。

图5是图示依据本公开的至少一个实施例的虚拟有界区域的用户辅助注释的第一示例实施方式的透视图的示图。

图6是图示依据本公开的至少一个实施例的虚拟有界区域的用户辅助注释的第二示例实施方式的透视图的示图。

图7是图示依据本公开的至少一个实施例的用于生成虚拟有界平面图的方法的流程图。

图8是图示依据本公开的至少一个实施例的导航虚拟有界区域的第一示例实施方式的透视图的框图。

图9是图示依据本公开的至少一个实施例的导航虚拟有界区域的第二示例实施方式的透视图的框图。

图10是图示依据本公开的至少一个实施例的用于生成碰撞警告的方法的流程图。

图11是图示依据本公开的至少一个实施例的呈现覆盖虚拟现实环境的未标注对象警告的图形用户界面的示图。

图12是图示依据本公开的至少一个实施例的用于生成未标注对象警告的方法的流程图。

具体实施方式

图1至图12图示了用于确定电子设备在局部环境内的相对姿态的各种技术，诸如通过采用深度传感器来识别环境的边界以用于为虚拟现实(VR)应用生成对应的虚拟环境。相对姿态信息可以被用来支持基于位置的功能，诸如虚拟现实(VR)功能、增强现实(AR)功能、视觉测程或其它的即时定位和绘图(SLAM)功能等。术语“姿态”在本文被用来指代电子设备在局部环境内的位置和定向中的任一个或二者。在一些实施方式中，该电子设备包括两个或更多成像相机以及布置在表面的深度传感器。该深度传感器可以被用来确定表示该局部环境中的对象的空间特征的距离以及它们与该电子设备的距离。该电子设备可以进一步包括表面上面向用户的另一个成像相机，从而促成头部跟踪或脸部识别或者获得局部环境的附加影像。

对象在局部环境中的相对姿态的识别可以被用来支持电子设备的各种基于位置的功能。作为说明，在一些实施方式中，对象在局部环境中的相对位置连同诸如来自陀螺仪的定向读数之类的非图像传感器数据一起被用来确定电子设备在局部环境内的相对姿态。电子设备的相对姿态可以被用来促成视觉测程、室内导航或其它SLAM功能。此外，电子设备的相对姿态可以被用来支持增强现实(AR)功能，诸如电子设备所捕捉的影像显示中基于该电子位置的相对位置和方位的附加信息的图形覆盖，并且其也可以基于用户的头部或眼睛相对于电子设备的位置或定向。

在一些实施例中，电子设备使用来自深度传感器的深度数据生成对象在局部环境中的点云图。另外，电子设备接收定义用户可以在其内进行导航而不与对象发生碰撞的虚拟有界平面图的外围边界的外边界数据的集合。类似地，该外边界数据的集合可以在定义用户可以在其内进行导航而不与对象发生碰撞的虚拟有界体积(即，三维空间)的外围边界时使用。在一些实施例中，该电子设备通过跟踪其在点云图内的位置来确定其相对于局部环境的姿态。这样，该电子设备可以提供基于位置的功能而不必持续地操作深度传感器。基于该相对姿态信息，该电子设备可以在用户开始在无障碍的虚拟有界平面图之外导航的情况下呈现碰撞警告以便向用户显示。

图1图示了依据本公开的至少一个实施例的被配置为在AR或VR环境中支持基于位置的功能的电子设备100。电子设备100可以包括便携式用户设备，诸如头戴式显示器(HMD)、平板计算机、支持计算的蜂窝电话(例如，智能电话)、笔记本计算机、个人数字助理(PDA)、游戏机系统，等等。在其它实施例中，电子设备100可以包括固定设备，诸如医学成像仪器、安全成像传感器系统、工业机器人控制系统、无人机控制系统，等等。为了便于说明，电子设备100在本文总体上以HMD系统的示例情境来描述；然而，电子设备100并不局限于这些示例实施方式。

在所描述的示例中，电子设备100包括外壳102，其具有与另一个表面106相对的表面104。在该示例中描绘了薄矩形框形式因子，表面104和106基本上平行并且外壳102进一步包括表面104和表面106之间的四个侧表面(顶部、底部、左侧和右侧)。外壳102可以以许多其它形式因子来实施，并且表面104和106可以具有非平行定向。针对所图示的平板实施方式，电子设备100包括布置在表面106处的用于向用户110呈现视觉信息的显示器108。因此，为了便于参考，表面106在本文被称作“面向前方的”表面，而表面104则在本文被称作“面向用户的”表面，作为电子设备100的相对于用户110的该示例定向的反映，但是这些表面的定向并不被这些关系设定所限制。

电子设备100包括用于获得与电子设备100的局部环境112相关的信息的多个传感器。电子设备100经由布置在面向前方的表面106的成像相机114和116以及深度传感器118获得局部环境112的视觉信息(影像)。在一个实施例中，成像相机114被实施为具有鱼眼镜头或其它广角镜头的广角成像相机以提供面向表面106的局部环境112的广角视图。成像相机116被实施为窄角成像相机，其具有典型视角镜头以提供面向表面106的局部环境112的窄角视图。因此，成像相机114和成像相机116在本文也分别被称作“广角成像相机114”和“窄角成像相机116”。

广角成像相机114和窄角成像相机116可以在面向前方的表面106上定位或定向而使得它们的视场在距电子设备100的指定距离处开始重叠，由此使得能够经由多视图图像分析来进行位于重叠视场区域内的局部环境112中的对象的深度感测。可替换地，布置在表面106上的深度传感器118可以被用来提供局部环境中的对象的深度信息。在一个实施例中，深度传感器118使用调制光投影仪将调制光图案从面相前方的表面106投射到局部环境112中，并且使用一个或多个成像相机114、116在该调制光图案从局部环境112中的对象反射回来时捕捉它们的反射。这些调制光图案可以是空间调制光图案或者时间调制光图案。所捕捉调制光图案的反射在本文被称作“深度图像”或“深度影像”。深度传感器118随后可以基于对深度影像的分析来计算对象的深度，也就是对象距电子设备100的距离。从深度传感器118获得的产生的深度数据可以被用来计算或以其它方式增强由成像相机114、116所捕捉的图像数据。可替换地，可以使用来自深度传感器118的深度数据替代从多视图分析所获得的深度信息。为了说明，多视图分析通常更适用于明亮照明条件以及当对象相对远的时候，而基于调制光的深度感测更适合较低光照条件或者当所观察对象相对接近(例如，在4-5米之内)的时候。因此，当电子设备100感测到其处于户外或者以其它方式处于相对良好的照明条件时，电子设备100可以选择使用多视图分析来确定对象深度。相反，当电子设备100感测到其处于室内或者以其它方式处于相对不良的照明条件时，电子设备100可以经由深度传感器118切换到使用基于调制光的深度感测。

成像相机114、116中的一个或多个可以除了捕捉局部环境112的影像之外还为电子设备100提供其它成像功能。作为说明，成像相机114、116可以用于支持视觉遥测功能，诸如捕捉影像以支持位置和定向检测。另外，在一些实施例中，布置在面向用户的表面104处的成像传感器(未示出)可以被用于跟踪用户110的头部的移动或者被用于脸部识别，并且因此提供可以被用来调节经由显示器108呈现的影像的视角的头部跟踪信息。电子设备100还可以依赖于用于姿态检测的非图像信息。该非图像信息可以由电子设备100经由一个或多个非图像传感器(图1中未示出)(诸如陀螺仪或环境光传感器)获得。非图像传感器还可以包括用户接口组件，诸如键盘(例如，触摸屏或键盘)、麦克风、鼠标等。

电子设备100经由成像相机114、116中的一个或两个捕捉本地环境112的影像，修改或以其它方式处理所捕捉的影像，并且提供经处理的所捕捉的影像以用于在显示器108上显示。对所捕捉的影像的处理可以包括例如添加AR覆盖，将该影像的真实内容转换为相对应的VR内容，等等。如图1所示，在具有两个成像传感器的实施方式中，来自左侧成像相机114的影像可以被处理并且在显示器108的左侧区域中显示，与此同时，来自右侧成像相机116的影像被处理并且在显示器108的右侧区域中显示，由此使得能够进行所捕捉的影像的立体3D显示。

除了捕捉局部环境112的影像以便利用AR或VR修改进行显示之外，在至少一个实施例中，电子设备100使用图像传感器数据和非图像传感器数据来确定电子设备100的相对姿态(这是位置和/或定向)，也就是相对于局部环境112的姿态。非图像信息可以由电子设备100经由一个或多个非图像传感器(图1中未示出)(诸如陀螺仪或环境光传感器)来获得。该相对姿态信息可以被电子设备100在支持即时定位和绘图(SLAM)功能、视觉测程或其它基于位置的功能时使用。非图像传感器还可以包括用户接口组件，诸如键盘(例如，触摸屏或键盘)、麦克风、鼠标等。表示电子设备100在给定时间点的状态的非图像传感器信息被称作电子设备在该时间点的“当前场景”。该当前场景可以包括诸如电子设备100的相对旋转定向或从局部环境112入射在电子设备100上的环境光之类的明确场景。

在操作中，电子设备100使用图像传感器数据和非图像传感器数据来确定电子设备100的相对姿态。该相对姿态信息可以支持结合所捕捉的影像一起显示的AR覆盖信息的生成，或者在生成所捕捉的影像的表示形式中显示的VR视觉信息时进行支持。作为示例，电子设备100可以对局部环境112绘图并且随后使用该绘图来促成用户经由VR环境的导航，诸如通过在该用户导航接近于局部环境中的对象并且可能与之碰撞时向该用户显示指示符。

为此，相对姿态的确定可以基于一个或多个成像相机114、116所捕捉的图像数据中的空间特征的检测以及电子设备100相对于所检测的空间特征的姿态的确定。作为说明，在图1所描绘的示例中，局部环境112包括卧室，其包括第一墙壁122、第二墙壁124和床126，它们全部都可以被认为是局部环境112的空间特征。用户110已经对电子设备100进行了定位和定向而使得成像相机114、116捕捉包括该卧室的这些空间特征的相机图像数据128。在该示例中，深度传感器118还捕捉反映这些空间特征相对于电子设备100的当前姿态的相对距离的深度数据132。在一些实施例中，面向用户的成像相机(未示出)捕捉表示用户110的头部120的当前姿态的头部跟踪数据134的图像数据。诸如来自陀螺仪、磁力计、环境光传感器、键盘、麦克风等的读数的非图像传感器数据130由电子设备100以其当前姿态所收集。

从该输入数据，电子设备100可以在没有来自外部源的明确绝对定位信息的情况下确定其相对姿态。作为说明，电子设备100可以执行对相机图像数据128中的广角成像相机图像数据和窄角成像相机图像数据的多视图分析，以确定电子设备100和墙壁122、124和/或床126之间的距离。可替换地，从深度传感器118获得的深度数据132可以被用来确定空间特征的距离。从这些距离，电子设备100可以三角计算或以其它方式推导其在局部环境112所表示的卧室中的位置。作为另一个示例，电子设备100可以识别在所捕捉的图像数据128的所捕捉的图像帧集合中呈现的空间特征，确定与这些空间特征的初始距离，并且随后跟踪这些空间特征在后续所捕捉的影像中的位置和距离的变化，以确定电子设备100的相对姿态的变化。在该方法中，诸如陀螺仪数据或加速度计数据的某些非图像传感器数据可以被用来将一个图像帧中观察到的空间特征与在后续图像帧中观察到的空间特征进行关联。此外，电子设备100所获得的相对姿态信息可以与相机图像数据128、非图像传感器数据130、深度数据132、头部跟踪数据134和/或补充信息136中的任一个相结合以经由电子设备100的显示器108向用户110呈现局部环境112的VR环境或AR视图。

作为说明，在图1的所描绘示例中，电子设备100可以经由成像相机116捕捉局部环境112的视图的视频影像，如上文和这里所描述的确定电子设备100的相对定向/位置，并且确定用户100在卧室内的姿态。电子设备100随后可以生成例如表示VR环境的图形表示。随着电子设备100相对于先前视图移动，电子设备100更新图形表示138从而反映变化的视角。此外，头部跟踪数据134可以被用来检测用户110的头部120相对于局部环境112的位置变化，电子设备100可以响应于该变化而调节所显示的图形表示138从而反映用户100的改变的观看角度。另外，如下文所描述的，电子设备100可以呈现VR环境以用于向用户110显示，并且响应于接收到局部环境112内的移动的用户输入，电子设备100可以更新用户在VR环境内的位置。利用该信息，电子设备100可以跟踪用户110的移动并且更新图形表示138的显示以反映用户100的相对姿态的变化。

作为另一个示例，电子设备100可以被用来促成VR环境中的导航，所述VR环境中的相对姿态的确定例如可以包括有界区域指定，由此生成用户110能够在其中自由移动而不与局部环境112的空间特征(例如，墙壁122、124和/或床126)发生碰撞的虚拟有界平面图(或虚拟有界体积)。在一些实施例中，电子设备100可以使用成像相机114、116和/或深度传感器118对局部环境112进行绘图，并且随后使用该绘图来促成用户经VR环境的导航，诸如通过向用户显示从绘图信息以及与如从电子设备100的当前姿态所确定的用户相对于该虚拟有界平面图的当前位置相关的信息所生成的虚拟有界平面图。如下文进一步描述的，在其它实施例中，用户110可以使用手持控制器辅助生成虚拟有界平面图来指定虚拟有界区域的尺寸。利用该信息，电子设备100可以向用户110显示通知或其它视觉指示同时导航通过VR环境，这使得用户110能够避免与局部环境112中的对象发生碰撞，诸如通过停留在所指定的虚拟有界平面图之内。

图2和图3图示了依据本公开至少一个实施例的HMD形式因子的电子设备100的示例实施方式的示例前平面图和后平面图。电子设备100可以以实施与所图示的那些相类似的配置的其它形式因子来实施，诸如智能电话形式因子、平板形式因子、医疗成像设备形式因子等。

如图2的前平面图所示，电子设备100可以包括布置在面向前方的表面106处的成像相机114、116以及深度传感器118的调制光投影仪202。虽然图2和图3为了图4中的示例截面图而图示了沿直线排列的成像相机114、116和调制光投影仪202，但是在其它实施例中，成像相机114、116和调制光投影仪202相对于彼此可以有所偏移。

如图3的后平面图300所示，电子设备100可以包括布置在表面104的显示设备108，用于将电子设备100固定到用户110的脸部的脸部衬垫302(随同绑带或背带的使用)，以及用户110的左眼和右眼各一个的目镜透镜304和306。如后平面图300中所描绘的，目镜透镜304与显示设备108的显示区域的左侧分区308对齐，而目镜透镜304则与显示设备108的显示区域的右侧分区310对齐。因此，在立体显示模式中，成像相机114所捕捉的影像可以在左侧分区308中显示并且被用户的左眼通过目镜透镜304所看到，并且成像相机116所捕捉的影像可以在右侧分区310中显示并且被用户的右眼通过目镜透镜306所看到。

图4图示了依据本公开至少一个实施例的由电子设备100所实施的示例处理系统400。该处理系统400包括显示设备108、成像相机114、116，以及深度传感器118。该处理系统400进一步包括传感器集线器402、一个或多个处理器404(例如，CPU、GPU，或者它们的组合)、显示器控制器406、系统存储器408、非图像传感器的集合410以及用户接口412。用户接口412包括由用户所操控以便向电子设备100提供用户输入的一个或多个组件，诸如触摸屏、鼠标、键盘、麦克风、各种按钮或开关，以及各种触觉激励器。非图像传感器的集合410可以包括用来提供电子设备100的非图像场景或状态的任意各种传感器。这样的传感器的示例包括陀螺仪420、磁力计422、加速度计424和环境光传感器426。非图像传感器可以进一步包括各种基于无线接收或传输的传感器，诸如GPS接收器428、无线局域网(WLAN)接口430、蜂窝接口432、端对端(P2P)无线接口434和近场通信(NFC)接口436。

电子设备100进一步具有对各种数据库442的访问，数据库442存储结合其图像处理、位置绘图和位置利用处理一起使用的信息或元数据。数据库442可以包括空间特征数据存储以存储从电子设备100的成像传感器所捕捉的影像识别的2D或3D空间特征的元数据，存储诸如已经被电子设备100所探测的局部环境112(图1)的区域的绘图信息之类的基于SLAM信息的SLAM数据存储，存储诸如局部环境中的感兴趣对象的相对位置的表示之类的AR覆盖信息或VR信息的AR/VR数据存储。数据存储可以处于电子设备100本地，诸如在硬盘、固态存储器或可移除存储介质(未示出)上，数据存储可以远程地位于一个或多个服务器并且例如能够经由电子设备100的一个或多个无线接口被访问，或者数据存储可以被实施为本地和远程数据储存的组合。

在操作中，成像相机114、116捕捉局部环境的影像，合成器402处理所捕捉的影像以产生修改的影像，并且显示器控制器406控制显示设备108在显示设备108处显示该修改的影像。与此同时，处理器404执行一个或多个软件程序440以结合所捕捉的影像提供各种功能，诸如用于检测所捕捉的影像或由深度传感器118所捕捉的深度信息中的空间特征的空间特征检测处理，基于所检测的空间特征或非图像传感器集合410所提供的非传感器信息对电子设备100的当前姿态的检测，要结合所捕捉的影像显示的AR覆盖、要除了所捕捉影像之外显示或者作为其表示被显示的VR内容的生成，等等。下文更详细地描述电子设备100所执行的操作的示例。

图5和图6图示了依据本公开各个实施例的用于导航的虚拟有界区域的用户辅助注释的示例实施方式。如图5所示，用户110佩戴HMD形式因子的电子设备100。在一些实施例中，电子设备100使用深度传感器118将调制光图案投射到卧室500的局部环境之中，这导致光从该局部环境中的对象(即，卧室500中的地面、墙壁以及对象)发生反射。由于对象的表面距电子设备100的深度或距离影响入射在该表面上的投射光的反射，所以电子设备100可以使用在调制光图案的反射中出现的图案失真而使用各种已知的调制光深度估计技术来确定该对象表面的深度。可替换地，面向前方的成像相机114和116都可以被用来捕捉所投射的调制光图案的反射并且可以对并行捕捉的深度影像执行多视图图像分析从而确定局部环境中的对象的深度。在其它实施例中，电子设备100可以使用面向前方的成像相机114和116之一或二者作为被同步以投射调制光图案的渡越时间成像相机，由此电子设备100使用任意各种已知的渡越时间深度算法来计算所捕捉的反射中的对象的深度。作为又另一个示例，电子设备100可以采用高速曝光快门成像相机(作为面向前方的成像相机114和116之一或者作为单独的面向前方的成像相机)，其从红外光或近红外光的脉冲捕捉反射光，由此针对传感器的每个像素所收集的反射脉冲信号的数量对应于该脉冲在深度范围内反射的地方，并且因此可以被用来计算与主体对象上的相对应点的距离。

在一些实施例中，用户110使用手持控制器502来辅助进行二维的虚拟有界平面图的注释，用户110可以在所述虚拟有界平面图内自由移动而不与卧室500内诸如墙壁112、124和/或床126的对象发生碰撞。电子设备100和手持控制器502二者可以包括诸如陀螺仪或测高仪的传感器，从而捕捉三或六自由度(6DoF)读数以便使得能够检测电子设备100和手持控制器502的相对姿态。

在佩戴HMD的同时，电子设备100的显示器108向用户110呈现卧室500的直播虚拟化。用户110通过将手持控制器502指向卧室500的地面并且选择地面上的多个点(例如，第一点504、第二点506、第三点508等)来指定围绕用户110的开放空间的一个多边形。点506-508定义了多边形的边缘在何处相交。多个用户所选择的点所定义的开放空间的多边形表示用户110可以在其中移动而不与对象发生碰撞的无物理障碍物的有界区域。虽然图5的示例图示了用户使用手持控制器502结合HMD上的深度传感器一起来选择多边形的点，但是本领域技术人员将会认识到，可以使用各种其它技术来执行用户对多边形点的选择。例如，在其它示例中，该用户选择可以使用手持深度相机(未示出)来执行。利用手持深度相机，用户110可以在屏幕上敲击或者将设备的中心指向地面上的一个位置从而指定多边形点。

在其它实施例中，除了卧室500的地面上的多个点之外，用户110通过选择卧室500的天花板上的多个点而垂直地明确有界区域。如图6所示，用户110使用手持控制器502选择了天花板上的多个点(例如，第一点602、第二点604、第三点606、第四点608等)以定义无物理障碍物的区域(例如，没有用户可能伸展手臂而意外碰撞到的天花板风扇)。卧室500的地面和天花板上的点被电子设备100用来定义三维(3D)虚拟有界体积(例如，在图6中被图示为有界笼体610)，用户110可以在其中移动而不与对象发生碰撞。本领域技术人员将会认识到，术语“虚拟有界平面图”和“虚拟有界体积”一般都可以分别指代用户可以分别在其内导航的虚拟有界二维和三维区域，并且该术语可以被互换使用而并不背离本公开的范围。

虽然图5和图6的示例主要在用户对无障碍物的有界区域的边界进行注释的背景下描述，但是本领域技术人员将会认识到，用户通过在有界区域和/或笼体内包括障碍物而有意或无意地错误表示了边界可能导致定义不适当的有界区域和笼体。因此，在一些实施例中，电子设备100诸如使用如上文描述的成像相机114、116和深度传感器118执行深度感测从而确认用户所定义的有界区域/笼体没有障碍物。

在其它实施例中，不同于允许虚拟有界区域的用户辅助注释，电子设备100使用来自成像相机114、116和深度传感器118的深度信息执行有界区域/笼体的自动估计。在这样的实施例中，在没有选择地面或天花板上的多边形点的用户输入的情况下，电子设备100使用深度信息来估计卧室地面的位置和天花板高度以定位适于VR/AR使用的无障碍区域。有界区域/笼体的自动估计可以在用户沉浸于VR环境之前执行。这种有界区域/笼体的自动估计可以通过在电子设备100的显示器108上提供指示用户110改变电子设备100的姿态(例如，引导用户110站在卧室500的中间并且转身360度而使得整个房间都被扫描)的反馈来实现。可替换地，电子设备100可以在没有完全扫描卧室500的情况下呈现VR环境以供显示，并且随着用户110导航VR环境继续扫描。在这样的实施例中，可以在用户110导航至卧室500的未扫描或扫描不充分的部分附近的情况下显示警告。此外，电子设备100可以尝试根据用户100要在VR环境中四处导航所需的空间中的姿态的类型(例如，站立、坐在桌边、房间规模、漫步)或者空间的大小(例如，最小宽度、高度、半径的尺寸)来定义有界区域/笼体。

图7图示了依据本公开的至少一个实施例的电子设备100用于生成虚拟有界平面图和/或体积的操作的示例方法700。为了便于说明，方法700被描绘并总体上描述为能够被多次执行的单个操作循环。所要理解的是，图7的所描绘流程图中的步骤可以以任意顺序来执行，并且某个步骤可以被省略，和/或某个其他步骤能够根据实施方式而被添加或重复。

方法700的迭代以在框702捕捉到各种图像传感器数据和非图像传感器数据而开始。在一个实施例中，传感器数据的捕捉由电子设备100的一个或多个成像相机114、116和深度传感器118(图1)对并发图像帧的捕捉所触发，或者以其它方式与之同步。在其它实施例中，各种传感器数据可以定期地或者以其它方式反复地被获得，并且随后使用时间戳或其它同步元数据与所捕捉的图像数据同步。传感器数据的这种捕捉可以包括在框702经由广角成像相机114对局部环境112(图1)的广角视图图像数据的捕捉以及经由窄角成像相机116对局部环境112的窄角视图图像数据的捕捉。另外，在深度传感器118被激活的情况下，局部环境的深度数据可以经由深度传感器118来捕捉。此外，表示用户的头部120的当前位置的头部跟踪数据可以从面相用户的成像相机获得。

在框704，从框702捕捉的各种图像传感器数据和非图像传感器数据被电子设备100用来生成电子设备100周围的局部环境的绘图。如上所述，深度传感器依赖于调制光投影仪124将调制光图案或“调制闪光”投射到局部环境中以及由一个或多个成像相机捕捉该调制光图案从其的反射。因此，用户所佩戴的HMD(即，如图5至图6中所示的电子设备100)可以使用面向前方的成像相机114和116中的一个或两个来捕捉调制光图案的投射的反射并且处理反射调制光图案的产生的影像从而确定在该反射的调制光图案中表示的相对应的空间特征的深度。为了将深度读数与相对应的空间特征相匹配，该HMD可以对深度影像执行空间特征分析以确定空间特征及其相对深度，并且随后尝试将空间特征与在反射调制光影像被捕捉的相同或接近时间捕捉的视觉光影像中识别的相对应的空间特征进行匹配。在另一个实施例中，该HMD可以捕捉可见光图像，并且随后控制调制光投影仪投射调制光图案并且捕捉反射的调制光图像。该HMD随后可以从反射的调制光图像针对可见光图像构建深度图，因为他们有效地表示了与处于相同坐标的相同空间特征相同的场景，原因在于可见光图像和反射调制光图像的同时捕捉。在一些实施例中，生成绘图包括使用深度数据生成局部环境的密集视觉图，诸如密集3D点云图。在一些实施例中，生成绘图还可以包括生成局部环境的稀疏视觉图，由此提供在计算上更易于生且使用较少存储空间的比密集视觉图更低密度的绘图。

在框706，电子设备100接收表示无障碍的虚拟有界区域/笼体的外边界的外边界数据。在一个实施例中，如上文关于图5至图6所描述的，该外边界数据经由虚拟有界区域的边界上的点的用户注释而被提供。用户通过选择围绕局部环境的地面上的多个点而借助于深度相机明确了指定围绕用户的开放空间中的一个多边形的区域。例如，边界点的用户注释可以包括将手持控制器指向局部环境的地面并且在框704生成的视觉图中选择多个点。在一些实施例中，除了局部环境的地面上的多个点之外，用户还可以通过选择局部环境的天花板上的多个点而垂直地明确围绕用户的区域。

在另一个实施例中，不同于佩戴HMD，用户可以拿着手持深度相机并且在局部环境的地面上的一个位置敲击屏幕或者指向在该手持深度相机的中心。在另一个实施例中，如上文关于图5至图6所描述的，使用来自成像相机114、116和深度传感器118的深度信息经由有界区域的自动估计来提供该外边界数据。在这样的实施例中，在没有选择地面或天花板上的多边形点的用户输入的情况下，该HMD使用深度信息来估计局部环境地面的位置和天花板高度以定位适于VR/AR使用的无障碍区域。外边界数据的自动估计可以在用户沉浸于VR环境之前被执行。

在框708，电子设备100使用框706的外边界数据生成虚拟有界平面图。该外边界数据所定义的开放空间中的多边形表示没有物理障碍的有界区域。例如，经由用户注释所提供的局部环境的地面和天花板上的点被用来定义用户可以在其中移动而不与对象发生碰撞的3D有界体积(例如，图6的有界笼体)。在一些实施例中，方法700可选地包括附加的深度感测操作以确认用户所定义的有界平面图是没有障碍的。下文参考图8至图12对能够由处理系统100所实施以便使用虚拟有界平面图提供基于位置的功能和导航的各种技术进行描述。

图8至图12图示了依据本公开各个实施例的用于基于有界平面图提供VR碰撞警告的示例实施方式。如图8所示，用户110佩戴HMD形式因子的电子设备100以便在虚拟有界平面图800(例如，关于图5至图7所讨论的虚拟有界地面区域/笼体)内导航。如之前所描述的，虚拟有界平面图800是使用电子设备的深度传感器的点云数据而与局部环境(即，卧室500)的物理几何形状对齐的虚拟空间。虚拟有界平面图800存储与用于站立的无障碍地面区域、房间规模或VR中漫步相关的信息。

如上文所讨论的，电子设备100从一个或多个非图像传感器捕捉传感器数据。为此，电子设备100可以实施任意的各种非图像传感器来促成电子设备100的相对姿态的确定。这样的非图像传感器可以包括陀螺仪、加速度计、磁力计、测高计和重力倾斜计中的一个或多个，它们提供涉及电子设备100在虚拟有界平面图800和卧室500内的相对位置、定向或速度的明确信息。利用在所捕捉的卧室500的影像中识别的空间特征，电子设备100基于对该空间特征的分析而确定或更新其当前相对姿态。例如，在一个实施例中，电子设备100实施基于视觉测程的位置/方位检测处理，由此在被普遍称作“光学流估计”的处理中，电子设备100基于在当前捕捉的影像和先前捕捉的影像之间的相同空间特征的位置迁移来确定其相对于其先前所确定姿态的新姿态。用于光学流估计的示例算法包括公知的Lucas–Kanade方法，以及基于模板的方法或者基于特征描述符匹配的方法。

在其它实施例中，电子设备100利用其当前场景来帮助确定当前姿态。在一些实施方式中，当前场景被用来验证或细化最初通过影像分析所确定的姿态读数。作为说明，电子设备100可以从影像分析确定方位读数并且随后使用来自陀螺仪传感器的最近6DoF读数来验证基于图像的定向读数的准确性。

电子设备100还可以利用即时定位和绘图(SLAM)算法在没有局部环境的先验知识的情况下对局部卧室环境绘图并且确定其在经绘图的环境内的相对位置。该SLAM算法可以使用姿态确定随时间的多次迭代来生成卧室500的图，同时在每个适当时点确定并更新电子设备100的姿态。在一些实施例中，电子设备100可以保存在局部环境112内所识别的空间特征的全局或绝对姿态的估计。为此，电子设备100可以使用表示全局姿态信息的非图像传感器数据——诸如从GPS接收器、磁力计、陀螺仪等所捕捉的传感器数据——进行空间特征的位置估计。该姿态信息可以被用来确定电子设备100的位置/定向，并且从该信息，电子设备100可以基于它们相对于电子设备100的位置/定向来估计所识别空间特征的位置/定向。电子设备100随后可以存储或更新空间特征的该估计的位置/定向作为与空间特征相关联的元数据。该绘图信息可以被电子设备100用来支持任意的各种基于位置的功能，诸如在提供碰撞警告时使用，如下文更详细描述的。

在电子设备100的显示器上呈现的观看视角经常可以取决于电子设备100在虚拟有界平面图800内的特定姿态。例如，在正常情况下，该虚拟有界区域的深度传感器数据和边界在用户在VR环境中导航时被隐藏而不被用户看到从而保持VR沉浸，但是可以有选择地向用户显示以帮助避免与物理空间(即，卧室500)中的障碍物发生碰撞。假设电子设备100已经对卧室500的局部环境进行了绘图，电子设备100可以使用电子设备100相对于该绘图的当前位置来确定用户是否保持在之前清除了障碍物的虚拟有界平面图800内导航。

如图8所示，随着用户(和电子设备100)接近虚拟有界平面图800的边界，电子设备100可以更新所呈现以供显示的图形用户界面(GUI)以开始叠加用户110可见的有界笼体610。有界笼体610表示虚拟有界平面图800的边界。因此，有界笼体610被叠加在电子设备100处执行的VR或AR应用的显示上，用于向用户警告他/她处于离开无障碍虚拟有界平面图800(并且因此可能与卧室500中的物理对象发生碰撞)的危险之中。在一些实施例中，随着用户在卧室500周围移动电子设备100并且导航接近于虚拟有界平面图800的边界，所呈现的图像变为淡出VR环境的显示并且淡入有界笼体610的显示。随着用户110导航进一步远离虚拟有界平面图800，VR环境的显示基于用户110导航远离虚拟有界平面图800的距离被进一步淡出。

在一些实施例中，如果用户110导航距离虚拟有界平面图800过远(基于预定距离)，则VR沉浸失效以便防止与物理对象发生碰撞。如

图9所示，用户110已经导航至虚拟有界平面图800之外。在该特定图示中，向前导航将导致用户110与床126发生碰撞。因此，VR环境的显示被暂停(即，不再渲染而以任何形式——无论是否淡出——在设备100的显示器上进行显示)并且显示警告902(例如，“返回至游戏区域”消息)从而促使用户110返回至虚拟有界平面图800。

图10图示了依据本公开的至少一个实施例的用于提供碰撞警告的电子设备100的操作的示例方法1000。为了便于说明，方法1000被描绘并总体上描述为能够被多次执行的单个操作循环。所要理解的是，图10的所描绘流程图中的步骤可以以任意顺序来执行，并且某个步骤可以被省略，和/或某个其他步骤能够根据实施方式而被添加或重复。

方法1000的迭代以在框1002确定电子设备100的当前姿态开始。为此，电子设备1000开始一个或多个图像和/或非图像传感器的读取，并且使用所产生的传感器数据来指定电子设备100的当前姿态的一个或多个参数(即，相对位置和/或定向)。这例如可以包括指定电子设备100在图像被捕捉时的6DoF定向，指定电子设备100的GPS坐标，等等。电子设备100提供该当前场景信息以便作为与卧室500中所识别的空间特征相关联的元数据进行存储。电子设备100的当前姿态也可以通过应用视觉测程算法来确定。

在框1004，方法1000通过确定电子设备100的当前姿态是否指示用户110存在与物理对象发生碰撞的风险而继续进行。如果电子设备100的当前姿态指示用户处于虚拟有界平面图800之内但是正在接近虚拟有界平面图800的边界，则电子设备100修改VR环境的显示渲染以叠加虚拟有界平面图的边界以便能够被用户看到。因此，该虚拟有界平面图的边界被叠加在电子设备100处执行的VR或AR应用的显示上，从而向用户警告他/她正处于离开无障碍的虚拟有界平面图800(并且因此可能与卧室500中的物理对象发生碰撞)的危险之中。在一些实施例中，随着用户将电子设备100在卧室500周围移动并且导航接近于虚拟有界平面图800的边缘，VR环境的显示渲染变为淡出VR环境的显示并且淡入该虚拟有界平面图的边界的显示。随着用户110导航进一步远离虚拟有界平面图800，VR环境的显示基于用户110导航远离虚拟有界平面图800的距离被进一步淡出。

如果电子设备100的当前姿态指示用户已经导航至虚拟有界平面图800的边界之外，则方法100从框1004进行至框1008。在框1008，电子设备100暂停VR环境的渲染从而中断VR沉浸，并且向用户显示警告以防止与物理对象发生碰撞。如之前关于图9所讨论的，用户110已经导航至虚拟有界平面图800之外并且向前导航将导致用户110与床126发生碰撞。因此，VR环境的显示被暂停(即，不再渲染而以任何形式——无论是否淡出——在设备100的显示器上进行显示)并且显示警告902(例如，“返回至游戏区域”消息)从而促使用户110返回至虚拟有界平面图800。在一些实施例中，警告902可以请求用户110返回至虚拟有界平面图800。在其它实施例中，警告902可以请求用户110开始明确新的虚拟有界平面图的处理(例如，重复图7的步骤)。

本领域技术人员将会认识到，诸如之前关于图5至图10所讨论的虚拟有界平面图可能已经以被用户适当注释或者由电子设备100的深度传感器在虚拟有界平面图的初始设置/生成时自动定义(例如，如关于图5至图7所描述的)为是没有障碍物的。然而，并不能保证虚拟有界平面图随着时间将保持没有障碍物。例如，如果家具被移入与虚拟有界平面图800对齐的物理空间，如果宠物进入与虚拟有界平面图800对齐的物理空间，等等，局部环境112会发生变化。

因此，在一些实施例中，电子设备100的深度传感器118定期扫描围绕用户110的局部环境112以检测用户碰撞范围内的对象。该定期扫描甚至在设备100的相对姿态指示用户110位于虚拟有界平面图之内的同时也被执行，诸如用于检测可能在初始障碍清除之后进入到与虚拟有界平面图对齐的物理空间之中的新的对象或障碍物。

图11图示了依据本公开的至少一个实施例的呈现给用户以用于碰撞警告的各种显示。显示1102图示了诸如被电子设备100上执行的应用所呈现以便向用户110显示的示例VR环境渲染，电子设备100的深度传感器118定期扫描局部环境，并且在检测到在虚拟有界平面图800内的至少部分区域形成阻碍的物理对象之后向用户生成警告。例如，显示1104图示了叠加在VR环境渲染上的碰撞警告1106的示例显示。所叠加的碰撞警告1106允许用户110保持沉浸在VR环境之内，同时进一步提供了有关碰撞风险的警告。虽然碰撞警告1106在图11中被呈现为障碍物的点云轮廓(即，局部环境112中的床126的点云轮廓)，但是本领域技术人员将会认识到，可以向用户110呈现各种GUI实施方式而并不背离本公开的范围。例如，在其它实施例中，该碰撞警告可以被呈现为被着色为与VR环境渲染的颜色形成明显对比的像素化的显示区域。在其它实施例中，该碰撞警告可以被呈现为叠加在VR环境渲染上的如成像相机114、116之一所捕捉的物理对象的实际图像。

在许多实例中，深度传感器118的连续激活会消耗大量功率。这会使得深度传感器118成为相对高功率的设备，深度传感器118以这种方式所消耗的功率明显大于平板电脑、智能电话或其它便携式用户设备中使用的典型显示器所消耗电功率。这会对电子设备100在电池充电之间的运行时间造成不利影响。因此，针对深度传感器118的高效操作的方法将改善电子设备100的性能。

如上文提到的，电子设备100通过方法700和1000的迭代进行循环以提供实时更新的定位、绘图和虚拟现实显示。然而，这些子处理并不一定需要被连续执行。作为说明，电子设备100在用户首次带着电子设备100进入卧室500时可能已经针对卧室500中的对象形成了深度数据。由于卧室500中的家具并不会定期重新布置，所以迭代方法700的虚拟有界平面图生成和碰撞警告生成方法1000在能量和计算上将会是低效的。

因此，不同于操作深度传感器118持续地扫描局部环境，在一些实施例中，可以通过计时器时长所触发的自动定期深度数据重新捕捉来应对给定局部环境中的对象布局的潜在变化，从而刷新或更新该区域的深度数据。电子设备100还可以通过评估从局部环境112所捕捉的影像中存在的几何不确定性来评测其对局部环境112的当前熟悉度。该几何不确定性例如在之前未遇到的对象或几何形状的检测中有所反映，诸如并未在以相同或相似姿态捕捉的先前影像中出现的边缘集合，或者在意外几何形状的检测中有所反映，诸如与它们在来自相同或相似设备姿态的先前捕捉图像中的之前定位相比的角集合的空间定位偏移。

为此，在一个实施例中，电子设备100对局部环境112内检测到的空间特征编制目录。该特征目录可以包括空间特征的列表以及某些特性，诸如它们的相对位置/定向、它们的尺寸等。由于局部环境112可能关于相同位置发生变化(例如，对象可能被添加或移除，或者被移动至新位置)，所以电子设备100可以通过识别当前能够从该位置所观察的空间特征并且将所识别的空间特征与针对该位置之前计入目录的空间特征相比较来确定其是否处于物理对象被重新布置的环境之中。在一些实例中，电子设备100可能处于其之前已经形成了充分深度数据的区域(例如，卧室500)之中，但是局部环境中已经发生了变化并且因此使得之前的深度数据不可靠。在那之后，卧室500中的家居和设施已经被重新布置，从而卧室500的深度数据是陈旧的。因此，电子设备100将迭代方法700来重新绘图并且生成新的虚拟有界平面图。

类似地，电子设备100可以降低深度传感器118的工作频率来提高功率效率，并且定期扫描局部环境以确定在之前确认的无障碍的虚拟有界区域中是否出现了任何意外的空间特征。在检测到意外空间特征时，诸如在成像相机114、116或深度传感器118之一的视场中出现的未绘图的对象，电子设备100就提高深度传感器118的工作频率以对该未绘图的对象的空间特征绘图和/或直至该未绘图的对象离开成像相机114、116或深度传感器118的视场。

图12图示了依据本公开的至少一个实施例的用于在沉浸于VR环境中的同时针对意外对象提供碰撞警告的电子设备100的操作的示例方法1200。方法1200被描绘并总体上描述为能够被多次执行的单个操作循环。所要理解的是，图12的所描绘流程图中的步骤可以以任意顺序来执行，并且某个步骤可以被省略，和/或某个其他步骤能够根据实施方式而被添加或重复。

方法1200的迭代在电子设备100接收传感器和边界数据以生成虚拟有界平面图的框1202开始，诸如之前关于图5至图7更详细讨论。在一些实施例中，传感器数据包括来自经由广角成像相机114对局部环境112(图1)的广角视图图像数据的捕捉以及经由窄角成像相机116对局部环境112的窄角视图图像数据的捕捉的数据。另外，在深度传感器118被激活的情况下，该传感器数据包括经由深度传感器118捕捉的该局部环境的深度数据。各种传感器数据被用来生成围绕电子设备100的局部环境的绘图。在一些实施例中，生成该绘图包括使用深度数据来生成局部环境的密集视觉图，诸如密集3D点云图。在一些实施例中，生成该绘图还可以包括生成局部环境的稀疏虚拟图，由此提供在计算上更易于生成且使用较少存储空间的比密集视觉图更低密度的绘图。

此外，电子设备100接收表示无障碍的虚拟有界平面图的外边界的边界数据。在一个实施例中，如上文关于图5至图7所描述的，该外边界数据经由虚拟有界区域的边界上的点的用户注释而被提供。在其它实施例中，该外边界数据使用来自成像相机114、116和深度传感器118的深度信息经由对有界区域的自动估算而被提供。在这样的实施例中，在没有选择外边界点的用户输入的情况下，电子设备100使用深度信息来估计局部环境地面的位置和天花板高度以便定位适于VR/AR使用的无障碍区域。外边界数据的自动估计可以在用户沉浸于VR环境之前被执行。

在框1204，电子设备100定期扫描局部环境以确定在框1202的之前确认的无障碍的虚拟有界平面图中是否出现了任何意外的空间特征。在一些实施例中，意外空间特征由深度传感器118检测，其经由最初在框1202的绘图操作期间并未被捕捉到的深度数据来感测未绘制的对象。在其它实施例中，该意外空间特征由成像相机114、116之一所检测，其捕捉影像并且通过评估从局部环境112所捕捉的影像中存在的几何不确定性来评测其对局部环境112的当前熟悉度。该几何不确定性例如在之前未遇到的对象或几何形状的检测中有所反映，诸如并未在以相同或相似姿态捕捉的先前影像中出现的边缘集合，或者在意外几何形状的检测中有所反映，诸如与它们在来自相同或相似设备姿态的先前捕捉图像中的之前定位相比的角集合的空间定位偏移。

在框1206，电子设备100在检测到在框1202的虚拟有界平面图内的至少部分区域形成阻碍的物理对象之后生成警告以便向用户显示。在一个实施例中，诸如之前关于图11所描述的，该碰撞警告被呈现为障碍物的点云轮廓。在另一个实施例中，该碰撞警告可以被呈现为被着色为与VR环境渲染的颜色形成明显对比的像素化的显示区域。在其它实施例中，该碰撞警告可以被呈现为叠加在VR环境渲染上的如成像相机114、116之一所捕捉的物理对象的实际图像。

在一些实施例中，方法1200可选地包括响应于检测到在虚拟有界平面图内的至少部分区域形成阻碍的物理对象而改变电子设备的深度传感器的工作频率。例如，在一个实施例中，在检测到诸如深度传感器的视场中出现的未绘图的对象之类的意外空间特征时，电子设备100提高深度传感器的工作频率以对该未绘图的对象的空间特征进行绘图和/或直至该未绘图的对象离开深度传感器的视场，由此允许电子设备通过在虚拟有界平面图保持无障碍的同时以较低频率操作而节省功率。

在生成为了在被渲染以便向用户110呈现的VR环境中显示的虚拟内容时，可以使用电子设备100所捕捉的深度数据和局部环境绘图数据。在图5至图12的示例中，各个实施例包括使用手持控制器(例如，图5的手持控制器502)与头戴式深度相机(例如，HMD和/或电子设备的深度传感器118)来确定3D空间中的点的位置。除了提供有关电子设备100相对于该手持控制器的6DoF定位的数据之外，在3D空间中的该手持控制器位置可以用作用户身体的虚拟分段的基础。例如，可以应用逆向运动学以将身体模型与该手持控制器和/或头戴式深度相机所提供的深度数据相匹配。诸如连接性或法线之类的网格分析技术在虚拟有界平面图的场景构建期间考虑用户的手臂、腿和身体。也就是说，如果VR应用为用户绘制了虚拟身体，则电子设备100将并不会将用户的四肢和虚拟身体混淆为VR环境中的意外空间特征。

在另一个示例中，来自深度传感器118的物理几何测量也可以被用于自动虚拟内容生成。如之前关于图5至图12更详细讨论的，局部环境的物理几何形状利用安装于设备的深度相机进行扫描。可以连同密集几何表示(例如，网格或体元)一起保存稀疏虚拟图。虚拟内容可以在经VR环境的导航期间实时生成，或者在虚拟有界区域的初始扫描期间使用预扫描的几何形状来生成。例如，

上文所描述的许多发明功能以及许多发明原则非常适用于利用软件程序或指令以及集成电路来实施或者以所述软件程序或指令以及集成电路来实施，所述集成电路诸如专用IC(ASIC)。期望在本文公开的概念和原理的指导下，尽管可能有重大的努力以及由诸如可用时间、当前技术和经济考虑因素引起的许多设计选择，但是普通技术人员将能够轻易地以最少的实验生成这样的IC。因此，为了简化和尽量减少根据本公开的原则和概念的任何风险，如果有的话，对这样的软件和IC的进一步讨论将被限制于关于优选实施例中的原理和概念的要点。

在本文中，诸如第一和第二等的关系术语可以仅被用来在一个实体或动作与另一个实体或动作之间加以区分，而并非必然在这样的实体或动作之间要求或暗示任何实际这样的关系或顺序。在本文中，术语“包括”、“包括着”或其任意其它变化形式意在覆盖非排他性包含，从而包括一系列要素的过程、方法、物品或装置并不仅仅包括那些要素，而是可包括没有明确列出或者对于这样的过程、方法、物品或装置而言是固有的其它要素。没有更多的限制，之前有“包括…一个”的要素并不排除在包括该要素的过程、方法、物品或装置中存在其它相同的要素。如本文中所使用的，术语“另一个”被定义为至少第二个或更多。如这里所使用的，术语“包含”和/或“具有”被定义为包括。如这里关于光电技术所使用的术语“耦合”并定义为连接，但是并非必然为直接连接，也并非必然为机械连接。如这里所使用的，术语“程序”被定义为被设计为在计算机系统上执行的指令序列。“程序”或“计算机程序”可包括子程序、函数、过程、对象方法、对象实施方式、可执行应用程序、小应用程序、小服务程序、源代码、目标代码、共享库/动态负载库和/或被设计为在计算机系统上执行的其它指令序列。

说明书和附图应当被认为仅是作为示例，并且本公开的范围因此意在仅有以下权利要求及其等同形式所限定。注意到，并非以上在整体描述中所描述的所有活动或要素都被要求，并且具体活动或设备的一部分可能并不被要求，并且除了所描述的那些之外，可以执行一个或多个另外的活动或者包括另外的要素。再进一步地，活动被列举的顺序并非必然是它们被执行的顺序。而且，已经参考具体实施例对概念进行了描述。然而，本领域技术人员将会意识到，能够进行各种修改和变化而并不背离在以下权利要求中所给出的本公开的范围。因此，该说明书和附图被以说明而非限制的含义进行理解，并且所有这样的修改都意在被包括在本公开的范围之内。

以上已经关于具体实施例对好处、优势、针对问题的解决方案进行了描述。然而，所述好处、优势、针对问题的解决方案以及可能导致任何好处、优势或解决方案发生或变得更为突显的任意(多个)特征并不被理解为是任何或所有权利要求的关键、要求或必要特征。

Claims (17)

1.一种用于虚拟现实显示的方法，包括：

在电子设备的深度传感器处接收来自接近于所述电子设备的局部环境的深度数据；

由所述电子设备使用所述深度数据定义虚拟有界体积的外边界，其中所述虚拟有界体积包括没有物理障碍的三维体积区域；

使用从不同于所述深度传感器的一个或多个传感器获得的、不同于深度数据的信息，确定所述电子设备在所述虚拟有界体积内的相对姿态；以及

基于所述相对姿态，在所述电子设备的显示器上显示碰撞警告；

定期扫描所述局部环境以从所述深度传感器获得深度数据，以用于检测所述局部环境中的未绘图的对象；

基于检测到所述局部环境中的未绘图的对象来生成未绘图的对象的警告，以用于在所述电子设备的所述显示器上进行显示；以及

响应于检测到所述局部环境中的所述未绘图的对象而增加所述深度传感器的工作频率。

2.根据权利要求1所述的方法，进一步包括基于接收对所述三维体积区域的至少一个用户修改来修改所述虚拟有界体积，包括：

接收多个用户选择的点，所述多个用户选择的点指定没有物理障碍的所述三维体积区域的边缘。

3.根据权利要求2所述的方法，其中，定义所述外边界包括：

使用手持控制器接收对所述局部环境的直播虚拟化中的点的用户选择。

4.根据权利要求1所述的方法，其中，定义所述外边界包括：

接收基于所述深度数据所确定的设备估计的有界区域。

5.根据权利要求1所述的方法，其中，确定所述电子设备在所述虚拟有界体积内的所述相对姿态包括：

确定所述电子设备距所述虚拟有界体积的所述外边界的距离。

6.根据权利要求5所述的方法，其中，基于所述相对姿态在所述电子设备的所述显示器上显示所述碰撞警告包括：

随着所述电子设备距所述虚拟有界体积的所述外边界的距离减小，以覆盖虚拟现实环境的渲染的方式显示所述虚拟有界体积。

7.根据权利要求5所述的方法，其中，基于所述相对姿态在所述电子设备的所述显示器上显示所述碰撞警告包括：

基于所述相对姿态指示所述电子设备被定位在所述虚拟有界体积的所述外边界之外，暂停虚拟现实环境的渲染；以及

显示敦促返回至所述虚拟有界体积的指令。

8.根据权利要求1所述的方法，进一步包括：

基于所述深度数据来生成所述局部环境中的对象的点云图。

9.根据权利要求1所述的方法，进一步包括：

基于所述电子设备的所述相对姿态来改变所述深度传感器的工作频率。

10.根据权利要求1所述的方法，其中所述未绘图的对象的警告包括所述未绘图的对象的点云表示。

11.一种电子设备，包括：

深度传感器，用于捕捉来自接近于所述电子设备的局部环境的深度数据；

处理器，用于使用所述深度数据定义虚拟有界体积的外边界，其中所述虚拟有界体积包括没有物理障碍的三维体积区域，其中所述处理器被配置为检测所述局部环境中的未绘图的对象，其中所述处理器被配置为响应于检测所述局部环境中的所述未绘图的对象而增加所述深度传感器的工作频率，并且进一步地，其中所述处理器被配置为确定所述电子设备在所述虚拟有界体积内的相对姿态，其中所述相对姿态是使用从不同于所述深度传感器的一个或多个传感器获得的、不同于深度数据的信息来确定的；和

显示器，用于基于所述相对姿态来呈现碰撞警告以及用于响应于所述处理器检测到所述局部环境中的所述未绘图的对象而呈现未绘图的对象的警告，其中，所述未绘图的对象的警告包括所述未绘图的对象的点云表示。

12.根据权利要求11所述的电子设备，进一步包括：

控制器，用于提供选择多个点的用户输入，所述多个点指定在所述局部环境中没有物理障碍的所述三维体积区域的边缘。

13.根据权利要求11所述的电子设备，其中：

所述处理器用于基于所述深度数据来自动生成所述虚拟有界体积。

14.根据权利要求11至13中任一项所述的电子设备，其中：

所述处理器用于确定所述电子设备距所述虚拟有界体积的所述外边界的接近度。

15.根据权利要求14所述的电子设备，其中：

所述处理器用于随着所述电子设备距所述虚拟有界体积的所述外边界的接近度减小而以覆盖虚拟现实环境的渲染的方式来渲染所述虚拟有界体积以用于显示。

16.根据权利要求11所述的电子设备，其中：

所述处理器用于基于所述相对姿态指示所述电子设备被定位在所述虚拟有界体积的所述外边界之外来暂停虚拟现实环境的渲染。

17.一种存储计算机程序的非瞬态机器可读介质，所述计算机程序在被处理器执行时实施根据权利要求1至10中任一项所述的方法。

Images