CN109643162A - 用现实世界内容增强虚拟现实内容 - Google Patents

Abstract

提供了用于利用现实世界内容来增强虚拟现实场景的方法、设备和计算机程序。一个示例方法包括以下操作：从用户的HMD获得传感器数据以确定满足将一个或多个现实世界对象覆盖到虚拟现实场景中以提供增强的虚拟现实场景的标准。在某些示例中，所述标准对应于在用户佩戴所述HMD并被呈现虚拟现实场景时暗示用户迷失方向的预定指示符。在某些其他示例中，基于所述一个或多个现实世界对象在使迷失方向的用户重新定向时的有效性来选择它们。

Description

用现实世界内容增强虚拟现实内容

技术领域

本发明涉及用于改变虚拟现实内容的方法，且更具体地，涉及用于利用现实世界内容来增强虚拟现实内容以及基于检测到的用户交互来切换和混合内容的方法和系统。

背景技术

虚拟现实(VR)作为消费者与内容进行交互的方式以及作为内容创作者与受众进行交互的方式正变得越来越普遍。随着VR的普及，其强度和沉浸感也在不断提高。虚拟现实场景(VRS)导致观看者迷失方向并不罕见。迷失方向的程度可以从轻微的不适到严重的不愉快。因此，从可用性和安全性的角度来看，迷失方向都是一个问题。例如，迷失方向会导致整体用户体验受损，并降低VR体验的质量。此外，用户迷失方向的可能性可能会限制内容创作者为了防止可能迷失方向的场景而愿意产生的内容。

因此，随着VR沉浸感和强度持续增强，可以提供减轻可能会引起的迷失方向和/或不适的措施的系统和方法具有优点。

正是在这种背景下，出现了本发明的实施方案。

发明内容

本发明的实施方案提供用于改变虚拟现实场景的方法和系统，且更具体地，用于利用现实世界内容来增强虚拟现实场景的方法和系统。该方法和系统还定义了用于在VR内容和现实世界内容之间进行切换以及管理两者之间的转换的实施方案。应当理解，本发明可以以多种方式实现，例如进程、装置、系统、设备或计算机可读介质上的方法。下面描述本发明的若干创造性实施方案。

在一个实施方案中，一种方法包括用于从HMD上的传感器获得数据的操作。处理传感器数据以确定是否满足从虚拟现实场景(VRS)转换到要在HMD上显示的增强VRS的第一标准，其中第一标准对应于在用户佩戴HMD并被呈现VRS时暗示用户迷失方向的预定指示符。一旦确定满足第一标准，该方法包括用于将第一现实世界对象插入VRS以产生增强VRS的操作，其中第一现实世界对象来自由设置在虚拟现实交互空间中的摄像机提供的现实世界视图。在这些实施方案的背景中，“增强的VRS”或“增强的VR”指的是已经从原始状态修改为包括来自现实世界的内容的VR。增强的VR或VRS也可以称为“混合视图”或“混合HMD视图”。

在另一实施方案中，用于提供VRS的系统包括用于从HMD获得传感器数据的过程。该系统还包括处理所述数据以确定是否满足第一标准的处理器。第一标准对应于在用户佩戴HMD并被呈现VRS时暗示用户迷失方向的预定指示符。该系统还包括将现实世界对象插入VRS的渲染部件。现实世界对象是从设置在虚拟现实交互空间中的摄像机提供的现实世界视图中捕获的。

在又一个实施方案中，体现在非暂时性计算机可读存储介质中的计算机程序在由一个或多个处理器执行时改变HMD的虚拟现实内容。介质中包括用于获得HMD传感器数据和处理所述数据以确定满足第一标准的程序指令，第一标准对应于在用户佩戴HMD并被呈现虚拟现实场景时暗示用户迷失方向的预定指示符。此外，介质还包括用于将第一现实世界对象插入VRS的程序指令，第一现实世界对象来自虚拟现实交互空间中的摄像机提供的现实世界视图。

根据下面结合附图的详细描述，通过示例说明了本发明的原理，本发明的其他方面将变得明显。

附图说明

通过参考以下结合附图的描述，可以最好地理解本发明，其中：

图1示出了能够向用户提供VRS并增强VRS的实施方案。

图2示出了根据一个实施方案的HMD的某些部件，其允许呈现VRS并检测用户迷失方向。

图3示出了在一个实施方案中用于使迷失方向的用户重新定向的方法的流程。

图4示出了根据一个实施方案的能够检测用户迷失方向并使用户重新定向的计算机的一些部件。

图5A示出了根据一个实施方案的在房间中佩戴HMD并被呈现VRS的现实世界中的用户。

图5B-5H示出了根据一些实施方案的可以向用户显示的各种视图，包括VRS、具有一个或多个现实世界对象的增强VRS以及现实世界视图。

图6示出了根据一个实施方案的用户体验迷失方向并向其呈现增强的VRS的示例。

图7A-7B示出了根据一些实施方案的增强VRS的不同方式。

图8示出了根据一些实施方案的由计算机实现的用于将VRS增强或改变为增强的VRS或现实世界视图的算法的流程图。

图9示出了根据一个实施方案的用逐渐增加的现实世界对象来增强VRS的方法的流程。

图10示出了根据一个实施方案的由计算机执行的用于确定如何从多个现实世界对象中选择要增强到VRS中的现实世界对象的方法的流程。

图11A示出了根据一个实施方案的用于增强VRS的方法的表示，其中首先满足第一标准并然后不再满足第一标准。

图11B示出了根据一个实施方案的用于增强VRS的方法的表示，其中首先满足第一标准并且随后满足第二标准。

图12示出了根据一个实施方案的用于根据预期的重新定向有效性来选择和排序要增强到VRS的现实世界对象的方法。

图13示出了根据一个实施方案的头戴式显示器的一些部件的实施方案。

具体实施方式

以下实施方案描述了用于改变头戴式显示器(HMD)中显示的虚拟现实场景的方法、计算机程序和装置。然而，对于本领域技术人员来说，将明显的是，本发明可以在没有这些具体细节中的一些或全部的情况下实践。在其他情况下，没有详细描述众所周知的过程操作，以免不必要地模糊本发明。

由HMD提供的虚拟现实场景通常是如此沉浸式，以至于它们导致一些用户迷失方向。用户的迷失方向可以表现为平衡感、着地感、重力感、空间内位置感、安全感等的丧失。类似地，用户对这些类型的迷失方向中的任何一种的体验可以从轻微至严重。迷失方向的瞬间不仅会带走虚拟现实场景体验，而且还可能会妨碍用户欣赏内容或欣赏独特内容。

此外，HMD用户在完全参与虚拟现实场景(VRS)时通常并不会察觉到他们自己的迷失方向状态。因此，用户的迷失方向可能会在不被察觉的情况下继续加重，直到用户感觉到有必要完全停止VRS为止。结果，不仅用户遭受了相当程度的迷失方向，在虚拟现实场景内取得的任何进展也可能被实质性地丢失。因此，存在通过检测用户迷失方向并帮助用户在原位重新定向以增强体验以及用户安全性的技术需求，特别是当正在开发VRS体验以变得更易于访问、更沉浸式、并且交互性更强时。另外，在原位检测并纠正迷失方向，而不是在某个早期点重新启动虚拟现实场景，可能在计算上更有效。

如本文所用，“原位”意味着在用户与VRS交互时处理迷失方向的检测，并且在与VRS交互期间动态地进行内容呈现的改变。在一个实施方案中，改变包括将现实世界对象混合到VRS中，并且能够混合现实世界对象直到迷失方向减轻，然后切换回VRS。在一些实施方案中，可以进行切换以将HMD中的视图完全带到现实世界，直到检测到用户重新定向，然后逐渐地移回到VRS中。在某些其他实施方案中，可以在HMD上提供部分现实世界视图的叠加(例如，覆盖到VRS上)，以便可以向用户提供重新定向的机会。

检测用户迷失方向可以以多种方式完成。当用户迷失方向时，她可能表现出许多可由传感器测量的身体的线索。例如，迷失方向的用户可能会表现出不稳定的眼睛运动(例如，眼球震颤)、异常的头部运动(例如倾斜)、姿势(倚靠)、步态等。其他伴随的身体症状可能包括出汗、发烧、可听见的发声等。这些身体的线索可以由HMD中和HMD上以及虚拟现实交互空间中的其他地方的传感器定量地测量和跟踪。例如，可以从位于虚拟现实交互空间内的摄像机获得推断图像。如本文所使用的，“虚拟现实交互空间”指的是三维现实世界空间，其中用户可以经由HMD参与到VRS中。

上述传感器中的一些可以包括注视检测摄像机(或眼睛跟踪摄像机)、眼睛摄像机、惯性传感器、光敏二极管(PSD)、前向摄像机，设置在HMD周围的、具有图像拼接功能的多个摄像机、面向HMD的摄像机、传声器、湿度传感器、温度计等。在一些实施方案中，眼睛摄像机可包括被配置为检测眼睛形状、眼睛状态的3D几何形状、眼睛曲率、眼睛大小或失真的摄像机。在其他实施方案中，眼睛摄像机可以跟踪瞳孔形状。可以使用查找表来参考先前的眼睛状态，并将当前眼睛状态与预期的迷失方向或不适状态相关。

可以测量的用户行为或症状的其他示例包括用户心跳模式、脑电波和用户发声。本领域技术人员将认识到，可以结合许多众所周知的生理和神经传感器，以便检测人体的对应模式。作为非限制性示例，这些传感器中的一些可包括心电图(EKG或ECG)监视器、肌电图(EMG)监视器、脑电图(EEG)监视器以及其他电诊断(EDX)传感器。可以包括在某些实施方案中的传感器类型的附加描述可以在题为“BIOMETRIC INTERFACE FOR A HANDHELDDEVICE”美国专利申请系列号12/963,594中找到，该专利申请据此以引用方式并入。

此外，一些实施方案可以包括‘硬’按钮、虚拟按钮、语音控制、语音命令或其他用户输入工具，其可操作供用户自愿提供她的迷失方向和/或重新定向的状态的信息，并停止、减慢或以其他方式转换退出VR内容。

然后，可以由计算机获得来自这些传感器的数据，然后，计算机可以实现迷失方向检测逻辑(DDL)。作为示例，DDL可以基于所获得的传感器数据来确定对应于暗示用户迷失方向的预定指示符的某些标准被满足。一旦做出这样的确定，就开始使用户重新定向，同时尽可能地仍然保持VRS的连续性和完整性(原位重新定向)。

在某些实施方案中，DDL可以具有学习和/或预测部件。例如，DDL可以从用户历史接收输入，并根据所述用户历史来调整暗示迷失方向的某些指示符。结果，DDL可以‘学习’与特定用户相关联的迷失方向行为的模式，并相应地调整其逻辑。此外，DDL可以从VRS背景数据源接收输入，其可以提供关于即将到来的VRS的背景信息。结果，根据一些实施方案，DDL可能能够提前基于这些输入，预测迷失方向的未来状态。例如，在某些实施方案中，DDL可以基于预测的未来迷失方向状态，允许增强的VRS或原位重新定向。下面更详细地描述这些实施方案的各个方面。

在仍然保持VRS的连续性的同时使用户重新定向的一种方式涉及从现实世界中选择对象并将该对象的图像插入VRS。在该实施方案中，现实世界对象(RWO)的插入图像可以向用户提供着地感和空间熟悉度。结果，可以在不中断VRS进展的情况下使用户重新定向。现实世界对象可以由虚拟现实交互空间内的摄像机，例如HMD的前向摄像机，或者HMD的多个面向外的摄像机，或者指向佩戴HMD的用户的一个或多个摄像机，进行捕获。

通常，可使用现实世界对象的分类器来检测和识别来自上述摄像机的对象。一个示例分类器使用数据库和更新引擎来对已识别的对象进行分类。通过使用分类器，可以快速识别现实世界对象。在一些实施方案中，更新引擎可以通过访问本地或互联网上的其他数据库来更新其数据库。更新引擎可以实现例如要识别的对象的图像与图像数据库的比较，这可以快速渲染关于对象的信息。该信息可以包括通常识别对象(例如“椅子”)的数据，或者还可以包括更详细的数据(例如，元数据)。

例如，详细数据可以将对象识别为与商标相关联，例如CocaCola^TM，可以识别形状，可以识别颜色，可以识别三维形状，可以识别条形码(2D和3D)，可以识别声音，以及上述各项中的两种或更多种的组合。在一些实施方案中，分类器可以识别单个对象，诸如位于虚拟现实交互空间(例如，用户佩戴HMD的“现实世界”，由一个或多个摄像机捕获)内的咖啡桌或灯。作为另一个示例，分类器可以能够识别地板和墙壁以及两者相交的点。

分类器还可以识别和分类维度、相对维度、用户生成的内容(UGC)、用户标签数据、用户评论、社交媒体馈送、用户点评等。在其他实施方案中，可以使用深度学习神经网络来训练分类器。这种网络可以依赖于特定数据提供的数据，以及从许多用户接收到的数据。如上所述，分类器系统优选地被优化以识别可以由摄像机和/或其他传感器捕获的对象。因此，处理一个或多个分类器优化对象识别的速度和效率以及这些信息的使用。

取决于迷失方向的类别和强度，计算机内容执行逻辑内的选择模块还可以基于所述RWO的减轻迷失方向的特定情况的预期有效性、和/或用户设置和用户历史来选择RWO。一旦选择了现实世界对象，RWO插入逻辑和渲染模块就可以用所选择的RWO来增强VRS，以产生增强的VRS。应当注意，在此背景中，“增强的VRS”指的是已经用现实世界内容增强的VRS。另外，在此背景中，“增强”指的是插入、覆盖、混合、拼接、叠加或以其他方式将内容添加到原始场景中。

一般而言，RWO插入逻辑可以在VRS内的位置插入RWO，所插入的位置对应于其在现实世界中相对于用户的实时注视方向的位置。结果，用户看到增强的VRS内的RWO，就好像通过取下HMD将会看到的那样，为她提供空间熟悉度和重新定向线索，而不会中断VRS流。然而，可能存在某些情况，其中插入逻辑可以将RWO放置在VRS内的不同于其在现实世界中的位置的位置。

增强VRS的过程可以通过插入或混合或覆盖附加现实世界对象而逐渐继续，直到计算机的DDL确定用户不再满足表示迷失方向的标准。在一个实施方案中，计算机的内容执行逻辑可以从增强的VRS中移除一个或多个插入的RWO(例如，同时或逐渐地)。另一方面，如果用户没有响应于增强的VRS而重新定向到适当的程度，则DDL可以确定满足第二标准。

在某些实施方案中，现实世界对象的渐进式集成可以包括展开已经插入的RWO的可见部分。例如，如果第一RWO首先被增强到VRS中，则附加的RWO可以包括所述第一RWO的更全面或更展开的视图。换句话说，附加的RWO本身不需要是现实世界中的分立的对象，而是能够被HMD上的、和在VR交互空间内的一个或多个摄像机捕获并被引入到VR场景中的现实世界视图的任何部分。在一个示例中，RWO可以包括现实世界中的若干对象。在一些示例中，插入或混合或覆盖到虚拟现实场景上的现实世界对象可以包括现实世界周围环境的全部或一部分。在其他示例中，VR可以切换到具有现实世界视图的增强现实，同时保留一些虚拟对象。在其他示例中，对象的图像的侧影、轮廓、阴影或外部部分可以用于与VRS混合，以代替对象的更完整视图或者作为其补充。

第二标准与第一标准非常相似，也对应于暗示迷失方向的预定指示符。然而，虽然满足第一标准可以开始增强VRS的过程，但是第二标准的满足可以开始完全切换到现实世界视图(RWV)。从VRS到RWV的切换可以由VRS到RWV切换逻辑来完成。因此，完全消除了用户的(来自VRS的)迷失方向刺激，并且有机会重新定向到现实世界视图。一旦DDL确定不满足任何标准，VRS可以恢复其过程，无论是从切换发生的位置还是从更早的点。以这种方式，HMD用户有机会在原位重新定向，对VRS的干扰最小。

还应注意，某些实施方案可具有虚拟现实显示器，其包括作为主要视图区域的第一区域和作为视图的边界或边缘区域的第二区域。第一区域可以包括虚拟现实视图。显示器的第二区域可以包括现实世界内容与虚拟现实内容的混合。针对左眼和右眼中的每一个，第一区域可以被配置为在显示器的主要区域(例如，‘直向前’看区域)，以便如果用户要‘直向前看’，他的注视将落在第一区域。对于左眼和右眼，第二区域可以被配置为在显示器的更外围区域或边缘或边界，以便如果用户朝向外围方向注视(例如，视图的上/下、左右、角落)，则用户的注视将落在第二区域。结果，根据某些实施方案，用户可以通过改变他的注视方向(例如，从直向前看到朝视图的右下角看)，自愿地在虚拟现实场景和具有虚拟现实内容和现实世界内容的混合场景之间切换。也就是说，用户能够通过朝向第二区域看或甚至通过使用他的外围视觉来跟踪显示器的第二区域，持续地观看某种程度的现实世界视图。

在一些实施方案中，第二区域可以在一段时间内保持现实世界内容到虚拟世界视图的混合。在这些和其他实施方案中，通过第二区域不断地给用户提供现实世界的视图。在其他实施方案中，可以打开和关闭第二区域，或者可以基于用户偏好设置，不同程度地将现实世界内容混合到虚拟内容中。

应当注意，虽然一些实施方案可以包括对于左眼和右眼显示器中的每一个(分别针对左眼和右眼)，将现实世界内容混合到VR内容中的程度相似，但是存在某些其他实施方案，其中左眼或右眼显示器可以具有将现实世界内容混合到VR内容中的程度比另一只眼的显示器多或少。例如，在某些实施方案中，左眼显示器可以比右眼显示器具有更多的混合到VR场景中的现实世界内容。相反的情况也成立，其中右眼显示器比左眼显示器具有更大程度的现实世界内容被增强到虚拟内容中。以这种方式，用户可以在仍将一只眼盯着VR内容的同时，了解他的现实世界的情况。

在某些实施方案中，左眼或右眼显示器(但不一定是两者同时)可包括以约20-80％透明度混合或显示的现实世界内容。结果，用户可能能够持续体验VR场景，同时还能够了解他的现实世界环境。在这些和其他实施方案中，现实世界内容不限于分立的对象(例如，椅子)，而是可以是现实世界环境的透明视图或局部视图。

还应注意，第一标准和第二标准可取决于设置和参数，作为迷失方向本身的补充或替代。例如，第一标准和第二标准可以取决于用户预先确定的用户设置或偏好，或者通过用户历史了解的用户设置或偏好。结果，用户可以选择或指出第一或第二标准已被满足。在这些和其他实施方案中，用户可以基于他的判断来决定如何混合虚拟世界视图和现实世界视图。

一般来说，对于插入什么类型(现实世界对象、部分或完整视图、边界视图、单眼视图)以及现实世界内容与虚拟现实内容的混合的程度以及从虚拟现实内容中移除现实世界内容的程度，用户可以具有控制权。例如，根据一些实施方案，对于如何将现实世界内容混合到虚拟现实内容中，用户可以定义他自己的偏好。在这些和其他实施方案中，用户可以即时决定两者如何混合。尽管出于说明性目的描述了决定如何混合或插入或覆盖现实世界内容的某些实施方案，但是它们不应被解释为限制本文描述的实施方案。

图1示出了虚拟现实交互空间100的实施方案。用户101连接到头戴式显示器(HMD)102。多个传感器104a-104n连接到HMD 102，该HMD又与计算机110连接。连接到HMD 102的，还有前向摄像机(FFC)106，其捕获现实世界(例如，HMD的周围环境)的图像。虽然未示出，但是HMD 102可以具有更多的外部摄像机，例如，其可以被设置为捕获围绕HMD用户的360度拼接视图。

在本实施方案中，以多种方式使用前向摄像机106。例如，FFC 106向计算机110提供关于用户相对于虚拟现实交互空间的定位和定向的信息。FFC 106还能够捕获现实世界的现实世界视图。在某些实施方案中，FFC 106可以定位在HMD 102上，以便具有与佩戴HMD102时的用户的类似的视角和视野。

除了HMD 102上的FFC 106之外，本实施方案还包括面向HMD的摄像机(HMD-FC)108。HMD-FC 108向计算机提供关于HMD 102的用户的信息，例如定位和定向。HMD-FC 108还能够捕获现实世界的附加视角，例如用户身体语言。由FFC 106和HMD-FC 108获得的信息被传送到计算机110。此外，在单独摄像机108或106的任何一个丢失连接的情况下，一些捕获的冗余信息使得计算机110能够跟踪用户101。

在计算机内实现了内容执行逻辑(CEL)112。通常，CEL 112负责决定在HMD 102上呈现什么内容。例如，在某些实施方案中，CEL 112将包含迷失方向检测逻辑(DDL)116，其将所获得的传感器104数据与表示用户迷失方向的某些标准进行比较。

在DDL 116确定不满足标准的情况下(例如，用户没有迷失方向)，CEL 112可以使用虚拟现实内容生成器114来向HMD 102提供VRS。在一些实施方案中，所提供的VRS可以包括虚拟现实游戏、虚拟现实电影、虚拟现实体育比赛、虚拟现实产品演示或虚拟现实电话会议。在某些其他实施方案中，VRS可以包括游戏的流视频、视频游戏的“玩过”、“电子竞技”的广播以及其他游戏内容。在更进一步的实施方案中，VRS可以包括创意性内容，诸如虚拟现实音乐会、艺术演出、音乐表演、舞蹈表演、戏剧和音乐剧，以及其他种类的创意性内容。附加实施方案可以具有包括与教育、自己动手(DIY)、旅游、房地产等相关的内容的VRS。

另一方面，如果DDL 116确定满足表示用户迷失方向的一个或多个标准，则CEL112可以访问现实世界内容生成器118。现实世界内容生成器118负责提供现实世界视图或以其他方式利用设置在虚拟现实交互空间内的多个摄像机(例如，FFC 106和HMD-FC 108)获得的现实世界内容来增强VRS。取决于正在满足哪一个标准，CEL 112可以根据现实世界内容生成器118，选择一个或多个现实世界对象并将其插入。在其他实施方案中，CEL 112可以传递VRS和现实世界内容两者的“分屏”视图。在其他情况下，CEL 112可以完全切换到现实世界视图。在更进一步的实施方案中，CEL 112可以以其他方式将现实世界内容与虚拟现实内容混合或重叠以创建部分现实世界视图。

一旦CEL 112用现实世界内容来增强VRS并将其传递到HMD 102，DDL 116就持续监视用户迷失方向(例如，是否满足标准)。取决于DDL 116确定的结果，CEL 112将决定是否应该引入附加的现实世界内容和/或将其从虚拟现实内容中移除以及在何种程度上进行上述操作。

图2示出了HMD 102的一个实施方案。HMD 102包括参与到VRS体验中的多个部件，包括显示器140a和140b，以及音频扬声器142a和142b。根据某些实施方案，这些部件由它们各自的控制器，包括位于HMD 102上的显示器控制器124和音频控制器128，来进行控制。这两个控制器都通过也位于HMD 102上的输入/输出控制器(I/O控制器)132与计算机110进行通信。

根据一些实施方案，HMD 102还包括一个或多个前向摄像机(FFC)106a和106b，它们通过FFC控制器120和I/O控制器132与计算机进行通信。FFC 106能够从佩戴HMD 102的用户的角度捕获现实世界的现实世界视图。例如，FFC 106可以被定位成使得它们“看”用户在他们没有佩戴HMD 102时在现实世界中正在看的任何方向。这样，即使用户的视觉被HMD102遮挡而无法看现实世界，FFC 106也可以提供现实世界的视图。FFC 106有时也被称为“透视”摄像机，因为它们能够允许用户看透阻挡其视线的东西。尽管图2中所示的实施方案描述了具有2个FFC 106的HMD 102，但是应当理解，可以使用任何数量的“前向”摄像机来捕获和传递现实世界视图。

一组注视检测摄像机134a和134b也在图2中示出。通常，注视检测(或眼睛跟踪)是测量注视点(“用户正在看的地方”)或眼睛相对于头部的运动的过程。因此，注视检测器是用于测量眼睛位置和运动的设备。

在某些实施方案中，眼睛注视摄像机可以位于显示器和用于观看VR场景的一个或多个镜头之间。以这种方式，眼睛注视摄像机能够具有比用户眼睛的更好的视野。

可以使用许多方法来测量眼睛运动和注视方向。例如，一些方法使用视频图像，从视频图像提取眼睛位置，而其他方法使用搜索线圈或眼电图。进一步的方法可以使用红外摄像机或检测器，其中红外光入射在视网膜上。因此，可以通过用红外摄像机捕获入射光的反射部分来检测用户的注视。由前述摄像机捕获的图像随后经由注视检测器控制器122和I/O控制器132被路由到计算机110。

尽管为了清楚起见，图2示出了这样的注视检测摄像机134中的两个，每只眼睛一个，但是可以理解的是，可以在HMD 102内设置多个摄像机用于进行注视检测。

图2中还示出了位于HMD 102上的惯性传感器126。惯性传感器126例如通过航位推算向计算机提供信息，包括HMD 102的定位、定向和速度。这些传感器可以包括加速度计和陀螺仪，用于跟踪HMD102的移动和旋转。题为“METHODS AND SYSTEMS FOR APPLYINGGEARING EFFECTS TO VISUAL TRACKING”的美国申请系列号11/382,036以及题为“CONTROLLER HAVING VISUALLY TRACKABLE OBJECT FOR INTERFACING WITH A GAMINGSYSTEM”的美国申请系列号12/259,181讨论了可以包括在HMD 102的某些实施方案中或与其一起使用的传感器的类型和配置，并且据此以引用方式并入。

传声器144也被示为经由传声器控制器130与计算机进行通信。传声器可用于检测来自现实世界的音频线索，包括来自用户的自愿命令或非自愿话语。

应该注意，为清楚起见，图2中省略了许多附加部件(例如，传感器、控制器等)。例如，在某些其他实施方案中，附加传感器可包括用于测量出汗程度的湿度传感器和用于测量HMD 102用户的温度的温度计。在又一实施方案中，诸如压电传感器之类的振动传感器也可以包括在HMD 102内，以测量较小的移动，例如用户101可能表现出的摇动或震颤。在图2中同样省略了包括电诊断(EDX)传感器的某些实施方案，例如用于测量心脏(例如，心跳)、神经(例如脑电波)和其他生理参数的上述EKG、EMG、EEG传感器。因此，图2中所示的实施方案不应被解释为排他性或限制性的，而是示例性或说明性的。

图3是使迷失方向的用户101重新定向的示例性方法的流程图。根据本实施方案，该方法改变正呈现给用户的虚拟现实场景的内容。尽管顺序地呈现和描述了此流程图中的各种操作，但本领域的普通技术人员将理解，某些或全部操作可以以不同的顺序执行、被组合或省略、或并行地执行。

在操作160中，该方法从位于正在显示VRS的HMD 102上的传感器获得数据。如先前在图2中所描述的，这些传感器可以包括注视检测器134、惯性传感器126、音频传感器144等。此外但未示出，该方法还可以从位于虚拟现实交互空间内但不在HMD 102上的传感器获得数据。例如，还可以从HMD-FC 108获得数据。

从操作160，该方法进行到操作162，其中处理由操作160获得的数据，并且数据用于确定是否满足第一标准。第一标准对应于暗示用户迷失方向的多个预定指示符。例如，某些预定指示符可以与暗示迷失方向的某些眼睛运动模式相关联。因此，如果检测到用户101的这些特定的眼睛运动模式，则可以满足第一标准。同样地，头部运动、身体姿势、身体语言、可听见的发声等的某些模式也可以与用户迷失方向的预定指示符相关联。

一旦通过该方法获得并处理传感器数据，操作162可以在获得的数据和预定指示符之间进行比较。如果在所获得的数据与预定指示符之间存在一致(例如，所获得的注视检测数据有资格作为表示迷失方向的预定眼睛运动模式之一)，则操作162确定满足第一标准。在一些实施方案中，一旦做出肯定确定，操作162还可以减慢或暂停VRS。

在操作162的肯定确定之后，该方法进行到操作164，其中将现实世界对象(RWO)插入VRS。RWO是现实世界中的对象或视野，其由设置在虚拟现实交互空间内的一个或多个摄像机捕获。例如，RWO可以是位于用户视野中的咖啡桌。作为另一示例，对象可以是用户视野的象限或部分，例如地板视图或远端壁板的视图。

一旦由摄像机(例如，FFC 106或HMD-FC 108)捕获，RWO被插入由HMD 102正在显示的VRS中。结果，向用户提供由一个或多个RWO增强的VRS。在上面的示例之后，由RWO增强的VRS(或简称为增强的VRS)可以包括未以其他方式改变的场景，只是添加了咖啡桌的叠加图像。在一个实施方案中，该方法可以插入RWO，使得咖啡桌和叠加在其上的虚拟内容都部分可见。在某些其他实施方案中，RWO的插入可以排除在其上插入RWO的虚拟内容。在更进一步的实施方案中，RWO可以以动态透明度插入，根据用户的响应和/或虚拟内容的背景，随时间进行调整。

在某些实施方案中，该方法可以将RWO插入显示器内的位置，位置对应于其相对于用户的视野在现实世界中的位置。例如，如果咖啡桌位于用户的未来视图的右下方边缘并且由FFC 106捕获，则该方法可以将咖啡桌的图像插入在显示器的右下方边缘部分的对应位置。另外，根据一些实施方案，咖啡桌的图像可以具有咖啡桌将在用户没有佩戴HMD 102的情况下用户眼中的大小、焦点和/或视角。

例如，对应于在现实世界中更靠近用户101的咖啡桌的图像在增强的VRS中可以设定大小以比更远处的相同咖啡占据显示屏140的更大部分。以类似的方式，咖啡桌的图像可以呈现为焦点模糊和/或具有这样的焦深：其模拟如果不是HMD 102限制用户的现实世界视图，咖啡桌将在用户的眼中呈现的样子。

根据某些实施方案，RWO的一些或所有插入参数(位置、大小、焦点、视角等)响应于用户101的位置、定向、注视方向等的变化而实时地改变。根据上面的示例，如果首先在HMD102显示器的右下边缘部分呈现RWO，但是片刻之后用户101将头部向右转，则插入位置可以相应地映射到左边。同样地，当RWO由于注视方向的改变而从周边接近用户的视野的中心时，RWO可以被呈现为焦距越来越大。

尽管为清楚起见未在图3中示出，但是操作164可以持续用附加的RWO逐渐增强VRS。这种渐进式增强可以持续，直到例如不再满足第一标准(例如，用户已经重新定向)，或者作为另一个示例，操作166确定满足第二标准。

与操作162的第一标准非常相似，操作166的第二标准也对应于用户迷失方向的预定指示符。然而，与第二标准相关联的预定指示符可能与第一标准的预定指示符不同。例如，第二标准的预定指示符可以与暗示迷失方向的用户行为的不同模式相关联。在另一个实施方案中，第二标准可以与第一标准共享一些指示符，但是对于有资格符合标准的指示符具有不同的阈值。在进一步的实施方案中，第二标准可以对应于指示符，指示符是在满足第一标准之后迷失方向的用户如何响应增强的VRS的函数。在另外的实施方案中，第二标准可以包括前述指示符的组合。

一旦操作166确定满足第二标准，就从VRS或增强的VRS切换到现实世界视图(RWV)。在某些实施方案中，RWV由FFC 106提供。切换到RWV可以以多种方式发生。例如，在一些实施方案中，切换可以快速进行。在其他实施方案中，切换可以缓慢进行，当RWV淡入时，VRS淡出。在其他实施方案中，切换可以以可由用户定制的方式发生。

尽管为清楚起见未在图3中示出，但是操作166可以与操作162并行地进行。因此，确定满足第二标准不一定取决于第一标准被满足。在一些实施方案中，操作166可以在不考虑操作162或164的情况下确定满足第二标准。例如，根据一些实施方案，如果确定在同一时刻满足第一标准和第二标准两者，则操作166将取得控制权。在某些其他实施方案中，即使操作162做出肯定确定并且开始增强VRS但操作166同时也做出肯定确定，操作166将取得控制权，并且可以发生切换而不是增强。因此，在这些实施方案中，操作166可以“超控”操作162和164。另外，在一些实施方案中，一旦做出肯定确定，操作166可以暂停VRS或增强的VRS。

如果确定仍未满足第一或第二标准中的任何一个(例如，用户已被重新定向)，则操作168着手恢复VRS，而不增强。根据一些实施方案，操作168可以在VRS的时间过程中的比在操作162或166做出肯定确定的时间点更早地恢复VRS。

图4示出了计算机110内能够执行根据本发明一致的操作(例如图3的那些(操作160-168))的某些部件。特别地，DDL 116被示为从HMD 102接收数据。在一些实施方案中，DDL 116还从用户历史202、用户设置204和VRS背景数据206接收输入。

根据一些实施方案，用户历史202可以用作用户信息的存储，尤其是当涉及迷失方向时。例如，用户历史202可以包含对应于迷失方向实例的VRS实例的日志。作为另一示例，用户历史可以向DDL 116指出，用户在存在与飞行相关的VRS时具有迷失方向的历史。作为又一示例，用户历史可能指出，用户在夜晚比在下午更可能发生迷失方向。

用户设置204是与DDL 116通信的另一部件，并且存储关于特定用户的信息以及她对迷失方向的处置。对于用户设置，可以由用户设置和控制与迷失方向相关联的参数。例如，在某些条件下趋向患晕动病的用户可以在用户设置中指出。根据用户历史信息，DDL116可以例如在这些指出的条件下上调其对晕动病的灵敏度。在一些实施方案中，可以通过降低与那些指出的条件相关联的迷失方向的预定指示符的阈值来实现这种灵敏度的提高。

在另一种极端情况下，对于迷失方向普遍耐受度高的用户同样可以在用户设置中指出。在这种情况下，DDL 116可以下调一些或所有参数的迷失方向的灵敏度。降低对某些指示符的灵敏度可以通过提高迷失方向的预定指示符的阈值来实现，如预定的迷失方向指示符阈值增大所反映的那样。结果，用户可以被允许“玩过”某些类别和强度的迷失方向。

应当注意，这里使用的“预定指示符”并不意味着暗示所述指示符是不变的或永久的，只是它们在它们被DDL 116用于做出确定的那些情况下被定义或可定义。例如，对于性质水平性眼球震颤(无意识的眼睛运动)，与眩晕相关联的预定指示符可以包括测量眼睛运动，超过阈值60Hz，持续3秒(每秒60次运动，持续至少3秒)。随着收集关于用户历史202、用户数据204和VRS背景数据206的更多信息，与眩晕相关联的所述预定指示符可以针对任何上述可测量值而改变。取决于用户历史202、用户设置204、VRS背景数据206以及用户和/或VRS的状态，附加实施方案可以让预定指示符周期性地或实时地改变或更新。进一步的实施方案可以基于研究数据、科学数据、收集的用户数据和机器学习数据等，将新的预定指示符一起引入。

DDL 116另外接收来自VRS背景数据206的输入，其提供关于正在显示或将要显示的对应VRS的背景的元数据。在某些实施方案中，DDL 116然后可以根据从用户历史202和用户设置204获得的数据来调整参数。例如，DDL 116可以基于指出即将到来的场景需要飞行的VRS背景数据206，来微调对在飞行条件下易患晕动病的用户的迷失方向的灵敏度。

DDL 116可操作以通过基于传感器数据做出关于是否满足第一标准和/或第二标准的确定，来评估用户迷失方向，并且进一步针对任何用户历史202、设置204和VRS背景数据206进行调整。在一个实施方案中，DDL 116能够检测并区分多种类型的迷失方向。例如，眩晕的症状可能与晕动病或重视的症状不同。因此，DDL 116可以能够解密输入数据，与用户历史202、设置204和背景数据206进行交叉引用，以解决特定类别和/或强度的迷失方向。

如果满足第一标准而不满足第二标准，则该方法流向第一标准过程208。如果满足第二标准，则该方法流向第二标准过程214。此外，如果满足任一标准，则该方法还流向VRS内容修改器224。

第一标准过程208在确定已经满足第一标准之后实现选择现实世界对象并将其插入VRS的过程。例如，在第一标准过程208中，RWO选择模块210识别FFC 106的视野内的哪个RWO将被增强到VRS中。在某些实施方案中，该模块的选择过程基于预期特定对象在减轻某些类型和/或程度的迷失方向方面的有效性(或预期的重新定向有效性)。在图12中更详细地描述了该选择过程实施方案。

一旦选择了对象，该方法就流向RWO插入逻辑212。插入逻辑212负责将所选对象从现实世界映射到虚拟现实显示器上。因此，如前所述，它考虑了RWO位置、大小、焦点和视角的参数。

如果满足第二标准，则该方法流向第二标准过程214，其包括VRS到RWV切换逻辑216，以及在一些实施方案中，包括现实世界音频插入逻辑222。切换逻辑216确定如何从VRS或增强的VRS切换到RWV。在一些实施方案中，切换可以快速发生，而在其他实施方案中，缓慢发生。或者，切换可能需要插入VRS和RWV之间的中间转换屏幕，例如空白屏幕、带有文字的屏幕或者能够使迷失方向的用户轻松退出VRS的屏幕。在一些实施方案中，切换的方式还可以基于从用户历史202、设置204和VRS背景信息206获得的数据。

一旦VRS到RWV切换逻辑216开始，现实世界音频插入逻辑222就将来自现实世界的音频插入HMD 102的扬声器142的音频输出。与切换逻辑216非常相似，现实世界音频插入逻辑222通过将音频输出与HMD 102的显示输出协调来将用户从VRS转换到现实世界体验。这样做，可以给用户提供更充分的机会来重新定向而不必完全取下HMD 102。

如果满足任一标准，则该方法还流向VRS内容修改器224，其中可以修改VRS以适应第一标准过程208或第二标准过程214。在一些实施方案中，VRS内容修改器224包括暂停-减速部件226和备份-恢复部件228。当满足第一标准时，这些部件能够减慢例如VRS，使得用户可以更多地关注重新定向而较少地关注VRS。另一方面，如果满足第二标准，则由部件226使VRS暂停。

一旦使VRS减速并暂停，则备份-恢复部件228确定何时以及如何重新启动VRS。在一些实施方案中，可以确定VRS应该“倒带”一定的长度。在某些其他实施方案中，可以简单地使VRS恢复而不“倒带”。在更进一步的实施方案中，VRS内容修改器可以恢复减慢的VRS，以便给用户提供一段时间，以重新适应VRS，之后VRS可以以减速或暂停之前的速率进行。

第一标准208和第二标准214过程以及VRS内容修改器224中的每一个都与渲染模块220进行通信，该渲染模块渲染要提供给HMD 102的内容。在一些实施方案中，渲染模块220可以包括一个或多个CPU、GPU、存储器和音频驱动器。一旦渲染内容，无论是完整VRS、增强的VRS还是RWV，渲染模块220都将渲染的内容传送到HMD 102。

图5A示出了现实世界环境230，其中位于该环境内的用户101佩戴HMD 102。现实世界环境230包括一组对象，包括咖啡桌238、地毯240、椅子236、灯234、TV 232和包裹242。该环境还被示为包括一组边界条件，包括地板237、远端壁板233a、左壁板233b和右壁板233c。用户被定位和定向为，使得她具有‘未来’视野(未示出)，其可以包含除了包裹242之外的所有上述对象和边界条件。安装到HMD 102的前向摄像机106被示为共享相似的视野231。

图5B是在某个时间点VRS可能在佩戴HMD 102的用户101眼中的二维表示。VRS250a是沿着河流256航行的船258之一。在船258的下游，船的左侧，有人物254。在更下游，船的右侧，有房屋257。

图5C是现实世界环境230的现实世界视图250b的二维表示，如同佩戴HMD 102的用户101所看到的那样。在本实施方案中，由FFC 106捕获的现实世界视图250b包含除了包裹242之外的所有上述边界条件和对象。

通常，RWV 250b实时地动态地对应于用户的未来视图。因此，如果用户碰巧向左转头，则包裹242可能落入RWV，而咖啡桌238和地毯240可能落在RWV之外(该视图未示出)。

如果确定满足表示用户迷失方向的第一标准(但不满足第二标准)，则计算机的DDL 116可以开始实现第一标准过程208。在一些实施方案中，这涉及由RWO选择模块210来选择和插入第一现实世界对象。结果，VRS 250a变为增强的VRS 250c，其类似于VRS 250a，但是添加了咖啡桌238和地毯240的叠加图像。另外，VRS持续播放，人物254越来越近，这变得明显。

应当注意，在该特定实施方案中，咖啡桌238和地毯240已被选择并作为单个统一对象一起插入，而在现实世界中，它们可被感觉为分开的。虽然可以在其他实施方案中分开插入两个对象，但是本图示出了RWO选择模块210的重要方面。

在本实施方案中，RWO选择模块210被配置为抵消由DDL 116确定的特定类别的迷失方向，例如，着地感的丧失或“不晕船”的发作。在视图中的该组对象中，RWO选择模块210可以确定两个对象的组合可以比单独使用它们中的任何一个更有效。结果，选择模块210可以合并两个成像对象，以作为一个对象插入。可能的情况是，该实施方案中的选择模块210能够确定地毯240，尽管提供地面(例如，z轴)的参考系，但可能不足以对x和y轴做同样的事情。还可以确定单独的咖啡桌238的情况相反。因此，这两者可以合并，并将其视为单个对象来进行插入。在某些其他实施方案中，RWO选择模块210可以聚合三个或更多个单个对象或边界条件，以一起插入。在更进一步的实施方案中，可以单独插入对象而不进行聚合。

在前面的示例中，地毯240也可以称为着地元素。根据一些实施方案，着地元素是重要的对象、边界条件或其部分，当与现实世界的对象伴随在一起时，为用户提供增强的对象识别、空间感知和/或判断的置信度。

还应注意，在增强的VRS 250c的本实施方案中，房屋257被模糊，而看不见。在某些其他实施方案中，房屋257可以保持一定程度的可见度。

根据一些实施方案，如果在一段时间之后进一步确定仍然满足第一标准(但不满足第二标准)，则可以将附加对象插入增强的VRS 250c以变成图5E的增强的VRS 250d。在本实施方案中插入的对象是椅子236。根据一些实施方案，伴随椅子的是着地元素237a，其由RWO选择模块210和RWO插入逻辑212附加到椅子236的图像上。类似于聚合的咖啡桌238和地毯240的插入，选择模块210和插入逻辑212可确定当椅子236与着地元素237a一起插入时更有效。在这些实施方案中，着地元素237a可以为用户101提供比单独的椅子236更大的着地感和空间感知。

如前所述，第一标准过程208持续用附加的RWO逐渐增强VRS，直到存在对第一标准的否定确定或对第二标准的肯定确定。图5F是进一步增强的VRS 250e的实施方案，其中已选择并插入灯234。与咖啡桌238和椅子236非常相似，灯234与着地一起插入。然而，在灯234的情况下，有两个着地元素附加到灯234的图像：远端壁板着地元素235和地面着地元素239。在某些实施方案中，将对象着地到多个边界条件可以提供比单独的灯234或仅具有单个着地元素的灯234潜在更大的着地感和空间感知。

根据某些实施方案，确定对象应配以着地的程度涉及分析提供更大程度的着地感和对VRS产生干扰之间的折衷。例如，可能的情况是，虽然附加的着地可能有助于更大程度地使用户具有着地感，但是也可能发生这样的情况：这种附加的着地会干扰正在显示的VRS或增强的VRS。因此，在某些实施方案中，RWS选择模块210和插入逻辑212可以考虑这种折衷，并相应地确定着地的程度和类型。例如，在灯234的情况下，可能已经确定着地元素235和239的着地效果超过其同时对VRS的干扰。另一方面，如果确定着地元素235或239干扰VRS或增强的VRS的程度大于它们提供着地感的程度，则可省略所述着地元素235和239。

在某些其他实施方案中，DDL 116可以基于检测到的迷失方向的类别和强度来决定RWO选择模块210应该插入现实世界视图250b的整个象限以增强VRS。该对象插入方法的结果可以是“分屏”显示。图5G和图5H示出了以这种方式增强的VRS。分屏增强的VRS 250f和250g的区别仅在于分屏的方式。例如，增强的VRS 250f是自上而下的淡入到水平分屏增强的VRS，而250g是自下而上的淡入到水平分屏增强的。取决于许多因素，包括由DDL 116提供的关于用户的迷失方向状态、用户历史202、用户设置204和背景信息206的信息，第一标准过程208(例如，DDL 116、RWO选择模块210和插入逻辑212)确定实现两者中的哪一个。

图7A和图7B分别示出了从右到左250h和从左到右250i淡入到垂直分屏增强的VRS。同样，第一标准过程确定要实现分屏增强VRS中的哪一种。尽管未示出，但是存在许多用现实世界内容来增强VRS的附加方式。本领域技术人员将理解，增强VRS的那些附加方法不脱离本发明的精神和范围。例如，虽然图5E、图5F、图7A和图7B示出了大致相等地分割的分屏增强VRS，但是分割可以包括更多VRS和更少RWV，和反之亦然。此外，本发明的实施方案可以包括不同的分割几何形状，例如角分割、对角线分割、非线性分割等。

图6是正在向用户101呈现增强的VRS 252的第三方视角。增强的VRS 252被示为包括人物272和门270以及RWO咖啡桌238和地毯240。用户101被示为表现出许多异常的运动模式，由波纹线290、292、294和296表示，同时手握控制器103a。HMD 102上的传感器和虚拟现实交互空间中的其他地方的传感器捕获这些异常模式，于是计算机110确定满足第一标准。FFC 106捕获咖啡桌238和地毯240的图像，然后由计算机110选择并将它们插入虚拟现实场景。结果是增强的VRS 252，其中现实世界对象的图像被叠加到VRS上。

在某些其他实施方案中，计算机110可另外呈现增强的VRS以警告用户潜在的现实世界危险，例如碰到对象或被对象绊倒。例如，如果用户101在VRS的播放过程中漫步到咖啡桌238的附近，则计算机110可能能够经由HMD-FC 108、FFC 106或虚拟现实交互空间中的附加摄像机，预测被绊倒的潜在危险。根据一些实施方案，计算机110被配置为通过将危险对象的图像插入VRS中与其在现实世界中相对于用户的位置相对应的位置来警告用户101。例如，如果咖啡桌238恰好是用户的“两点钟”位置，则咖啡桌238的图像可以叠加在VRS显示器140上，与中心视线形成60°。

在某些实施方案中，可插入危险对象以使其看起来比在现实世界中更近。在其他实施方案中，危险对象可以被叠加以显得比现实中更远，更像汽车侧视镜。在更进一步的实施方案中，危险对象可以呈现为显得与在现实世界中实际一样远或一样近。

在没有用户迷失方向本身的情况下增强的VRS的进一步实施方案可以包括由用户控制的‘按需’增强。例如，用户可能对在TV上播放的体育比赛的得分感兴趣。用户可以指示计算机暂时增强VRS，而不是通过取下HMD 102来完全与VRS脱离。在一些实施方案中，这可以通过语音控制来完成，例如“给我显示3秒钟电视。”在其他实施方案中，指令可以通过控制器发出，控制器可操作以按需增强VRS，例如通过物理按钮。在更进一步的实施方案中，用户能够通过指向她想要看的方向来指示计算机要增强什么。

图8是示出用于确定如何利用现实世界内容来增强VRS的方法的实施方案的流程图。首先，在402，在HMD 102上显示VRS。在显示VRS时，操作404、406和408分别从HMD 102获得传感器数据、获得用户历史202、用户设置204和VRS背景信息206。在步骤412中决定是否满足第一标准。如果为“否”，则该方法循环回到402。如果做出“是”确定，则该方法进行到操作414，该操作将RWO插入VRS。根据某些实施方案，RWO可以部分地覆盖在VRS上。在某些其他实施方案中，在操作414中，可以将部分现实世界视图覆盖到VRS上。取决于VRS的背景以及RWO干扰VRS的程度，操作416可以相应地减慢增强的VRS。

然后，该方法进行到决定418，其确定是否满足第二标准。如果“否”，则该方法循环回到操作402，其中如果持续满足第一标准，则可以插入附加的RWO。另一方面，如果答案是“是”，则该方法进行到操作420，其从VRS切换到现实世界视图。一旦切换发生，VRS随后在操作422暂停。然后，该方法进行到操作424，如果需要，该操作修改VRS。修改可能涉及将VRS“倒带”到更早的时间点。根据所示的实施方案，该方法在显示VRS的同时持续在该方法中循环。

应当注意，虽然顺序地呈现和描述了该流程图中的各种操作，但是普通技术人员将理解，一些或所有操作可以以不同的顺序执行，组合或省略，或者并行执行。例如，如先前所讨论的，该方法可以进行到决定418，而不必在决定412处首先获得“是”确定。

图9是与图3中描述的非常类似的增强的VRS方法的实施方案。为了说明，规定了用于获得更新的传感器数据并利用附加RWO来逐渐增强VRS直到不再满足第一标准的操作430和432。图9所示的实施方案展示了基于用户响应来增强VRS的渐进性质。

同样，图10也是用于增强VRS的方法的附加实施方案，重点放在了RWO选择过程。操作444用于识别用户迷失方向的类别和强度。在该实施方案中，区分和量化各种类型的用户迷失方向。例如，特定实施方案可以将用户眩晕的症状与她的重力感的丧失、与她的重视区分开。也可能会发现，三种类别的迷失方向，只有眩晕成分是严重的，而重视和重力感丧失分别被确定为中度和轻度。

然后，该方法进行到操作446，其中获得用户历史202和用户设置204，并且进一步进行到操作448，其中该方法检测RWO并确定RWO的某些空间特性。例如，该方法可以检测总共3个对象，并且确定第一对象是非静止的，第二对象是部分隐藏的并且非常远，和第三对象是非移动的、完全可见的、不是那么遥远、着地并具有3个维度深度。

从操作448，该方法进行到操作450，该操作确定估计每个检测到的对象对于减轻在操作444中识别的类别和强度的迷失方向的有效性，和在操作446中获得的用户数据(例如，用户历史202、用户设置204)。估计的有效性也可称为预期的重新定向有效性。例如，在3个检测到的对象中，操作450可以确定第三对象相对于用户的特定迷失方向状态具有比第一或第二对象更大的预期重新定向有效性(ERE)。操作450可以进一步确定第一对象虽然具有比第三对象更小的ERE，但是具有比第二对象更大的ERE。例如，可以由操作450确定第一对象在抵消重视方面更有效，而第二对象在抵消重力感丧失方面更有效。由于操作444提供的检测到的用户迷失方向的配置文件，因此，操作452可以相对于第三对象，优先选择第一对象用于其插入序列或顺序。如果用户表现出比重视更大程度的重力感丧失，则操作452可以在序列内对三个对象进行不同的排序。

一旦操作450确定哪些对象将被增强到VRS中并且以什么顺序，操作454就开始执行插入过程。在当前示例中，第三对象首先插入RWS。因此，操作454可以由图4的RWO插入逻辑212部件实例化。随后在操作456中获得更新的传感器数据，以确定例如用户对用一个对象增强的VRS有何反应。例如，如果操作456确定仍然满足第一标准，则通过操作458将第二选择对象进一步增强到用一个对象增强的VRS中，以变为用两个对象增强的VRS。对于相同的示例，继续，然后可以经由操作458将第二对象插入VRS。

更进一步，操作458继续用附加对象逐渐增强VRS，直到不再满足第一标准(或满足第二标准)。如果是不再满足第一标准的情况，如操作458所确定的，则该方法进行到操作460，其中恢复VRS。为清楚起见，故意省略了本实施方案的某些特征。例如，操作458还可以被配置为如果单独确定满足第二标准则停止增强VRS，如先前所讨论的。

图11A是示出VRS增强操作与可以经由HMD 102显示器向用户呈现的内容之间的关系的图。虚拟现实场景流502被示为由一系列块或段S1-S16组成。每个段都表示流中任意定义的一段VRS内容。同理对于HMD显示流504和现实世界视图流506也成立。箭头532表示该VRS流502正在向HMD流504馈送。HMD显示流504包括VRS流502或RWV 506流的程度与它们各自在每个块或段中占据的区域成比例，其中灰色交叉阴影图案表示VRS流502，和非填充图案表示RWV流506。

因此，HMD段D1-D4被示为完全由VRS流502内容D1-D4组成。例如，段D3(518)被示出具有与S3相同的内容。段518在用户101眼中可能的样子由快照501a表示，其包括船507、人物503、房屋505和河流509。

在本实施方案中，一旦在段D4与D5之间满足第一标准508，HMD显示流504就不再只由VRS流502组成。段D5被示为由VRS 502和RWV流506两者组成，其由段被划分为交叉阴影图案520a和非填充图案520b子段表示。子段520b表示过程510的结果，即插入了第一RWO。段D5的剩余部分520a表示剩余的VRS流502。在520a中示出了D5的对应快照。从RWV段R5捕获第一RWO，其对应于快照501f。为了清楚起见，假设现实世界视图在整个流中保持不变。

快照501b类似于先前快照501a，只是添加了咖啡桌511和地毯513的叠加图像。值得注意的是，场景501b的房屋505在505a在仍然是部分可见的。如前所述，有许多方法将RWO叠加到VRS上，在段520的这种情况下，包括保留了插入的RWO否则将会隐藏的一定程度的可见度。

在段D5-D10的过程中，示出了第二RWO 512和第三RWO 514逐渐增强到HMD显示流504中，分别由快照501c和501d示出。值得注意的是，快照501c将第二RWO描绘为椅子515和着地元素517两者。

在当前实施方案中，这由比例逐渐变大的无填充子段表示。例如，在HMD显示段D9中，示出了两个附加的RWO被插入。对应的快照501c描绘了总共三个RWO被叠加到VRS流502段D9上。同样为了清楚起见，VRS段S1到S16被认为在整个流的过程中不变。

在本示例中，在516处确定不再满足第一标准。该确定之后的段D11被示为具有与先前场景D10类似的划分方法。然而，先前在D10中的未填充子段，目前在D11中是部分交叉阴影子段530。因此，子段530表示增强的VRS和非增强的VRS之间的过渡状态。对应的快照501e示出了用户眼中的段D11。值得注意的是，诸如人物503和房屋505之类的VRS内容已被带回视野中，而RWO 515a、523、511a(以及伴随的着地元素)正在逐渐淡出视野。紧下一段D12被示为非增强，表示已完成转换回VRS流。

图11B，与图11A非常相似，示出了第一标准被满足，其中三个后续RWO从RWV 556插入HMD显示流554。然而，值得注意的是，在段D10之后确定满足第二标准566。在确定566之后包括暂停或备份VRS内容572。在本实施方案中，暂停/备份572将VRS流倒带回到段S4并暂停。在某些其他实施方案中，暂停/备份572可以比其他实施方案倒带得更多。在本示例中，暂停/备份572映射到紧接在满足第一标准558的点之前出现的VRS段。这可以允许用户在检测到明显的迷失方向开始之前的点处恢复VRS流552。

在确定满足第二标准566之后，对于段D11，切换到RWV流556。D11保留RWO 585，但开始淡出VRS的其余部分584。对应的快照551c被示为具有RWO 515、523、511和伴随的着地元素(分别为517、519和513)，其具有完全可见性，和现实世界视图的其余部分淡入，包括TV521和三个边界条件。与此同时，VRS内容的剩余部分，包括河流509和船507，将淡出。

在当前实施方案中，段D12包含完整RWV，如快照551e中所示。在本实施方案中，RWV持续到D13，于是确定不再满足第二标准570。D14是回到VRS的过渡状态，由仅部分交叉阴影填充表示。值得注意的是，正在被转换回到的VRS段是由暂停/备份572选择的段。在当前示例中，通过恢复574在S4处恢复D14。快照551d被示为当RWV淡出时，VRS内容淡入。D15是段S5的非增强VRS。尽管为清楚起见未示出，但是本领域技术人员将从所提供的示例中容易地理解存在许多替代实施方案。

用户101可能希望与其他人共享她体验到由DDL 116检测到的迷失方向的VRS的剪辑。在某些实施方案中，这可以由计算机110实现，计算机可以响应于进行第一或第二确定而保存VRS的一部分。然后，可以通过存储器设备、联网设备或互联网，使VRS的该部分可共享。

图12示出了RWO选择模块210如何执行选择过程600的一个实施方案。在本实施方案中，检测现实世界对象O1至On 602，并随后分析它们的物理特性C1至Cn。物理特性604可以包括空间和视觉参数，诸如与用户之间的距离、对象的大小、对象的照明/亮度、对象相对于边界条件的着地、对象相对于用户的深度、对象静止、颜色、对比度、水平度、形状、反射率、纹理、可见性、对象与其他对象的连接性、对象的阴影效果、在一组其他对象内对象的独特性、对象的锐度等等。

一旦分析了物理特性，它们就为每个检测到的对象提供有效性标签E1-En 608。在本实施方案中，标记了有效性的对象606是预期特定对象在抵消各种迷失方向类别D1-Dm610(例如，使用户重新定向)方面的有效程度的度量。有效性标签608本身可能与预期的重新定向有效性(ERE)不同。例如，特定对象的有效性标签608主要基于该对象的物理特性604。特定对象的ERE，尽管基于该对象的有效性标签，但是，是在考虑到迷失方向的特定状态和/或用户和背景数据而进一步确定的。

如前所述，人迷失方向可以是多种形式中的一种或多种。与虚拟现实相关联的常见的迷失方向类别包括失去重力感(失重)、失去平衡(失衡感受)、身体一个部位与另一个部位的相对位置(本体感受)的丧失、定位的丧失、方向的丧失以及眩晕(感觉对象在移动，而实际上未移动)、主观眩晕(感觉身体在移动，而实际上未移动)、晕船、视力模糊、重视(复视)、害怕失去生命以及其他。这些示例并不意味着是列出了了解和较少了解的迷失方向类别的详尽或权威的列表。也不意味着这些示例暗示这些类别具有明确定义的边界或彼此排斥。

尽管如此，根据某些实现方式，对象以及边界条件的某些视觉和空间属性被认为对于某些迷失方向状态，比其他的具有更大的有效性。例如，可能的情况是远端壁板对于主观眩晕更有效，但对于失衡感受，则根本无效。也可能有这样的情况：地面边界条件对于失衡感受和失重感有效，但不适用于眩晕、晕船或重视。通过其有效性标签来捕获特定对象对抗各种迷失方向的有效程度。尽管有效性标签可以量化，但为了清楚起见，它们已经以二进制显示，例如“1”表示“有效”，和“0”表示“无效”。对象O1-On的有效性标签由矢量624表示。

此外，本实施方案还可以测量每个检测到的迷失方向类别的强度610。例如，DDL116可以检测到D1、D2、D3和Dm分别为10、0、5和2，其中D1可能代表眩晕，D2代表失重，D3代表失去平衡感，和Dm代表重视。为了清楚起见，分配给每个类别的值以与强度正相关的任意单位给出。同样在本实施方案中，用户数据U1-Um 612从用户设置204和历史202“空间”映射到“迷失方向强度空间”。例如，如果用户已经证明对眩晕的耐受性低，但是对于失重感的耐受性高，U1可以被赋值为7，而U2被赋值为2。这些值也以任意单位表示，与灵敏度正相关。测量和/或映射的参数D1-Dm和U1-Um由矢量614示出。

在所提供的示例中，将对象O1-On及其有效性标签622与检测到的用户迷失方向的类别和强度以及用户数据614进行比较。在该示例中，有效性估计器616处理该信息以计算每个对象相对于用户状态的预期重新定向有效性。例如，有效性估计器616可以确定对D₁和U₁有效的对象O3具有最大的预期重新定向有效性。结果，根据该实施方案，RWO选择模块210可以选择对象O3 620。

在另一实施方案中，RWO选择模块210可基于对象预期的重新定向有效性来确定对象的顺序或等级。在该实施方案中，有效性估计器616可以产生对象O1-On的等级为O3、O4、O2、O5、O1等。如前所述，插入逻辑212然后可以基于由RWO选择模块210的有效性估计器616提供的等级，利用附加对象逐渐增强VRS。

图13示出了可用于本发明目的的HMD 102的附加实施方案。HMD 102包括诸如处理器804、电池806、虚拟现实生成器808、按钮、传感器、开关810、声音定位812、显示器814和存储器816之类的硬件。HMD 102还被示为包括定位模块828，其包括磁力计818、加速度计820、陀螺仪822、GPS 824和罗盘826。HMD 102还包括扬声器830、传声器832、LED 834、用于视觉识别的对象836、IR灯838、前向摄像机840、后向摄像机842、注视跟踪摄像机844、USB 846、永久存储设备848、振动-触觉反馈850、通信链路852、WiFi 854、超声波通信856和蓝牙858。

尽管以特定顺序描述了方法操作，但是应当理解，其他内务操作可以在操作之间执行，或者可以调整操作，使得它们在稍微不同的时间发生，或者可以分布在允许处理操作以与处理相关联的各种间隔发生的系统中，只要对VRS操作的改变的处理以期望的方式执行就行。

2014年3月12日提交的题为“SWITCHING MODE OF OPERATION IN A HEAD MOUNTEDDISPLAY”的共同未决的美国申请系列号14/206219的整个公开内容据此以引用方式完全并入。2014年3月13日提交的题为“METHODS AND SYSTEMS TRACKING HEAD MOUNTED DISPLAY(HMD AND CALIBRTATIONS FOR HMD HEADBAND ADJUSTMENTS”的共同未决的美国申请系列号14/658123的整个公开内容据此以引用方式完全并入。2015年2月5日提交的题为“MOTIONSICKNESS MONITORING AND APPLICATION OF SUPPLEMENTAL SOUND TO COUNTERACTSICKNESS”的共同未决的美国申请系列号14/615,115的整个公开内容据此以引用方式完全并入。2014年3月13日提交的题为“METHODS AND SYSTEMS TRACKING HEAD MOUNTEDDISPLAY(HMD AND CALIBRATIONS FOR HMD HEADBAND ADJUSTMENTS”的共同未决的美国申请系列号14/658123的整个公开内容据此以引用方式完全并入。

一个或多个实施方案也可以被制造为计算机可读介质上的计算机可读代码。所述计算机可读介质是可以存储数据的任何数据存储设备，所述数据随后可由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。所述计算机可读介质可包括分布在网络耦合计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。

虽然为了清楚理解的目的而略微详细地描述了前述实施方案，但很显然，可以在所附权利要求的范围内做出某些变化和修改。因此，当前实施方案将被认为是说明性的而非限制性的，且所述实施方案并不限于本文中给出的细节，而是可在所附权利要求书的范围和等效物内修改。

Claims (20)

1.一种用于改变头戴式显示器(HMD)中显示的虚拟现实场景的方法，其包括：

从所述HMD上的传感器获得传感器数据，所述传感器包括惯性传感器；

处理所述传感器数据以确定满足从所述虚拟现实场景转换到要由所述HMD呈现的增强的虚拟现实场景的标准，所述标准对应于在用户佩戴所述HMD并被呈现所述虚拟现实场景时暗示用户迷失方向的预定指示符，所述增强的虚拟现实场景是所述虚拟现实场景的修改版本；以及

基于所述确定满足所述标准，将现实世界视图中的现实世界对象的至少一部分覆盖到所述虚拟现实场景中，获得所述增强的虚拟现实场景，所述现实世界视图是由所述HMD的一个或多个摄像机捕获的。

2.如权利要求1所述的方法，其还包括：

在将所述现实世界对象覆盖到所述虚拟现实场景中以提供所述增强的虚拟现实场景之后，确定仍然满足所述标准；

在仍然满足所述标准的同时，继续覆盖来自所述现实世界视图的附加现实世界对象，其中所述继续覆盖附加现实世界对象使得所述增强的虚拟现实场景能够逐渐以现实世界对象填充。

3.如权利要求1所述的方法，其还包括，

在将一个或多个现实世界对象覆盖到所述虚拟现实场景中之后暂停所述虚拟现实场景；以及

当确定不再满足所述标准时，恢复所述虚拟现实场景。

4.如权利要求2所述的方法，其中所述附加现实世界对象包括所述现实世界对象的展开视图。

5.一种用于修改用于在头戴式显示器(HMD)中显示的虚拟现实场景的方法，其包括：

从所述HMD上的传感器获得传感器数据，所述传感器包括眼睛注视检测器和惯性传感器；

处理所述数据以确定满足从所述虚拟现实场景转换到要由所述HMD呈现的增强的虚拟现实场景的第一标准，所述第一标准对应于在用户佩戴所述HMD并被呈现所述虚拟现实场景时暗示用户迷失方向的预定指示符；以及

基于所述确定满足所述第一标准，将第一现实世界对象插入所述虚拟现实场景，所述第一现实世界对象来自设置在虚拟现实交互空间中的一个或多个摄像机提供的现实世界视图。

6.如权利要求5所述的方法，其中进一步获得和处理来自所述HMD上的所述传感器的数据，以确定在将所述第一现实世界对象插入所述虚拟现实场景以提供所述增强的虚拟现实场景之后，仍然满足所述第一标准，其中逐渐插入附加的现实世界对象，直到确定不再满足所述第一标准。

7.如权利要求5所述的方法，其中进一步获得并处理来自所述HMD上的所述传感器的数据，以确定满足将所述虚拟现实场景切换到所述现实世界视图的第二标准，所述第二标准对应于在所述用户佩戴所述HMD并被呈现所述虚拟现实场景时暗示所述用户迷失方向的预定指示符，其中所述切换包括淡出所述虚拟现实场景和淡入所述现实世界视图。

8.如权利要求5所述的方法，其中在所述虚拟现实场景内的位置插入所述第一现实世界对象，所述位置对应于所述第一现实世界对象在所述现实世界中的位置。

9.如权利要求5所述的方法，其中所述确定满足所述第一标准还包括处理与用户设置、用户历史或所述虚拟现实场景的背景信息相关联的数据。

10.如权利要求5所述的方法，其中设置在所述虚拟现实交互空间中的所述一个或多个摄像机包括所述HMD的一个或多个前向摄像机或者围绕所述HMD设置的一个或多个摄像机。

11.如权利要求5所述的方法，其中设置在所述虚拟现实交互空间中的所述一个或多个摄像机包括一个或多个面向HMD的摄像机。

12.如权利要求5所述的方法，其中数据是进一步从所述HMD的多个光敏二极管(PSD)获得的传感器数据，用于所述确定满足所述第一标准。

13.如权利要求5所述的方法，其中一旦作出满足所述第一标准的所述确定，就暂停或减慢所述虚拟现实场景。

14.如权利要求5所述的方法，其中当在将所述第一现实世界对象插入所述虚拟现实场景以提供所述增强的虚拟现实场景之后进一步确定不再满足所述第一标准时，所述增强的虚拟现实场景转换回所述虚拟现实场景。

15.如权利要求5所述的方法，其中所述第一现实世界对象包括由设置在所述虚拟现实交互空间中的所述一个或多个摄像机捕获的单独的现实世界对象和一个或多个着地元素。

16.如权利要求5所述的方法，其中所述第一现实世界对象包括边界条件，诸如地板、天花板或墙壁或其部分，所述边界条件由设置在所述虚拟现实交互空间中的所述一个或多个摄像机捕获。

17.如权利要求5所述的方法，其中所述虚拟现实场景的剪辑可通过互联网可共享，所述剪辑包含在所述虚拟现实场景内作出所述确定满足所述第一标准的点处的所述虚拟现实场景。

18.如权利要求5所述的方法，其中基于所述第一现实世界对象的预期重新定向有效性来选择所述第一现实世界对象，以在所述用户佩戴所述HMD并被呈现所述虚拟现实场景时使所述用户重新定向。

19.一种存储可由基于处理器的系统执行的计算机程序的非暂时性计算机可读存储介质，所述计算机程序用于修改用于在头戴式显示器(HMD)中显示的虚拟现实场景，所述非暂时性计算机可读存储介质包括：

用于从所述HMD上的传感器获得数据的程序指令，所述传感器包括惯性传感器；

用于处理所述数据以便确定满足从所述虚拟现实场景转换到要由所述HMD呈现的增强的虚拟现实场景的标准的程序指令，所述标准对应于在用户佩戴所述HMD并被呈现所述虚拟现实场景时暗示用户迷失方向的预定指示符；以及

用于基于所述确定满足所述标准将现实世界对象的至少一部分覆盖到所述虚拟现实场景上的程序指令，所述现实世界对象存在于由所述HMD的一个或多个摄像机捕获的现实世界视图中。

20.根据权利要求19所述的非暂时性计算机可读存储介质，其还包括：

用于逐渐将一个或多个附加现实世界对象覆盖到所述增强的虚拟现实场景中直到确定不再满足所述标准的程序指令，所述一个或多个附加现实世界对象存在于由所述HMD的所述一个或多个摄像机捕获的所述现实世界视图中；以及

用于将所述增强的虚拟现实场景转换回所述虚拟现实场景的程序指令。