CN111566596B - 用于虚拟现实显示器的真实世界门户 - Google Patents

Abstract

虚拟现实场景经由显示设备被显示。外围控制设备的真实世界定位相对于显示设备被标识。物理环境的位于显示设备的显示区域后面的真实世界场景的视频经由相机被捕获。真实世界门户经由显示设备被选择性地显示，真实世界门户包括真实世界场景的一部分并且在显示区域内的一个位置处通过虚拟现实场景模拟视图，该位置追踪外围控制设备的真实世界定位。

Description

用于虚拟现实显示器的真实世界门户

背景技术

虚拟现实通常是通过使用遮挡周围物理环境的用户视图的图形显示器在视觉域中实现的。利用近眼图形显示器的头戴式显示器(HMD)设备可以用于提供完全沉浸式的虚拟现实体验。HMD设备可能会附带手持式控制器，其使用户能够与虚拟现实环境进行交互。

发明内容

提供该发明内容来以简化的形式介绍对于在下面的详细说明中进一步描述的构思的选择。该发明内容不旨在标识所要求保护的主题的关键特征或者必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题并不限于解决在本公开的任何部分中提到的任何或全部缺点的实现。

根据本公开的一个方面，虚拟现实场景经由显示设备被显示。例如，显示设备可以采取近眼HMD设备的形式。外围控制设备的真实世界定位相对于显示设备被标识。例如，外围控制设备可以采取手持式控制器的形式。物理环境的位于显示设备的显示区域后面的真实世界场景的视频经由相机被捕获。例如，相机可以采取HMD设备的朝外(outward facing)相机的形式，该朝外相机近似于穿戴HMD设备的人的视觉视角。真实世界门户经由显示设备被选择性地显示，该真实世界门户包括真实世界场景的一部分并且在显示区域内的一个位置处通过虚拟现实场景模拟视图，该位置追踪外围控制设备的真实世界定位。

用户可以选择真实世界门户是否在给定的时间点被显示，并且可以在以闪光灯操作模式进行操作的同时操纵外围控制设备，以经由显示设备可视化周围环境，同时维持虚拟现实上下文。附加操作模式包括：视图锁定模式，在该视图锁定模式中，即使外围控制设备被重新定位，物理空间中的点也可以被维持在真实世界门户内；以及门户锁定模式，该门户锁定模式使得在不继续追踪外围控制设备的真实世界定位的情况下，真实世界门户在显示区域内的位置能够被重新定位。

附图说明

图1描绘了用户被呈现包括真实世界门户的虚拟现实体验的示例使用环境。

图2描绘了用于在虚拟现实体验的上下文内显示真实世界门户的示例方法200。

图3A-图3K示意性地描绘了相机和/或外围控制设备在包含物理对象的物理环境内被操作的示例。

图4是描绘了示例计算系统的示意图。

具体实施方式

图1描绘了用户110被呈现包括真实世界门户的虚拟现实体验的示例使用环境100。在该示例中，用户110正穿戴显示图形内容的头戴式显示器(HMD)设备120。HMD设备120的第一示例视图130还在图1中被描绘。视图130包括虚拟现实场景132，其可以由用户110经由HMD设备120观看。

在图1中，用户110还持有至少一个外围控制设备122，该外围控制设备122使用户能够与虚拟现实环境进行交互。例如，用户110正操纵外围控制设备122以将虚拟火球对准虚拟巫师(wizard)，如通过虚拟现实场景132所描绘的。例如，外围控制设备可以采取手持式控制器的形式。在至少一些实现中，用户可以左手持有第一外围控制设备并且右手持有第二外围控制设备以提供独立的基于手的控制。

HMD设备120的第二示例视图134还在图1中被描绘，其可以在真实世界观看模式被占用(engage)时选择性地被呈现给用户110。在该示例视图134中，物理环境的位于HMD设备120的显示区域后面的真实世界场景138的视频经由相机被捕获。相机可以采取HMD设备120的朝外相机的形式，朝外相机近似于用户110的视觉视角。真实世界门户136还经由包括至少一部分真实世界场景的HMD设备120来显示。例如，真实世界门户136描绘了搁在桌子142上的用户110的啤酒杯140。在一些实现中，用户110可以通过占用真实世界观看模式来选择视图134的真实世界门户136是否在给定的时间点被显示。用户110也可以脱离(disengage)真实世界观看模式以返回到视图130，其中虚拟现实场景被显示，而真实世界门户没有被显示。在其他实现中，真实世界观看模式的占用(engagement)/脱离(disengagement)可以通过虚拟现实系统的逻辑(例如，HMD设备120)来自动进行。

在真实世界观看模式内，几种不同的操作模式可以供用户使用。在至少一种操作模式(称为闪光灯模式)下，真实世界门户136在显示区域内的一个位置处通过虚拟现实场景132模拟视图，该位置追踪外围控制设备122的真实世界定位。

一旦真实世界观看模式被占用，用户110就可以用类似于闪光灯的方式操纵外围控制设备122，以经由HMD设备可视化周围物理环境的一部分，同时维持虚拟现实场景的视图。例如，用户110可以将外围控制设备122从啤酒杯140对准人146，以使真实世界门户136移动并显示该人。在真实世界观看模式内，存在于真实世界场景内的物理对象可以以与实际存在于物理环境中的用户视角相同的表观的(apparent)真实世界尺度被显示在真实世界门户136中。其他操作模式可以得到支持，包括在物理空间中维持对固定点/区域/对象的视图的视图锁定模式和将真实世界门户的位置锁定在显示区域的所选部分的门户锁定模式，如将参照图2和图3A-图3K进一步详细描述的。

本文所公开的真实世界门户使参与(engage in)沉浸式虚拟现实体验的用户能够例如观看该用户周围的人以标识和参与对话，使用物理键盘观看和执行文本输入，定位周围对象(诸如，家具或其他障碍物)，将外围控制设备或其他对象放置在桌子或其他表面上，定位并拿起啤酒杯或其他物理对象，定位并静音电话或其他通信设备等。在至少一些实现中，被包括在真实世界门户内的真实世界场景可以以高质量和真实色彩来呈现，以向用户提供对他们的物理环境的直观且准确的描绘。此外，真实世界场景可以在门户内被准确地定位和缩放，使得门户模拟用户在用他/她自己的眼睛直接观看真实世界场景的那部分时用户将拥有的视图。

而且在环境100内，存在多种其他硬件组件，包括计算设备150、一个或多个光学传感器152和显示设备154。在一些示例中，计算设备150可以采取游戏控制台的形式，并且HMD设备120和外围控制设备122可以在游戏控制台的外围。在其他示例中，外围控制设备122可以在HMD设备120的外围，并且HMD设备120可以不在另一计算设备的外围。HMD设备120和外围控制设备122可以经由有线和/或无线通信链路与计算设备150通信。而且在该示例中，显示设备154正在显示常规视图156，该视图156针对未沉浸于虚拟现实体验中的其他人(例如，人146)模拟用户110的视图。与包括真实世界门户136的视图134相比，即使真实世界观看模式由用户110占用，视图156也可能不包含真实世界门户。视图156实际上可以被显示在任何本地或远程显示设备上。

图2描绘了用于在虚拟现实体验的上下文内显示真实世界门户的示例方法200。方法200可以由一个或多个计算设备(例如，HMD设备120、计算设备150、图4的HMD设备430和/或图4的计算设备410)的计算系统执行。

在210中，该方法包括经由显示设备显示虚拟现实场景。虚拟现实场景可以包括任何形式的虚拟现实内容，包括虚拟三维世界、游戏内容、用户接口内容等。在至少一些实现中，显示设备是HMD设备。例如，HMD设备可以是遮挡周围物理环境的用户视图的近眼HMD设备。然而，其他显示设备可以被使用，例如，包括移动或平板显示设备。显示设备可以包括一个或多个板载传感器，如将参照图4的示例头戴式显示设备进一步详细描述的。

在212中，该方法包括标识外围控制设备相对于显示设备的真实世界定位。在至少一些实现中，显示设备和外围控制设备各自与它们自己的相应参考系相关联。通过标识外围控制设备相对于显示设备的真实世界定位，显示设备或外围设备中的一个在其参考系内的真实世界定位可以被平移或以其他方式被映射到显示设备或外围设备中的另一个的参考系(或者任何其他共享的参考系或坐标系)。例如，外围控制设备在第一参考系内的真实世界定位可以被平移到显示设备的第二参考系。真实世界定位可以在参考系中被表示为物理空间中的六个自由度(6DOF)定位。在示例中，外围控制设备在显示设备的参考系内的真实世界定位可以使用位于显示设备的板上的一个或多个相机来标识，以捕获位于外围控制设备的板上的视觉标记的星座。附加地或备选地，外围控制设备和HMD设备可以各自包括在物理空间中协同提供它们的相应6DOF定位的指示的一个或多个板载传感器(例如，(多个)相机、(多个)加速度计、(多个)陀螺仪、磁力计)。例如，由位于每个设备的板上的传感器检测到的重力矢量和/或磁矢量可以用于使设备的参考系彼此对准或以其他方式映射到彼此。附加地或备选地，远离HMD设备和外围控制设备的一个或多个相机可以捕获每个设备以标识每个设备在6DOF中相对于彼此的相对定位。

在至少一些实现中，外围控制设备是手持式控制器。用户可以使用一个或多个外围控制设备。例如，用户可以左手持有第一外围控制设备，并且右手持有第二外围控制设备。外围控制设备可以包括一个或多个用户输入接口，诸如，一个或多个可按下的按钮、操纵杆、多向垫、滚轮、触敏表面等。外围控制设备可以包括一个或多个板载传感器，如将参照图4的示例外围控制设备进一步详细描述的。在一些实现中，移动电话、平板电脑或其他设备可以用作外围控制设备。

在214中，该方法包括经由相机捕获物理环境的位于显示设备的显示区域后面的真实世界场景的视频或其他图像(例如，一个或多个静态图像)。例如，相机具有物理环境的视野，并且外围控制设备可以被移动到相机的视野中。在至少一些实现中，相机是头戴式显示设备的朝外相机。朝外相机可以近似于穿戴头戴式显示设备的人的视觉视角。备选地，相机可以位于外围控制设备的板上。例如，当外围控制设备由用户以至少一只手的定向持有时(例如，如设备形状因数所指示的)，外围控制设备的板上的相机可以是朝外相机和/或朝前相机，从而以与手持式闪光灯所提供的照明类似的模式对物理环境进行成像。备选地，相机可以远离HMD设备和外围控制设备定位。在至少一些实现中，位于HMD设备的板上、外围控制设备的板上和/或位于远程位置处的多个相机可以用于从多个相机捕获相应视频或其他图像，这些视频或其他图像可以选择性地单独或组合地被显示(例如，缝合在一起)以形成合成视频或图像。一个或多个相机可以采取广角相机的形式，该广角相机以彩色、黑白、红外和/或其他光谱范围中的一种或多种来捕获视频和/或静态图像。

在至少一些实现中，使用户能够经由显示设备观看真实世界场景的一部分的真实世界观看模式可以是用户可选的。真实世界观看模式的占用和脱离可以响应于经由用户输入接口接收的用户输入。在真实世界观看模式是用户可选择的情况下，在216中，该方法包括确定真实世界观看模式是被占用还是脱离。例如，在218中，该方法包括经由用户输入接口接收用户输入。用户输入接口可以例如位于外围控制设备或HMD设备的板上，并且可以采取各种形式，包括物理用户输入接口(例如，按钮)、自然语言接口(例如，麦克风和语音识别)等。

在220中，该方法包括经由显示设备显示真实世界门户。真实世界门户包括真实世界场景的一部分，并且在显示区域内的一个位置处通过虚拟现实场景模拟视图，该位置追踪外围控制设备的真实世界定位。在示例中，真实世界门户通过以下方式来显示：以完全遮挡或替换虚拟场景的基础部分的方式将真实世界门户覆盖在虚拟场景上。备选地，真实世界门户和虚拟场景的基础部分的视觉元素可以共存(例如，被混合)在显示器上，虚拟场景的基础部分可选地以简化形式被显示(例如，线框)。通常，被包括在真实世界门户中的真实世界场景部分以表观的真实世界尺度被显示，从而使用户能够自然地感知物理环境和/或与物理环境进行交互。在该示例中，在真实世界观看模式被占用的同时，在220中显示真实世界门户被执行。在真实世界观看模式由用户可选择的情况下，在222中，该方法包括在脱离真实世界观看模式的同时，经由显示设备中断显示真实世界门户。

在至少一些实现中，通过将真实世界门户呈现在虚拟观看窗口的表观的定位处，真实世界门户在显示区域内的位置追踪外围控制设备的真实世界定位，该虚拟观看窗口的表观的定位与外围控制设备的真实世界定位间隔开并在空间上被锁定至真实世界定位。真实世界场景的一部分可以是相机的有限视野，其小于相机的整个视野。有限视野可以由虚拟观看窗口定义，该虚拟观看窗口与外围控制设备的真实世界定位间隔开并且在空间上被锁定至真实世界定位。作为示例，虚拟观看窗口是圆锥体的截面，其表示外围控制设备的瞄准投影。虚拟观看窗口可以在物理空间中与外围控制设备间隔开预定义距离。该预定义距离可以是用户定义的，由应用程序定义的，由操作系统定义的或其组合。参照图3B-图3K进一步详细描述真实世界观看模式内的操作的非限制性示例。

在操作系统和应用程序生态系统的上下文内，在应用程序将虚拟场景提供给操作系统以进行显示之后，显示真实世界门户可以由计算设备的操作系统执行。真实世界门户可以在由操作系统确定的位置处被覆盖在所提供的虚拟场景上。备选地，应用程序可以指导操作系统在特定位置处显示真实世界门户。外围控制设备可以包括专用于操作系统的用户输入接口和专用于应用程序的其他用户输入接口，从而使得真实世界观看模式能够在操作系统或应用程序级别被选择性地占用或脱离，这取决于实现。备选地，外围控制设备可以包括共享的用户输入接口，该共享的用户输入接口可以选择性地由操作系统和一个或多个应用两者使用。

在至少一些实现中，视图锁定模式可以被支持，该视图锁定模式锁定虚拟观看窗口相对于物理环境的真实世界定位，从而将真实世界场景的该部分锁定至物理空间点(例如，使得当用户的头部朝啤酒看时，门户始终提供在桌子上的啤酒的视图)。视图锁定模式的占用和脱离可以是用户可选的，并且可以响应于经由用户输入接口被接收的用户输入。在视图锁定模式是用户可选择的情况下，在224中，该方法包括确定是视图锁定模式被占用还是脱离。例如，在226中，该方法包括经由用户输入接口接收用户输入。如先前所描述的，例如，用户输入接口可以位于外围控制设备的板上。

在228中，该方法包括锁定虚拟观看窗口相对于物理环境的真实世界定位，其中虚拟观看窗口不再在空间上被锁定至外围控制设备的真实世界定位，并且真实世界门户不再追踪外围控制设备的真实世界定位。在该示例中，在视图锁定模式被占用的同时，在228中锁定虚拟观看窗口相对于物理环境的真实世界定位被执行。参照图3F和图3G进一步详细描述视图锁定模式内的操作的非限制性示例。在视图锁定模式是用户可选择的情况下，在230，该方法包括：在脱离视图锁定模式时中断锁定虚拟观看窗口相对于物理环境的真实世界定位。

在一些实现中，用户可以利用真实世界观看模式来将门户对准期望的对象(例如，灯开关、键盘、啤酒)，然后切换到观看锁定模式，使得期望的对象将始终对用户可见。在一些实现中，用户可以标记多于一个的视图锁定区域，使得不同的门户可以用于查看不同的真实世界对象。在这种情况下，如果真实世界对象在物理上彼此靠近，则多个门户可以同时被显示。

在至少一些实现中，门户锁定模式可以被支持，该门户锁定模式锁定在显示区域内显示真实世界门户的位置，其中显示区域内的位置不再追踪外围控制设备的真实世界定位。门户锁定模式的占用和脱离可以是用户可选的，并且可以响应于经由用户输入接口接收的用户输入。在门户锁定模式是用户可选择的情况下，在232，该方法包括确定门户锁定模式被占用还是脱离。例如，在234中，该方法包括经由用户输入接口接收用户输入。如先前所描述的，例如，用户输入接口可以位于外围控制设备的板上。

在236中，该方法包括锁定真实世界门户在显示区域内被显示的位置。在这种锁定之后，门户在显示区域内的位置不再追踪外围控制设备的真实世界定位。在该示例中，在门户锁定模式被占用的同时，在236中锁定显示真实世界门户的位置被执行。参照图3H-图3K进一步详细描述门户锁定模式内的操作的非限制性示例。

在HMD设备的上下文内，当以门户锁定操作模式进行操作时，门户可以被锁定在显示器的特定区域(例如，右上角)中。然后，用户可以移动他或她的头部以改变在锁定的真实世界门户内呈现的真实世界视图的一部分。真实世界视图的这种基于头部的控制可以称为前灯操作模式。备选地或附加地，外围控制设备的瞄准投影可以用于改变真实世界场景的在门户中显示的一部分。例如，门户可以被锁定至显示器的右上角，然后外围控制设备可以对准不同的对象，然后这些对象被示出在锁定的门户中。真实世界视图的这种基于外围设备的控制可以称为主动瞄准操作模式。例如，响应于经由用户输入接口接收到的用户输入，前灯模式和主动瞄准操作模式可以供用户选择。在门户锁定模式是用户可选择的情况下，在238中，该方法包括：在脱离视图锁定模式的同时，中断锁定真实世界门户在显示区域内的位置，以再次追踪外围控制设备的定位。

在一些实现中，用户可以利用真实世界观看模式以将门户移动到显示器上的期望位置(例如，左上角、右下角、左中位置)，然后切换到门户锁定模式，使得门户停留在该显示位置。在一些实现中，用户可以在不同的显示位置处放置多于一个的门户，使得不同的门户可以同时向真实世界提供不同的视图。

在用户与两个外围控制设备(诸如，左手和右手手持式控制器)接合的实现中，方法200的各个方面可以扩展为包括与两个外围控制设备中的每个相对应的两个真实世界门户的显示，从而能够独立控制被显示给用户的真实世界视图。例如，每个外围设备可以以相同或不同的操作模式(例如，闪光灯模式、视图锁定模式、门户锁定模式等)进行操作。

图3A描绘了相机310具有由射线312界定的圆锥形视野(FOV)的示例。该圆锥形FOV可以称为FOV 312，并且表示相机310的最大FOV。对象A和B位于相机310的FOV 312内。作为示例，相机310可以是HMD设备的朝外相机，其近似于穿戴HMD设备的用户视角。在相机310的FOV旁边还描绘了诸如遮挡的近眼HMD设备等显示设备的示例显示区域320。在图3A中用虚线描绘了具有相同大小和形状的对象A和B，以表示它们在显示区域320后面的相对位置。虚拟现实场景322可以被显示在显示设备的显示区域320内。当虚拟现实场景322在未占用真实世界观看模式的情况下被显示时，用户无法看到对象A或B。

图3B描绘了相机310再次具有由射线312界定的圆锥形FOV的示例。出于比较的目的，相机310与对象A和B的相对定位与图3A的前述示例相同。在图3B中，外围控制设备330被描绘为具有相对于相机310的真实世界定位。在图3B中还描绘了虚拟观看窗口332，其与外围控制设备330间隔开并且在空间上被锁定至外围控制设备330。虚拟观看窗口332可以采取外围控制设备330的瞄准投影的截面的形式。例如，虚拟观看窗口332可以采取圆锥形瞄准投影的截面的形式，其以与外围控制设备相距预定义的物理距离正交地朝向外围控制设备330。图3B中的瞄准投影由射线334界定，并且可以被称为瞄准投影334。

在图3B中还描绘了由射线314界定的相机310的有限FOV，并且可以称为有限的FOV314。有限的FOV 314表示相机的整个FOV 312的一部分，并且由其与表示外围控制设备的瞄准投影的射线334的交叉点定义。因此，在该示例中，相机310的有限FOV 314关于外围控制设备的虚拟观看窗口332被定义。

图3B进一步将显示区域320描绘为显示真实世界门户324。真实世界门户324包括由相机捕获的真实世界场景的至少一部分，并通过虚拟现实场景322模拟视图。例如，真实世界门户324包括由有限的FOV 314表示的相机的整个FOV的一部分。经由相机310捕获的对象A被包括在真实世界门户324内，因为对象A在相机的有限FOV 314内。虽然对象B在相机的整个FOV 312内被捕获，但对象B在有限的FOV 314内未被捕获。因此，在该示例中，对象B未被包括在真实世界门户324内，而是用虚线描绘。

在图3B所描绘的示例中，真实世界门户324具有圆形形状。然而，门户可以具有不同的大小和/或形状。通过门户324的相机捕获的视图被缩放，使得块A的表观大小基本上等于在用户用用户自己的眼睛直接观看的情况下块A将具有的实际大小。通过门户324的相机捕获的视图被定位在显示区域320内，使得块A的表观位置基本上等于在用户用用户自己的眼睛直接观看的情况下块A将具有的实际位置。来自相机的图像可以通过以下任何必要的方式来进行裁剪、缩放、倾斜和/或扭曲：1)将表观大小与真实世界大小基本匹配，以及2)将表观位置与真实世界位置基本匹配。进一步地，显示器上的门户的大小和形状可以被改变，以提供对真实世界的更大或更小的视图。

图3C描绘了外围控制设备330相对于相机310的定位已经从图3B的前述示例被改变的示例，从而使虚拟观看窗口332相对于相机的FOV 312进行了移动。在该示例中，用户再次在真实世界观看模式中进行操作(例如，在图2的220中)。出于比较的目的，相机310与对象A和B的相对位置与图3A和图3B的前述示例相同。由于外围控制设备330相对于相机310以及对象A和B的定位的变化，因此由射线316界定的不同的有限FOV被提供，并且其可以被称为有限的FOV 316。有限的FOV 316再次表示相机的整个FOV 312的一部分，并且由其与表示外围控制设备的瞄准投影的射线334的交叉点定义。因此，在该示例中，相机310的有限FOV316关于虚拟观看窗口332的已改变的定位被定义。

图3C进一步将显示区域320描绘为显示真实世界门户326。真实世界门户326类似地包括由相机捕获的真实世界场景的至少一部分，并通过虚拟现实场景322模拟视图。在该示例中，真实世界门户326包括由有限的FOV 316表示的相机的整个FOV的一部分。经由相机310捕获的对象B被显示在真实世界门户326内，因为对象B在相机的有限FOV 316内。虽然对象A在相机的整个FOV 312内被捕获，但对象A在有限的FOV 316内未被捕获。因此，在该示例中，对象A未被显示在真实世界门户324内，而是用虚线描绘(即，虚拟现实场景322遮挡了对象A)。

用户改变外围控制设备相对于显示设备的真实世界定位以改变真实世界门户的内容和位置的能力可以被称为闪光灯操作模式。像闪光灯照亮黑暗的房间一样，外围控制设备投射瞄准投影，该瞄准投影定义了真实世界场景的哪一部分被显示给用户，例如，如图3B和图3C中所描绘的。

图3D描绘了相机310相对于物理环境的定位已经改变而外围控制装置330的定位保持相同的示例。在该示例中，用户再次以真实世界观看模式进行操作(例如，在图2的220中)。图3D描绘了显示区域320被更新以反映真实世界门户326在显示区域内的已改变的位置，同时还将对象B维持在真实世界门户内。

图3E描绘了相机310的整个FOV 312未捕获虚拟观看窗口332或对象A或B中的任何一个的示例。因此，显示区域320不包含真实世界门户。

图3F描绘了如本文所描述的视图锁定模式的示例。在图3F中，在图3F中描绘的虚拟观看窗口332已经相对于物理环境被锁定，使得外围控制设备能够被移动到不同的位置，而无需改变虚拟观看窗口或有限的FOV 316的相对定位。因此，对象B在图3F的示例中保持在真实世界门户326内，即使外围控制设备的定位已经改变。例如，用户最初可能以真实世界观看模式操作(例如，在图2的220中)，以将真实世界门户对准图3C中的对象B，然后用户可以占用视图锁定模式(例如，在图2的228中)，以将对象B维持在真实世界门户内，即使外围控制设备瞄准其他地方，如图3F所描绘的。视图锁定模式使用户能够继续监测空间中的物理点/区域/对象，而无需维持外围控制设备的恒定定位。

图3G描绘了相机310从图3F中所描绘的位置被重新定位的视图锁定模式的另一示例。在图3G中，相机310相对于图3F被向左旋转，其导致真实世界门户326和在其中显示的对象B的位置在显示区域320内向右移动。此处，即使外围控制设备不再对准对象B，包括对象B的真实世界场景也保持在真实世界门户内。

图3H–图3K描绘了使用门户锁定模式的示例。在图3H中，用户最初使用闪光灯模式来将门户移动到对象A所在的显示器的右下角。用户对准外围控制设备330，使得门户位于显示器的右下角，这使得与包含对象A的有限FOV 316相对应的真实世界场景的一部分将被显示在真实世界门户326内。

在将外围控制设备330对准对象A的同时，用户占用门户锁定模式以将显示区域320内的真实世界门户326锁定在图3H所描绘的位置处。例如，用户可以占用门户锁定模式，如先前参照图2的操作232、234和236所描述的。当门户锁定模式被占用时，用户将外围控制设备330从图3H所描绘的位置移动到图3I所描绘的位置。在图3I中，外围控制设备330不再对准对象A。然而，真实世界门户326的位置在图3I中不从其在图3H所描绘的锁定位置改变。

当在门户锁定模式中操作时，如果前灯模式也被占用，则外围控制设备的定位不再定义真实世界场景的哪一部分被显示在真实世界门户内。相反，相机的定位确定了真实世界场景的哪一部分被显示在真实世界门户内。在前灯模式中，有限的FOV相对于相机被锁定。例如，真实世界场景的与包含图3H中的对象A的有限FOV 316相对应的部分继续被显示在图3I中，即使外围控制设备330不再对准对象A。在图3H和图3I中，相机310的定位保持恒定。因此，在图3H和图3I中，对象A继续被显示在真实世界门户326中，因为有限的FOV 316没有改变。

图3J描绘了相机310相对于图3H和图3I被重新定位，使得对象A不再位于有限的FOV 316内的示例。当门户锁定模式被占用时，真实世界门户326保持锁定至显示区域320的相同位置，如图3H和图3I所描绘的，即使相机310和外围控制设备330已经被重新定位。此外，当前灯模式被占用时，在锁定的真实世界门户中所显示的真实世界场景的一部分追踪有限的FOV 316。例如，相机310在图3J中被重新定位，使得在前灯模式被占用时对象B在有限的FOV 316内。因此，包含对象B的真实世界场景的一部分被显示在图3J中的真实世界门户326内，而不是先前在图3H和图3I中描绘的对象A。

图3K描绘了相机310在门户锁定模式中进行操作时再次相对于图3J被重新定位的示例。然而，与外围控制设备330没有确定在真实世界门户中所显示的真实世界场景的一部分的图3I和图3J的先前示例相比，在图3J中主动瞄准模式而不是前灯模式被占用。主动瞄准模式使用户能够再次使用外围控制设备来定义在真实世界门户中所显示的真实世界场景的一部分。例如，在图3J中，用户已经将外围控制设备330对准了对象C。因此，包含对象C的真实世界场景的一部分被显示在真实世界门户326内。在图3K中，真实世界门户326保持锁定至显示区域320内的相同位置，如先前在图3H、图3I和图3J中所描绘的，即使外围控制设备330已经被重新定位。通过这种方式，位于显示器的右下部分的门户提供了相机FOV的最左部分的视图。主动瞄准模式类似于先前描述的闪光灯模式，但在门户锁定模式的上下文内被使用，以定义被显示在锁定门户内的真实世界场景。

在至少一些实现中，本文描述的方法和过程可以与包括一个或多个计算设备的计算系统联系在一起。特别地，这种方法和过程可以被实现为基于计算机的指令和/或数据，包括操作系统、应用程序、服务、应用编程接口(API)、库和/或其他计算机程序产品。

图4示意性地示出了可以实现本文描述的方法和过程中的一个或多个的计算系统400的示例。计算系统400以简化形式被示出。计算系统400可以采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、显示设备(例如，HMD设备)、外围控制设备、可穿戴设备和/或其他计算设备的形式。在本公开的上下文内，计算系统400可以被称为虚拟现实系统。

计算系统400包括一个或多个计算设备，其中的计算设备410是非限制性示例。计算设备410包括逻辑机412、存储机414和通信子系统416。计算设备410可以可选地包括显示子系统、输入子系统和/或图4未示出的其他组件。

逻辑机412包括被配置为执行指令的一个或多个物理设备。例如，逻辑机可以被配置为执行作为一个或多个操作系统、应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。这种指令可以被实现以执行任务，实现数据类型，变换一个或多个组件的状态，实现技术效果或以其他方式达到期望的结果。例如，保存在存储机414中的指令418可以包括操作系统420、一个或多个应用程序422和/或数据424。

逻辑机可以包括被配置为执行软件指令的一个或多个处理器。附加地或备选地，逻辑机可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑机的各个组件可选地可以分布在两个或更多个单独的设备中，这些设备可以远程放置和/或配置用于协同处理。逻辑机的各个方面可以由以云计算配置来配置的可远程访问的联网计算设备虚拟化和执行。

存储机414包括被配置为保存指令418和/或数据424的一个或多个物理设备。指令418可以由逻辑机412可执行以实现本文描述的方法和过程。当这种方法和过程被实现时，存储机414的状态可以被变换，例如以保存不同的数据。

存储机可以包括可移除设备和/或内置设备。存储机可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等。存储机可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址的设备。

将了解的是，存储机包括一个或多个物理设备。然而，备选地，本文描述的指令的各个方面可以由物理设备未在有限的持续时间内保存的通信介质(例如，电磁信号、光学信号等)传播。

逻辑机412和存储机414的各个方面可以一起集成为一个或多个硬件逻辑组件。例如，这种硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序专用集成电路和应用专用集成电路(PASIC/ASIC)、程序专用标准产品和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑设备(CPLD)。

术语“模块”、“程序”和“引擎”可以用于描述被实现为执行特定功能的计算系统400的一个方面。在一些情况下，模块、程序或引擎可以经由逻辑机412执行存储机414所保存的指令418来实例化。将理解，不同的模块、程序和/或引擎可以通过同一操作系统、应用、服务、代码块、对象、库、例程、API、功能等实例化。同样地，相同的模块、程序和/或引擎可以由不同的操作系统、应用、服务、代码块、对象、例程、API、功能等实例化。术语“模块”、“程序”和“引擎”可以包含可执行文件、数据文件、库、驱动程序、脚本、数据库记录等的个体或组。

将了解，如本文可以使用的，“服务”是跨多个用户会话可执行的应用程序。服务可以对一个或多个系统组件、程序和/或其他服务可用。在一些实现中，服务可以在一个或多个服务器计算设备上运行。

计算系统可以包括一个或多个外围设备，诸如，HMD设备430以及手持式控制器470A和470B。这些外围设备本身可以采取计算设备的形式。HMD设备430包括一个或多个图形显示器432，并且是显示设备的非限制性示例。例如，HMD设备430可以包括独立的右眼和左眼图形显示器。例如，将理解的是，显示设备可以采取其他形式，诸如，移动手持式或平板显示设备。形成一个或多个显示区域的图形显示器432可以用于呈现图形用户接口(GUI)450，例如，该图形用户接口可以包括虚拟现实场景和真实世界场景。

HMD设备430可以附加地包括逻辑机434、存储机436、通信子系统438、一个或多个光学传感器440(例如，相机)、一个或多个音频传感器442(例如，麦克风)、一个或多个惯性传感器444(例如，加速度计、陀螺仪、倾斜传感器等)、一个或多个其他输入设备446(例如，按钮、触敏表面等)以及一个或多个音频扬声器448。HMD设备430的光学传感器440可以包括一个或多个朝外相机，其近似于穿戴HMD设备的人的视角，诸如先前参照图1-图3K所描述的。HMD设备430和/或其他输入设备446的各种传感器可以提供用户接口，用户通过该用户接口选择操作模式，如本文所描述的。

手持式控制器470A和470B是外围控制设备的非限制性示例，如本文所描述的。例如，手持式控制器470A可以对应于左手的控制器，并且手持式控制器470B可以对应于用户的右手的控制器。手持式控制器470A和470B可以各自附加地包括逻辑机472A和472B、存储机474A和474B、通信子系统476A和476B、一个或多个光学传感器478A和478B(例如，相机)、一个或多个惯性传感器480A和480B(例如，加速度计、陀螺仪、倾斜传感器等)、一个或多个其他输入设备482A和482B(例如，按钮、触敏表面、操纵杆等)以及一个或多个视觉标记484A和484B。视觉标记484A和484B可以以星座图案配置，该星座图案使得手持式控制器470A和470B的定位能够通过经由诸如HMD设备430的朝外相机或其他远程光学传感器490等相机捕获的图像来确定。

当被包括时，显示设备可以用于呈现由存储机保存的数据的视觉表示。该视觉表示可以采取图形用户界面(GUI)的形式。由于本文描述的方法和过程改变了由存储机保存的数据，并因此变换了存储机的状态，因此同样地，显示设备的状态可以被变换为可视地表示基础数据的变化。显示设备可以与逻辑机和/或存储机被组合在共享的外壳中，或者这种显示设备可以是外围显示设备。

当被包括时，输入接口可以利用一个或多个用户输入设备，诸如，键盘、鼠标、触摸屏、手持式控制器、HMD设备等。在至少一些实现中，输入接口可以利用自然用户输入(NUI)组件。这种组件可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板下被处理。示例NUI组件可以包括用于语音和/或声音识别的麦克风；用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部追踪器、眼部追踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感测组件。

当被包括时，通信子系统可以被配置为将计算设备或外围设备与一个或多个其他计算设备或外围设备通信地耦合。例如，计算设备410、HMD设备430、手持式控制器470A和470B以及远程光学传感器490可以经由它们相应的通信子系统通过有线或无线链路彼此通信。因此，通信子系统可以包括与一个或多个通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线和/或有线局域网或广域网的通信。在一些实施例中，通信子系统可以允许计算系统400经由诸如互联网等网络向其他设备发送消息和/或从其他设备接收消息。

图4示意性地描绘了计算设备410与HMD设备430、手持式控制器470A和470B以及远程光学传感器490进行通信的非限制性示例。例如，HMD设备430与手持式控制器470A和470B之间的通信可以遍历计算设备410。应当理解，这些设备中的一个或多个可以直接或经由另一设备彼此通信。例如，手持式控制器470A和470B可以经由HMD设备430与计算设备410通信。在该示例中，计算设备410与手持式控制器470A和470B之间的通信可以遍历HMD设备430。

在本公开的示例中，一种方法包括：经由显示设备显示虚拟现实场景；标识外围控制设备相对于显示设备的真实世界定位；经由相机捕获物理环境的位于显示设备的显示区域后面的真实世界场景的视频；以及经由显示设备显示真实世界门户，其中真实世界门户包括真实世界场景的一部分，并且在显示区域内的一个位置处通过虚拟现实场景模拟视图，该位置追踪外围控制设备的真实世界定位。在本示例或本公开的任何其他示例中，真实世界场景的一部分是相机的有限视野，其小于相机的整个视野；并且有限的视野由虚拟观看窗口定义，其与外围控制设备的真实世界定位间隔开并在空间上锁定至真实世界定位。在本示例或本公开的任何其他示例中，虚拟观看窗口是一个圆锥体的截面，其表示外围控制设备的虚拟视野。在本示例或本公开的任何其他示例中，虚拟观看窗口在物理空间中与外围控制设备间隔开预定义距离。在本示例或本公开的任何其他示例中，该方法还包括：响应于视图锁定模式的占用，锁定虚拟观看窗口相对于物理环境的真实世界定位，在视图锁定模式中，虚拟观看窗口不再在空间上被锁定至外围控制设备的真实世界定位。在本示例或本公开的任何其他示例中，该方法还包括：响应于门户锁定模式的占用，锁定真实世界门户被显示在显示区域内的位置，在门户锁定模式中，显示区域内的位置不再追踪外围控制设备的真实世界定位。在本示例或本公开的任何其他示例中，应用提供虚拟现实场景以进行显示，并且真实世界门户被显示为对由应用提供的虚拟现实场景的覆盖。在本示例或本公开的任何其他示例中，显示设备是头戴式显示设备。在本示例或本公开的任何其他示例中，头戴式显示设备是近眼头戴式显示设备，其遮挡物理环境的用户视图。在本示例或本公开的任何其他示例中，相机是头戴式显示设备的朝外相机，其近似于穿戴头戴式显示设备的用户视角。在本示例或本公开的任何其他示例中，外围控制设备是手持式控制器。在本示例或本公开的任何其他示例中，该方法还包括：经由外围控制设备的用户接口接收用户输入；以及响应于用户输入，占用或脱离真实世界观看模式，其中：当真实世界观看模式被占用时，真实世界门户经由显示设备被显示，以及在真实世界观看模式被脱离时，真实世界门户未经由显示设备被显示。在本示例或本公开的任何其他示例中，被包括在真实世界门户中的真实世界场景的一部分以表观的真实世界尺度被显示。

在本公开的另一示例中，虚拟现实系统包括计算系统，该计算系统被配置为：经由显示设备显示虚拟现实场景；标识外围控制设备相对于显示设备的真实世界定位；经由相机捕获物理环境的位于显示设备的显示区域后面的真实世界场景的视频；以及经由显示设备显示真实世界门户，其中真实世界门户包括真实世界场景的一部分，并且在显示区域内的一个位置处通过虚拟现实场景模拟视图，该位置追踪外围控制设备的真实世界定位。在本示例或本公开的任何其他示例中，显示设备是头戴式显示设备；相机是头戴式显示设备的朝外相机；并且外围控制设备是手持式控制器。在本示例或本公开的任何其他示例中，计算系统进一步被配置为：经由外围控制设备的用户接口接收用户输入；以及响应于用户输入，占用或脱离真实世界观看模式，其中：在真实世界观看模式被占用时，真实世界门户经由显示设备被显示，并且在真实世界观看模式被脱离时，真实世界门户未经由显示设备被显示。在本示例或本公开的任何其他示例中，真实世界场景的一部分是相机的有限视野，其小于相机的整个视野；并且有限的视野由虚拟观看窗口定义，其与外围控制设备的真实世界定位间隔开并在空间上锁定至真实世界定位。在本示例或本公开的任何其他示例中，计算系统进一步被配置为：经由外围控制设备的用户接口接收用户输入；以及响应于用户输入，锁定虚拟观看窗口相对于物理环境的真实世界定位，使得虚拟观看窗口不再在空间上被锁定至外围控制设备的真实世界定位。在本示例或本公开的任何其他示例中，计算系统进一步被配置为：经由外围控制设备的用户接口接收用户输入；以及响应于用户输入，锁定真实世界门户在显示区域内被显示的位置，使得显示区域内的位置不再追踪外围控制设备的真实世界定位。

在本公开的另一示例中，公开了一种存储机，其保存指令，该指令由逻辑机可执行以：经由显示设备显示虚拟现实场景；标识外围控制设备相对于显示设备的真实世界定位；经由相机捕获物理环境的位于显示设备的显示区域后面的真实世界场景的视频；以及经由显示设备显示真实世界门户，该真实世界门户包括真实世界场景的一部分，并且在显示区域内的一个位置处通过虚拟现实场景模拟视图，该位置追踪外围控制设备的真实世界定位。

应当理解，本文描述的配置和/或方法本质上是示例性的，并且这些特定的实施例或示例不应被认为是限制性的，因为许多变型是可能的。本文描述的特定例程或方法可以表示任何数量的处理策略中的一个或多个。这样，可以按照所图示和/或描述的顺序、以其他顺序、并行执行所图示和/或描述的各种动作或省略各种动作。同样地，可以改变上述过程的顺序。

本公开的主题包括本文所公开的各种过程、系统和配置以及其他特征、功能、动作和/或特性的所有新颖和非明显的组合和子组合及其任何和所有等效项。

Claims (20)

1.一种用于虚拟现实显示的方法，包括：

经由显示设备显示虚拟现实场景；

标识外围控制设备相对于所述显示设备的真实世界定位；

经由相机捕获物理环境的位于所述显示设备的显示区域后面的真实世界场景的视频；以及

经由所述显示设备显示真实世界门户，所述真实世界门户包括所述真实世界场景的一部分并且在所述显示区域内的位置处通过所述虚拟现实场景模拟视图，

其中所述显示区域内的所述真实世界门户的所述位置追踪所述外围控制设备的虚拟视野的截面，所述截面与所述外围控制设备的所述真实世界定位间隔开并且在空间上被锁定至所述真实世界定位。

2.根据权利要求1所述的方法，其中所述真实世界场景的所述一部分是所述相机的有限视野，所述有限视野小于所述相机的整个视野；并且

其中所述有限视野由与所述截面相对应的虚拟观看窗口定义。

3.根据权利要求2所述的方法，其中所述截面是圆锥体的截面，所述圆锥体表示所述外围控制设备的所述虚拟视野。

4.根据权利要求2所述的方法，其中所述虚拟观看窗口在物理空间中与所述外围控制设备间隔开预定义距离。

5.根据权利要求2所述的方法，还包括：

响应于视图锁定模式的占用，锁定所述虚拟观看窗口相对于所述物理环境的真实世界定位，在所述视图锁定模式中，所述虚拟观看窗口不再在空间上被锁定至所述外围控制设备的所述真实世界定位。

6.根据权利要求2所述的方法，还包括：

响应于门户锁定模式的占用，锁定所述真实世界门户被显示在所述显示区域内的所述位置，在所述门户锁定模式中，所述显示区域内的所述位置不再追踪所述外围控制设备的所述真实世界定位。

7.根据权利要求1所述的方法，其中应用提供所述虚拟现实场景以进行显示，并且其中所述真实世界门户被显示为对由所述应用提供的所述虚拟现实场景的覆盖。

8.根据权利要求1所述的方法，其中所述显示设备是头戴式显示设备。

9.根据权利要求8所述的方法，其中所述头戴式显示设备是近眼头戴式显示设备，所述近眼头戴式显示设备遮挡所述物理环境的用户的视图。

10.根据权利要求8所述的方法，其中所述相机是所述头戴式显示设备的朝外相机，所述朝外相机近似于穿戴所述头戴式显示设备的用户的视角。

11.根据权利要求1所述的方法，其中所述外围控制设备是手持式控制器。

12.根据权利要求1所述的方法，还包括：

经由所述外围控制设备的用户接口接收用户输入；以及

响应于所述用户输入，占用或脱离真实世界观看模式，其中：

当所述真实世界观看模式被占用时，所述真实世界门户经由所述显示设备被显示，并且

当所述真实世界观看模式被脱离时，所述真实世界门户未经由所述显示设备被显示。

13.根据权利要求1所述的方法，其中被包括在所述真实世界门户中的所述真实世界场景的所述一部分以表观的真实世界尺度被显示。

14.一种虚拟现实系统，包括：

计算系统，被配置为：

经由显示设备显示虚拟现实场景；

标识外围控制设备相对于所述显示设备的真实世界定位；经由相机捕获物理环境的位于所述显示设备的显示区域后面的真实世界场景的视频；以及

经由所述显示设备显示真实世界门户，所述真实世界门户包括所述真实世界场景的一部分并且在所述显示区域内的位置处通过所述虚拟现实场景模拟视图，

其中所述显示区域内的所述真实世界门户的所述位置追踪所述外围控制设备的虚拟视野的截面，所述截面与所述外围控制设备的所述真实世界定位间隔开并且在空间上被锁定至所述真实世界定位。

15.根据权利要求14所述的虚拟现实系统，其中所述显示设备是头戴式显示设备；

其中所述相机是所述头戴式显示设备的朝外相机；并且其中所述外围控制设备是手持式控制器。

16.根据权利要求14所述的虚拟现实系统，其中所述计算系统还被配置为：

经由所述外围控制设备的用户接口接收用户输入；以及

响应于所述用户输入，占用或脱离真实世界观看模式，其中：

当所述真实世界观看模式被占用时，所述真实世界门户经由所述显示设备被显示，并且

当所述真实世界观看模式被脱离时，所述真实世界门户未经由所述显示设备被显示。

17.根据权利要求14所述的虚拟现实系统，其中所述真实世界场景的所述一部分是所述相机的有限视野，所述有限视野小于所述相机的整个视野；并且

其中所述有限视野由与所述截面相对应的虚拟观看窗口定义。

18.根据权利要求17所述的虚拟现实系统，其中所述计算系统还被配置为：

经由所述外围控制设备的用户接口接收用户输入；以及

响应于所述用户输入，锁定所述虚拟观看窗口相对于所述物理环境的真实世界定位，使得所述虚拟观看窗口不再在空间上被锁定至所述外围控制设备的所述真实世界定位。

19.根据权利要求14所述的虚拟现实系统，其中所述计算系统还被配置为：

经由所述外围控制设备的用户接口接收用户输入；以及

响应于所述用户输入，锁定所述真实世界门户在所述显示区域内被显示的所述位置，使得所述显示区域内的所述位置不再追踪所述外围控制设备的所述真实世界定位。

20.一种存储机，其保存指令，所述指令由逻辑机可执行以：

经由显示设备显示虚拟现实场景；

标识外围控制设备相对于所述显示设备的真实世界定位；

经由相机捕获物理环境的位于所述显示设备的显示区域后面的真实世界场景的视频；以及

经由所述显示设备显示真实世界门户，所述真实世界门户包括所述真实世界场景的一部分并且在所述显示区域内的位置处通过所述虚拟现实场景模拟视图，

其中所述显示区域内的所述真实世界门户的所述位置追踪表示所述外围控制设备的虚拟视野的圆锥体的截面，所述截面与所述外围控制设备的所述真实世界定位间隔开并且在空间上被锁定至所述真实世界定位。

Images