CN107710009A - 虚拟和增强现实环境中的控制器可视化 - Google Patents

Abstract

描述了在诸如步行虚拟现实环境之类的虚拟/增强现实环境中使用的控制器可视化系统和方法。可以基于虚拟环境的上下文来改变物理控制设备的虚拟表示。某些实施例将跟踪的控制设备的虚拟呈现与操作空间的一部分的实时视频表示相结合。在某些实施例中，与交互元素的功能有关的附加信息的显示可以基于上下文加以显示，诸如需要来自虚拟空间中用户的特定动作时。

Description

虚拟和增强现实环境中的控制器可视化

相关申请的交叉引用

本申请要求2015年2月27日提交的美国临时申请序列号62/126,352的优先权，并且其是2015年11月10日提交的专利申请序列号14/937,844的部分继续申请，其要求2014年11月10日提交的临时申请序列号62/077,374以及于2015年2月27日提交的临时申请序列号62/126,358的权益。所有这些申请的内容出于所有目的通过引用的方式并入本文。

技术领域

本公开总体上涉及虚拟/增强现实环境中的控制器可视化。更具体地，本公开的各方面涉及虚拟或增强现实环境中物理控制器设备的表示和增强的系统和方法。

背景技术

各种增强和/或虚拟现实系统和/或环境是已知的。当前一代的桌面虚拟现实(“VR”)体验通过使用可固定在固定计算机(例如个人计算机(“PC”)、笔记本电脑或游戏机控制台)或自包含的头戴式显示器(“HMD”)而形成。这样的桌面VR体验通常会尝试完全身临其境，并将用户的感觉与周围环境断开。

当利用物理控制设备与虚拟环境交互时，佩戴仅显示虚拟空间的头戴式显示器的用户可能会遇到找到并与设置在控制设备上的控制元件进行交互的问题。这样的使用者也不确定控制设备上的交互元件(例如按钮)的功能。

通常使用存在于操作空间中的物理控制器来操作虚拟空间中的仿真物品。仿真物品有时被成形为在某种程度上与控制设备相似并反之亦然(例如，在虚拟世界中操纵枪的枪形控制器)，但是这些解决方案对于特定控制设备而言通常是相当不准确或已被硬编码。

期望解决本领域的当前限制。

附图描述

通过示例的方式，现在参考附图，这些附图不是按比例的。

图1是可以用于实现本发明的某些实施例的一些方面的计算设备的示例性图。

图2是佩戴包括可用于实现本发明的某些实施例的一些方面的光学接收器和传感器的头戴式虚拟现实设备的人类用户的示例性图。

图3是可以用于实现本发明的某些实施例的一些方面的光学位置跟踪系统中的发射机/接收机配置的示例性图。

图4是根据本发明的一些方面的具有四个光接收器的头戴式虚拟现实显示器的示例性图。

图5是根据本发明的某些实施例的虚拟现实环境中的示例性显示，其中真正的游戏控制器的虚拟图像处于视图中。

图6是根据本发明某些实施例的虚拟现实环境中的示例性显示，其中真实游戏控制器的虚拟图像处于视图中，并且其中示例性跨越文本标注也叠加在所显示的图像上以向用户提供关于在特定时刻可被激活的特定控制器功能的指导。

具体实施方式

本领域普通技术人员将会认识到，本发明的以下描述仅是说明性的，而不是以任何方式限制。本发明的其它实施例将会容易地暗示给已受益于本公开的本领域技术人员，并且在不脱离本发明的精神和范围的情况下，本文限定的一般原理可应用于其他实施例和应用。因此，本发明并非旨在限于所示的实施例，而是符合与本文公开的原理和特征一致的最宽范围。现在详细参考附图所示的本发明的具体实施方式。在整个附图和以下描述中，将使用相同的附图标记指代相同或相似的部件。

在具体实施方式中描述的数据结构和代码通常存储于计算机可读存储介质，计算机可读存储介质可以是可存储供计算机系统使用的代码和/或数据的任何设备或介质。这包括但不限于磁光存储设备和光存储设备(如磁盘驱动器、磁带、CD(光盘)和DVD(数字多功能盘或数字视频盘))以及实施在传输介质中的计算机指令信号(具有或没有信号被调制的载波)。例如，传输介质可以包括诸如因特网之类的通信网络。

图1是可用于实现本发明的某些实施例的一些方面的计算设备100的示例性图。计算设备100可包括总线101、一个或多个处理器105、主存储器110、只读存储器(ROM)115、存储设备120、一个或多个输入设备125、一个或多个输出设备130、通信接口135。总线101可包括允许计算设备100的各组件之间通信的一个或多个导体。处理器105可以包括解释和执行指令的任何类型的传统处理器、微处理器或处理逻辑部分。主存储器110可以包括随机存取存储器(RAM)、或存储供处理器105执行的信息和指令的另一类型动态存储设备。ROM 115可以包括传统ROM设备或存储供处理器105使用的静态信息和指令的另一类型静态存储设备。存储设备120可以包括磁和/或光记录介质及其对应的驱动器。输入设备125可以包括允许用户将信息输入到计算设备100的一个或多个传统机械构，诸如键盘、鼠标、笔、手写笔、手写识别、语音识别、生物特征机构，等等。输出设备130可以包括向用户输出信息的一个或多个传统机构，包括显示器、投影仪、A/V接收器、打印机、扬声器等。通信接口135可以包括能够使计算设备/服务器100与其他设备和/或系统进行通信的任何收发器状的机构。计算设备100可以基于可从另一计算机可读介质(例如数据存储设备120)或经由通信接口135从另一设备读取到存储器110中的软件指令来执行操作。存储器110中包含的软件指令促使处理器105执行稍后将描述的处理。或者，可以使用硬连线电路代替软件指令或与软件指令组合以实现与本发明一致的处理。因此，各种实施方案不限于硬件电路和软件的任何特定组合。

在某些实施例中，存储器110可以包括但不限于高速随机存取存储器，例如DRAM，SRAM，DDR RAM或其它随机存取固态存储器件；并且可以包括但不限于非易失性存储器，如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其它非易失性固态存储设备。存储器110可以可选地包括远离处理器105的一个或多个存储设备。存储器110或存储器110中的一个或多个存储设备(例如，一个或多个非易失性存储设备)可以包括计算机可读存储介质。在某些实施例中，存储器110或存储器110的计算机可读存储介质可存储以下程序、模块和数据结构中的一个或多个：操作系统，其包括用于处理各种基本系统服务和用于执行与硬件相关的任务的过程；网络通信模块，其用于经由一个或多个通信网络接口和一个或多个通信网络(诸如因特网，其他广域网，局域网，城域网等)将计算设备110连接到其他计算机；客户端应用程序，其可允许用户与计算设备100交互。

本发明的某些实施例包括可跟踪的头戴式显示器(“HMD”)220，其在操作空间中具有至少三个自由度，并且可选地具有拥有至少两个位置跟踪自由度的一个或多个传感器。图2是穿戴包括可用于实现本发明的某些实施例的方面的光学接收器和传感器(230a，230b，230c等)的头戴式虚拟现实设备220的人类用户210的示例性图。HMD和可选传感器向控制器提供感官输入，控制器又向HMD或另一个输出设备提供感官反馈。不加以限制地，HMD可以连接到固定计算机(诸如个人计算机(“PC”)，膝上型计算机或游戏控制台)，或者可以是独立的(即，一些或所有感官输入、控制器/计算机和输出全部都容纳在单个头戴式设备中)。

本发明的一些方面通过将用户可用的物理控制器以实际或增强形式转置到虚拟现实环境中来解决本领域的限制。在某些实施例中，通过模拟用户所持有的实际设备或适合于虚拟环境和/或提供上下文特定信息的其变体，本发明的一些方面改进了现有的解决方案。

图3是可以用于实现本发明的某些实施例的一些方面的光学位置跟踪系统中的发射机/接收机配置的示例性图。如图3所示，示例性光学位置跟踪系统包括跨越跟踪体扫描光信号310的基站320。根据每个特定实施方案的要求，可以并入多于一个基站，并且每个基站可以生成多于一个的光信号。例如，虽然单个基站通常足以用于六自由度跟踪，但是在一些实施例中可能需要多个基站来为耳机和外围设备提供强大的房屋级别跟踪。光接收器(例如，330)并入到头戴式虚拟现实设备(220)或其他跟踪对象。在某些实施例中，光接收器与每个跟踪设备上的加速度计和陀螺仪惯性测量单元(“IMU”)配对，以支持低延迟传感器融合。如图21所示，标准的12盎司苏打或啤酒罐330被描绘成提供一种尺度感。

根据某些实施例的每个基站320包含两个转子，其在正交轴上跨过场景扫描线性光束310。在每个扫描周期开始时，根据某些实施例的基站320发射对所有传感器可见的全向光脉冲(“sync信号”)。因此，每个传感器通过对同步信号和波束信号之间的持续时间进行定时来计算扫描体中唯一的角位置。使用固定在单个刚体上的多个传感器来解决传感器的距离和方向。

图4是可以用于实现本发明的某些实施例的一些方面的具有四个光接收器(230a，230b，230c，230d)的头戴式虚拟现实显示器220的示例性图。

在某些实施例中，假设被照射的体积将很大程度上没有反射物体和表面。反射可能导致传感器系统的杂散信号。在某些实施例中，通过在基站使用圆偏振辐射源和在传感器处使用合适的匹配圆偏振滤光器，可以减少或消除一阶反射的影响。

根据某些实施例的传感器包括能够检测来自转子的调制光的光电子器件。对于可见光或近红外(“NIR”)光，硅光电二极管和合适的放大器/检测器电路在某些实施例中是优选的。因为环境可能包含具有与基站信号(光噪声)相似的波长的静态和时变信号，所以有助于以这样的方式来调制基站光，使得容易区分任何干扰信号，和/或者从除基站信号以外的任何辐射波长中过滤传感器。

在某些实施例中，本发明包括(1)各种物理控制设备的三维虚拟表示的数据库，(2)编程接口，其允许(a)识别由用户操作的特定类型的控制设备，(b)可选地，控制设备在三维空间中的放置和方位，(c)可选地，收集关于控制设备用于交互的虚拟现实环境上下文以及这种虚拟环境内与控制设备上的交互元件相关联的功能的信息，以及(d)可选地，从操作空间收集上下文信息，包括但不限于关于主机操作系统或其他设备(例如移动电话)中发生的事件的通知。

图5是虚拟现实环境540中的示例性显示，其中真实游戏控制器520的虚拟图像处于持有控制器520的人类用户510的视野。

某些实施例中的控制器程序根据上述(2)(a)-(d)收集输入，并向用户提供用户的物理控制设备的虚拟表示，其可以是现实的或增强的以反映控制设备及其交互元件的虚拟上下文和/或功能。

根据每个特定实施方案的具体要求，控制设备的这种增强的虚拟表示可以但不加以限制地包括控制设备交互元件的基于语言/或图标的和/或基于动画的标签)，这样的标签提供有关其在虚拟环境中的功能的信息。例如，在图6中，控制真实游戏控制器520的虚拟枪的操作的按钮可以用动作标签(610,620,630等)来标记，如一个弹出文本，例如“火”或枪的图像或其他动作标签。

还可以基于与交互元件相关联的功能或关于虚拟环境提供的上下文的其他任意信息的可用性来修改根据某些实施例的增强虚拟表示。例如，虽然在某些实施例中的虚拟现实游戏中的武器可能是不可操作的，但是与之相关联的交互元件可能呈现为暗红色，而当它被充电并准备好时，它可能以脉冲绿色递增。或者，可以以根据正在指向虚拟环境的哪一部分进行交换或动画的虚拟附件呈现控制设备。

在某些实施例中，存储在数据库中并且在虚拟现实环境中可供用户使用的物理控制设备可以是例如但不限于用于个人计算机、便携式电话或平板电脑的视频游戏控制器、键盘、轨迹器或其他输入设备，或用于音频/视频设备和其他电子产品的遥控器。与这种控制设备相关联的交互元件例如可以是但不限于按钮、操纵杆、方向盘、软件按钮、触敏输入设备、拨盘、触发器、旋钮、动作传感器等。

在某些实施例中，可以基于虚拟环境的上下文来改变物理控制设备的虚拟表示。例如，在历史设置中发生的虚拟现实游戏中，控制设备可以表示为由时间适当的材料制成。或者，在用户操作设备的游戏中，这样的设备的虚拟表示可以附加到其控制器的表示。

在某些实施例中，物理控制设备的虚拟表示还可以基于在虚拟空间之外发生的操作空间和/或事件的上下文来改变。例如，控制器可以通过专用接口来接收通知，告知来电或者在门口按铃的人。在这样的系统中，可以改变控制设备的虚拟外观和功能，使得交互元件被赋予适当的功能和外观。对于来电或远距离通信的其他方式，这样的功能可能是应答呼叫；而对于有关访问者的信息，优选的动作可以是暂停虚拟体验。可以用外部系统能够传递的任何种类的通知和期望响应取代这些示例。

可以在某些实施例中连接信息的上下文和功能特定表示。例如，在虚拟现实钓鱼游戏中，控制设备的虚拟表示可以通过钓鱼杆来延伸。如果虚拟环境中的钓鱼杆不起作用，则其虚拟描绘可能被显示为破坏。

取决于特定实施例的要求，上下文或功能特定的增强可以是永久的或者基于用户输入的。例如，控制设备的呈现可以反映其在现实世界中的外观，直到用户将其注视引导至控制设备的虚拟表示，此时其可以通过功能或上下文专用信息得到增强。在其他示例中，当用户在其眼前拿起物理控制设备或采取任何其他预定义的动作时，可以虚拟地显示这种信息。

此外，关于交互元素的功能的附加信息的显示可以在某些实施例中基于上下文来显示，诸如当虚拟空间中的用户需要特定动作时，或者当用户已经空闲一段时间并假定需要关于期望动作的提醒时。

某些实施例在三维操作空间中反映跟踪的控制设备的放置和方位，使得控制设备的虚拟表示相对于用户的眼睛出现在与物理控制设备相同的位置。

其他实施例将跟踪的控制设备的虚拟呈现与操作空间一部分的实时视频表示相结合。为此，来自记录操作空间的相机的视频馈送可以直接叠加到头戴式显示器中看到的投影到呈现的虚拟空间几何形状上的图像，或者叠加到示出给用户的操作空间的三维模型作为虚拟空间的一部分或替代。这样的实施例的示例将是映射到控制设备的三维几何形状上的用户的手的实时视频馈送(例如，如用户HMD上的面向前的摄像头所看到的)。

为此目的在某些实施例中要从视频馈送提取的期望元素可以通过任何数量的现有方法来分离，诸如但不限于通过运动检测或深度感测技术，或者通过使用特殊的标记设备标记它们以向系统告知它们的尺寸。这些技术可以以本领域技术人员已知的任何方式组合。

在某些实施例中，用户通常具有在功能上可以相同的两个控制器。根据本发明的一些方面的系统从用户的HMD的位置朝向两个控制器进行三角测量，以确定它们中的哪一个在左手，哪一个在右手。如果用户切换控制器，则在某些实施例中，它们对于左右手而言仍然以设计的方式起作用。

在某些实施例中，控制器在虚拟/游戏环境中以存在于现实世界中的形状显示，因此用户可以在戴着HMD的同时找到它们，并且当他拿起它们时，他得到与现实世界中期望的相同触觉。在某些实施例中，一旦用户拿起控制器并且正确地抓住控制器，则其可以转换到其所代表的任何适当的游戏项目，例如，魔术棒、激光枪等。

除了游戏内信息之外，根据某些实施例的控制器可以设置为显示来自现实世界的通知。因此，在某些实施例中，当示出通知时，虚拟现实世界中的控制器显示小的光。在这样的实施例中，当用户在游戏中转过握住控制器的手时，在用户的下臂上显示虚拟显示以例如显示文本消息，示出正在通过电话呼叫用户的人的主叫者ID等等。然后用户可以使用控制器关闭它或与之交互。在这样的实施例中，每当通知到达时，用户不需要脱离HMD。根据每个特定实施方案的要求，通知可以被定制到特定的虚拟环境。例如，科幻游戏可能会在下臂上显示出发光的液晶显示，而幻想游戏则可能显示毕业文凭名册。

尽管上面的描述包含许多具体内容并且已经在附图中描述和示出了某些示例性实施例，但是应当理解，这些实施例仅仅是对广义发明的说明而不是限制性的，并且本发明不限于所示出和描述的具体结构和布置，这是因为如上所述，本领域普通技术人员可以想到各种其它变型。本发明包括来自本文公开的不同种类和/或实施例的要素的任何组合或部分组合。

Claims (1)

1.一种光学跟踪系统，包括：

处于一操作空间内的可移动跟踪物体，包括一个或多个刚性附接的光学传感器；和

处于所述操作空间内的一个或多个光发射器，其中，每个发射器包括两个转子，在重复扫描周期期间跨越正交轴上的跟踪体扫描两束光束，其中每个发射器发射由所述光学传感器在每个所述扫描周期开始时可检测到的全向同步光脉冲，其中每个所述光学传感器通过计算处于检测所述同步脉冲和检测所述光束之间经过的时间来计算所述跟踪体内的角位置，并且其中所述可移动跟踪对象的虚拟表示被显示在虚拟现实环境中，其中虚拟现实环境中的位置和方位对应于所述操作空间中所述可移动跟踪对象的位置和方位。