CN111712780A - 用于增强现实的系统和方法 - Google Patents

Abstract

公开了一种优选地在增强或混合现实环境中定位操作多个感测组件的用户的方法，该方法包括从固定的控制和处理模块发送姿势数据并且在第一感测组件处接收该姿势数据，然后基于控制和处理模块，将姿势数据变换为在坐标系中的第一组件相对姿势。用所变换的第一组件相对姿势更新与第一感测组件通信的显示单元，以渲染具有改善的环境意识的虚拟内容。

Description

用于增强现实的系统和方法

相关申请

本申请要求于2018年2月6日提交的美国临时专利申请序列No.62/627155的优先权和权益，其全部内容通过引用合并于此。

技术领域

本公开涉及在增强现实系统的背景下定位一个或多个对象的位置或取向的系统和方法。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“VR”)场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界的视觉输入不透明；增强现实(或者“AR”)场景通常涉及数字或虚拟图像信息的呈现作为对用户周围的实际世界的可视化的增强。

例如，参考图1，描绘了增强现实场景(4)，其中AR技术的用户看到了一个真实的公园样场景(6)，背景中有人、树、建筑物和混凝土平台(1120)。除了这些项目之外，AR技术的用户还感知到他“看到”一个机器人雕像(1110)站在真实世界平台(1120)上，卡通化身角色(2)飞过，这似乎是一只蜂的拟人化，即使这些元素(2、1110)不存在于现实世界中。事实证明，人类的视觉感知系统非常复杂，在其他虚拟或现实世界的图像元素中，产生一种舒适、自然、丰富的虚拟图像元素呈现的VR或AR技术具有挑战性。

例如，头戴式AR显示器(或头盔显示器，或智能眼镜)通常至少疏松地耦接到用户的头部，从而在用户的头部移动时移动。如果显示系统检测到用户的头部移动，则可以更新显示的数据，以考虑头部姿势的变化。例如，如果佩戴头戴式显示器的用户在显示器上查看三维(3D)对象的虚拟表示，并绕着3D对象出现的区域行走，则可以为每个视点重新渲染该3D对象，从而让用户感觉到他或她绕着占用实际空间的对象行走。如果头戴式显示器用于在虚拟空间(例如，丰富的虚拟世界)中呈现多个对象，则可以使用头部姿势的测量(即，用户头部的位置和取向)来重新渲染场景，以匹配用户动态变化的头部位置和取向，并提供更高的在虚拟空间中的沉浸感。

在AR系统中，头部姿势的检测或计算可以辅助显示系统渲染虚拟对象，使其看起来以对用户有意义的方式占据现实世界中的空间。此外，检测与用户头部或AR系统相关的真实对象(例如手持装置(也可称为“图腾(totem)”)、触觉装置或其他真实物理对象的位置和/或取向也可有助于显示系统向用户呈现显示信息，以使用户能够有效地与AR系统的某些方面交互。当用户的头部在真实世界中移动时，虚拟对象可以作为头部姿势的函数重新渲染，使得虚拟对象相对于真实世界看起来保持稳定。至少对于AR应用，以对于物理对象的空间关系设置虚拟对象(例如，被呈现为在空间上在两个或三个维度上接近物理对象)可能是一个非微不足道的问题。例如，头部移动可能会使虚拟对象在环境视图中的放置变得非常复杂。无论是将视图捕获为周围环境的图像，然后投影或显示给最终用户，还是最终用户直接感知周围环境的视图，这都是正确的。例如，头部移动可能会导致最终用户的视场发生变化，这可能需要更新最终用户视场中显示各种虚拟对象的位置。

此外，头部移动可能会在很大的范围和速度范围内发生。头部移动速度不仅可以在不同的头部移动之间变化，而且可以在单个头部移动的范围内或该范围变化。例如，头部移动速度可能从一个起始点初始地增加(例如，直线或非直线)，当到达终点时，头部移动速度可能会下降，在头部移动的起始点和结束点之间的某处获得最大速度。快速的头部移动甚至可能超过特定显示或投影技术向最终用户呈现均匀和/或平滑移动的图像的能力。

头部跟踪的准确性和延迟(即，从用户移动他或她的头部与图像被更新并显示给用户的时间之间经过的时间)一直是VR和AR系统面临的挑战。特别是对于那些用虚拟元素填充用户大部分视场的显示系统，头部跟踪的精度高并且从第一次检测头部移动到更新由显示器传送到用户的视觉系统的光的整个系统延迟非常低，这是严格的。如果延迟高，系统会在用户前庭和视觉感觉系统之间造成不匹配，并产生导致恶心或模拟疾病用户感知场景。如果系统延迟高，则在快速头部移动期间，虚拟对象的明显位置将显得不稳定。

除了头戴式显示系统外，其他显示系统还可以受益于准确和低延迟的头部姿势检测。这些包括头部跟踪显示系统，其中显示器不在用户身体上佩戴，而是安装在例如墙壁或其他表面上。头部跟踪显示的作用类似于场景上的一个窗口，当用户相对于“窗口”移动头部时，场景将重新渲染以匹配用户不断变化的视点。其他系统包括头戴式投影系统，其中头戴式显示器将光线投射到现实世界。

此外，为了提供真实的增强现实体验，AR系统可以设计为与用户交互。例如，多个用户可以使用虚拟球和/或其他虚拟对象玩球类游戏。一个用户可以“接住”虚拟球，然后将球扔回另一个用户。在另一个实施例中，可向第一用户提供图腾(例如，与AR系统通信地耦接的真实球棒)以击打虚拟球。在其他实施例中，可以向AR用户呈现虚拟用户界面，以允许用户选择多个选项之一。用户可以使用图腾、触觉装置、可穿戴组件，或者只需触摸虚拟屏幕即可与系统交互。

检测用户的头部姿势和取向，以及检测空间中真实对象的物理位置，使得AR系统能够以有效和愉快的方式显示虚拟内容。然而，虽然这些能力是AR系统的关键，但很难实现。换句话说，AR系统必须识别真实对象(例如，用户的头部、图腾、触觉装置、可穿戴组件、用户的手等)的物理位置，并且将真实对象的物理坐标与对应于显示给用户的一个或多个虚拟对象的虚拟坐标相关联。这需要快速率跟踪一个或多个对象的位置和取向的高精度的传感器和传感器识别系统。目前的方法不能以令人满意的速度或精度标准进行定位。

因此，在AR和VR装置的背景下，需要更好的定位系统。

附图说明

附图示出了本发明的各种实施例的设计和实用性。应当注意，附图未按比例绘制，并且在整个附图中，相似结构或功能的元件由相似的附图标记表示。为了更好地理解如何获得本发明的各个实施例的上述和其他优点和目的，将参考本发明的具体实施例对以上简要描述的本发明进行更详细的描述，这些实施例在附图中示出。理解这些附图仅描述了本发明的典型实施例，因此不应将其认为是对本发明范围的限制，将通过使用附图以附加的特征和细节来描述和解释本发明，

图1示出了根据一个实施例的显示给AR系统的用户的AR场景的平面图。

图2A-2D示出了可穿戴AR装置的各种实施例。

图3示出了根据本发明实施例的与系统的一个或多个云服务器交互的可穿戴AR装置的示例实施例。

图4示出了根据本发明实施例的与一个或多个手持式控制器装置交互的可穿戴AR装置的示例实施例。

图5示出了根据本发明实施例的在物理环境中操作定位协议的用户的示例。

图6A-6C示出了根据本发明实施例的使用一个或多个支持模块在物理环境中操作定位协议的用户的示例。

图7A-7C示出了根据本发明实施例的支撑模块的示例。

图8A-8B示出了利用本发明的实施例的配置的示例。

图9A-9I示出了根据本发明实施例的用于可穿戴AR系统和支撑模块的耦接装置的示例。

图10-11示出了根据本发明实施例的用于利用定位工具的生态系统的配置。

图12A-12C示出了根据本发明实施例的特定于环境的支持模块的示例。

图13示出了根据本发明实施例的用于利用包括特定于环境的支持模块的定位工具的生态系统的示例配置。

具体实施方式

参考图2A-2D，示例了一些通用组件选项。在图2A-2D的讨论之后的详细描述部分中，提出了各种系统、子系统和组件，以应对提供用于人类VR和/或AR的高质量、舒适感知的显示系统的这一目标。

如图2A所示，AR系统用户(60)被描绘为佩戴头戴式组件(58)，其特征在于具有与位于用户眼前的显示系统(62)耦接的框架(64)结构。扬声器(66)在所描述的配置中耦接到框架(64)，并定位在用户的耳道附近(在一个实施例中，未示出的另一个扬声器定位在用户的另一耳道附近，以提供立体声/可整形声音控制)。显示器(62)通过有线引线或无线连接等方式可操作地耦接到本地处理和数据模块(70)，本地处理和数据模块(70)可以通过各种配置安装，例如固定地附接到框架(64)，固定地附接到头盔或帽(80)，如图2B的实施例所示，嵌入在耳机中，在如图2C的实施例所示的背包式配置中可移除地附接到用户(60)的躯干(82)，或在如图2D的实施例所示的带耦接式配置中可移除地附接到用户(60)的臀部(84)。

本地处理和数据模块(70)可以包括节能的处理器或控制器、以及数字存储器，例如闪存，两者都可以用于协助处理、缓存和存储：从可操作地耦接到框架(64)的传感器(例如图像捕获装置(例如相机)、红外IR发射器和接收器、麦克风、惯性测量单元、加速计、罗盘、GPA单元、无线电装置和/或陀螺仪)捕获的数据a)；和/或数据b)，使用远程处理模块(72)和/或远程数据储存库(74)获取和/或处理，可用于在这样的处理或检索之后传送到显示器(62)。本地处理和数据模块(70)可以可操作地耦接(76、78)(例如经由有线或无线通信链路)到远程处理模块(72)和远程数据储存库(74)，使得这些远程模块(72、74)彼此操作地耦接并且作为资源对于本地处理和数据模块(70)是可用的。

在一个实施例中，远程处理模块(72)可以包括一个或多个相对强大的处理器或控制器，其被配置为分析和处理数据和/或图像信息。在一个实施例中，远程数据储存库(74)可以包括相对大规模的数字数据存储设施，其可以以“云”资源配置的形式通过因特网或其他网络配置可用。在一个实施例中，在本地处理和数据模块中存储所有数据并执行所有计算，允许来自任何远程模块的完全自主使用。

现在参考图3，示意图示出了云计算资产(46)和本地处理资产之间的协调，该本地处理资产可以例如存在于耦接到用户头部(120)的头戴式组件(58)和耦接到用户的腰带(308；因此组件70也可以称为“腰带包”70)本地处理和数据模块(70)中，如图3所示。在一个实施例中，诸如一个或多个服务器系统(110)的云(46)资产诸如经由有线或无线网络(无线优选用于移动性，有线优选用于可能需要的某些高带宽或高数据容量传输)可操作地直接耦接(115)到(40、42)如上所述耦接到用户的头部(120)和腰带(308)的本地计算资产中的一个或两个，该本地资产诸如处理器和存储器配置。对用户而言为本地的这些计算资产也可以经由有线和/或无线连接配置(44)可操作地彼此耦接，诸如下面参考图8讨论的有线耦接(68)。在一个实施例中，为了保持安装到用户头部(120)的低惯性和小尺寸子系统，用户和云(46)之间的主要传输可以经由安装在腰带(308)的子系统和云之间的链路，其中头戴式(120)子系统主要使用无线连接(诸如超宽带(“UWB”)连接)数据连接(data-tether)到基于腰带的(308)子系统，如当前例如在个人计算外围连接应用中所采用的那样。

通过有效的本地和远程处理协调以及用于用户的诸如图2A所示的用户界面或用户显示系统(62)或其变型的适当的显示装置，与用户当前的实际或虚拟位置相关的一个世界的方面可以被传输或“传递”给用户并以有效的方式更新。换言之，可以在存储位置处连续地更新世界的地图(map)，该存储位置可以部分地存在于用户的AR系统上并且部分地存在于云资源中。

地图(也称为“可传递的世界模型”)可以是包括栅格图像、3-D和2-D点、参数信息以及关于真实世界的其他信息的大型数据库。随着越来越多的AR用户(例如，通过相机、传感器、IMU等)不断地捕获关于他们的真实环境的信息，地图变得越来越准确和完整。

利用如上所述的配置，其中存在可以位于云计算资源上并且从那里分配的一个世界模型，这样的世界可以以相对低的带宽形式“可传递”给一个或多个用户，优选尝试传递实时视频数据等。站在雕像(即，如图1所示)附近的人的增强体验可以通过基于云的世界模型来通知，该基于云的世界模型的子集可以被向下传递给基于云的世界模型以及他们的本地显示装置以完成视图。坐在远程显示装置处的人(其可以像坐在桌子上的个人计算机一样简单)可以有效地从云中下载相同的信息部分并将其呈现在他们的显示器上。事实上，实际出现在雕像附近的公园里的一个人可能会带一个位于远方的朋友在那个公园散步，其中该朋友通过虚拟和增强现实加入。系统将需要知道街道的位置、树的位置、雕像的位置-但是关于在云上的那些信息，加入的朋友可以从场景的云方面下载，然后作为相对于实际在公园里的人为本地的增强现实开始一起散步。

可以从环境检测且捕获或以其他方式提取特征或以其他方式的3-D点，并且可以确定捕获那些图像或点的相机的姿势(即，相对于世界的矢量和/或原点位置信息)，以便这些点或图像可以被该姿势信息“标记”或与该姿势信息相关联。然后，可以利用由第二相机(或者物理上的第二相机，或者同一相机但在第二时刻捕获的)捕获的点来确定第二相机的姿势。换言之，可以基于与来自第一相机的标记图像的比较来定向和/或定位第二相机。然后，可以利用这些知识来提取纹理(texture)、制作地图以及创建真实世界(例如，在那周围注册了两个相机，或者可被用于比较公共注册的数据的两个时刻)的虚拟副本。

因此，在基础水平处，在一个实施例中，可以利用人佩戴系统来捕获3-D点和产生这些点的2-D图像两者，并且这些点和图像可以被传输到云存储和处理资源。它们也可以被本地高速缓存为具有嵌入的姿势信息(即，高速缓存标记的图像)；因此，云可以具有准备好的(即，在可用的高速缓存中)标记的2-D图像(即，被3-D姿势标记)以及3-D点。如果用户正在观察动态的东西，他还可以将另外的信息传输到与运动相关的云(例如，如果观看另一个人的脸部，用户可以拍摄脸部的纹理地图并在优化频率下将其向上推(push up)，即使周围的世界基本上是静态的)。

为了捕获可用于创建“可传递的世界模型”的点，准确地了解用户相对于世界的位置、姿势和取向是有辅助的。更特别地，必须将用户的位置定位到颗粒化的(granular)程度，因为了解用户的头部姿势以及手部姿势(如果用户正在抓紧手持式组件、手势等)可能是重要的。在一个或多个实施例中，GPS和其他定位信息可以用作这种处理的输入。用户的头部、图腾、手势、触觉装置等的高度精确定位在向用户显示适当的虚拟内容时是至关重要的。

参考图4，示出了具有以可操作地耦接的手持式控制器(606)为特征的AR系统。在一个或多个实施例中，手持式控制器可以被称为“图腾”，以在诸如游戏的各种用户场景中使用。在其他实施例中，手持式控制器可以是触觉装置。手持式控制器(606)可以包括电池或其他电源，以向各种互连的组件供电，该互连的组件可以包括相机、IMU和其他装置，如下所述。如本文所述，本地处理和数据模块(70)可以可操作地耦接到云资源(630)，并且可操作地耦接到头戴式可穿戴组件(58)。

在各种实施例中，可能期望聚合各种组件的计算、感知力和感知能力，以例如具有对与用户在局部空间中的操作有关的各种问题的增强的理解，例如组件在空间中相对于彼此定位和/或定向的位置、用户正在处理的局部环境(例如，房间的几何形状、对象在房间内的位置和/或取向等)的类型和/或可映射哪些对象和特征(例如，使用SLAM分析)。

参考图5，示出了房间(200)的顶视图，其中用户(60)站着大致看向桌子(206)、咖啡桌(204)和门(202)，该门被配置为当被利用时向房间内摆动打开。如上所述，在各种实施例中，一种可穿戴计算系统包括可操作地耦接的组件，例如头戴式组件(58)、本地处理和数据模块(70)以及手持式组件(606)。同样如上所述，这样的组件中的每一个可包括各种传感器和处理器以及它们自己的相关功能-例如相机、IMU和处理器组件，这些组件可以被配置为除了其他之外提供数据以构成姿势确定算法，这些算法由一个或多个处理器，以确定这类组件在位置和/或取向上相对于彼此和/或相对于它们周围环境的各个方面的位置(如上所述，所谓的“姿势”确定)。

再次参考图5，在一个实施例中，就确定这样的组件相对于彼此的定位和/或定向而言，手持式组件(606)和本地处理和数据模块(70)与头戴式组件(58)的相对接近度可能是有利的，但是其不可被优化以收集关于人和这样的组件周围的环境的信息。例如，在一些位置和取向中，用户自己的身体可能会遮挡或以其他方式干扰手持式组件(606)，并妨碍与头戴式组件(58)的有效通信。其他非用户环境因素也可影响性能，例如，图5的门(202)，由于其作为功能门的可移动性质，可改变相对于组件(58、70和/或606)的位置和/或取向，在所描述的配置中，该门(202)几乎完全从操作者(60)跨整个房间。这种结构的距离和角运动可能不容易被手持式组件(606)或头戴式组件(58)检测到。

参考图6A，在各个实施例中，可能期望一个或多个仪器组件放置在被认为感兴趣的位置和取向上-例如门(202)附近的位置，其中仪器朝向此门定向，该一个或多个仪器组件例如为附加手持式组件模块(606)，该附加手持式组件模块(606)可以例如如上所述经由蓝牙或其他无线连接方式被无线互连到与操作者(60)耦接的其他组件(58、70和/或606)的处理和存储资源。换句话说，附加的手持式组件模块(606)可以被放置在这样的位置，在该位置上它实际上没有被握在用户的手中，而是相对于房间或其他对象定位和定向(即，通过放置在桌子、地板或其他对象上、由与另一对象耦接的架子支撑、可移动和/或固定地附接到另一对象等)；在这样的配置中，附加的手持式组件模块(606)可以被称为“支持”或“捕获和处理”模块(606)。在一个实施例中，如图6A中所示，捕获和处理模块(606)可以被放置在地板或一些其他结构上的临时位置/取向配置中，或者可以固定地附接到结构上，如图6B的实施例中所示，其中，附加的捕获和处理模块(606)耦接到墙壁，再次位于被选择的位置和取向上，以便辅助收集与附近的门(202)有关的数据，并且再次地，附加的捕获和处理模块(606)例如如上所述的诸如经由蓝牙或其他无线连接配置被可操作地耦接到主题系统的其他组件(58、70、606)。

在这样的实施例中，物理耦接(58、70、606)到操作者(60)的每个组件可以被配置为受益于驻留在附加的捕获和处理模块(606)内的附加的数据捕获和处理能力，这里，附加的捕获和处理模块(606)被示出为用作手持式组件的组件的其他版本。图6C示出了可以围绕操作者的环境定位和定向的多个附加的捕获和处理模块(606)，以便辅助处理和分析它们周围的环境。应当理解，可以针对不同的测量分别优化多个捕获和处理模块。例如，靠近门的捕获和处理模块(606)可以被配置为仅在门(202)打开和关闭时针对用户(60)所使用的系统更新定位数据。而来自远处的头戴式组件(58)或手持式组件(606)上的传感器发出的光线投射或圆锥投射可能无法分辨半开门和关门之间的差异，而具有在门的打开和关闭的角度方向上定向的飞行时间传感器的接近门的传感器可以更快、更精确地确定门(202)(并通过延伸房间(200))更新的可检测的特征位置。

类似地，当房间(200)的转角处的捕获和处理模块(606)检测到用户(60)靠近并具有至少部分地指向捕获和处理模块(606)的头部姿势时，可以激活并提供定位数据。这样的实施例的好处在于，当用户接近空间的物理极限时，例如墙壁或转角，头戴式组件(50)或手持式组件(606)上的传感器检测和提取的用于定位的特征较少，而捕获和处理模块(606)可以为定位提供“灯塔”效果。

图7A和7B示出了便携式附加捕获和处理模块(606)的实施例，其可包括手柄(210)、台式支架(212)和诸如上述的组件，其包括但不限于相机(124)、IR发射器和/或接收器、IMU(102)、WiFi通信装置(114)、蓝牙通信装置(115)以及适当地耦接到其他传感器的嵌入式和/或移动处理器(128)。图7C示出了相机模块(124)的一个实施例的近视图，该相机模块包括多个单色相机装置(125)(例如如图所示的四个)、彩色相机(127)和深度相机(129)，该深度相机(129)被配置为利用飞行时间数据来辅助相对于这种深度相机(129)的捕获界面将图像元素放置在空间中。

参考图9A，诸如以图5和7A-7C为特征的配置可以用于确定各种组件的相对姿势。用户可以佩戴可操作地耦接到手持式控制器(606)的头戴式可穿戴组件(58)，该手持式控制器也例如经由操作者的手耦接至操作者(214)。头戴式可穿戴组件(58)可被配置为利用耦接到其的传感器来确定头戴式可穿戴组件相对于头戴式可穿戴组件(58)周围的环境(例如房间及其元素)的姿势(例如的位置和/或取向)的某些方面，和/或关于这样的环境的某些特征，例如房间的形状或那里的对象(216)。

手持式控制器(606)可以被配置为利用耦接到其的传感器来确定手持式控制器(606)相对于手持式控制器(606)周围的环境的姿势(例如位置和/或取向)的某些方面，和/或关于这种环境的某些特征(例如房间的形状)(218)。

手持式控制器和头戴式可穿戴组件可以被配置为经由它们的可操作耦接(例如，如上所述经由蓝牙连接)共享确定的姿势信息，以使得可以确定在手持式控制器与头戴式可穿戴组件之间的相对定位和/或取向(220)。这样的操作可以被频繁地更新以维持关于在手持式控制器与头戴式可穿戴组件之间的相对定位和/或取向的及时刷新信息(222)。可以提供任何一个组件的定位作为任何一个坐标系的功能。换句话说，手持式组件可以操作其传感器以确定其在“手持式组件框架”或“坐标系”中的位置和取向，然后与头戴式组件耦接以确定头戴式组件的相对位置，以便在同一框架中为其提供位置和取向。相反的事实是，头戴式组件可以确定其位置和取向，然后确定控制器相对于头戴式组件的位置和取向，进而为手持式组件提供在头戴式组件框架或头戴式坐标系中的定位。两者之间的矩阵变换，例如欧几里得距离矩阵、四元数取向或三维旋转矩阵，可以被用来促进组件之间的这种坐标系变换。

在一些实施例中，任何一个组件可以相对于多个其他组件定位其自身。例如，手持式控制器(606)可以检测其相对于头戴式组件(58)以及捕获和处理模块(606)的位置。相对感测的手段可以进一步是主观的。手部组件(606)可利用IR阵列跟踪来检测头戴式组件(58)上的IR信号，并使用可见光跟踪(例如特征检测和提取或基准检测)来检测捕获和处理模块(606)。在这些方面，一对组件之间的平移或旋转测量可以代替或补充其他组件对之间的图像捕获特征检测，以在任何给定时间为用户提供优化的定位数据集。

参考较早的示例，如果用户要接近具有许多可检测特征的空墙间隙，则使用基于图像的跟踪将降低准确性或增加等待时间，因为系统将具有更少的用于进行计算的感测特征。然而，如果控制和处理模块(606)提供了附加的可检测数据，例如IR信号、飞行时间脉冲或电磁传输，则用户相对于该控制和处理模块的旋转和平移可以至少补充任何定位逻辑，以补偿基于图像的跟踪传感器缺乏可检测特征的缺陷。

参考图8B，诸如以上参考图6A-6C和7A-7C所述的那些配置可以用于确定各种组件的相对或绝对姿势。如图8B所示，用户可佩戴头戴式可穿戴组件(58)，其可操作地耦接到多个手持式控制器(606)和/或固定安装(8)的控制器，其中的一个可以例如经由手持式耦接被物理地耦接至操作者的身体(224)。头戴式可穿戴组件(58)可以被配置为利用耦接到其的传感器来确定头戴式可穿戴组件相对于头戴式可穿戴组件(58)周围的环境(例如房间)的姿势(例如位置和取向)的某些方面和/或关于这样的环境的某些特征(例如房间的形状)(226)。多个手持式控制器(606)可被配置为利用耦接到其的传感器来确定这种控制器相对于该控制器周围的环境(例如房间)的姿势(例如位置和取向)的某些方面，和/或关于这样的环境的某些特征(例如房间的形状)(228)，该手持式控制器可以被放置在其他对象上或固定地安装在其上，其中的一个可以被物理地耦接到操作者，例如在图6A-6C和7A-7C中。多个手持式控制器(606)和头戴式可穿戴组件(58)可以被配置为经由它们的操作耦接(例如经由蓝牙连接)来共享确定的姿势信息，以使得可以确定在多个手持式控制器(606)中的一个或多个与头戴式可穿戴组件(58)之间的相对定位和/或取向(230)，该多个手持式控制器(606)可以被固定地安装到其他对象(该手持式控制器放置在其上)上或耦接到操作者。

组件中的每一个当中的矩阵变换可以被优化以提供绝对位置，如果不是简单地为组件当中的相对位置的话。例如，如果固定安装的组件的位置和取向在物理环境中是已知的，则手持式组件(606)或头戴式组件(58)可以确定它们相对于那些固定安装的组件的各自姿势，并通过扩展来确定“真实世界坐标系”或“环境坐标系”位置和取向，其可以被称为绝对姿势。

将理解，如上所述，其他中间坐标系可能存在或有用。例如，仅接收位置数据(例如来自耦接到手持式组件的惯性测量单元、加速度计或相机)的手持式控制器可以确定其在“手持坐标系”中的姿势，并且类似地针对“头戴式坐标系”和其传感器检测并提取的姿势信息。在一些实施例中，用于确定使用所公开的传感器和感测组件的位置的定位系统和协议可能仅需要在中间坐标系中进行操作，而不需要绝对或完整的环境坐标系信息。

这样的操作可以被频繁地更新以维持关于在多个手持式控制器和/或固定安装的控制器与头戴式可穿戴组件之间的相对定位和/或取向的及时信息(232)。

参考图9A，可以利用小基准(246)来辅助使用基准中的一个或多个之间的已知或预定尺寸来快速确定系统的模块之间的位置和/或取向(246)，小基准可以表示诸如红外发射器或反射器的发送元件，该反射器例如为少量的镜子、玻璃球或其他反射元件。例如，参考图9B，在具有耦接到其的多个基准(246)的头戴式组件(58)的一个实施例中，基准(246)之间的相对长的已知长度可以用于确定和跟踪在空间中这样的头戴式组件(58)相对于全局坐标系或相对于被配置为利用相机或其他装置跟踪基准的另一组件的相对位置和/或取向。图9C示出了具有附加基准(246)的另一头戴式组件(58)配置，该附加基准用于提供关于这种构造的定位和/或取向的附加信息。

图9D示出了本地处理和数据模块(70)配置，该配置也具有耦接到其的多个基准(246)以辅助相对姿势确定。图9E示出了本地处理和数据模块(70)配置的另一实施例，该配置具有耦接到其的较大量的基准(246)以辅助相对姿势确定。

图9F示出了手持式控制器模块(606)配置，该配置也具有耦接到其的多个基准(246)，以辅助相对姿势确定。图29G示出了手持式控制器(606)配置的另一实施例，该配置具有耦接到其的较大量的基准(246)以辅助相对姿势确定。

图9H示出了手持式控制器模块(606)配置，该配置具有耦接到其的多基准阵列(248)以辅助相对姿势确定；当可以提供针对这样的基准阵列的几何形状时，这样的具有子部分的已知位置的基准阵列可能在姿势确定中是有用的，例如其中附加的手持式控制器模块(606)将被放置在咖啡桌等上而没有如移动计算系统的可穿戴组件那样多的几何约束。图9I示出了一种配置，其中，除了已经耦接到操作者(60)的一个手持式控制器(606)之外，多个附加控制器，例如手持式控制器模块(606)，也可以配备基准(246)，以辅助彼此之间的相对组件的快速姿势确定。

参考图10，在诸如参考图9A所描述的实施例中，用户(60)可以佩戴可操作地耦接到手持式控制器(606)的头戴式可穿戴组件(58)(214)。头戴式可穿戴组件(58)可以被配置为利用耦接到其的传感器来确定头戴式可穿戴组件相对于头戴式可穿戴组件周围的环境(例如房间)的姿势(例如位置和取向)的某些方面，和/或有关这样的环境的某些特征(例如房间的形状)(216)。诸如被物理地耦接到操作者的手的手持式控制器(606)和头戴式可穿戴组件可以被配置为利用耦接到其的基准(诸如经由发射器/接收器对(诸如单重叠(lap)配置中的红外光谱信标和传感器)或收发器/反射器对(例如双重叠配置中的红外光谱发射器/接收器装置和反射器))，来确定手持式控制器的姿势(例如位置和取向)相对于头戴式可穿戴组件的姿势的某些方面(234)。手持式控制器(606)和头戴式可穿戴组件(58)可以被配置为经由它们的可操作耦接(例如，经由蓝牙连接)共享确定的姿势信息，以使得可以确定在手持式控制器与头戴式可穿戴组件之间的相对定位和/或取向(236)。可以频繁地更新这样的操作以维持关于在手持式控制器与头戴式可穿戴组件之间的相对定位和/或取向的刷新信息(238)。

参考图11，在诸如图9I所示的实施例的情况下，用户(60)可以佩戴可操作地耦接到多个手持式控制器(606)的头戴式可穿戴组件(58)(224)，该多个手持式控制器(606)可以被物理地耦接到用户或周围房间的其他对象，例如墙壁(8)。头戴式可穿戴组件(58)可以被配置为利用耦接到其的传感器来确定头戴式可穿戴组件相对于头戴式可穿戴组件(58)周围的环境(例如房间)的姿势(例如位置和取向)的某些方面，和/或有关这样的环境的某些特征(例如房间的形状)(226)。多个手持式控制器(606)和头戴式可穿戴组件(58)可以被配置为利用耦接到其的诸如发射器/接收器对(诸如单重叠配置中的红外光谱信标和传感器)或收发器/反射器对(例如双重叠配置中的红外光谱发射器/接收器装置和反射器)的基准配置，来确定手持式控制器(606)的姿势(例如位置和取向)相对于头戴式可穿戴组件(58)的姿势的某些方面(240)。多个手持式控制器(606)和头戴式可穿戴组件(58)可以被配置为经由它们的可操作耦接(例如，经由蓝牙连接)共享确定的姿势信息，以使得可以确定在多个手持式控制器(606)与头戴式可穿戴组件(58)之间的相对定位和/或取向(242)。可以频繁地更新这样的操作以维持关于在多个手持式控制器和/或固定安装的控制器以及头戴式可穿戴组件之间的相对定位和/或取向的刷新信息(244)。

参考图12A，可以配置另一实施例，以使得可以利用手持式控制器(606)的周期运动(248)进一步利用其上包含的仪器，以用于来自手持式控制器(606)的不同位置/取向的附加姿势确定数据。换句话说，如果操作者(60)对门周围区域的移动特别感兴趣，则操作者(60)可以放弃周围的手持式控制器(60)，以辅助控制器利用包括控制器的传感器来捕获从不同的角度、向量和/或取向获得的有关这样的局部环境的其他信息。

这种手持式周期运动要求操作者靠近目标结构，这可能是不希望的或不实用的；图12B的实施例的特征在于用户(60)离主题门(202)相对较远，但是有两个手持式控制器(606)安装到感兴趣区域-一个被安装到附近的墙壁以及一个被安装到门(202)本身。图12C示出了以图24B中的周期运动(248)和附加感测装置(606)为特征的实施例。

图13示出了与图11相似的配置，除了用户(60)例如经由周期运动或移动而围绕感兴趣的对象或体积(例如围绕门或其他对象)移动一个或多个手持式控制器，以便于进一步捕获关于感兴趣的对象或体积及其相对于手持式控制器(606)和其他装置(例如一个或多个固定安装的控制器(606)和头戴式可穿戴组件(58))的位置和/或取向的信息。可以频繁地更新这样的操作以维持关于在多个手持式控制器和/或固定安装的控制器以及头戴式可穿戴组件之间的相对定位和/或取向的刷新信息(270)。

本文描述了本发明的各种示例性实施例。在非限制性意义上参考这些示例。提供它们是为了说明本发明的更广泛适用的方面。

本发明包括可以使用主题装置执行的方法。该方法可以包括提供这种合适的装置的动作。这样的提供可以由最终用户执行。换句话说，“提供”动作仅要求终端用户获得、访问、接近、定位、设置、激活、上电或以其他方式动作以提供本主题方法中的必要装置。可以以逻辑上可能的被叙述的事件的任何顺序以及事件的叙述顺序来执行本文所叙述的方法。

本发明包括可以使用主题装置执行的方法。该方法可以包括提供这种合适的装置的动作。这种提供可以由终端用户执行。换言之，“提供”动作仅仅需要终端用户获得、访问、接近、定位、设置、激活、开启或以其它方式提供在该方法中的必要装置。在此所述的方法可以按逻辑上可能的所述事件的任何顺序以及按照所记载的事件顺序进行。

同样，可以预期的是，可以独立地或与本文描述的特征中的任何一个或多个组合地阐述和要求保护所描述的发明变型的任何可选特征。提及单个项，包括存在多个相同项的可能性。更具体地，如本文和在其相关的权利要求书中所使用的，单数形式“一”、“一个”、“所述”和“该”包括复数指示物，除非另有明确说明。换句话说，冠词的使用允许以上描述中以及与本公开相关联的权利要求中的主题项目的“至少一个”。还应注意，可以将这样的权利要求草拟为排除任何可选要素。这样，该陈述旨在作为与权利要求要素的叙述结合使用诸如“唯”、“仅”等排他性术语或使用“负”限制的先行基础。

在不使用这种排他性术语的情况下，与本公开内容相关联的权利要求中的术语“包括”应允许包括任何附加要素，而不管这些权利要求中是否列举了给定数量的要素或者一个特征的添加可以被认为改变了在这些权利要求中提出的要素的性质。除了在此明确限定之外，在维持权利要求有效性的同时，将尽可能广泛地给予本文所使用的所有技术和科学术语普遍的理解含义。

Claims (19)

1.一种定位操作多个感测组件的用户的方法，所述方法包括：

由控制和处理模块发送第一姿势数据；

在第一组件处接收所述第一姿势数据；

基于所述控制和处理模块，将所述第一姿势数据变换为坐标系中的第一组件相对姿势；以及

用所变换的第一组件相对姿势更新与所述第一组件通信的显示单元。

2.根据权利要求1所述的方法，还包括：

在第二组件处接收所述第一姿势数据；

基于所述控制和处理模块，将所述第一姿势数据变换为坐标系中的第二组件相对姿势；

与所述第一组件共享所述第二组件相对姿势；以及

基于所变换的第二组件相对姿势来更新所述第一组件姿势。

3.根据权利要求1-2中任一项所述的方法，其中，所述第一组件是头戴式可穿戴组件。

4.根据权利要求3所述的方法，其中，所述第二组件是手持式组件。

5.根据权利要求1-2中任一项所述的方法，其中，所述第一组件是手持式可穿戴组件。

6.根据权利要求5所述的方法，其中，所述第二组件是头戴式组件。

7.根据权利要求1所述的方法，其中，发送所述第一姿势数据包括发送电磁场信号。

8.根据权利要求7所述的方法，其中，所述电磁场信号在可见光谱内。

9.根据权利要求7所述的方法，其中，所述电磁场信号在红外光谱内。

10.根据权利要求1所述的方法，其中，接收所述第一姿势数据包括红外标记的视觉捕获。

11.根据权利要求2所述的方法，其中，接收所述第一姿势数据包括基准标记的视觉捕获。

12.一种定位操作多个感测组件的用户的方法，所述方法包括：

接收环境特征，所述环境特征指示在头戴式组件处的位置信息；

基于所接收的环境特征确定在所述头戴式组件的环境坐标系中的头戴式组件姿势；

在至少一个手持式组件处接收所述至少一个手持式组件的相对于所述头戴式组件的相对位置方面；

确定所述至少一个手持式组件在头戴式组件坐标系中的相对手持式组件姿势；

与所述至少一个手持式组件共享在所述环境坐标系中确定的头戴式组件姿势，以及与所述头戴式组件共享在所述头戴式组件坐标系中的所述相对手持式组件姿势；以及

更新所述至少一个手持式组件在所述头戴式坐标系中的相对姿势。

13.根据权利要求12所述的方法，还包括：在更新所述至少一个手持式组件的所述相对位置之前，从所述环境坐标系中的控制和处理模块向所述头戴式组件发送相对位置方面。

14.根据权利要求13所述的方法，还包括：在更新所述至少一个手持式控制器的所述相对位置之前，更新所述环境坐标系中的所述头戴式组件姿势。

15.根据权利要求12所述的方法，还包括：将所述至少一个手持式组件在所述头戴式坐标系中的所述相对位置变换成在所述环境坐标系中的手持式组件姿势。

16.根据权利要求12所述的方法，还包括：从所述环境坐标系中的控制和处理模块向所述至少一个手持式组件发送相对位置方面。

17.根据权利要求16所述的方法，还包括：确定在所述环境坐标系中的手持式组件姿势。

18.根据权利要求17所述的方法，还包括：用所述环境坐标系中的所述手持式组件姿势来更新与所述头戴式组件共享的所述相对手持式组件姿势。

19.根据权利要求12所述的方法，其中，接收环境特征包括基于图像的特征提取和定位。

Images