CN114706478A - 虚拟现实或增强现实显示系统中磁传感器和光学传感器的校准 - Google Patents

Abstract

本公开涉及一种虚拟现实或增强现实显示系统中磁传感器和光学传感器的校准。一种用于校准虚拟现实(VR)或增强现实(AR)装置(58)中的磁传感器和光传感器的对准的系统(900、1300)。该系统可以包括控制器(910)、波形发生器(920)和电驱动器(930)。波形发生器可以在控制器的控制下产生校准波形。该系统还可以包括被对应于校准波形的电流通电的导电回路(302、304)。控制器可以使波形发生器产生第一校准波形以校准显示装置中的第一类型的磁传感器(604)并产生第二校准波形以校准显示装置中的第二类型的磁传感器(102)。该系统还可以包括相对于导电回路处于已知空间关系的一个或多个光学基准标记(316)。光学基准标记可用于校准一个或多个光学传感器的对准方向。

Description

虚拟现实或增强现实显示系统中磁传感器和光学传感器的 校准

本申请是申请日为2017年9月25日、PCT国际申请号为PCT/US2017/053306、中国国家阶段申请号为201780058818.0、发明名称为“虚拟现实或增强现实显示系统中磁传感器和光学传感器的校准”的申请的分案申请。

相关申请的交叉引用

本申请要求2016年9月26日提交的名称为“用于增强现实的系统和方法(SYSTEMSAND METHODS FOR AUGMENTED REALITY)”的美国专利申请No.62/400,079的优先权，其通过引用整体并入本文。

技术领域

本申请涉及虚拟现实、增强现实和混合现实系统和技术。

背景技术

现代计算和显示技术已促进了虚拟现实(“VR”)、增强现实(“AR”)和混合现实(“MR”)系统的发展。VR系统为用户创建模拟环境以体验。这可以通过借助头戴式显示器向用户呈现计算机生成的图像来完成。该图像创建了使用户沉浸在模拟环境中的感官体验。VR场景通常仅涉及计算机生成的图像的呈现，而不是包括实际的真实世界图像。

AR系统通常用模拟元素补充真实世界环境。例如，AR系统可以通过头戴式显示器向用户提供围绕真实世界环境的视图。然而，计算机生成的图像也可以显示在显示器上，以增强真实世界的环境。该计算机生成的图像可以包括与真实世界环境情景相关的元素。这些元素可以包括模拟文本、图像、对象等。MR系统是一种类型的AR系统，其也将模拟对象引入真实世界环境中，但是这些对象通常具有更大程度的交互性。模拟元素通常可以实时交互。

发明内容

在一些实施例中，公开了一种用于校准虚拟现实(VR)或增强现实(AR)显示装置中的两个或更多个磁传感器的对准的系统，所述系统包括：控制器；波形发生器，其被配置为在所述控制器的控制下产生第一校准波形和第二校准波形；第一导电回路，其被定向在与穿过所述第一导电回路的第一轴正交的第一平面中；第二导电回路，其被定向在与所述第一平面平行的第二平面中并沿所述第一轴与所述第一导电回路分隔；以及连接到所述波形发生器的电驱动器，以接收所述第一和第二校准波形、产生相应的第一和第二电输出电流、以及向所述第一导电回路和所述第二导电回路提供所述第一和第二电输出电流，其中，所述控制器被配置为使所述波形发生器产生所述第一校准波形以校准所述显示装置中的第一类型的磁传感器并产生所述第二校准波形以校准所述显示装置中的第二类型的磁传感器。

在一些实施例中，公开了一种用于校准虚拟现实(VR)或增强现实(AR)显示装置中的两个或更多个磁传感器的对准的方法，所述方法包括：产生第一校准波形；使用所述第一校准波形使第一导电回路和第二导电回路通电(energize)，所述第一导电回路被定向在与穿过所述第一导电回路的第一轴正交的第一平面中，所述第二导电回路被定向在与所述第一平面平行的第二平面中并沿所述第一轴与所述第一导电回路分隔；使用所述显示装置的第一类型的磁传感器确定第一测量，所述第一测量指示当用所述第一校准波形通电时由所述第一和第二导电回路产生的磁场的取向；产生第二校准波形；用所述第二校准波形使所述第一和第二导电回路通电；使用所述显示装置的第二类型的磁传感器确定第二测量，所述第二测量指示当用所述第二校准波形通电时由所述第一和第二导电回路产生的磁场的取向；以及将所述第一测量与所述第二测量进行比较。

在一些实施例中，公开了一种用于校准虚拟现实(VR)或增强现实(AR)显示装置中的一个或多个磁传感器和一个或多个光学传感器的对准的系统，所述系统包括：第一导电回路，其被定向在与穿过所述第一导电回路的第一轴正交的第一平面中；第二导电回路，其被定向在与所述第一平面平行的第二平面中并沿所述第一轴与所述第一导电回路分隔；以及以相对于所述第一导电回路和所述第二导电回路的预定空间关系支撑的一个或多个光学基准标记。

在一些实施例中，公开了一种用于校准虚拟现实(VR)或增强现实(AR)显示装置中的一个或多个磁传感器和一个或多个光学传感器的对准的方法，所述方法包括：产生校准波形；使用所述校准波形使第一导电回路和第二导电回路通电，所述第一导电回路被定向在与穿过所述第一导电回路的第一轴正交的第一平面中，所述第二导电回路被定向在与所述第一平面平行的第二平面中并沿所述第一轴与所述第一导电回路分隔；使用所述显示装置的磁传感器确定第一测量，所述第一测量指示当用所述校准波形通电时由所述第一和第二导电回路产生的磁场的取向；使用所述显示装置的光学传感器确定第二测量，所述第二测量指示光学基准标记相对于所述第一导电回路和所述第二导电回路的空间关系；以及将所述第一测量与所述第二测量进行比较。

在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实施例的细节。根据说明书、附图和权利要求，其他特征、方面和优点将变得显而易见。

附图说明

图1描绘了具有某些虚拟现实对象以及由人观看到的某些物理对象的增强现实场景的图示。

图2A-2D示意性地示出了可穿戴系统的示例。

图3示意性地示出云计算资产和本地处理资产之间的协调。

图4示意性地示出了电磁(EM)跟踪系统的示例系统图。

图5是描述电磁跟踪系统的实施例的示例功能的流程图。

图6示意性地示出了与AR系统结合的电磁跟踪系统的示例。

图7是描述在AR装置的背景下的电磁跟踪系统的示例的功能的流程图。

图8示意性地示出了AR系统的实施例的组件的示例。

图9是用于校准头戴式可穿戴AR/VR系统中的磁力仪的对准的系统的框图。

图10A示出了图9中所示的磁场产生单元的第一示例实施例。

图10B是由图10A中所示的导电回路配置产生的磁场线的横截面示意图。

图10C示出了图9中所示的磁场产生单元的示例性多轴实施例。

图11是头戴式可穿戴AR/VR系统的示意图，该系统位于由第一导电回路和第二导电回路产生的均匀磁场的测试体积中。

图12是用于校准可穿戴AR/VR系统中两种不同类型的磁力仪的对准的示例方法的流程图。

图13是用于校准头戴式可穿戴AR/VR系统中的磁力仪和光学传感器的对准的系统的框图。

图14是头戴式可穿戴AR/VR系统的示意图，该系统位于具有光学基准标记的磁场产生单元的示例实施例中。

图15是用于校准可穿戴AR/VR系统中的磁传感器和光学传感器的对准的示例方法的流程图。

在整个附图中，可以重复使用附图标记来指示所引用的元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，并且不旨在限制本公开的范围。

具体实施方式

AR、VR和定位系统概述

在图1中，描绘了增强现实场景(4)，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台(1120)为特征的真实世界公园状设置(6)。除了这些项目之外，AR技术的用户同样感知到他“看到”站在真实世界平台(1120)上的机器人雕像(1110)以及飞过的卡通式化身角色(2)，该化身角色看起来是大黄蜂的化身，即使这些元素(2、1110)在真实世界中不存在。人类的视觉感知系统是非常复杂的，并且产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现是具有挑战性的。

例如，头戴式VR或AR显示器(或头盔式显示器或智能眼镜)通常至少松散地耦接到用户的头部，并由此在用户的头部移动时而移动。如果显示系统检测到用户的头部移动，则可以更新正在显示的数据以考虑头部姿态的变化。作为示例，如果佩戴头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示并且在3D对象出现的区域周围走动，则该3D对象可以关于每个视点被重新渲染(render)，使用户感知到他或她正在占据现实空间的对象周围走动。如果头戴式显示器用于呈现位于虚拟空间(例如，丰富的虚拟世界)内的多个对象，则可以使用头部姿态的测量(例如，用户头部的位置和取向)来重新渲染场景，以匹配用户的动态改变的头部位置和取向，并提供增加的虚拟空间沉浸感。

在AR系统中，头部姿态的检测或计算可以有利于显示系统渲染虚拟对象，使得它们看起来以对用户有意义的方式占据真实世界中的空间。此外，与用户头部或AR系统相关的现实对象(诸如手持装置(也可以称为“图腾(totem)”)、触觉装置或其他现实物理对象)的位置和/或取向的检测还可以有利于显示系统向用户呈现显示信息，以使用户能够有效地与AR系统的某些方面交互。当用户头部在真实世界中移动时，虚拟对象可以作为头部姿态的函数被重新渲染，使得虚拟对象看起来相对于真实世界保持稳定。至少对于AR应用，虚拟对象与物理对象的空间关系的放置(例如，呈现为看起来在二维或三维中在空间上接近物理对象)可能是非平凡的问题。例如，头部移动可能使周围环境视图中的虚拟对象的放置显著复杂化。无论视图是作为周围环境的图像被捕获然后被投影或显示给终端用户，还是终端用户直接感知周围环境的视图，都是如此。例如，头部移动将可能导致终端用户的视场改变，这将可能需要更新在终端用户的视场中显示的各种虚拟对象的位置。另外，头部移动可以在多种范围和速度内发生。头部移动速度可以不仅在不同的头部移动之间变化，而且也可以在单个头部移动的范围内或跨单个头部移动的范围变化。例如，头部移动速度可以最初从起始点增加(例如，线性地或不是线性地)，并且可以在达到结束点时减小，从而在头部移动的起始点和结束点之间的某处获得最大速度。快速的头部移动甚至可能超过特定显示器或投影技术的能力，以使得向终端用户呈现看起来均匀和/或平滑移动的图像。

头部跟踪准确度和延迟(例如，在用户移动他或她的头部时和图像被更新并显示给用户时的时间之间的经过的时间)对于VR和AR系统来说是具有挑战性的。特别是对于用虚拟元素填充用户视场的大部分的显示系统，如果头部跟踪的准确度高并且从头部移动的第一次检测到由显示器传递给用户眼睛的光的更新的整体系统延迟非常低是有利的。如果延迟高，则系统可能会在用户的前庭和视觉感官系统之间产生不匹配，并产生可能导致运动病或模拟器疾病的用户感知场景。如果系统延迟高，则虚拟对象的明显位置在快速头部移动期间将显得不稳定。

除了头戴式显示系统之外，其他显示系统可受益于准确且低延迟的头部姿态检测。这些包括头部跟踪显示系统，其中显示器没有佩戴在用户的身体上，而是例如安装在墙壁或其他表面上。头部跟踪显示器就像一个到场景上的窗口，并且当用户相对于“窗口”移动他的头部时，场景被重新渲染以匹配用户的改变的视点。其他系统包括头戴式投影系统，其中头戴式显示器将光投射到真实世界上。

另外，为了提供现实的增强现实体验，可以将AR系统设计为与用户交互。例如，多个用户可以用虚拟球和/或其他虚拟对象玩球赛。一个用户可以“抓住”虚拟球，并将球扔回另一用户。在另一实施例中，可以向第一用户提供图腾(例如，通信地耦接到AR系统的类似球棒的对象)以击中虚拟球。在其他实施例中，可以向AR用户呈现虚拟用户界面以允许用户选择许多选项中的一个。用户可以使用图腾、触觉装置、可穿戴组件、或者简单地触摸虚拟屏幕以与系统交互。

检测用户的头部姿态和取向以及检测空间中的现实对象的物理位置使得AR系统能够以有效且愉快的方式显示虚拟内容。然而，虽然这些能力对AR系统是有利的，但它们很难实现。换言之，AR系统可以识别现实对象(例如，用户的头部、图腾、触觉装置、可穿戴组件、用户的手等)的物理位置并且将现实对象的物理坐标与对应于正被显示给用户的一个或多个虚拟对象的虚拟坐标相关联。这通常需要高度精确的传感器和以快速速率跟踪一个或多个对象的位置和取向的传感器识别系统。当前的方法不能以令人满意的速度或精度标准执行定位。由此，在AR和VR装置的背景下需要更好的定位系统。

示例AR和VR系统以及组件

参考图2A-2D，示出了一些通用组件选项。在关于图2A-2D的讨论之后的详细描述的部分中，呈现了各种系统、子系统和组件，用于解决为人类VR和/或AR提供高质量、舒适感知的显示系统的目标。

如图2A所示，AR系统用户(60)被描绘为佩戴头戴式组件(58)，该头戴式组件(58)以耦接到位于用户眼睛前方的显示系统(62)的框架(64)结构为特征。扬声器(66)耦接到以所示配置的框架(64)并且位于用户的耳道附近(在一个实施例中，另一个扬声器(未示出)位于用户的另一耳道附近以提供给立体声/可塑形声音控制)。显示器(62)可操作地(诸如通过有线引线或无线连接)被耦接(68)到本地处理和数据模块(70)，本地处理和数据模块(70)可以以各种配置安装，诸如被固定地附到框架(64)上、被固定地附到如图2B的实施例示出的头盔或帽子(80)上、被嵌入耳机内、以图2C的实施例示出的背包式配置可拆卸地附到用户(60)的躯干(82)、或以图2D的实施例示出的带耦接式配置可拆卸地附到用户(60)的臀部(84)。

本地处理和数据模块(70)可以包括功率有效的处理器或控制器以及诸如闪速存储器的数字存储器，这两者都可用于辅助处理、高速缓存和存储数据，该数据包括：a)从可以可操作地耦接到框架(64)的传感器捕捉的数据，所述传感器诸如为图像捕捉装置(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电装置和/或陀螺仪；和/或b)使用远程处理模块(72)和/或远程数据储存库(74)获取和/或处理的数据，这些数据可以在这样的处理或检索之后被传送到显示器(62)。本地处理和数据模块(70)可以诸如经由有线或无线通信链路可操作地耦接(76、78)到远程处理模块(72)和远程数据储存库(74)，使得这些远程模块(72、74)可操作地彼此耦接并且可用作本地处理和数据模块(70)的资源。

在一个实施例中，远程处理模块(72)可以包括一个或多个相对强大的处理器或控制器，这些处理器或控制器被配置为分析和处理数据和/或图像信息。在一个实施例中，远程数据储存库(74)可以包括相对大规模的数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一个实施例中，存储所有数据并且在本地处理和数据模块中执行所有计算，允许从任何远程模块完全自主使用。

现在参考图3，示意图示出了云计算资产(46)和本地处理资产之间的协调，该本地处理资产可以例如存在于耦接到用户头部(120)的头戴式组件(58)和耦接到用户的腰带(308；因此组件70也可以称为“腰带包”70)本地处理和数据模块(70)中，如图3所示。在一个实施例中，诸如一个或多个服务器系统(110)的云(46)资产诸如经由有线或无线网络(无线优选用于移动性，有线优选用于可能需要的某些高带宽或高数据容量传输)可操作地直接耦接(115)到(40、42)如上所述耦接到用户的头部(120)和腰带(308)的本地计算资产中的一个或两个，该本地资产诸如处理器和存储器配置。对用户而言为本地的这些计算资产也可以经由有线和/或无线连接配置(44)可操作地彼此耦接，诸如下面参考图8讨论的有线耦接(68)。在一个实施例中，为了保持安装到用户头部(120)的低惯性和小尺寸子系统，用户和云(46)之间的主要传输可以经由安装在腰带(308)的子系统和云之间的链路，其中头戴式(120)子系统主要使用无线连接(诸如超宽带(“UWB”)连接)数据连接(data-tether)到基于腰带的(308)子系统，如当前例如在个人计算外围连接应用中所采用的那样。

通过有效的本地和远程处理协调以及用于用户的诸如图2A所示的用户界面或用户显示系统(62)或其变型的适当的显示装置，与用户当前的实际或虚拟位置相关的一个世界的方面可以被传输或“传递”给用户并以有效的方式更新。换言之，可以在存储位置处连续地更新世界的映射(map)，该存储位置可以部分地存在于用户的AR系统上并且部分地存在于云资源中。映射(也称为“可传递的世界模型”)可以是包括栅格图像、3-D和2-D点、参数信息以及关于真实世界的其他信息的大型数据库。随着越来越多的AR用户(例如，通过相机、传感器、IMU等)不断地捕获关于他们的现实环境的信息，映射变得越来越准确和完整。

利用如上所述的配置，其中存在可以位于云计算资源上并且从那里分配的一个世界模型，这样的世界可以以相对低的带宽形式“可传递”给一个或多个用户，优选尝试传递实时视频数据等。站在雕像(例如，如图1所示)附近的人的增强体验可以通过基于云的世界模型来通知，该基于云的世界模型的子集可以被向下传递给基于云的世界模型以及他们的本地显示装置以完成视图。坐在远程显示装置处的人(其可以像坐在桌子上的个人计算机一样简单)可以有效地从云中下载相同的信息部分并将其呈现在他们的显示器上。事实上，实际出现在雕像附近的公园里的一个人可能会带一个位于远方的朋友在那个公园散步，其中该朋友通过虚拟和增强现实加入。系统将需要知道街道的位置、树的位置、雕像的位置-但是关于在云上的那些信息，加入的朋友可以从场景的云方面下载，然后作为相对于实际在公园里的人为本地的增强现实开始一起散步。

可以从环境捕获三维(3-D)点，并且可以确定捕获那些图像或点的相机的姿态(例如，相对于世界的矢量和/或原点位置信息)，以便这些点或图像可以被该姿态信息“标记”或与该姿态信息相关联。然后，可以利用由第二相机捕获的点来确定第二相机的姿态。换言之，可以基于与来自第一相机的标记图像的比较来定向和/或定位第二相机。然后，可以利用这些知识来提取纹理(texture)、制作映射以及创建真实世界(因为那时在那周围注册了两个相机)的虚拟副本。

因此，在基础水平处，在一个实施例中，可以利用人佩戴系统来捕获3-D点和产生这些点的2-D图像两者，并且这些点和图像可以被传输(transmit)到云存储和处理资源。它们也可以被本地高速缓存为具有嵌入的姿态信息(例如，高速缓存标记的图像)；因此，云可以具有准备好的(例如，在可用的高速缓存中)标记的2-D图像(例如，被3-D姿态标记)以及3-D点。如果用户正在观察动态的东西，他还可以将另外的信息传输到与运动相关的云(例如，如果观看另一个人的脸部，用户可以拍摄脸部的纹理映射并在优化频率下将其向上推(push up)，即使周围的世界基本上是静态的)。关于对象识别器和可传递的世界模型的更多信息可以在名称为“用于增强和虚拟现实的系统和方法(System and method foraugmented and virtual reality)”的美国专利公开No.2014/0306866中找到，其全部内容通过引用并入本文，以及在以下附加公开内容中找到，其涉及诸如由弗罗里达州种植园(Plantation)的奇跃股份有限公司开发的增强和虚拟现实系统：美国专利公开No.2015/0178939；美国专利公开No.2015/0205126；美国专利公开No.2014/0267420；美国专利公开No.2015/0302652；美国专利公开No.2013/0117377；以及美国专利公开No.2013/0128230，其中每一者在此通过引用整体并入本文。

GPS和其他定位信息可以用作这种处理的输入。用户的头部、图腾、手势、触觉装置等的高度精确定位可能是有利的，以便向用户显示适当的虚拟内容。

头戴式装置(58)可包括可定位在装置佩戴者眼睛前方的显示器。显示器可以包括光场显示器。显示器可以被配置为在多个深度平面处向佩戴者呈现图像。显示器可以包括具有衍射元件的平面波导。在美国专利公开No.2015/0016777中描述了在本文公开的任何实施例中可使用的显示器、头戴式装置和其他AR组件的示例。美国专利公开No.2015/0016777在此通过引用整体并入本文。

电磁定位的示例

实现高精度定位的一种方法可以涉及使用与电磁传感器耦接的电磁(EM)场，该电磁传感器策略性地放置在用户的AR头部装置、腰带包和/或其他辅助装置(例如，图腾、触觉装置、游戏仪器等)上。电磁跟踪系统通常包括至少一个电磁场发射器和至少一个电磁场传感器。电磁场发射器在AR耳机的佩戴者的环境中产生具有已知空间(和/或时间)分布的电磁场。电磁场传感器测量传感器位置处产生的电磁场。基于这些测量和所产生的电磁场的分布的知识，可以确定场传感器相对于发射器的姿态(例如，位置和/或取向)。因此，可以确定传感器所附接的对象的姿态。

现在参考图4，示出了电磁跟踪系统(例如，由诸如佛蒙特州科尔切斯特的Polhemus股份有限公司的Johnson&Johnson公司的Biosense部门的组织开发的那些系统、由加利福尼亚州洛斯盖托斯的Sixense Entertainment公司以及其他跟踪公司制造的那些系统)的示例系统图。在一个或多个实施例中，电磁跟踪系统包括电磁场发射器402，其被配置成发射已知的磁场。如图4所示，电磁场发射器可以耦接到电源(例如，电流、电池等)以向发射器402提供电力。

在一个或多个实施例中，电磁场发射器402包括产生磁场的若干线圈(例如，至少三个彼此垂直定位以在X、Y和Z方向上产生场的线圈)。该磁场用于建立坐标空间(例如，X-Y-Z笛卡尔坐标空间)。这允许系统相对于已知磁场映射传感器的位置(例如，(X,Y,Z)位置)，并帮助确定传感器的位置和/或取向。在一个或多个实施例中，电磁传感器404a、404b等可以附接到一个或多个现实对象。电磁传感器404可以包括较小的线圈，在该线圈中可以通过发射的电磁场感应出电流。通常，“传感器”组件(404)可以包括小线圈或回路，例如在诸如立方体或其他容器的小结构内耦接在一起的一组三个不同取向(例如，诸如相对于彼此正交取向)的线圈，该小线圈或回路被定位/取向以捕获来自发射器(402)发射的磁场的入射磁通量，以及通过比较通过这些线圈感应的电流并且知道线圈相对于彼此的相对定位和取向，可以计算传感器相对于发射器的相对位置和取向。

可以测量与可操作地耦接到电磁跟踪传感器的线圈和惯性测量单元(“IMU”)组件的行为有关的一个或多个参数，以检测传感器(以及其附接的对象)相对于电磁场发射器耦接到的坐标系统的位置和/或取向。在一个或多个实施例中，可以相对于电磁发射器使用多个传感器来检测坐标空间内的每个传感器的位置和取向。电磁跟踪系统可以提供三个方向(例如，X、Y和Z方向)上的位置，并且还提供两个或三个取向角的位置。在一个或多个实施例中，可以将IMU的测量与线圈的测量进行比较，以确定传感器的位置和取向。在一个或多个实施例中，电磁(EM)数据和IMU数据以及各种其他数据源(诸如相机、深度传感器和其他传感器)可以组合以确定位置和取向。该信息可以被传输(例如，无线通信、蓝牙等)到控制器406。在一个或多个实施例中，在传统系统中可以以相对高的刷新率报告姿态(或位置和取向)。传统上，电磁场发射器耦接到相对稳定且大的对象，诸如桌子、操作台、墙壁或天花板，以及一个或多个传感器耦接到较小的对象，诸如医疗装置、手持游戏组件等等。或者，如下面参考图6所述，可以采用电磁跟踪系统的各种特征来产生这样的配置，可以跟踪在相对于更稳定的全局坐标系统的空间中移动的两个对象之间的位置和/或取向的变化或增量(delta)；换言之，图6示出了一种配置，其中可以利用电磁跟踪系统的变化来跟踪头戴式组件和手持组件之间的位置和取向增量，同时另外确定相对于全局坐标系统(例如，对用户而言为本地的房间环境)的头部姿态，诸如通过使用可以耦接到系统的头戴式组件的向外捕获(outward-capturing)的相机的同时定位和映射(“SLAM”)技术。

控制器406可以控制电磁场发生器402，并且还可以捕获来自各种电磁传感器404的数据。应当理解，系统的各种组件可以通过任何电子机械或无线/蓝牙装置耦接到彼此。控制器406还可以包括关于已知磁场的数据，以及相对于磁场的坐标空间。然后，该信息用于检测传感器相对于与已知电磁场对应的坐标空间的位置和取向。

电磁跟踪系统的一个优点是它们产生具有最小延迟和高分辨率的高度准确的跟踪结果。另外，电磁跟踪系统不一定依赖于光学跟踪器，以及可以容易地跟踪不在用户视线中的传感器/对象。

应当理解，电磁场v的强度作为距线圈发送器(例如，电磁场发射器402)的距离r的三次函数而下降。由此，可以基于远离电磁场发射器的距离来使用算法。控制器406可以配置有这样的算法，以确定传感器/对象在远离电磁场发射器的不同距离处的位置和取向。已知随着传感器越来越远离电磁发射器移动，电磁场强度迅速下降，在准确度、效率和低延迟方面的最佳结果可以在更近的距离实现。在典型的电磁跟踪系统中，电磁场发射器由电流(例如，插入式电源)供电，并且具有位于距电磁场发射器20ft半径内的传感器。在包括AR应用的许多应用中，传感器和场发射器之间的较短半径可能是更期望的。

现在参考图5，简要描述了描述典型电磁跟踪系统的功能的示例流程图。在502处，发射已知的电磁场。在一个或多个实施例中，磁场发射器可以产生磁场，每个线圈可以在一个方向(例如，X、Y或Z)上产生电场。可以产生具有任意波形的磁场。在一个或多个实施例中，沿每个轴的磁场分量可以在与其他方向上的其他磁场分量略微不同的频率下振荡。在504处，可确定与电磁场对应的坐标空间。例如，图4的控制406可以基于电磁场自动确定发射器周围的坐标空间。在506处，可以检测传感器处的线圈(其可以附接到已知对象)的行为。例如，可以计算在线圈处感应的电流。在其他实施例中，可以跟踪和测量线圈的旋转或任何其他可量化的行为。在508处，该行为可用于检测传感器和/或已知对象的位置或取向。例如，控制器406可以查阅映射表，该映射表将传感器处的线圈的行为与各种位置或取向相关联。基于这些计算，可以确定坐标空间中的位置以及传感器的取向。

在AR系统的背景下，可能需要修改电磁跟踪系统的一个或多个组件以促进移动组件的准确跟踪。如上所述，在许多AR应用中可能需要跟踪用户的头部姿态和取向。准确确定用户的头部姿态和取向允许AR系统向用户显示正确的虚拟内容。例如，虚拟场景可以包括隐藏在现实建筑物后面的怪物。依赖于用户头部相对于建筑物的姿态和取向，可能需要修改虚拟怪物的视图，以便提供现实的AR体验。或者，图腾、触觉装置或与虚拟内容交互的一些其他装置的位置和/取向对于使AR用户能够与AR系统交互可能是重要的。例如，在许多游戏应用中，AR系统可以检测现实对象相对于虚拟内容的位置和取向。或者，当显示虚拟界面时，可以知道图腾、用户的手、触觉装置或被配置用于与AR系统交互的任何其他现实对象相对于所显示的虚拟界面的位置，以便系统理解命令。包括光学跟踪和其他方法的传统定位方法通常受到高延迟和低分辨率问题的困扰，这使得在许多增强现实应用中渲染虚拟内容具有挑战性。

在一个或多个实施例中，相对于图4和5讨论的电磁跟踪系统可以适用于AR系统，以检测一个或多个对象相对于所发射的电磁场的位置和取向。典型的电磁系统倾向于具有大且笨重的电磁发射器(例如，图4中的402)，这对于头戴式AR装置而言是有问题的。然而，较小的电磁发射器(例如，在毫米范围内)可用于在AR系统的背景下发射已知的电磁场。

现在参考图6，电磁跟踪系统可以与如图所示的AR系统结合，其中电磁场发射器(602)被结合作为手持控制器606的一部分。控制器606可以相对于AR耳机(或腰带包70)独立地移动。例如，用户可以将控制器606握在他或她的手中，或者控制器可以安装到用户的手或手臂上(例如，作为戒指或手镯或作为用户佩戴的手套的一部分)。在一个或多个实施例中，手持控制器可以是在游戏场景中使用(例如，多自由度控制器)或者在AR环境中提供丰富的用户体验或者允许用户与AR系统的交互的图腾。在其他实施例中，手持控制器可以是触觉装置。在另外的实施例中，电磁场发射器可以被简单地结合作为腰带包70的一部分。手持控制器606可以包括电池610或为该电磁场发射器(602)供电的其他电源。应当理解，电磁场发射器(602)还可以包括或被耦接到IMU 650组件，该IMU 650组件被配置为帮助确定电磁场发射器(602)相对于其他组件的定位和/或取向。在场发射器(602)和传感器(604)都是移动的情况下，这可能是特别有利的。如图6的实施例所示，将电磁场发射器(602)放置在手持控制器而不是腰带包中，有助于确保电磁场发射器不在腰带包中竞争资源，而是在手持控制器606中使用其自己的电池源。在另外的实施例中，电磁场发射器(602)可以设置在AR耳机上，以及传感器604可以设置在控制器606或腰带包70上。

在一个或多个实施例中，电磁传感器604可以与诸如一个或多个IMU或附加磁通量捕获线圈608的其他感测装置一起放置在用户耳机上的一个或多个位置上。例如，如图6所示，传感器(604、608)可以放置在耳机(58)的一侧或两侧。由于这些传感器设计得相当小(因此在某些情况下可能不太敏感)，因此具有多个传感器可以提高效率和精度。在一个或多个实施例中，一个或多个传感器也可以放置在腰带包70或用户身体的任何其他部位上。传感器(604、608)可以无线地或通过蓝牙与计算装置通信，该计算装置确定传感器(以及其所附接到的AR耳机)的姿态和取向。在一个或多个实施例中，计算装置可以存在于腰带包70处。在其他实施例中，计算装置可以存在于耳机本身处，或甚至存在于手持控制器606处。在一个或多个实施例中，计算装置又可以包括映射数据库(例如，可传递的世界模型、坐标空间等)以检测姿态，从而确定现实对象和虚拟对象的坐标，该计算装置甚至可以连接到云资源和可传递的世界模型。

如上所述，传统的电磁发射器对于AR装置而言可能太笨重。因此，与传统系统相比，可以使用更小的线圈将电磁场发射器设计成紧凑的。然而，假设电磁场的强度作为远离场发射器的距离的三次函数而减小，当与诸如图4中详述的系统的传统系统相比时，电磁传感器604和电磁场发射器(602)之间的较短半径(例如，约3至3.5ft)可能降低功耗。

在一个或多个实施例中，该方面可以用于延长可以为控制器606和电磁场发射器(602)供电的电池610的寿命。或者，在其他实施例中，该方面可用于减小在电磁场发射器(602)处产生磁场的线圈的尺寸。然而，为了获得相同的磁场强度，可能需要增加功率。这允许可以紧凑地安装在手持控制器606上的紧凑的电磁场发射器单元(602)。

当将电磁跟踪系统用于AR装置时，可以进行若干其他改变。虽然这种姿态报告率相当好，但AR系统可能需要更高效的姿态报告率。为此，可以(另外地或替代地)在传感器中使用基于IMU的姿态跟踪。有利地，IMU可以保持尽可能稳定，以便提高姿态检测过程的效率。可以设计IMU使得它们在高达50-100毫秒内保持稳定。应当理解，一些实施例可以利用外部姿态估计器模块(例如，IMU可以随时间漂移)，其可以使姿态更新能够以10到20Hz的速率报告。通过使IMU以合理的速率保持稳定，姿态更新的速率可以显著降低到10到20Hz(与传统系统中的更高频率相比)。

如果电磁跟踪系统可以以例如10％的占空比运行(例如，仅每100毫秒对地面实况进行查验(ping))，则这将是节省AR系统的功率的另一种方式。这将意味着电磁跟踪系统每100毫秒中每10毫秒唤醒一次，以产生姿态估计。这直接转化为功耗节省，这进而又可能影响AR装置的尺寸、电池寿命和成本。

在一个或多个实施例中，可以通过提供两个手持控制器(未示出)而不是仅仅一个来策略性地利用占空比的这种减小。例如，用户可能正在玩需要两个图腾等的游戏。或者，在多用户游戏中，两个用户可以拥有他们自己的图腾/手持控制器来玩游戏。当使用两个控制器(例如，关于每只手的对称的控制器)而不是一个时，控制器可以以偏移的(offset)占空比操作。例如，相同的概念也可以应用于由玩多人游戏的两个不同用户使用的控制器。

现在参考图7，描述了描述AR装置的背景下的电磁跟踪系统的示例流程图。在702处，便携式(例如，手持式)控制器发射磁场。在704处，电磁传感器(放置在耳机、腰带包等上)检测磁场。在706处，基于传感器处的线圈/IMU的行为来确定耳机/腰带的姿态(例如，位置或取向)。在708处，将姿态信息传送到(例如，在腰带包或耳机处)计算装置。在710处，可选地，可以查阅映射数据库(例如，可传递的世界模型)以将(例如，针对耳机/腰带的姿态所确定的)真实世界坐标与虚拟世界坐标相关联。在712处，虚拟内容可以在AR耳机处被传递给用户并且(例如，经由本文描述的光场显示器)被显示给用户。应当理解，上述流程图仅用于说明性的目的，不应理解为限制。

有利地，使用类似于图6中概述的电磁跟踪系统的电磁跟踪系统能够进行姿态跟踪(例如，头部位置和取向、图腾的位置和取向以及其他控制器)。当与光学跟踪技术相比时，这允许AR系统(至少部分地基于所确定的姿态)以更高的准确度和非常低的延迟来投影虚拟内容。

参考图8，示出了系统配置，其中该系统配置以许多感测组件为特征。头戴式可穿戴组件(58)被示出为这里使用物理多芯引线可操作地耦接(68)到诸如腰带包的本地处理和数据模块(70)，该物理多芯引线也以控制和快速释放模块(86)为特征。本地处理和数据模块(70)这里通过诸如低功率蓝牙的无线连接可操作地耦接(100)到手持组件(606)；手持组件(606)还可以例如通过诸如低功率蓝牙的无线连接直接可操作地耦接(94)到头戴式可穿戴组件(58)。通常，在传递IMU数据以协调各种组件的姿态检测的情况下，需要诸如在数百或数千周期(cycle)/秒或更高的范围内的高频连接；诸如通过传感器(604)和发射器(602)配对，每秒数十个周期对于电磁定位感测可能是足够的。还示出了全局坐标系统(10)，其代表用户周围的真实世界中的固定对象，诸如墙壁(8)。

云资源(46)还可以分别可操作地耦接(42、40、88、90)到本地处理和数据模块(70)、耦接到头戴式可穿戴组件(58)、耦接到可以耦接到墙壁(8)或相对于全局坐标系统(10)固定的其他项的资源。耦接到墙壁(8)或具有相对于全球坐标系统(10)而已知的位置和/或取向的资源可以包括无线收发器(114)、电磁发射器(602)和/或接收器(604)、被配置为发射或反射诸如红外LED信标的给定类型的辐射的信标或反射器(112)、蜂窝网络收发器(110)、雷达(RADAR)发射器或检测器(108)、LIDAR发射器或检测器(106)、GPS收发器(118)、具有已知可检测图案的海报或标记器(122)以及相机(124)。

除了被配置为辅助相机(124)检测器的诸如用于红外相机(124)的红外发射器(130)的发光发射器(130)之外，头戴式可穿戴组件(58)具有与所示组件类似的组件；在头戴式可穿戴组件(58)上还有一个或多个应变仪(116)，该一个或多个应变仪(116)可以固定地耦接到头戴式可穿戴组件(58)的框架或机械平台上，并被配置为确定这种平台在诸如电磁接收器传感器(604)或显示元件(62)的组件之间的偏转，其中可以有价值地理解平台是否已经发生弯曲，诸如在平台的变薄部分，诸如图8所示类似眼镜的平台上的鼻子上方的部分。

头戴式可穿戴组件(58)还以处理器(128)和一个或多个IMU(102)为特征。组件中的每一个优选地可操作地耦接到处理器(128)。手持组件(606)和本地处理和数据模块(70)被示出为以类似的组件为特征。如图8所示，由于具有如此多的感测和连接装置，这样的系统可能很重、耗电、大而且相对昂贵。然而，出于说明性目的，可以利用这样的系统来提供非常高水平的连接、系统组件集成和位置/取向跟踪。例如，利用这样的配置，各种主要移动组件(58、70、606)可以使用WiFi、GPS或蜂窝信号三角测量就相对于全局坐标系统的位置而言被定位；信标、电磁跟踪(如本文所述)、雷达和LIDAR系统可以提供更进一步的位置和/取向信息和反馈。标记和相机也可用于提供关于相对和绝对位置和取向的进一步的信息。例如，各种相机组件(124)，诸如那些被显示为耦接到头戴式可穿戴组件(58)的相机组件，可以用于捕获能够在同时定位和映射协议或“SLAM”中使用的数据，以确定组件(58)的位置以及它相对于其他组件的取向如何。

头戴式可穿戴组件(58)及其传感器的其他特征和实施例在2017年8月22日提交的名称为“具有深度学习传感器的增强现实显示装置”的美国专利申请No.15/683,664中描述，其全部内容在此通过引入并入本文。

如本文所讨论的，头戴式可穿戴AR/VR系统(58)可包括各种传感器，用于确定系统在三维空间内的位置和/或取向。例如，磁传感器和光学传感器可用于此目的。合适的磁传感器可以包括磁力仪，例如上面讨论的电磁传感器(604)，其可以用于基于检测来自发射器(602)的磁场来帮助确定AR/VR系统(58)的位置和/或取向。另一种合适的磁传感器是IMU(102)内的内置磁力仪，其可以基于检测地球的磁场来帮助确定AR/VR系统(58)的位置和/或取向。同时，合适的光学传感器可以包括例如面向外的可见光或红外相机，其同样可以用于帮助确定AR/VR系统(58)和其他对象两者的位置和/或取向。

当可穿戴AR/VR系统(58)使用可能具有不同类型的多个传感器来检测系统本身或另一对象的位置和/或取向时，各种传感器共享公共对准方向(或者如果不是公共对准方向，则已知对准方向上的偏移)可能是有利的。这允许将传感器中的一个得到的测量与传感器中的另一个得到的测量以一致的方式进行组合或比较。然而，制造公差或其他因素可能导致各种传感器之间的未知的未对准，从而当来自那些传感器的测量用于测量AR/VR系统(58)本身的位置和/或取向或者另一个对象的位置和/或取向时导致配准(registration)误差。可以通过使用本公开中描述的对准校准系统和技术来补偿AR/VR系统(58)的各种磁和/或光学传感器之间的未对准。

图9是用于校准头戴式可穿戴AR/VR系统(58)中的磁力仪的对准的系统(900)的框图。校准系统(900)包括磁场产生单元(940)，以产生在头戴式可穿戴AR/VR系统(58)及其集成的磁力仪(950a、950b)周围的在幅度(magnitude)和/或方向上适当均匀的磁场。该均匀磁场可用于测量或以其他方式表征任何差异，该任何差异是当磁力仪(950a、950b)中的每一个暴露于磁场时从磁力仪(950a、950b)中的每一个输出的幅度和/或方向测量之间可能存在的。磁场产生单元(940)的示例在图10A-10C中示出。校准系统(900)还可以包括能够与磁场产生单元(940)结合使用的控制器(910)、波形发生器(920)和电驱动器(930)，以基于要被校准以用于对准的不同类型的磁力仪(950a、950b)来产生不同类型的磁场。

图10A示出了图9中所示的磁场产生单元(940)的第一示例实施例(940a)。在所示实施例中，磁场产生单元(940a)包括第一导电回路(302)和第二导电回路(304)。在一些实施例中，导电回路(302、304)每一者可以是具有多匝导线的线圈。导电回路(302、304)可以是圆形、方形或具有其他形状。在一些实施例中，两个导电回路(302、304)具有相同的尺寸和形状，但这不是必须的。

图10A示出了被定向在平行平面中并沿公共轴分隔的第一和第二导电回路(302、304)。具体地，导电回路(302、304)中的每一个被示出定向在与x-y平面平行的平面中并且以垂直的z轴为中心。导电回路(302、304)可以通过框架相对于彼此支撑在位置上。框架可以是固定的或者可以是可移动的，以将导电回路重新定向成相对于AR/VR系统(58)的不同取向。或者，导电回路可以直接安装到AR/VR系统(58)或以其他方式与AR/VR系统(58)集成。这样的配置可以允许磁力仪(950a、950b)的更加规则的校准。

在所示实施例中，导电回路(302、304)都是圆形的，具有共同的半径R，并且它们沿z轴分隔与导电回路的半径R对应的距离。(可以例如从第一导电回路(302)上的任何给定点到第二导电回路(304)上的类似点测量沿z轴的分隔距离。)每个导电回路(302、304)可以是具有相同匝数的导线的线圈。图10A中所示的配置是亥姆霍兹线圈配置。

导电回路(302、304)以使得穿过第一导电回路(302)的电流I也沿相同方向穿过第二导电回路(304)的方式串联电连接。例如，如果导电回路(302、304)各自都是导线的线圈，则两个线圈都可以沿相同方向缠绕，使得电流I以一致的方向围绕两个导电回路(302、304)流动。

电流I可以由电驱动器(930)提供。电驱动器(930)可以包括例如放大由波形发生器(920)产生的电信号的放大器。波形发生器(920)可以是能够基于来自控制器(910)的控制输入产生各种电波形的波形发生器。例如，电波形可以包括直流(DC)电波形(即，恒定波形)和各种交流(AC)波形(即，时间变化的波形，无论是否是周期性的)。这些不同电波形中的每一个可以是用于在磁场产生单元(940)中产生磁场的校准波形，其非常适合于校准的磁力仪(950a、950b)中的一者，该磁力仪(950a、950b)正被校准以用于对准。控制器(910)可以是包括用于存储校准例程、校准波形等的存储器的处理装置。控制器(910)还可以包括用于从例如头戴式可穿戴AR/VR系统(58)的用户或装置接收命令的接口，以进行校准例程。控制器(910)还可以与可穿戴AR/VR系统(58)通信，以确定要校准的特定磁力仪模型。基于该模型信息，控制器(910)可以在校准磁力仪中的每一个的同时选择要使用的一个或多个电校准波形。

尽管在图10A所示的实施例中仅示出了两个导电回路(302、304)，但其他实施例可包括不同数量的导电回路。例如，与图10A-10C中所示的亥姆霍兹线圈配置相反，导电回路可以替代地以Merritt线圈配置或Ruben线圈配置来布置。这些配置中的每一个可以采用方形导电回路。另外，这些配置可包括两个以上的导电线圈。在Merritt线圈配置中，可以提供三个或四个方形导电回路，每个导电回路沿轴与相邻回路分隔与方形线圈的边的长度的一半对应的距离。在Ruben线圈配置中，可以添加第五导电回路，并且可以在回路之间使用不同的分隔距离。可以使用本领域已知的数学公式确定导电回路之间的间距和/或每个导电回路中提供的导线匝数的比率。尽管可以在磁场产生单元(940)的不同实施例中使用不同的线圈配置，但是通常选择导电回路的配置以便产生均匀性足以满足手边应用的磁场。如果对于特定应用，需要比磁场产生单元(940)的某个实施例能够提供的磁场更均匀的磁场，则增加导电回路的尺寸可以导致在给定体积的空间内改善的磁场均匀性。

图10B是由图10A中所示的导电回路配置产生的磁场线的横截面示意图。该图示出了每个导电回路(302、304)的顶截面(带有点)和底截面(带有“x”)。这些标记示例出电流I以使得它在导电回路的顶截面离开页面并在导电回路的底截面进入页面的方式穿过第一导电回路(302)和第二导电回路(304)两者。这在回路内部的空间体积(306)中产生左到右的磁场。空间的测试体积(306)内的磁场在幅度和方向上都均匀，从而使得能够使用位于该空间中的AR/VR系统(56)的磁力仪(950a、950b)执行一致的校准测量。

图10A和10B中所示的导电回路的布置在测试体积(306)内沿单一方向产生磁场。然而，AR/VR系统(58)中的磁力仪(950a、950b)可以是能够测量多个方向(例如，三个正交方向)上的磁场的多轴传感器。因此，在一些实施例中，磁场产生单元(940)可以被设计为在多于一个方向上产生均匀磁场，以便促进多轴传感器的校准。

图10C示出了图9中所示的磁场产生单元(940)的示例多轴实施例(940b)。多轴实施例(940b)包括被定向在平行平面中并沿公共的第一轴(例如，x轴)分隔的第一对导电回路(310)。它还包括同样被定向在平行平面中并沿公共的第二轴(例如，y轴)分隔的第二对导电回路(312)、以及被定向在平行平面中并沿公共的第三轴(例如，z轴)分隔的第三对导电回路(314)。第一轴、第二轴和第三轴都彼此正交。每个回路对(310、312、314)在沿该回路对的纵轴的方向上产生均匀的磁场，该磁场与由其它回路对产生的磁场正交。尽管图10C示出了以亥姆霍兹线圈配置布置的每对导电回路，其中圆形回路分隔与回路的半径对应的距离，但是多轴磁场产生单元的其他实施例可以使用其他导电回路配置来产生均匀的磁场。如图所示，磁场产生单元(940)的多轴实施例(940b)还可以包括框架，以将各个导电回路相对于彼此支撑在位置上。

图11是头戴式可穿戴AR/VR系统(58)的示意图，该系统位于由第一导电回路(302)和第二导电回路(304)产生的均匀磁场的测试体积(306)中。在一些实施例中，测试体积(306)是具有至少约30cm的边的立方体空间，但是在其他实施例中可以使用其他尺寸。图示的AR/VR系统(58)包括两个磁力仪。在该实施例中，第一磁力仪是本文描述的电磁传感器(604)。如已经讨论的，电磁传感器(604)可以包括一个或多个线圈，其响应于穿过线圈的磁场而感应地产生电流。电流仅响应于变化的磁场而被感应出。由于电磁传感器(604)基于感应电流来测量磁场的强度和/或取向，因此这种类型的磁力仪测量变化的磁场(无论是时间变化的还是空间变化的)。因此需要变化的磁场以便使用磁场产生单元(940)校准这种类型的磁力仪。图11中所示的AR/VR系统(58)还包括IMU(102)。IMU(102)可以包括能够测量例如地球的局部磁场的静磁场的DC磁力仪。例如，IMU(102)中的磁力仪可以是霍尔效应磁力仪。因此，可能需要静磁场以使用磁场产生单元(940)校准这种类型的磁力仪。其他类型的磁力仪可以具有不同的性质，使得这些磁力仪的校准可以受益于具有其他特性的磁场。校准系统(900)可以有利地产生具有各种性质的磁场，以适合各种类型的磁力仪。

可以提供安装件(mount)以用于在磁场产生单元(940)的测试体积(306)内支撑可穿戴AR/VR系统(58)。在一些实施例中，安装件可以是固定的，以便在测试体积(306)内重新定位可穿戴AR/VR系统(58)，而在其他实施例中，安装件可以是可移动的(例如，使用一个或多个电机、致动器等的可机电移动的)。例如，可以在定位可穿戴AR/VR系统(58)使得磁力仪的第一测量轴大体上与由磁场产生单元(940)产生的磁场对准的情况下执行校准操作。然后，可以重新定位可穿戴AR/VR系统(58)使得磁力仪的第二测量轴大体上与磁场对准，并且可以执行第二校准操作。可以对磁力仪的每个测量轴重复该过程。以这种方式，即使利用单轴磁场产生单元也可以校准多轴磁力仪(940)。在这样的实施例中，可移动安装件的取向可以由控制器(910)控制。可以采用类似的过程：替代地通过相对于可穿戴AR/VR系统(58)移动磁场产生单元(940)的取向(例如，借助使用一个或多个电机、致动器等的可移动框架)。

图12是用于校准可穿戴AR/VR系统(58)中的两种不同类型的磁力仪的对准的示例方法(1200)的流程图。方法(1200)开始于框1210，其中控制器(910)向波形发生器(920)发出命令以产生第一电校准波形。可以基于要校准的第一类型的磁力仪的检测性质来选择第一电校准波形的性质(例如，幅度、频率等)。例如，第一电校准波形可以是具有选定频率的周期性AC电波形，该频率被调谐到磁力仪，该磁力仪的对准正在被校准。在框1220，电驱动器(930)用与第一电校准波形对应的电流I使磁场产生单元(940)的导电回路通电。由于第一电校准波形是AC波形，因此磁场产生单元(940)产生时间变化的AC磁场。在框1230，当导电回路通电时，例如电磁传感器(604)的第一磁力仪基于由AC磁场在电磁传感器(604)中感应的一个或多个电流来测量产生的磁场。测量可以是由磁场产生单元(940)产生的磁场的强度和/或方向。然后可以将该测量存储在AR/VR系统的存储器中(58)。

在方法(1200)的框1240，控制器(910)向波形发生器(920)发出命令以产生第二电校准波形。可以基于要校准的第二类型的磁力仪的检测性质来选择第二电校准波形的性质(例如，幅度、频率等)。例如，第二电校准波形可以是DC电波形。在框1250，电驱动器(930)用与第二电校准波形对应的电流使磁场产生单元(940)的导电回路通电。由于第二电校准波形是DC波形，因此它同样产生DC磁场。在框1260，当导电回路通电时，例如IMU(102)的第二磁力仪测量产生的磁场。测量可以是由磁场产生单元(940)产生的磁场的强度和/或方向。这些测量同样可以被存储在AR/VR系统(58)的存储器中。在一些实施例中，IMU(102)或另一装置可用于通过在不存在使用第二电校准波形产生的校准磁场的情况下执行测量来确定地球的局部磁场。然后可以从IMU对校准磁场的测量中去除地球的局部磁场(例如，通过矢量减法)。或者，在IMU(102)正在测量使用第二电校准波形产生的校准磁场时，可以通过IMU(102)或单独的装置进行地球的局部磁场的测量，并且可以使用磁场产生单元(940)来抵消地球的局部磁场(例如，通过产生幅度相等且方向相反的磁场)。

如已经简要讨论的，可以由控制器(910)选择第一和第二电校准波形，以便产生由第一类型的磁力仪和不同的第二类型的磁力仪直接可测量的相应磁场。由于不同类型的磁力仪基于不同的物理原理起作用，因此不同的磁力仪可以检测具有不同性质的不同类型的磁场，或者不同类型的磁场可以更好地适合于不同的磁力仪。第一校准波形可以与第二校准波形不同并且可以具有一个或多个性质(例如，幅度、频率等)，该一个或多个性质是由第一类型的磁力仪可测量的但不能由第二类型的磁力仪可测量，或者该一个或多个性质是更容易由第一种类型的磁力仪可测量的而不是第二种类型的磁力仪。类似地，第二校准波形可以与第一校准波形不同并且可以具有一个或多个性质(例如，幅度、频率等)，该一个或多个性质是由第二类型的磁力仪可测量的但不能由第一类型的磁力仪可测量，或者该一个或多个性质是更容易由第二种类型的磁力仪可测量的而不是第一种类型的磁力仪。

尽管用于校准磁力仪(102、604)的第一和第二电校准波形可以具有不同的性质，但是它们仍然由相同的磁场产生单元(940)产生并且具有相同的取向。因此，使用第一和第二电校准波形中的每一个产生的磁场的对准方向彼此物理配准。因此，由第一和第二磁力仪(102、604)产生的测量可用于产生能够表征两个磁力仪的对准取向中的任何差异的一个或多个校准/校正值。实际上，一个或多个这样的值的产生是在校准方法(1200)的框1270发生的。

在框1270，比较从第一和第二磁力仪(102、604)获得的测量(例如，使用一个或多个数学运算)，以便产生一个或多个校准/校正值。该计算可以通过例如可穿戴AR/VR系统(58)来执行。作为示例，第一和第二磁力仪(102、604)都可以产生相应施加的磁场的方向的测量。如果方向测量不同，则可以确定方向测量之间的偏移角(在一个或多个维度上)。然后，该偏移角可以用于指定一个或多个校准值，当可穿戴AR/VR系统(58)在使用时，该校准值可以应用于由磁力仪(102、604)中的任一个或两个产生的测量。例如，在数据被AR系统使用或以其他方式作用之前，可以基于偏移角或其他校准/校正值来调整由磁力仪中的一个产生的所有测量。

可以对磁力仪(102、604)的每个测量轴重复校准方法(1200)。如已经讨论的，这可以通过相对于磁力仪(102、604)的每个测量轴中的另一个来重新定向可穿戴AR/VR系统(58)或磁场产生单元(940)而实现。或者，如果使用磁场产生单元(940)的多轴实施例(940b)，则可以简单地对导电回路(310、312、314)的对中的每一对执行校准方法。可以对每个测量轴使用相同的电校准波形，或者对不同的测量轴使用不同的波形。此外，尽管可以在不同时间施加为每个磁力仪的校准或磁力仪的每个测量轴而产生的磁场，但是也可以同时或在部分重叠的时间施加磁场。例如，如果一个磁力仪仅检测AC磁场而另一个仅检测DC磁场，则可以同时施加AC磁场和DC磁场，以加速校准过程。

如已经讨论的，在一些实施例中，磁和光学传感器的组合用于确定可穿戴AR/VR系统(58)的位置和/或取向。因此，图13-15示出了用于校准磁传感器和光学传感器的对准方向的系统和方法。

图13是用于校准头戴式可穿戴AR/VR系统(58)中的磁力仪和光学传感器的对准的系统(1300)的框图。类似于图9中所示的校准系统(900)，图13中所示的校准系统(1300)包括磁场产生单元(1340)，以在头戴式可穿戴AR/VR系统(58)及其集成的磁力仪(950)周围产生均匀的磁场。校准系统(1300)还可以包括控制器(910)、波形发生器(920)和电驱动器(930)。这些组件都可以如上所述起作用。然而，磁场产生单元(1340)还可包括一个或多个光学基准标记。光学基准标记可以具有相对于磁场产生单元(1340)产生的磁场的校准位置和/或取向。因此，可以使用该系统(1300)校准磁传感器(950)和光学传感器(1360)。

图14是位于具有光学基准标记的磁场产生单元(1340)的示例性实施例中的头戴式可穿戴AR/VR系统(58)的示意图。如图所示，磁场产生单元(1340)可包括第一导电回路(302)和第二导电回路(304)。这些导电回路(302、304)可以用于施加一个或多个磁场，该一个或多个磁场然后可以由与可穿戴AR/VR系统(58)集成的磁力仪(102、604)测量，如本文已经讨论的。

但是，磁场产生单元(1340)还可以包括一个或多个光学基准标记(316)。光学基准标记(316)可以是由例如相机的光学传感器可识别的任何标记。光学基准标记(316)可以具有平坦的特征，例如棋盘格或Aruco标记，或者它们可以具有纹理的或其他三维特征。光学基准标记(316)可以是静态的或动态的(例如，由电子显示器呈现的变化的标记等)。在一些实施例中，光学基准标记(316)可以被蚀刻到衬底材料中，或者它们可以利用涂覆或阳极化而形成。

光学基准标记(316)可以由框架或其他支撑结构支撑，或者基准标记(316)可以自身安装到导电回路(302、304)。然而，在任何情况下，基准标记(316)的空间关系(例如，位置和/或取向)可以相对于导电回路(302、304)的轴而配准。基准标记(316)的位置和/或取向可以由与可穿戴AR/VR系统(58)集成的一个或多个光学传感器(1360)检测和测量。在一些实施例中，光学传感器(1360)可以是红外或可见光相机(124)。图14中所示的配置提供了确保磁传感器(102、604)以已知方式与光学传感器(124)对准的机会。

图15是用于校准可穿戴AR/VR系统(58)中的磁传感器和光学传感器的对准的示例方法(1500)的流程图。方法(1500)开始于框1510，其中控制器(910)向波形发生器(920)发出命令以产生电校准波形。在框1520，电驱动器(930)使用与电校准波形对应的电流I使磁场产生单元(1340)的导电回路(302、304)通电。在框1530，当导电回路通电时，磁力仪(例如，电磁传感器(604)或IMU(102))测量由磁场产生单元(1340)产生的磁场的幅度和/或方向。然后可以将测量存储在AR/VR系统的存储器(58)中。

在框1540，可穿戴AR/VR系统(58)中的一个或多个光学传感器(例如，相机(124))执行光学基准标记(316)的位置和/或取向的测量。该信息可用于使用相机外部校准算法确定每个光学传感器的对准方向。然后，这些测量同样可以存储在AR/VR系统的存储器(58)中。光学传感器的测量可以在磁力仪执行的磁场测量之前、期间或之后来执行。

然后，在框1550，可以将从磁力仪(例如，102、604)获得的测量与从光学传感器(1360)获得的测量进行比较(例如，使用一个或多个数学运算)，以便产生一个或多个校准校正值。该计算可以通过例如可穿戴AR/VR系统(58)来执行。作为示例，磁力仪(例如，102、604)可以产生所施加的磁场的方向的测量。这些测量可以对应于磁力仪的对准方向的指示。同时，光学传感器(1360)可基于检测到的其相对于光学基准标记(316)的空间关系而产生其对准方向的测量。如果方向测量不同，则可以确定方向测量之间的偏移角(在一个或多个维度上)。然后，该偏移角可以用于指定一个或多个校准校正值，该校准校正值可以应用于在可穿戴AR/VR系统(58)正被使用时由磁力仪和光学传感器中的任一个或两者产生的测量。例如，在数据被AR/VR系统使用或以其他方式作用之前，可以基于偏移角或其他校准校正值来调整由磁力仪和/或光学传感器产生的所有测量。

在工厂校准设置中，例如本文所述的那些的多个校准系统(例如，900、1300)可以彼此相邻定位。校准系统的操作可以被定时，使得相邻系统不产生会干扰相邻系统处的读取的磁场。在一些实施例中，一组校准系统可以是时间序列的，而在其他实施例中，可以同时操作每隔一个校准站、或每第二个校准站、或每第三个校准站等，以提供功能分隔。

其他考虑因素

本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化：代码模块，其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行；和/或电子硬件，其被配置为执行具体和特定计算机指令。例如，计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中，安装在动态链接库中，或可用解释性编程语言编写。在一些实施方式中，特定操作和方法可由特定于给定功能的电路来执行。

此外，本公开的功能的特定实施方式在数学上、计算上或技术上都足够复杂，以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果，专用硬件或者一个或多个物理计算装置(利用适当的专有可执行指令)可以是必需的。例如，视频可包括多个帧，每帧具有数百万个像素，为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用，专用编程计算机硬件是必需的。

代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字播放信号的一部分)传输，所述传输介质包括基于无线的介质和基于有线/电缆的介质，且可采取多种形式(例如，作为单一或多路复用模拟信号的一部分，或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中，或可经由计算机可读传输介质进行传送。

本文所描述和/或附图所描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中，额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序，且与其相关的框、步骤或状态能以适当的其他顺序来执行，例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外，本文所述的实施方式中的分离各种系统组件是出于说明的目的，且不应被理解为在所有实施方式中都需要这样的分离。应该理解，所描述的程序组件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。许多实施方式变体是可行的。

过程、方法以及系统可在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网以及万维网。网络可以是有线或无线网络或者任何其他类型的通信网络。

本发明包括可以使用主题装置执行的方法。该方法可以包括提供这种合适的装置的动作。这种提供可以由终端用户执行。换言之，“提供”动作仅仅需要终端用户获得、访问、接近、定位、设置、激活、开启或以其它方式提供在该方法中的必要装置。在此所述的方法可以按逻辑上可能的所述事件的任何顺序以及按照所记载的事件顺序进行。

本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。对此公开所述的实施方式的各种修改对于本领域技术人员而言可以是显而易见的，且在不脱离此公开的精神或范围的情况下，可将本文中限定的一般原理应用于其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本文所公开的此公开、原理和新颖特征一致的最宽范围。

在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反，在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外，尽管上文可将特征描述为以某些组合执行，甚至最初这样要求保护，但在一些情况下，来自所要求保护的组合的一个或多个特征能被从该组合中删除，且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。

本文中使用的条件语，诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤，另有具体说明或在上下文中另有理解除外。因此，这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，且以开放式的方式包含性地使用，且不排除额外的元素、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有性含义)使用，因此，当被用于例如连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”，另有具体说明除外。除了在此具体定义之外，应在保持权利要求有效性的同时给定在此使用的所有技术和科学术语尽可能广泛的通常理解含义。还应注意，可以起草权利要求以排除任何可选要素。

如本文所使用的，涉及项目列表的“至少一个”的短语指这些项目的任何组合，包括单个成员。作为示例，“A、B或C中的至少一个”旨在覆盖：A、B、C、A和B、A和C、B和C以及A、B和C。诸如短语“X、Y以及Z中的至少一个”的连接语(除非另有声明)以通常使用的上下文来理解，以表达项目、术语等可以是X、Y或Z中的至少一个。因此，这样的连接语一般并不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个以及Z中的至少一个中的每个都存在。

类似地，虽然操作在附图中可以以特定顺序描绘，但应认识到，这样的操作不需要以所述特定顺序或以相继顺序执行，或执行所有例示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作能并入示意性地示出的示例方法和过程中。例如，能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外，在其他实施方式中，操作可被重新排列或重新排序。在某些情况下，多任务和并行处理可具有优势。此外，上述实施方式描述的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离，且应该理解，所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外，其他实施方式处于以下权利要求的范围内。在一些情况下，权利要求中列举的动作能以不同的顺序执行，且仍实现期望的结果。

Claims (30)

1.一种用于校准虚拟现实VR或增强现实AR显示装置中的两个或更多个传感器的对准的系统，所述显示装置中的所述两个或更多个传感器包括至少一个磁传感器，其中，所述系统包括：

一对或多对导电回路，其包括被定向在平行平面中并沿第一轴分隔的第一对导电回路；以及

安装件，其被配置为附到所述显示装置并且以相对于所述一对或多对导电回路的第一预定空间关系来支撑所述显示装置。

2.根据权利要求1所述的系统，还包括：致动器，其连接到所述安装件，并且被配置为将所述显示装置移动到相对于所述一对或多对导电回路的第二预定空间关系。

3.根据权利要求1所述的系统，其中，所述显示装置中的所述两个或更多个传感器还包括至少一个光学传感器。

4.根据权利要求3所述的系统，还包括：以相对于所述一对或多对导电回路的预定空间关系支撑的一个或多个光学基准标记。

5.根据权利要求1所述的系统，还包括：

控制器；

波形发生器，其被配置为在所述控制器的控制下产生校准波形；以及

电驱动器，其被配置为接收由所述波形发生器产生的校准波形，并且被配置为用与所接收到的校准波形对应的电输出电流来使所述一对或多对导电回路通电。

6.根据权利要求5所述的系统，其中，所述控制器被配置为与所述显示装置通信以识别所述至少一个磁传感器，并且被配置为使所述波形发生器基于对所述至少一个磁传感器的所述识别来产生一个或多个校准波形。

7.根据权利要求5所述的系统，其中，所述第一对导电回路被配置为在被通电时在沿所述第一轴的方向上产生磁场。

8.根据权利要求5所述的系统，其中，所述一对或多对导电回路中的每一对被配置为在被通电时在空间体积内产生磁场。

9.根据权利要求8所述的系统，其中，为了以相对于所述一对或多对导电回路的所述第一预定空间关系来支撑所述显示装置，所述安装件被配置为将所述显示装置定位在所述空间体积内。

10.根据权利要求1所述的系统，其中，所述至少一个磁传感器包括惯性测量单元IMU。

11.根据权利要求1所述的系统，其中，所述一对或多对导电回路还包括：

第二对导电回路，其被定向在平行平面中并沿第二轴分隔，所述第二轴与所述第一轴正交。

12.根据权利要求11所述的系统，其中，所述一对或多对导电回路还包括：

第三对导电回路，其被定向在平行平面中并沿第三轴分隔，所述第三轴与所述第一轴和所述第二轴正交。

13.根据权利要求1所述的系统，还包括：框架，其被配置为支撑所述一对或多对导电回路。

14.根据权利要求13所述的系统，还包括：致动器，其连接到所述框架，并且被配置为将所述一对或多对导电回路移动到相对于所述显示装置的第二预定空间关系。

15.根据权利要求1所述的系统，其中，所述一对或多对导电回路中的每一对以亥姆霍兹线圈配置来布置。

16.根据权利要求1所述的系统，其中，为了以相对于所述一对或多对导电回路的所述第一预定空间关系来支撑所述显示装置，所述安装件被配置为将所述显示装置定位在所述一对或多对导电回路之间的空间体积内。

17.一种用于校准虚拟现实VR或增强现实AR显示装置中的两个或更多个磁传感器的对准的系统，所述系统包括：

控制器；

波形发生器，其被配置为在所述控制器的控制下产生第一校准波形和第二校准波形；

磁场产生单元；以及

电驱动器，其被连接到所述波形发生器以接收所述第一校准波形和所述第二校准波形、产生相应的第一电输出电流和第二电输出电流、以及向所述磁场产生单元提供所述第一电输出电流和所述第二电输出电流，

其中，所述控制器被配置为使所述波形发生器产生所述第一校准波形以校准所述显示装置中的第一类型的磁传感器并产生所述第二校准波形以校准所述显示装置中的第二类型的磁传感器。

18.根据权利要求17所述的系统，其中，所述控制器被配置为与所述显示装置通信以识别所述要校准的磁传感器并基于对所述磁传感器的所述识别来选择所述第一校准波形和所述第二校准波形。

19.根据权利要求17所述的系统，其中，所述第一类型的磁传感器包括感应式磁力仪，以及所述第一校准波形包括交流波形。

20.根据权利要求17所述的系统，其中，所述第二类型的磁传感器包括静场磁力仪，以及所述第二校准波形包括直流波形。

21.根据权利要求17所述的系统，其中，所述磁场产生单元包括：第一导电回路，其被定向在与穿过所述第一导电回路的第一轴正交的第一平面中；以及第二导电回路，其被定向与所述第一平面平行的第二平面中，并沿第一轴与所述第一导电回路分隔。

22.根据权利要求21所述的系统，其中，所述第一导电回路和所述第二导电回路连接到所述电驱动器，使得所述电输出电流围绕所述第一导电回路和所述第二导电回路在相同的方向上行进。

23.根据权利要求21所述的系统，其中，所述第一导电回路和所述第二导电回路具有相同的形状。

24.根据权利要求21所述的系统，其中，所述第一导电回路和所述第二导电回路具有相同的尺寸。

25.根据权利要求24所述的系统，其中，所述第一导电回路和所述第二导电回路是圆形的并且具有半径，所述第一导电回路和所述第二导电回路沿所述第一轴分隔与所述半径对应的距离。

26.根据权利要求17所述的系统，还包括：安装件，其被配置为附到所述显示装置并且以相对于所述磁场产生单元的第一预定空间关系来支撑所述显示装置。

27.根据权利要求26所述的系统，还包括：致动器，其连接到所述安装件，并且被配置为将所述显示装置移动到相对于所述磁场产生单元的第二预定空间关系。

28.根据权利要求17所述的系统，其中，所述系统还被配置为校准光学传感器的对准，所述系统还包括以相对于所述磁场产生单元的预定空间关系定向的一个或多个光学基准标记。

29.根据权利要求28所述的系统，其中，所述光学传感器包括相机。

30.根据权利要求28所述的系统，其中，所述一个或多个光学基准标记包括二维或三维特征。

Images