CN108089324B - 具有光学跟踪器的nte显示系统和方法 - Google Patents

Abstract

本发明涉及具有光学跟踪器的NTE显示系统和方法。提供了一种用于跟踪第一对象的位置和取向的光学跟踪器系统。所述系统包括：预测模块，其被配置成确定所述第一对象的预测位置和取向作为空间预测；显示模块，被配置成基于所述空间预测来生成用于基准符号的显示命令；显示单元，被配置成基于所述显示命令来显示基准符号；相机单元，其被配置成捕获显示在所述显示设备上的基准符号的图像作为捕获外观；以及位置确定模块，其被耦合到所述相机单元并且被配置成接收来自所述相机单元的图像。所述位置确定模块被配置成识别所述基准符号并且基于所述基准符号的捕获外观来确定所述第一对象的位置和取向。

Description

具有光学跟踪器的NTE显示系统和方法

技术领域

本发明一般涉及近眼式（near-to-eye，NTE）显示系统和方法，以及更特别地涉及具有改善的高速、高精确度光学跟踪器的NTE显示系统和方法。

背景技术

近年来，近眼式（NTE）显示系统已经得到发展并且正变得越来越流行。取决于特殊的终端使用环境，这些系统包括被耦合到用户的头盔或头戴式耳机的NTE显示单元，并且因此与用户头部的正改变的位置和角定向一起移动。这有利地允许无论位置（即，头部的位置和/或取向）如何，所显示的信息都对用户是可见的。因此可以理解的是，跟踪装置运行来在一个或多个自由度（例如，x、y和z以及俯仰、偏航和滚转）上确定头部的位置和取向，以便使得能够实现NTE显示系统的全部功能。已知的跟踪技术包括惯性、磁性、超声和基于相机的光学系统，但是许多这样的系统可能是相对复杂的、沉重的、昂贵的和/或缺乏令人满意的执行能力。

因此，期望提供具有改善的跟踪能力的NTE显示系统和方法。此外，示例性实施例的其他合期望的特征和特性将根据结合附图和前述技术领域及背景技术所进行的后续详细描述和所附权利要求而变得显而易见。

发明内容

根据示例性实施例，提供了一种用于跟踪第一对象的位置和取向的光学跟踪器系统。所述系统包括：预测模块，其被配置成确定所述第一对象的预测位置和取向作为空间预测；显示模块，其被耦合到所述预测模块并且被配置成接收所述空间预测，所述显示模块被配置成基于所述空间预测来生成用于基准符号的显示命令；显示单元，其被耦合到所述预测模块并且被配置成接收所述显示命令，所述显示单元被配置成基于所述显示命令来显示基准符号；相机单元，其被配置成捕获显示在所述显示设备上的基准符号的图像作为捕获外观；以及位置确定模块，其被耦合到所述相机单元并且被配置成接收来自所述相机单元的图像。所述位置确定模块被配置成识别所述基准符号并且基于所述基准符号的捕获外观来确定所述第一对象的位置和取向。

根据另一个示例性实施例，提供了一种用于利用光学跟踪器系统跟踪第一对象的位置和取向的方法。所述方法包括：确定所述第一对象的预测位置和取向作为空间预测；基于所述空间预测生成用于基准符号的显示命令；在显示设备上基于所述显示命令显示所述基准符号；捕获显示在所述显示设备上的基准符号的图像作为捕获外观；以及识别所述图像中的所述基准符号；以及基于所述基准符号的捕获外观来确定所述第一对象的位置和取向。

根据又一个示例性实施例，提供了一种近眼式显示系统。NTE系统包括用于跟踪第一对象的位置和取向的光学跟踪器系统。所述NTE系统包括第一显示单元，其具有主动矩阵显示设备并且被配置成基于第一显示命令来显示基准符号；相机单元，其被配置成捕获显示在第一显示设备上的基准符号的图像作为捕获外观；以及位置确定模块，其耦合到所述相机单元并且被配置成接收来自所述相机单元的图像。所述位置确定模块被配置成识别所述基准符号并且基于所述基准符号的捕获外观来确定所述第一对象的位置和取向。所述NTE系统包括：驱动单元，其被耦合到所述光学跟踪器系统并且被配置成基于所述第一对象的位置和取向来生成第二显示命令，以及第二显示单元，其被耦合到所述驱动单元并且被配置成基于所述第二显示命令来渲染用于供用户相对于周围环境进行查看的符号体系。

附图说明

将结合附图在下文中对本发明进行描述，其中相同的附图标记表示相同的要素，并且其中：

图1是根据示例性实施例的NTE系统的功能性框图；

图2是根据示例性实施例的跟踪器显示单元上的基准符号的第一视图；

图3是根据示例性实施例的跟踪器显示单元上的基准符号的第二视图；

图4是根据示例性实施例的跟踪器显示单元上的基准符号的第三视图；

图5是根据示例性实施例的跟踪器显示单元上的基准符号的第四视图；

图6是根据示例性实施例的用于提供NTE显示的方法的流程图；

图7是根据示例性实施例的基准符号的另一个示例；

图8是根据另一个示例性实施例的NTE系统的若干部分的功能性框图；以及

图9-12是根据示例性实施例的NTE系统的变化的功能性框图。

具体实施方式

以下的具体实施方式在本质上仅是示例性的并且不意图限制本发明或本发明的应用或使用。如本文中所使用的，词语“示例性”意指“用作示例、实例或说明”。因此，本文中描述为“示例性”的任何实施例不一定被解释为比其他实施例更优选或有利。本文中所描述的所有实施例是被提供来使本领域技术人员能够制造或使用本发明的示例性实施例并且并不限制由权利要求所限定的发明的范围。此外，并不意图由前述技术领域、背景技术、发明内容或以下具体实施方式中所呈现的任何明示或暗示的理论来进行约束。

在下文所描述的示例性实施例中，近眼式（NTE）显示系统和方法被用于跟踪用户头部的空间特性来确定用户的视觉视角，但是其他对象和身体部分也可以被跟踪。通常，本文中所使用的术语“空间特性”和“位置”指代位置值和/或取向值中的一个或多个。例如，空间特性可以包括位置值，诸如三维空间中的平移值（例如，在笛卡尔坐标系中沿着x轴、y轴和z轴）。空间特性可以进一步包括取向值或角度值，诸如通常被称为俯仰、偏航和滚转的欧拉角。可以替换地使用许多其他已知的取向性表示中的任意，包括但不限于方向余弦、极坐标表示、四元数等等。在一个示例性实施例中，NTE系统可以考虑这些空间特性中的六个并且因此可以被视为六自由度（DOF）NTE系统。在其他实施例中，NTE系统可以仅考虑这些空间特性中的单个或子集，或者可以包括附加的自由度（诸如NTE系统内多个部件之间的相对关系）。

现在参照图1，描绘了近眼式（NTE）系统100的一个实施例的功能性框图，并且包括NTE结构110、结构显示单元120、NTE驱动单元130、NTE跟踪器控制单元140、一个或多个相机单元160、一个或多个跟踪器显示单元170以及一个或多个数据源180。通常，NTE系统100被布置在操作环境102（诸如飞行驾驶舱）内。在一个示例性实施例中，NTE跟踪器控制单元170与相机单元160和跟踪器显示单元170中的一个或多个相组合可以被视为光学跟踪器或跟踪系统或者光学跟踪器。通常，系统100的元件可以以任何适合的方式耦合在一起（诸如利用有线和/或无线数据总线）。尽管在图1中出现的NTE系统100要被布置为集成系统，但是NTE系统100不被如此限制并且还可以包括下述布置：通过该布置，NTE系统100的一个或多个方面是单独的部件或者是另一个系统的子部件。还应注意的是，图1出于解释和易于描述的目的呈现了NTE系统100的简化表示，并且图1不意图以任何方式限制主题的范围或应用。在实践中，NTE系统100可以包括用于提供附加功能和特征的许多其他设备、部件和特性，如将由本领域技术人员所理解的那样。

在一个示例性实施例中，NTE系统100被体现为平视显示器（head-up-display，HUD），其中NTE结构110被用户佩戴并且支撑半透明或透明结构显示单元120，所述半透明或透明结构显示单元120基于来自NTE驱动单元130、NTE跟踪器控制单元140和数据源180的信号来渲染用于供用户相对于周围环境进行查看的符号体系。该符号体系可以包括意图由用户可查看的任何图像内容，并且该符号体系中的一些或全部可以部分基于NTE结构110的位置而被选择或生成。例如，符号可以被渲染成与周围环境是共形的（conformal），以使得当通过平视显示器查看时，共形的符号覆盖环境中对应的区域或特征。为了在合适的位置配准和显示符号体系，NTE跟踪器控制单元140通过评估在跟踪器显示单元170上显示并且由安装在NTE结构110上的相机单元160所捕获的基准符号的图像来确定NTE结构110的位置和取向，并且因此确定用户的视角。NTE系统100的每个部件将先于更详细的操作描述（特别是NTE跟踪器控制单元140的操作）而在下文进行介绍。尽管关于飞行器对NTE系统100进行了描述并且NTE系统100由飞行器操作者（在下文一般性称为“用户”或“观看者”）所利用，但示例性实施例可以被用在诸如军用车辆或手持设备跟踪器之类的其他情境中。

在一个示例性实施例中，NTE结构可以是靠近用户的一只或两只眼睛放置的任何结构。例如，NTE结构110通常由用户佩戴（例如，以眼镜、护目镜或头盔安装式屏幕的形式）。将理解的是，NTE结构110可以在配置和实现方式上发生变化。在图1中描绘的一个特定实施例中，NTE结构110是被配置成放置在人类用户头部上的眼罩（visor）。

结构显示单元120由NTE结构110支撑来被放置在用户的一只或两只眼睛的前方。结构显示单元120是显示虚拟图像同时仍允许用户查看真实世界的任何适合的显示部件。例如，结构显示单元120可以例如采用经由透明或半透明屏幕所呈现的任何类型的投影或微显示技术来提供叠加在可视屏幕上的虚拟图像。在一个示例性实施例中，结构显示单元120可以提供车辆外部场景的表示视图以供车辆操作者使用，即使是在不良的可见度状况（诸如浓雾状况）中。示例性技术例如包括具有准直光学器件和微显示器（诸如液晶显示器（LCD）、硅上液晶（LCoS）显示器或有机发光二极管（OLED）显示器）的光学组合器元件。还可以采用其他技术，诸如其中在用户正查看真实世界的同时图像被直接投影到视网膜上的视网膜显示器。显示在结构显示单元120上的符号将显现为在用户透过组合器观看的同时对于用户可见的虚拟图像。虚拟图像可以是计算机生成的，但是也可以至少部分来自其他数据源180（诸如成像传感器、图像传输或图像储存设备）。

NTE驱动单元130向结构显示单元120提供显示信号来相对于真实世界可视场景在结构显示单元120上的适当位置中生成期望的符号体系或显示元素。对于一些类型的符号体系来说，在结构显示单元120上的位置可以是固定的，例如总是在特定的地方。对于其他类型的符号体系来说（诸如交通和地形信息），显示元素是真实世界环境相对于用户当前视角的函数。如此，NTE驱动单元130使用来自跟踪器控制单元140的空间特性来在结构显示单元120上并且关于该结构显示单元120在适当位置中配准和放置该符号体系。

NTE驱动单元130可以基于来自各种类型的数据源180（例如，导航系统、飞行管理系统、警告系统和通信单元）的信息在结构显示单元120上渲染任何适合类型的符号体系。例如，在飞行器情境中，在结构显示单元120上提供的符号体系可以包括导航或操作符号体系，其包括交通和/或地形信息、速度、海拔、姿态、飞行路径和计划信息等等。

跟踪器显示单元170包括布置在与NET结构110分离的操作环境102内的一个或多个显示设备。跟踪器显示单元170运行来显示包含至少一个基准符号（或多个基准符号）的图像。通常，跟踪器显示单元170被定位在固定的位置处，使得相机单元160捕获显示在其上的图像的至少一部分。这样的图像包括下述基准符号：根据该基准符号，NTE跟踪器控制单元140可以得出用户的空间特性，如在下文中更详细描述的。在一些实施例中，跟踪器显示单元170可以接收来自控制基准符号外观的NTE跟踪器控制单元140的显示信号，如也在下文中所描述的那样。

通常，跟踪器显示单元170可以被布置在操作环境102内的任何合适的位置中。在所描绘的实施例中，跟踪器显示单元170之一被布置在用户的前方，并且另一个跟踪器显示单元170被布置在用户的上方。在一些实施例中，可以仅提供单个跟踪器显示单元170。在实践中，跟踪器显示单元170可以被定位在具有到相机单元160的视线的任何地方，但是某些位置可以具有相对于特定空间特性的优势。

由于在下文中更详细描述的原因，跟踪器显示单元170可以是主动矩阵显示器，特别是针对符号细节和分离提供显示稳定性和光刻精确度以实现精确且可重复的跟踪结果的那些显示器。采用光刻精确度来意指通过诸如光学或UV光刻、电子束光刻、离子束光刻等等的技术所实现的超高精确度、准确度和重复性，如在集成电路和/或主动矩阵显示器的制造中通常采用的那样。在下文中所描述的实施例中，主动矩阵跟踪器显示单元170使得能够以一定方式显示基准符号，该方式充分超越了利用简单物理标记或单个较大LED发射器可实现的方式。

作为示例，跟踪器显示单元170可以包括主动矩阵LCD显示器和/或主动矩阵LED显示器，其在延伸区域上具有小像素大小和亚微米或更好的精确度，并且尽管这样的显示器通常具有介于像素图案和相机单元160之间的保护层（例如，玻璃基板、偏振片等），这样的层跨越显示区域通常是一致的，由此使得能够实现跟踪功能性。进一步的特性可以包括显示器单元170，其被构建在单个延伸基板上、是光刻图案化的、发射性的、背部发光或局部前部发光，并且不要求远程生成和引导的正面或环境照明、处于玻璃和/或透明基板之上或后面、具有亚微米精确度图案化、高分辨率、高对比度、高局部均匀输出亮度/放射率、超常的特征线性度，或类似。除了极致的二维精确度和稳定性之外，与跟踪器显示单元170的表面正交的轴中的稳定性和精确度也可以例如通过对基板材料、厚度和/或平面度的选择而被控制到期望的程度。如果期望的话，可以通过使用一个或多个适当的加热或冷却元件进行适当监视和反馈来控制热膨胀或热均匀性。

在一个示例性实施例中，跟踪器显示单元170中的一个或两者是专用的显示面板，其运行来支持空间特性的确定。在其他示例性实施例中，跟踪器显示单元170中的一个或两者可以附加地被用于在飞行驾驶舱或环境102中已经可用的显示功能（诸如航空电子下视显示器（HDD）），由此提供具有很少或没有附加硬件安装的双重功能性。

如上文所指出的，相机单元160被安装NTE结构上，该NTE结构被设置在用户身上并且可与用户一起移动。通常，相机单元160被设置在结构110上的指定参考位置处以使得用户的视角可以根据相机单元160的视角而容易得到。作为示例，相机单元160是紧凑的、高分辨率相机。在一些实施例中，可以采用多个相机单元160。在操作期间，相机单元160运行来捕获环境102的图像（特别是显示在跟踪器显示单元170上的图像），并且相机单元160向跟踪器控制单元140提供这些图像。

跟踪器控制单元140可以被视为包括一个或多个功能性单元或模块142、144和146（例如，软件、硬件或其组合）。作为示例，模块142、144和146中的每个可以通过或利用处理器150和存储器152来实现。在所描绘的实施例中，跟踪器控制单元140包括位置确定模块142、预测模块144和显示模块146。图1描绘了一个示例性组织，并且其他实施例可以利用替换组织或实现方式来实行类似功能。在下文的讨论中，跟踪器控制单元140可以被视为在某些功能发生于其中的迭代、循环或帧中进行操作。一般来说，这些时间周期在下文中被称为帧。

如上文所介绍的，跟踪器控制单元140的主要功能是确定用户的视角，使得显示在结构显示单元120上的符号体系可以被精确地定位。因此，位置确定模块142通常运行来根据由相机单元160提供的图像对基准符号进行识别并且根据所捕获图像中的基准符号的外观来确定NTE结构110的空间特性以及因此确定用户的视角。跟踪器控制单元140的另一个功能是以促进确定空间特性的方式来控制跟踪器显示单元170上的基准符号的外观。如此，跟踪器控制单元140进一步包括在下一帧期间预测用户的空间特性的预测模块144，以及在下一帧期间以促进识别和评估的方式对基准符号的外观进行命令的显示模块146。下文将提供关于这些模块142、144、146的操作的附加细节。

如上文所指出的，跟踪器控制单元140（以及系统100的其他部件）可以利用计算机处理器150来实现，所述计算机处理器150包括通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、合适的可编程逻辑器件、离散门或晶体管逻辑、处理核、离散硬件部件或其任何组合。在实践中，NTE跟踪器控制单元140进一步包括计算机处理器150和存储器152，其可以被配置以实施与NTE跟踪器控制单元140的操作相关联的功能、技术和处理任务或方法。存储器152可以储存计算机可读指令、固件和软件程序并且可以被有形地体现在用于储存计算机可读指令的任何适当的介质上，所述介质包括但不限于所有形式的非易失性存储器，包括（作为示例而不是限制）：半导体存储器设备（诸如EPROM、EEPROM）和闪速存储器设备；磁盘（诸如内置硬盘和可移除盘）；磁光盘；以及DVD盘。

除了相机单元160以外，NTE跟踪器控制单元140可以接收来自处于结构110上或与结构110分离的提供位置和取向数据的一个或多个附加传感器的信息。这样的传感器可以包括GPS传感器、惯性测量单元（IMU）传感器、深度传感器、眼睛跟踪传感器、传声器、生物计量传感器以及其他类型的传感器。

既然已经介绍了系统100，现在将描述NTE跟踪器控制单元140的操作的更详细的描述。参考图2和图3描述了操作的相对简单的示例，图2和图3描绘了在具有周界202的跟踪器显示单元170上渲染的基准符号200的示例。

通常，基准符号200是使得能够实现在结构的空间特性上发生改变时对外观上的改变进行观察的符号。在这些示例中，基准符号200是交叉线的网格，其中每个交叉表示可以被跟踪器控制单元140识别和评估的潜在的基准标记。可以使用任何合适的基准符号。然而通常，有益的是，基准符号200具有明显的边缘并且具有良好分离的标记或特征（诸如图2的高精确度图案化的基板或掩模），其使得能够实现将平移效果与取向效果进行区分，如在下文中更详细描述的。基准符号优选地是自发射性的或者是局部背部发光或前部发光的，并且可以是可视的或非可视的（诸如红外的或紫外的）。通常，基准符号被选择为促进通过NTE跟踪器控制单元140进行识别和评估，如下文所描述的。

图2是来自第一视角的基准符号200的视图。在图2的特定示例中，第一视角对应于用户的原点、中心或基线位置，如由跟踪器显示单元170的周界202的规则矩形性质所指示的那样。通常，第一视角是具有已知空间特性的视角。

在该示例中，图2还描绘了基准符号200的标称外观。基准符号的标称外观（或标称基准符号）是根据其可以识别和评估偏差以确定位置或取向上的任何改变的基线外观，如在下文中更详细描述的。通常，基准符号的标称外观被选择为基于该基准符号的图像来促进空间特性的偏差，具有针对基准符号200的上文所描述的期望特性。还优选的是，基准符号200包含消除与符号检测相关联的取向模糊或平移模糊的一个或多个对称断裂（或非对称）特征210。所示出的特征210为了清楚性而被简化并且不意图是限制性的。在实践中，对称断裂特征将优选地被包括在整个网格结构（诸如图2中的结构）中，并且还将逐交叉而变化以移除平移模糊和旋转模糊二者。这对于其中将由相机单元160检测基准符号200的仅一部分的情况而言是特别相关的。

图3是来自第二视角的基准符号的视图。第二视角对应于未知视角，例如当用户移动时由结构110和相机单元160的移动而产生的视角。在图3的示例中，与图2相比用户更靠近显示单元170并且从左上方查看显示单元170，利用轻微滚转向下且向右瞄准，如由显示单元170的周界202的畸变或偏斜的外观所指示的。作为该移动的结果，基准符号200的外观也相对于图2中的基准符号200的标称外观而被偏斜。

在操作期间，NTE跟踪器控制单元140从在第二、未知视角（诸如在图3中示出的）下的相机单元160接收基准符号200的图像，以得到带有具有“捕获外观”的基准符号的图像。NTE跟踪器控制单元140对基准符号200进行识别和评估，以便基于基准符号200的捕获外观确定相机单元160的（并且因此结构110和用户的）空间特性。

NTE跟踪器控制单元140可以以任何合适的方式根据基准符号200确定空间特性。根据相机捕获的2D来估计对象的3D姿态或位置的这种任务通常被称为多点透视（PnP）估计。技术的范围是从使用最小数据集的分析解法到使用大量采样点的统计和迭代解法。

在一个示例性实施例中，跟踪器控制单元140的位置确定模块142接收来自相机单元160的图像并且将来自未知空间特性的视角（例如，在当结构可能移动时的位置和取向处）的基准符号的捕获外观与来自已知空间特性的视角（例如，在已知位置和取向处）的基准符号的标称外观进行比较。根据该比较，位置确定模块142可以识别差异，并且根据这些差异，位置确定模块142可以得出在第二、先前未知视角下的空间特性。

将理解的是，位置确定模块142可以实现许多技术中的任何一种来确定空间特性。这样的技术或模型可以包括几何分析，诸如储存在位置确定模块142中的三角测量或相关的算法。在D. DeMenthon 和 L.S. Davis的“Model-Based Object Pose in 25 Lines ofCode”（International Journal of Computer Vision，15，第123-141页，1995年6月）中公开了一种特定的技术，并且在本文中被称为“POSIT”。在V. Lepetit、F. Moreno-Noguer和P. Fua的 “EPnP: An Accurate O(n) Solution to the PnP Problem”（InternationalJournal of Computer Vision，vol. 81，第155-166页，2009年）中描述了另一种技术。作为另一个示例，可以采用标准三角测量技术以用于测量图像中基准符号的特性，以便确定基准符号与捕获图像的相机单元160之间的相对平移关系和取向关系。一个示例将是将测量结果压缩成六个独立的度量并且应用将那些压缩的度量转换成期望的DOF度量的合适的变换。另一个示例性方法将是计算过采样系统的数值拟合，并且使用过采样来平均掉或滤除采样数据中的任何潜在噪声，提供冗余（例如，如果由于伪反射或其他情形，一个或多个发射器受到阻塞或遭遇异常信号水平时），或者在某些几何关系中增强灵敏度（例如，空间灵敏度对比角度灵敏度）。还可以使用附加的信号处理方法来改善提取的DOF度量，例如通过包括测量结果的时间特性。

在一个示例性实施例中，位置确定模块142确定具有六个自由度（x、y和z位置以及俯仰、偏航和滚转取向）的空间特性。在另一个实施例中，仅可以识别这些空间特性中的子集。进一步的，在必要或期望时，可以得出这些空间特性的导数，诸如速度、加速度和加加速度。

如上文所指出的，在图2和图3的示例中，基准符号200具有在第一视角下的标称外观，该第一视角在该情况下是原点。在上文的示例中，相对于原点来固定标称外观。换言之，基准符号200相对于跟踪器显示单元170是静止的并且以一致的、恒定的方式显示以使得基准符号200总是在第一视角下具有标称外观并且在第二视角下具有偏斜外观。上文已经介绍了使用以光刻方式产生的矩阵显示器来生成基准符号200的许多益处。在如在图2和图3中示出的静态的或静止的基准符号的情况下，一个替换的示例性实施例将是要放弃动态图像生成能力并且仅显示静态图像，甚至可能在发射性或光调制基板上以光刻方式对静态图像进行图案化。

再一次参照图1，NTE跟踪器控制单元140进一步包括被配置成对用户在下一帧期间的空间特性进行预期的预测模块144。这些未来的空间特性在下文被称为“空间预测”。也如上文所指出的，NTE跟踪器控制单元140还被耦合到跟踪器显示单元170以主动地控制所显示的基准符号的外观。特别地，NTE跟踪器控制单元140的显示模块146生成显示命令，其基于空间预测在跟踪器显示单元170上对基准符号进行调节、定向和定位。因此，NTE跟踪器控制单元140可以进一步参考结构110的预测空间特性来生成标称基准符号。换言之，并不相对于特定的、固定的位置或原点来固定基准符号的标称外观，而是，标称基准符号是基于结构110的预测位置和/或取向而情境相关的，如下文所描述的。

预测模块144可以基于任意数量的参数来生成空间预测。例如，预测模块144可以基于先前空间特性的趋势或外推来确定空间预测。在一个实施例中，使用简单的线性外推，例如，通过向当前空间特性添加空间特性中最近测量的改变中的一些或所有来生成空间预测。在另一个实施例中，可以使用诸如二次估计之类的更高阶技术，包括诸如Kalman滤波及其扩展之类的已知技术。空间预测可以计及根据最近测量历史所估计或得出的运动的更高阶导数，并且还可以考虑典型用户的且在操作环境102内的特性头部运动动态性。虽然这些预测模块实施例中的一些利用来自两个或多个帧的数据，但这不意图是限制性的。在另一个实施例中，预测模块144使用单个先前帧的空间特性作为针对下一帧的空间预测。利用合适的基准符号，这可以是简单但非常有效的，特别是当逐帧的空间特性上的变化并不过分时。在某些实施例中，预测模块144还可以利用多个先前帧的平均（诸如当在那些先前帧上的空间特性上的改变较小时），并且当检测到空间特性上的更大改变时可以可选地切换到另一个估计方法。在又一个实施例中，预测模块144可以基于诸如辅跟踪器机制之类的其他输入来生成空间预测。

通过比较图4和图5来描绘了由空间预测所产生的基准符号的示例。图4描绘了来自空间预测的视角的在显示单元170的图像周界402内的基准符号400的视图。具体地，在该实施例中，当从预期的位置和取向查看或捕获时，基准符号400被显示为具有标称外观。空间预测的预期位置和取向具有已知的空间特性，但是预期到导致空间特性的移动。如所示出的，因为用户正从空间预测的视角（例如，不是从原点视角）查看图像，图像周界402被偏斜。然而，基准符号400具有标称外观，如由形成基准符号400的网格的规则、平坦的外观所指示的那样。为了参考，图5是来自原点视角的显示单元170的图像周界402内的同一基准符号400的视图，所述原点视角在该示例中不是用户的当前或预测视角，而是仅出于比较目的所描绘的。在该视图中，因为基准符号400是针对来自空间预测而非原点的标称外观而被渲染的，所以基准符号400表现为偏斜。

再次参照图1，当进行空间预测并且根据空间预测来显示基准标记（例如，图4的基准标记400）时，相机单元160根据用户的实际位置和取向捕获基准标记的图像。当接收到图像时，位置确定模块142对从图像提取的基准符号进行识别和评估。特别地，位置确定模块142将图像中的基准符号与已知空间特性的标称基准符号进行比较。如果图像中的基准符号具有标称外观，则位置确定模块142将空间预测识别为当前的空间特性。如果捕获图像中的基准符号具有与标称不同的外观，则位置确定模块142识别差异并且基于那些差异来确定当前空间特性，例如，类似于上文所描述的过程。

逐帧对基准符号进行的主动控制提供了特定的优点。例如，每帧可以使得能够实现针对最好的优点而修整的基准符号。在图4和图5的实施例中的主动控制的结果是由相机捕获的基准符号将通常逐帧表现得相同。实际上符号相对于原点是“预偏斜的”或预畸变的，但相对于预期视角是标称的。如果预测的相机6-DOF位置不同于实际位置，则将仅存在与该标称图案的偏差。该方法可以很大程度上简化图案匹配以及分析算法。通过主动控制基准符号，减少了针对基于基准的图案识别所需的几何结构和关系的范围。通过将几何操纵和计算移到符号的“预处理”而不是所捕获图像的“后处理”，检测步骤被简化。还可以认识到附加的优点。例如，可以使用网格的周界来找到与理想情况的估计偏差，这然后可以使得能够实现要从图像提取和处理的冗余得多的数据集。这可以包括例如在网格内或网格周围的成千上万个像素位置，根据这些位置来平均和改善总体精确度，并且了解在哪里以最低限度的搜索或模糊来寻找那些点中的每个。尽管图4示出一个网格，但可以在整个区域上（例如在覆盖显示器和相机的当前视场（FOV）的每个角中）分布多个更小的符号。

尽管图4和图5之间最明显的区别是基准符号400的取向和形状，但可以提供外观上的其他变化来增强确定空间特性的能力。例如，位置、大小、形状、颜色、更新率和其他特性也可以取决于用户的空间预测。作为具体的示例，在相对大的跟踪器显示单元170中，基准符号可以被放置在屏幕上最靠近用户的空间预测的位置中，或者放置在屏幕上被选择为要在相机单元160的视场内的位置中。然而，可以提供其他变化，诸如对于颜色、子像素细节（显示器和相机两者）、单色/窄带宽操作、图像平滑或传感器带限制技术的使用的经修整使用。在某些实施例中，可以绕过通常被利用来增强美学视觉图像质量的技术，例如，有意地允许和利用可以对跟踪功能有用的诸如Moiré效应之类的信息。

在一些实施例中，跟踪器控制单元140可以基于附加参数（例如，除了用户的空间预测之外）在跟踪器显示单元170上显示基准符号。例如，可以基于平台、运动的范围、相机单元和/或显示特性来选择基准符号。

图2-5清晰地示范了改变基准符号的空间特性（特别是取向）的可能效果之一是基准符号相对于其标称形状的明显偏斜。例如，改变方形符号关于其一边或面内轴的取向可以导致明显的梯形形状，其中由于一边离观看者或相机单元160的增加的距离而使其这一边显得比另一边更短。检测给定的取向差异量的能力取决于许多详细的因素和考虑，但是可以使用该简单的示例来获得本发明情境中跟踪器显示单元170的某些优选特性的一阶估计。对于宽度为W并且位于距原点处的相机单元160的距离为D的方形基准符号而言，所描述的取向角度上的小改变A导致梯形图像，其中方形的一边比相对边更靠近相机大约W×sin(A)，或者大约W×A（如果A相当小并且以弧度测量）。这导致了与高度W的相对边相比，更靠近的边表现为具有高度W×((D+WA)/D)。因此分数变化是(W×(1+AW/D)–W)/W = AW/D。作为示例，将A、W和D分别设定为5毫弧度、200 mm和500 mm导致了约1/500或0.2%的明显改变。对这一级别的细节进行求解通常建议使用相同大小或更小的像素（即，沿着距离W大约500个像素或更多），意味着具有最低限度500×500个精确且均匀间隔的像素的像素化矩阵显示器。可以使用更高的像素计数（例如1000×1000、2000×2000 或4000×4000）以使得能够实现对更小角度进行求解、使用更小的跟踪器显示单元、更大的跟踪距离以及提供一般改善的性能和灵活性。出于同一原因，像素的表观光学深度或厚度可以大幅小于横向像素尺寸，以作为角度的函数来使有效分辨率退化最小化。

在另一个实施例中，NTE跟踪器控制单元140可以包括补偿模块，其用于基于其他因素来进一步或替换地修改基准符号外观。特别地，补偿模块可以基于潜在误差源（诸如相机映射中的畸变（例如，桶型或枕型畸变）、平面度中的显示偏差和/或通过任何介于中间的基板或表面的折射效应）来修改基准符号的外观。通过对预处理阶段中的那些潜在误差进行估计和补偿，其基本上减少或消除了对于在图案匹配算法中考虑那些效应的需要，这可以极大地降低处理复杂性。透镜畸变和相差、渐晕以及传感器对齐可以容易地使性能退化并且因此应当在需要高精确度时被计及。这些可以利用储存并应用于预处理和后处理阶段中的一个或两者中的特性而被建模或单独地表征。折射效应（例如通过透明显示器基板）是通常理解的。这些可能遍及潜在的跟踪范围而显著地变化，但是可能平滑地变化并且适合于在预处理阶段中的补偿。另外其他的潜在误差源可能是更难以单独地全面表征，但是可调整基准、显示矩阵结构的极致精确度和线性度以及补偿模块的组合可以被用来以与跟踪功能同时发生的方式检测这样的效应并且针对这样的效应进行调整。

在一个实施例中，补偿模块单独地检查在显示单元170上显示的所检测到的线条和符号（诸如图2-5中的网格线200和400）的线性度并且使用多个这样的测量结果和已知光学射线跟踪技术来开发显示单元170的平面度分布的特性描述。如果适当的话，该描述（例如以基于多项式的表面平面度模型的形式）可以然后变得可用并且被周期性更新。平面度模型可以被用于改善预处理和/或后处理功能的精确度。所显示符号的可调整性增强了用于对可能原本限制了跟踪器输出的准确度和精确度的因素进行全面表征的能力。补偿模块还可以访问由位置确定模块142确定空间特性时的任何过采样所导致的统计误差、残差或优值函数，其可以被用作用于改善结果确定的反馈。

如先前提到的，一个示例性实施例可以利用一个或多个跟踪器显示单元170来附加地提供意图由用户直接查看的用户可查看符号体系，例如定位在观看者前向视线的前方以及稍微下方的显示单元170。在该实施例中，用于跟踪器的符号可以被呈现在所述显示单元170的未使用区域中，诸如在显示区域的角落中静态放置的基准。替换地，基准符号可以以不令人分心的方式被结合在用户可查看符号体系中，或者甚至可以是被提供给观看者的同一符号。在该后者的情况下，直接信号连接可以是可选的，允许基于相机的跟踪器组件从那些符号进行参考，特别是那些一致的或预测的符号。其他定制的设计也是可能的，诸如双重可视/NIR输出集合，例如，如使用快速AMOLED或AMLCD面板在立体监视器中被时间调制的那样。可以采用标准光谱滤波和/或时间相位灵敏检测方法来将基准符号与其他符号体系隔离。

图6是图示了适于供本文中所描述的示例性实施例使用的方法600的示例性实施例的流程图。可以由软件、硬件、固件或其任何组合来实行与方法600结合实行的各种任务。出于说明性目的，方法600的以下描述可以提及结合前述附图在上文所提到的元件。在实践中，方法600的部分可以由所描述的系统的不同元件来实行。应理解的是，方法600可以包括任何数量的附加任务或替换任务，在图6中示出的任务不需要以图示的顺序实行，并且方法600可以被结合到具有未在本文中进行详细描述的附加功能性的更综合性的过程或方法中。此外只要所意图的总体功能性保持完整，则图6中所示出的一个或多个任务可以从方法600的实施例省略。

在第一步骤605中，由跟踪器控制单元140确定或以其他方式获取用户的当前空间特性。可以以任何合适的方式（包括根据先前的确定）来确定当前空间特性。在一些实施例中，可以通过下述方式来确定当前空间特性：命令跟踪器显示单元170显示关于原点或具有已知空间特性的其他视角而具有标称外观的基准符号，使得可以确定当前空间特性（例如，类似于上文参考图2和3所描述的功能）。

在步骤610中，由跟踪器控制单元140针对下一帧或时间周期确定用户的空间预测。在步骤615中，生成显示命令来在跟踪器显示单元170上显示至少针对与先前基准符号不同的一些帧或时间周期的基准标记。在一个示例中，所显示的基准符号为使得基准符号的标称外观来自空间预测的视角。

在步骤620中，由相机单元160捕获基准符号的图像。在步骤625中，对基准符号的所捕获的外观进行分析（例如，与标称外观相比较），以便确定用户的空间特性。在步骤630中，NTE驱动单元130基于空间特性生成用于结构显示单元120的显示命令，使得用户可以在适当位置查看所显示的符号体系。

随后，方法600返回到步骤605，使得跟踪器控制单元140继续主动管理基准符号的外观并且确定经更新的用户空间特性。

虽然图2-5描绘了基准符号的一个示例，其中基于跟踪的空间特性来有利地修改符号，可以提供许多其他类型的基准符号并且将其用于不同情境中。图7是在示例性实施例中实现以促进直接特征检测的基准符号700。在图7中，基准符号700是嵌套的一对旋转实线方形，或者更通常地，是嵌套的一对（或更多个）旋转基准符号。目标线条r1、r2、c1、c2表示相机图像内所选择的、固定的各个像素行和像素列。当接收到图像时，NTE跟踪器控制单元140识别线条r1、r2、c1、c2的交叉点a-p以及基准符号700的方形中的一个或多个，其可以通过下述方式来以相对简单的方式完成：在期望的邻近区中查找目标线条r1、r2、c1、c2以沿着那些行和列定位图像亮度上的峰值。如果量化误差或散焦是一种顾虑，那些量化误差或散焦可以通过简单的局部加权求和技术来减轻。当r1、r2、c1、c2是预先确定的而不是被测量的时，该基本示例中的结果是与交叉点相关联的一组多达十六个测量值。根据这组值，可以提取六个自由度，即使显示器上没有点在h和v两者中被独特地表征。并非针对网格交叉进行2D搜索，或者调用三角函数来跟踪斜线或曲线，而是维持诸如这样的关系允许要被代替使用的简单线性搜索。

可以使用如先前描述的类似的方法来完成将值r1、r2、c1、c2和a-p转换成跟踪的空间特性。例如，可以通过针对对应两条线的交叉点简单地求解来容易地定位和表征符号700的每个方形的每个角。穿过点a和h的线条将与穿过b和c的线条相交以得到由相机单元160捕获的符号700中的最上角。根据八个角或者其足够的子集，要被跟踪的空间特性可以被求解，无论是通过对应优值方程的非线性最小二乘最小化、以代数方式还是其他此类方法。

逐帧调整基准符号作为空间特性改变的能力再一次在优化性能上提供了灵活性。如此，在生成基准符号期间，明显的取向、（一个或多个）角度、大小和其他方面可以如期望那样而被维持为视角改变，以使得要求NET跟踪器控制单元140来仅寻找与预期值的偏差，甚至如果移动效果逐帧是足够小的，则可能使用线性或二次近似来处理事情。符号内的方形或其他特征的数量可以如期望那样而动态地变化。另外的变化包括调整线条的斜率来改变测试点的相对方向灵敏度。当成像传感器分辨率增加时，针对数据传送和分析所需要的信号带宽也增加。本文所描述的方法允许着重于相机单元160的视场或覆盖面积内的具体关注面积或区域。利用许多相机传感器，这使得能够实现以比当更大面积必须被捕获和分析时显著更高的帧率下的操作。连同简单化的特征检测和处理一起，所确定的空间特性的图像捕获和可用性之间的延迟或延时可以被保持到最小值。

图8是根据另一个示例性实施例的NTE系统800的部分的功能框图。除非另行指出，NTE系统800类似于图1的NTE系统100，包括诸如结构显示单元120、NTE驱动单元130、NTE跟踪器控制单元140以及形成NTE系统800的部分但未在图8中描绘的一个或多个数据源180之类的元件。在图8中，相机单元860是关于操作环境102静止的，并且跟踪器显示单元870被安装在NTE结构110上，并且因此关于NTE显示单元120静止。NTE结构110的空间特性类似于相机单元160和跟踪器显示单元170的先前所描述的情况（除了颠倒的关系）而被跟踪。显示单元870通常是小型和轻量的，但是使用精确空间光调制器/显示器再一次在特征大小和精确度、线性度以及基于NTE结构110的空间特性或其他情境相关参数调整基准符号的能力方面提供了相比分立设备或被动基准标记的显著优点。在图8的实施例中，跟踪器显示单元870底部填充相机单元860的视场865。优选的是，相机单元860是允许对所捕获图像进行关注面积或区域采样的高分辨率相机。

与图8相关联的另一个实施例包括与相机单元860和跟踪器显示单元870相结合而安装到NTE结构110的惯性测量单元（IMU）890，以形成有时被称为混合光学跟踪器系统的系统。在该混合系统的实施例中，针对IMU 890，相机860和显示单元870被用在“快照”真实化模式中，如在美国专利No. 9,489,045中所描述的，该专利通过引用结合于本文。在该实施例中，如在本领域公知的，相机单元860优选地使用全局快门模式（与滚转快门模式相对而言）并且生成基准符号体系来周期性地使得能够实现对足够细节的快速或“快照”收集以产生空间特性的非常精确的确定，以便与同步化的基于IMU的结果相比较，其中两个同步化的测量结果之间的任何偏差将被用作IMU漂移或其他潜在误差源的校正中的输入。这种高精确度确定可以具有较高延迟但是与操作的快照真实化模式相兼容。在其他时候，例如在高精确度快照捕获的图像之间，基准符号体系可以被简化或以其他方式调整以支持简单化的基准图案识别以及由此支持减少的延迟。在一个这样的实施例中，预测模块144被用于预测跟踪器显示单元870何时将出现在相机单元860的视场865的中心附近，光学分辨率和精确度在何处被预期为最优，以及在那时发起快照真实化模式。

在图8的实施例中，相机单元160和860与它们相关联的跟踪器显示单元170和870一起结合使用。这通过使用多个有利点来支持增加的精确度。可以基于一个或多个相机是否是活动的以及是否能够捕获所显示的符号体系来调整基准符号体系。当两者都正有效地捕获它们的对应跟踪器显示单元的图像时，用于一个（例如，显示单元170）的基准符号体系可以例如针对灵敏度而被优化到角空间特性，并且用于显示单元870的基准符号体系可以被修整以强调平移空间特性，使得所述组合提供最优的总体精确度和延迟。在其他实施例中，包括附加的相机单元和跟踪器显示单元来增强可靠性、精确度以及跟踪范围。

使用平板显示器来提供可调整的基准符号带来如由迄今为止所描述的实施例所例示的许多潜在的益处。上文所描述的可以与情境相关的符号体系一起使用的附加元件在下文参照图9-12来呈现。特别地，图9-12描绘了可以与上文所描述的NTE系统100、800一起使用的光学修改器。一般地，图9-12描绘了相机单元、跟踪器显示单元和光学修改器的示例性相对位置。除非另行指出的，下文所描述的相机单元和跟踪器显示单元如上文所描述的那样进行操作，并且出于清楚性而省略了对相关联的NTE系统的其他部件的描述。

现在参照图9，示例性实施例包括跟踪器显示单元970和相机单元960之间的光学修改器976。如本文中所使用的，术语“光学修改器”被定义为相对于显示单元（例如，显示单元970）固定的一个或多个光学元件，其当基准符号被相机单元（例如，相机单元960）捕获时改变基准符号的表观外观。形成“光学修改器”的（一个或多个）光学元件可以是折射的、反射的或其组合。在图9的实施例中，光学修改器976是具有由折射材料分离的平行表面的折射元件，所述折射材料诸如是玻璃（具有折射率 n > 1），例如光学平面或具有零光焦度的透镜。光学修改器976的效果是引入附加效果（例如位置上的表观移位），其随着相对于彼此的被跟踪的结构的空间特性而变化。如示出的，光学修改器976的存在对基准点974的表观位置没有影响，但是折射效应在基准点988的位置中引起表观移位，使其看起来相机单元960在该情况下似乎在基准点978处。类似地，如果相机单元960直接从点988出来，则其将是将表现为移位的点974。

透明显示基板中的折射效应已经在上文作为可能的误差源而被提及，但是图9 的实施例示出这些折射效应实际上可以利用跟踪器显示单元970以及由光学修改器976例示的厚基板来提供有用数据（诸如所描绘的）。光学修改器976可以可选地覆盖整个跟踪器显示单元区域，或者如在图9中图示的，可以仅具有部分覆盖区。光学射线982和984在不穿过光学修改器976的情况下从显示器970直接行进到相机960。已知几何结构使得能够实现要被包括在用于对图像数据进行预处理和后处理的任何算法中的那些差异，并且可以被用于改善检测小的六自由度改变的能力。作为示例，插图992描绘了包括两个正交线条994的基准符号可以如何被相机单元960捕获。在修改器976外，线条被直接捕获，但是在修改器976存在的情况下，线条被移位，类似于从点988移位到点978。详细的移位可以采用许多形式，既取决于基准符号又取决于空间特性。特别地，可以利用调整基准符号的能力来简化分析、增强精确度和准确度、降低计算复杂性、或者其组合。

在图10中描绘了另一个实施例，其中提供非球面透镜作为光学修改器1076。在光学修改器1076和跟踪器显示单元1070之间引入空气间隙。光学修改器的透镜的光焦度放大了空间特性的影响。通过对分离进行选择（非常像利用常规放大镜）例如在显示位置1072或1074处放置显示单元1070，可以选择利用给定透镜可实现的放大。如示出的，相机单元1060基本上被设置在无限焦距处，其中对应的光射线束1086均包括平行射线。可以根据折射或修改的射线束与位置1074、1072处的显示相交之处与显示单元1070位置的比较来看到相对放大。在良好校正的成像透镜作为修改器1076的情况下，显示单元1070可以起到准直的显示器的作用，根据该准直的显示器由相机单元1060捕获准直的基准符号。由于基准符号的放大，潜在的（一个或多个）基准符号中的至少一部分可以对相机单元1060是不可见的。这在示出的配置中将是针对基准位置而非一般位置1088的情况。如此，调整（一个或多个）符号的能力与预测模块144相结合允许符号被放置在放大图像的可访问部分中。所描绘的实施例还包括射线束1082和1084，其绕过光学修改器1076，但这不意图是限制性的。

图10的插图1092类似地示出了由相机单元1060捕获的基准符号的示例性视图。正交线1094被直接捕获，并且对应的修改线条1096也被捕获。线条之间的有效偏移强烈取决于空间特性，并且因此对基准符号的仔细成形和定位是重要的并且取决于预测的空间特性。

在图11中示出另一个光学修改器1176。光学修改器1176类似于图9的平面光学修改器976，但是此处，考虑了来自平行平面的多重反射。修改器1176的表面可以是未涂覆的或者可选地具有在表面处的反射与透射之间调节平衡的涂层。可以通过使用空气间隔的部分反射镜或分束器来实现类似的效果，但是图11假定折射率n > 1。与图9一样，基准位置1174不被光学元件1176影响。由于光学射线1186行进到相机单元1160，基准位置1188在该情况下导致多个表观基准位置（例如，位置1178和1176）。射线1182和1184的可选包括再一次添加了用于在存在光学修改器1176的情况下对空间特性的影响进行检测和量化的增强能力。

图12中示出了另一个示例性实施例。在这里，光学修改器1276包括被放置在关于跟踪器显示单元1270的固定角度处的两个镜面反射镜。并非相机单元1260检测基准符号1288的单个图像，而是基准符号1288的多个图像经由光学射线1286而被捕获。在基准符号1288位置处由显示单元1270发射或调制的光包括由光学修改器1276反射的光，并且针对给出的配置导致了位置1278处的符号1288的表观拷贝。与图9-11一样，这些修改的和/或附加的点提供了附加信息，利用所述附加信息来预处理或后处理捕获结果以确定空间特性。涉及到光学修改器的每个实施例有效地引入了超越仅从平面跟踪器显示单元970、1070、1170和1270可得的数据，并且增强了在这样的多自由度跟踪场景中辨别小改变的能力。在该实施例中修改基准符号的能力允许系统放置（一个或多个）基准符号1288以使得多个图像1278被呈现并且对相机单元1260是可见的。可以将线和曲线结合成基准标记1288，并且捕获和分析符号1288与图像1278之间的关系。

已经呈现了若干类型的光学修改器，包括折射元件、反射元件以及组合元件，以及具有光焦度和不具有光焦度的修改器，但是这些不意图是限制性的。可以使用多个单元透镜和其他配置。可以使用加光焦度的反射镜系统，诸如在光学平面内引入弯曲的反射镜表面来制成被称为“薄饼窗口”准直器的元件。这些实施例中的每个进一步扩展了跟踪器系统的能力并且可以有力地利用通过使用跟踪器显示功能性和相关模块所提供的能力。

本文中所描述的系统和方法提供了高精确度、高速、低延迟和相对轻量的跟踪系统，其使得能够实现例如NTE显示设备上的显示元件的精确和无抖动的配准和渲染。本文中所讨论的示例性实施例提供了相对高的精确度和可重复性，由此另外导致了由对在现行基础上的不准确性的识别和补偿所产生的增加的准确性。通常，使用主动矩阵显示器使得能够实现增强的精确度、稳定性和可见性。例如，结合对基准符号的主动管理，这样的显示器使得能够实现基准特性的分离，该基准特性比与检测相关联的不确定性显著更大，因此使得能够实现具有更小分离的高精确度。

本文中所描述的示例性实施例利用情境特定的基准符号来跟踪第一对象相对于第二对象的取向和位置（例如，对象关于平台）。该方法提供了高精确度、非常低的延迟（例如，亚毫秒）、减小的形状因子、简化的安装、金属结构的容限以及减少的成本。示例性实施例包括向移动执行器提供移动的反馈、显示包括符号和图形的信息，所述图形诸如是共形图像，其在由飞行员佩戴的近眼式显示器上并且基于诸如远洋轮中的显示器之类的显示系统、由场外控制者（例如，地面控制者）使用的显示器以及飞行员的头部的移动，基于用户头部或者可能地远程飞行员的头部的移动。许多其他显示应用也可以从跟踪能力中获益。实施例使得能够实现对基准符号的连续调整以优化跟踪器性能，例如关于简单性质检测、简单化的分析、平移灵敏度对比取向灵敏度、冗余、方向灵敏度等等。

本领域技术人员将理解的是结合本文中所公开的实施例所描述的各种说明性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或二者的组合。上文在功能和/或逻辑区部件（或模块）以及各种处理步骤方面描述了一些实施例和实现方式。然而，应理解的是，这样的块部件（或模块）可以通过被配置成执行具体功能的任何数量的硬件、软件和/或固件部件来实现。为了清晰地说明硬件和软件的这种可互换性，已经在上文一般地按照其功能性描述了各种说明性部件、块、模块、电路和步骤。这样的功能性是被实现为硬件还是软件取决于强加在总体系统上的特定的应用和设计约束。技术人员可以针对每个特定应用以不同方式实现所描述的功能性，但是这样的实现决策不应被解释为引起与本发明的范围的偏离。例如，系统或部件的实施例可以采用各种集成电路部件（例如，存储器元件、数字信号处理元件、逻辑元件、查找表等等），其可以在一个或多个微处理器或其他控制设备的控制下实行各种各样的功能。此外，本领域技术人员将理解的是，本文中所描述的实施例仅是示例性实现方式。

在本文档中，诸如第一和第二等等的关系术语可以仅用于将一个实体或动作与另一个实体或动作进行区分，而不一定要求或暗示在这样的实体或动作之间的任何实际的这样的关系或顺序。诸如“第一”、“第二”、“第三”等的数值序数仅表示多个中的不同个体，并且不暗示任何次序或顺序，除非由权利要求语言所具体限定。任何权利要求中的文本的顺序不暗示过程步骤必须根据这样的顺序以时间或逻辑次序来实行，除非其由权利要求的语言具体限定。过程步骤可以在不偏离本发明范围的情况下以任何次序互换，只要这样的互换不与权利要求语言矛盾并且在逻辑上不是无意义的。

此外，取决于上下文，在描述不同元件之间的关系时使用的诸如“连接”或“耦合到”之类的词语不暗示必须在这些元件之间进行直接的物理连接。例如，两个元件可以通过一个或多个附加元件被物理地、电学地、逻辑地或以任何其他方式彼此连接。

尽管已经在本发明的前述详细描述中呈现了至少一个示例性实施例，但应当理解的是，存在大量的变化。还应当理解的是，一个或多个示例性实施例仅是示例，并且不意图以任何方式限制本发明的范围、可适用性或配置。而是，前述详细描述将为本领域技术人员提供用于实现本发明的示例性实施例的方便路线图。要理解的是，可以在不偏离如在所附权利要求中所阐述的本发明范围的情况下在示例性实施例中所描述的元件的功能和布置上做出各种改变。

Claims (10)

1.一种用于在操作环境内跟踪第一对象的位置和取向的光学跟踪器系统，其包括：

预测模块，其被配置成确定所述第一对象的预测位置和取向作为空间预测；

显示模块，其被耦合到所述预测模块并且被配置成接收所述空间预测，所述显示模块被配置成基于所述空间预测来生成用于基准符号的显示命令；

跟踪器显示单元，其被布置在所述操作环境内并与第一对象分开，所述跟踪器显示单元被耦合到所述预测模块并且被配置成接收所述显示命令，所述跟踪器显示单元被配置成基于所述显示命令来显示基准符号，其中所述跟踪器显示单元是主动矩阵显示设备；

相机单元，其被安装在第一对象上并被配置成捕获显示在所述跟踪器显示单元上的基准符号的图像作为所显示的基准符号的捕获外观；以及

位置确定模块，其被耦合到所述相机单元并且被配置成接收来自所述相机单元的所述基准符号的图像，所述位置确定模块被配置成识别所述基准符号并且基于所显示的基准符号的捕获外观来确定所述第一对象的位置和取向。

2.根据权利要求1所述的光学跟踪器系统，其中在单个基板上形成所述跟踪器显示单元。

3.根据权利要求1所述的光学跟踪器系统，其中所述显示模块被配置成在所述跟踪器显示单元上显示具有来自所述空间预测的视角的标称外观的基准符号。

4.根据权利要求3所述的光学跟踪器系统，其中所述位置确定模块被配置成将所述基准符号的捕获外观与所述标称外观进行比较以确定所述第一对象的位置和取向。

5.根据权利要求1所述的光学跟踪器系统，其中所述位置确定模块被配置成确定具有六个自由度（DOF）的第一对象的位置和取向。

6.根据权利要求1所述的光学跟踪器系统，进一步包括被配置成设置在主体头部上作为所述第一对象的结构。

7.根据权利要求1所述的光学跟踪器系统，进一步包括被配置成设置在主体头部上作为所述第一对象的结构。

8.根据权利要求1所述的光学跟踪器系统，其中所述显示模块被配置成在所述跟踪器显示单元上将所述基准符号显示为具有非对称特征的交叉线的网格。

9.根据权利要求1所述的光学跟踪器系统，其中所述显示模块被配置成在所述跟踪器显示单元上将所述基准符号显示为嵌套的一对旋转基准符号。

10.根据权利要求1所述的光学跟踪器系统，进一步包括被插入在所述跟踪器显示单元和所述相机单元之间的光学修改器，其被配置成针对所述相机单元的图像来改变所述基准符号的外观，以及其中所述光学修改器包括折射元件、非球面透镜、多个平行反射表面元件或多个镜面反射镜中的至少一个。

Images