CN111417916B - 多层查看系统和方法 - Google Patents

Abstract

多层查看系统包括静止成像仪和光束投射器，用于将物理层标记投射到物体的区域上。头戴件包括增强现实显示器，其足够透明以使佩戴头戴件的用户能够通过显示器直接查看所述物体，并显示叠加在所述物体上的注释。处理器被配置为接收相对于目标的选定位置以显示所述注释，通过识别获取的图像中的标记或物体上的标记的图像确定增强现实显示器的方向，计算用于在增强现实显示器上显示注释的显示位置，使得注释可以被用户感知为显示在选定定位，并且在计算出的显示位置处显示所述注释。

Description

多层查看系统和方法

技术领域

本发明涉及多层查看系统和方法

背景技术

复杂设备或机械的维护、组装、服务或操作通常需要两个人工操作员之间的协作：位于“现场”的本地操作员，也就是说，物理上位于设备附近并且可以手动操纵设备的零件，以及可位于远程地点而无法直接与设备进行交互的远程操作员。两名操作员可能具有不同的专业知识水平，例如机器或设备件的操作员，或与专家(例如在远程地点)一起工作的在客户现场维修设备的本地技术人员，该专家帮助、指导、监督和/或批准操作。或者，两个操作员可以具有相同的专业知识水平(可能在专业知识的互补领域)，针对设备中的复杂问题执行联合故障排除会话(或头脑风暴)。

例如，技术人员(或现场操作员)可能会维修故障已停止产生的机械。技术人员可以尝试进行故障排除和维修程序，但可能需要来自位于远程呼叫中心的技术专家协助。在另一个实例中，本地技术人员可能需要执行需要高级人员批准的复杂维修。在获得此类批准之前，可能需要当地技术人员向例如远程监督员演示故障。在又一个实例中，新手操作员可能需要位于不同地点的经验丰富的操作员的远程指导。

目前，可以通过图像和视频进行通信来进行此类联合维护和修理。通信可以使参与者共享信息，例如设备视图、辅助材料(例如图表和说明)以及口头交流解释和指导。例如，现场操作员可以将设备图像发送给远程专家。远程专家可以向本地操作员提供口头指导和建议，其可以辅以例如图解说明和照片等支持性材料。如果本地操作员和远程专家之间在语言或文化上存在差异，则这种指导可能既耗时又困难。另外，人机工程学或其他约束条件，例如视频、音频或指示设备的处理，不良照明、噪声或其他因素等环境因素，可能会增加此过程的难度。

在这种联合维护、修理或操作期间，使远程参与者能够使用设备的在线远程显示视频在设备上标记定位通常非常有用，而本地参与者可以查看覆盖在设备上的该标记。例如，远程专家可以标记特定目标(例如，旋钮、螺钉、开关、电线或期望部件)，并指示现场参与者或操作员对目标执行特定操作(例如，转动旋钮、打开螺钉、操作开关、连接或断开电线或其他操作)。现场参与者可以使用增强现实(AR)显示器(例如，AR眼镜或其他透视式AR显示器)，而远程专家使用来自现场摄像头(例如，其安装在AR护目镜上)的视频产生标记以指定设备上的特定位置。然后，增强现实系统将在AR显示器上向现场操作员显示标记的图像，以使标记覆盖在“现实世界”目标上。例如，远程专家可以标记旋钮，该旋钮是设备的一部分，并且将在特定方向上旋转。使用AR系统，现场技术人员可以在显示器上看到覆盖或指向所讨论的旋钮的标记，可能带有要执行的操作的一些描述，例如旋钮的旋转方向。

AR的这种使用可能需要在AR层显示器上显示的标记与实际目标设备的定位之间精确对齐。远程专家产生的标记在现场操作人员看来应该覆盖目标设备，并且可以预期高精度地指向目标。即使轻微的未对准也会导致在设备的错误部分上执行操作。在AR系统中，以高精度获得这种对准需要复杂的过程，该过程通常考虑到AR显示器相对于设备的精确位置，以及AR显示器相对于用户的眼睛和/或瞳孔的相对位置。这样精确对准可能需要复杂的校准程序，和对准的精度可随时间下降。

发明内容

因此，根据本发明的实施例，提供了一种多层查看系统，其包括：静止成像仪，其被配置为获取具有包括目标物体的视野的图像；光束投射器，其可控制以将一个或多个物理层标记投射到所述目标物体的目标区域上；头戴件，其包括增强现实显示器和配置成获取增强现实显示器前面的区域的场景图像的场景成像仪，或者配置成向增强现实显示器前面投射头戴件光束的头戴件光束投射器，所述增强现实显示器足够透明，以使戴着头戴件的本地用户可以通过增强现实显示器直接查看所述目标物体，并配置为显示叠加在直接查看的目标物体上的注释，以便本地用户可以看到；和处理器，其配置为：接收相对于目标区域的选定位置以显示所述注释；通过识别一个或多个物理层标记在场景图像中的图像，或通过识别一个或多个物理层标记以及头戴件光束形成的标记在由静止成像仪获取的图像中的图像，确定增强现实显示器的方向；计算用于在增强现实显示器上显示注释的显示定位位置，以使得当相对于目标区域在选定定位位置处显示时本地用户可感知所述注释；和在增强现实显示器上在计算出的显示位置处显示所述注释。

此外，根据本发明的实施例，可以通过用户控件的操作来控制光束投射器。

此外，根据本发明的实施例，用户控件使远程用户能够通过目标区域在由静止成像仪获取的目标物体的图像上的指示来控制光束投射器。

此外，根据本发明的实施例，用户控件被配置为通过选定位置在由静止成像仪获取的目标物体的图像上的指示使得能够输入选定位置。

此外，根据本发明的实施例，光束投射器包括激光器。

此外，根据本发明的实施例，光束投射器被配置为以图案的形式投射物理层标记。

此外，根据本发明的实施例，静止成像仪的视野足够大，以完全覆盖目标物体的至少一个区域，物理层标记可以被比其更大的光束投射器投射到该区域上，并且包括场景成像仪的视野。

此外，根据本发明的实施例，光束投射器还被配置为在目标物体的表面上扫描一个或多个物理层标记。

此外，根据本发明的实施例，处理器还被配置为计算表面的倾斜角。

此外，根据本发明的实施例，该系统包括远程站。

此外，根据本发明的实施例，远程站包括远程显示器和用户控件。

此外，根据本发明的实施例，静止成像仪和光束投射器被结合到单一静止单元中。

此外，根据本发明的实施例，该系统包括至少一个附加成像仪或至少一个附加投射器。

此外，根据本发明的实施例，处理器还被配置为操作至少一个附加成像仪以获取目标物体的被识别为对静止成像仪不可见的区域的图像，或者操作至少一个附加投射器以将标记投射在目标物体的被识别为光束投射器所发射的光束无法接近的区域上。

根据本发明的实施例，还提供了一种操作查看系统的方法，该查看系统包括静止成像仪、光束投射器和头戴件，所述头戴件包括增强现实显示器和配置成获取增强现实显示器前面的区域的场景图像的场景成像仪，或者配置成向增强现实显示器前面投射头戴件光束的头戴件光束投射器，所述增强现实显示器足够透明，以使戴着头戴件的本地用户可以通过增强现实显示器直接查看所述目标物体，并配置为显示叠加在直接查看的目标物体上的可见的注释，所述方法包括：使用场景成像仪在一个或多个物理层标记通过光束投射器投射到目标物体的目标区域上时获取目标物体的场景图像，或者使用静止成像仪获取包含一个或多个物理层标记和由头戴件光束形成的标记的图像；接收相对于目标区域的选定位置以显示所述注释；识别一个或多个物理层标记在获取的场景图像中的图像，或一个或多个物理层标记以及由头戴件光束形成的标记的图像；计算用于在增强现实显示器上显示注释的显示定位位置，以使得当相对于目标区域在选定定位处显示时本地用户可感知所述注释；和在增强现实显示器上在计算出的显示位置处显示所述注释。

此外，根据本发明的实施例，获取目标物体的场景图像包括：当在目标物体的表面上扫描一个或多个物理层标记的物理层标记时，连续获取多个场景图像。

此外，根据本发明的实施例，该方法包括通过识别在连续获取的场景图像内的扫描的物理层标记的图像的位置计算表面的倾斜角。

此外，根据本发明的实施例，在使用场景成像仪进行获取之前执行配准校准过程。

此外，根据本发明的实施例，配准校准过程包括操作光束投射器以将一个或多个校准物理层标记投射到目标物体上。

此外，根据本发明的实施例，配准校准过程还包括在增强现实显示器上显示校准注释，使得该注释被正在查看一个或多个校准物理层标记中的标记的头戴件的用户视为叠加在该标记上。

附图说明

在说明书的结论部分特别指出并清楚地要求保护被视为本发明的主题。然而，当结合附图阅读时，通过参考以下详细描述，可以最好地理解本发明的组织和操作方法及其目的、特征和优点，其中：

图1示意性地示出了具有可戴式头戴件的多层查看系统；

图2A示意性地示出了具有静止成像仪201的多层查看系统；

图2B示意性地示出了具有第二方向性照明源的多层查看系统；

图3示意性地示出了根据本发明实施例的多层查看系统；和

图4是描述根据本发明实施例的多层查看系统的操作方法的流程图。

应当理解，为了简单和清楚地说明，图中所示元件不一定按比例绘制。例如，为清楚起见，一些元件的尺寸可能相对于其它元件放大。此外，在认为适当的情况下，参考数字可以在附图中重复以指示对应或类似的元件。

具体实施方式

在以下详细描述中，阐述了许多具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践本发明。在其它情况下，没有详细描述众所周知的方法、程序和组件、模块、单元和/或电路，以免使本发明含糊不清。关于一个实施例描述的特征或元件可以与关于其他实施例描述的特征或元件组合。为了清楚起见，可以不重复相同或相似特征或元件的讨论。

尽管本发明的实施例在这方面不受限制，但是利用诸如“处理”、“计算”、“运算”、“确定”、“建立”、“分析”、“检查”之类的术语的讨论可以指将计算机寄存器和/或存储器中的表示为物理(例如电子)量的数据操纵和/或转换为类似地表示为计算机寄存器和/或存储器或可以存储用于执行操作和/或处理的指令的其他信息非暂时性存储介质中的物理量的其他数据的计算机、计算平台、计算系统或其他电子计算设备的操作和/或处理。尽管本发明的实施例在这方面不受限制，但是如本文所用的术语“复数个”和“众多”可包括例如“多个”或“两个或更多个”。在整个说明书中可以使用术语“多个”或“众多”来描述两个或更多个组件、设备、元件、单元、参数等。除非明确说明，否则本文描述的方法实施例不限于特定顺序或序列。另外，一些所描述的方法实施例或其元素可以同时、在同一时间点或并行发生或执行。

根据本发明的实施例，多层增强现实(AR)系统被配置为使远程用户能够标记目标位置并添加与目标物体有关的附加信息，该附加信息通过透视增强现实显示器对于本地用户是可见的。该信息可以包括直接在目标物体上的物理层标记(例如，通过投射的光束)，以及“虚拟层”，其包括在增强现实显示器上显示的注释或其他标记(此处将所有此类标记称为注释)并且可以被本地用户视为叠加在通过AR显示器(例如，AR护目镜或其他平视显示器)查看的目标物体的直接视图上。

远程用户可位于远程用户无法直接物理访问目标物体的远程地点(例如，在另一座建筑物、城市、国家或其他地方)，而不管远程地点到目标物体的实际物理距离如何(例如，可能与目标物体位于相邻房间的附近，或者甚至位于同一房间内的单独位置)。

目标物体可以包括例如设备、工件、人或动物的身体、植物、样品(例如，生物、化学、地质或其他类型的样品)，或可以由远程用户标记为由本地用户查看的其他目标物体。本地用户通常位于目标设备的地点处，以便可以直接访问(例如，通过直接物理接触或使用工具)目标物体。

多层查看系统包括至少一个静止成像仪，其向远程观看者提供目标区域的图像(例如，平移-倾斜-变焦相机、网络相机或其他类型的相机)；能够投射物理层标记和/或图像的远程控制的投射器；增强现实显示器，其通常包括增强现实投射器，以将图像投射在位于本地用户的两眼和目标物体之间的透明显示器(例如，AR护目镜、平视显示器或其他透明显示器)上；以及处理器，其被配置为将由增强现实显示器显示的信息与目标物体对准并控制投射器的移动。

通常，系统可包括一个或多个静止单元，每个静止单元包括一个或多个成像仪(在本文中均称为静止成像仪)和投射器。每个单元通常包括控制器(例如，其包括处理器、到处理器的通信链路、控制电路或其他控制器组件中的一个或多个)。每个静止成像仪的视野通常足够大，以完全覆盖包括目标物体并且可以由至少一个光束投射器标记的空间区域。单元的控制器可以被配置为使用来自单元的静止成像仪的图像在闭环中协调射束投射器和静止成像仪的操作。

通常，该系统包括头戴式头戴件单元(其包括增强现实显示器)，其通常包括场景成像仪，该场景成像仪被配置为对在本地用户正前方(在凝视方向上)的场景成像。在一些情况下，头戴件可以包括光束投射器(例如，作为场景成像仪的补充或替代场景成像仪)，其被配置为将光束直接投射在头戴件的前面(例如，在凝视方向上)。

每个静止单元位于目标附近，以成像并投射到目标的至少一部分。当包括多个静止单元时，最佳设置可以包括各种静止单元的放置，使得不同的静止成像仪从不同的方向观察目标物体(并从不同的方向将光束投射到目标物体上)。因此，目标物体的与一个静止单元没有直接的视线的部分可以被另一位置的附加静止单元覆盖。通常，至少一个静止单元安装在固定的位置(例如，除非移动，否则保持在适当的位置)，例如在三脚架或架子上，放在桌子、手推车或其他家具上，在架子、壁架或其他固定结构上，安装在目标的墙壁、天花板或可安装的固定部分上，或另外安装在无法自动移动的结构上。一个或多个附加静止单元可以安装在本地用户或另一人的身体的一部分上(例如，肩膀、躯干、手臂或其他部分)。

成像仪(静止或头戴式)可以包括例如摄像机、配置为获取连续图像的摄像机或其他类型的成像设备。成像仪可以被配置为获取可见图像、红外图像或另一光谱范围内的图像。在一些实例中，成像仪可以包括双目对或两个或更多个成像仪的其他组合。

多层查看系统还可包括头戴式成像仪(在本文中称为“场景成像仪”)，其佩戴在位于目标附近的本地用户的头部上。通常，头戴式成像仪被配置为获取在本地用户的头部前面的视野的图像。因此，头戴式成像仪的视野可能随着本地用户的头部转动而改变。头戴式成像仪的视野可以近似于本地用户在任何给定运动下观看的当前视野。但是，由于当前视野还取决于本地用户的眼睛相对于本地用户头部的朝向，因此当前视野可能与头戴式成像仪的视野不完全一致。通常，头戴式成像仪的视野足够大，以便涵盖当前视野，而与本地用户眼睛的方向无关。

如本文中所使用的，当摄像机安装在不与目标位置处的本地用户或其他人一起移动的固定装置上时，其被认为是静止的。安装在可旋转或可平移的底座上的成像仪也被认为是静止的，该底座可独立于本地用户的运动而移动。

远程用户可以操作多层查看系统的远程站。例如，远程站可以包括远程显示器，远程用户可以通过该远程显示器观看由静止成像仪、头戴式成像仪或两者中的一个或多个采集的图像。远程站包括一个或多个控件，该控件使远程用户能够指示目标图像的区域，或以固定坐标指示目标上的定位，以进行标记以供本地用户查看。控件可以使远程用户能够添加注释或以其他方式添加要标记的信息。

多层查看系统包括用于将一个或多个标记直接投射到目标物体的目标区域上的投射器。这种标记在本文中称为物理层标记。例如，投射器可以包括激光器或能够将光束投射到目标物体上的另一照明装置。投射的光束可以包括可见光，或者可以包括不可见光(例如，红外光)，本地用户可以通过头戴式成像仪(和下面描述的增强现实显示器)看到不可见光。在一些实例中，投射器可以被配置为以光栅图案或其他图案被快速扫描。(如本文中所使用的，快速扫描是指以这样的速率进行扫描，即由于视觉的持久性，观看者能够感知到具有图案的完整扫描光束，作为固定形式的稳定显示)。在一些这样的实例中，光束可以以勾勒或以其他方式提供目标区域的一维或二维轮廓或其他指示的图案进行扫描。在一些这样的实例中，投射的光束的强度可以与束的扫描串联地进行调制，以便照亮目标区域或形成更复杂的标记(例如，带有注释，或者比区域的简单轮廓更复杂，以将目标区域与视野中的其他区域区分开)。

在一些实例中，投射器可以由远程用户操作(例如，以向本地用户提供指导或向本地用户阐明查询)。在一些实例中，投射器可以由远程用户或本地用户操作(例如，用于将远程用户的注意力吸引到标记的位置)。在一些实例中，可以提供单独的投射器以供本地用户和远程用户操作。在一些实例中，由两个或更多个不同的投射器产生的光束可以通过其颜色、光斑形状或其他方式彼此区分。

向本地用户提供增强现实显示器。通常，增强现实显示器佩戴在本地用户的头上，并且可以是具有头戴式成像仪的单一头戴式单元的一部分。增强现实显示器被配置为显示由本地用户观看的图像，该图像叠加在由本地用户的眼睛观看的场景上。通常，增强现实显示器包括透明或半透明的护目镜，本地用户可通过该护目镜直接观察目标物体(或任何其他场景)(仅通过光学系统的直接视线，而无需任何中间将光转换为电子信号)，并且可以在上面投射或以其他方式显示附加标记(例如，以字母数字文本、符号、轮廓、突出显示或其他标记的形式)，而不会完全遮挡本地用户对目标物体的直接观看。这种标记在本文中称为增强现实层标记。

多层查看系统的处理器(例如，合并到增强现实显示器中或其他地方)可以被配置为将在增强现实显示器上显示的任何信息与目标物体对准。例如，注释可以包括对目标区域或目标物体的组成部分的标识；与对目标区域中的物体进行检查或操作(使物体例如旋钮或螺栓旋转，向物体施加力、打开盖子、施加润滑或其他物质、进行外科手术或其他医疗程序、采样或其他修改或操作)有关的显示的指令或符号(例如，指示运动或旋转的方向)；目标物体的组件的颜色编码或其他注释。对准可以确保注释位于增强现实显示器上的本地用户所查看的预期位置处。

例如，处理器可以被配置为利用具有由头戴式成像仪获取的图像的目标物体的物理层标记来实现预期的对准。例如，物理层标记可以由用户控制以标记目标物体上的特定目标位置。通常，远程用户可以选择由静止成像仪获取的远程显示图像上的位置。远程用户可以在同一显示器上指示将在增强现实显示器上显示的特定注释的位置。通常，多层查看系统可以应用已知技术(例如，图像处理技术)来确定头戴式成像仪的视野在静止成像仪的通常较大视野内的位置。处理器可以被配置为应用图像处理技术来识别由头戴式成像仪获取的物理层标记的图像。处理器然后可以被配置为在相对于成像的物理层标记的位置(例如，如由用户在静止成像仪的视野显示器上指示的)将注释施加到增强现实层。因此，所显示的注释将被显示在相对于物理层标记并因此相对于目标物体的预期位置处。

替代地或另外地，与具有增强现实显示器的头戴件联接的头戴件投射器可以投射指示头戴件方向的光束。头戴件投射器投射的光束可以用其他头戴件标记来标记目标物体(物理)。头戴件标记相对于由(固定)光束投射器投射(例如，如静止成像仪所成像)的物理层标记的位置可以指示头戴件相对于一个或多个静止物体(例如，目标物体或静止成像仪)的方向。例如，头戴件标记可以通过其颜色、形状、极化或其他特性在获取的图像中与物理层标记区分开。

可以注意到，注释和物理层标记之间的对准的精度可以被连续地调节，以便补偿相对于AR显示器的眼睛旋转。例如，在初始校准过程期间，例如，在开始对目标物体进行工作之前，可以确定本地用户的眼睛的凝视方向与物理层标记之间的对准。例如，可以要求本地用户在笔直向前看(例如，眼睛直接看脸的前方)标记的同时观看并面对物理层标记。同时，增强现实显示器可以被操作为以标记的形式显示注释。可以调整注释标记的位置(例如，通过本地用户操作的控件或通过与远程用户的通信)，直到注释标记被本地用户看见为与物理层标记一致。

替代地或另外地，当物理层标记被投射在目标物体上的不同位置(例如，在目标物体的中心和边缘的点)时，可以要求本地用户面对目标物体，例如本地用户的脸部和头戴件保持静止。可以分析标记在目标物体上(例如，在静止成像仪获取的图像中)和在头戴式场景成像仪获取的图像中的定位，以产生从相对于目标物体固定的坐标系(静止坐标，例如，相对于全局或局部坐标系定义的)和相对于头戴式场景成像仪定义的可移动坐标系的变换。

增加在初始对准校准期间观察到的物理层标记中点的数量，或者物理层标记的点之间的间隔，可导致初始对准校准的准确性提高。

在初始对准之后，系统可以根据本地用户的眼睛的计算出的方向继续调整注释的放置。例如，注释可以旨在被显示为叠加在由物理层标记所标记的目标物体的目标区域上而可见。可以假设本地用户当前正在查看物理层标记(例如，使得该注释被认为对本地用户有用)。

例如，可以应用标准图像分析技术来识别头戴式场景成像仪以及因此头戴件的视野的方向(例如，相对于目标物体)。替代地或另外地，当头戴式单元包括光束投射器时，由头戴式投射器投射的标记的成像定位可以使得能够确定头戴件的方向。(在某些情况下，可以通过安装在本地用户身体上的其他成像仪来促进确定使用头戴件安装的光束投射器的头戴件方向。)

确定头戴件和增强现实显示器的方向后，物理层标记的成像定位(假定本地用户正在观看)与头戴式场景成像仪的方向之间的任何角度间隔可以假设等于本地用户的眼睛相对于头戴式场景成像仪的旋转。在增强现实显示器上显示的注释可以相应地移动。例如，可以将注释显示在基于初始对准校准而计算物理层标记将通过增强现实显示器对本地用户显示的定位处。

物理层标记和增强现实层注释之间的这种对准可以优于其他技术。另外，这种对准可以避免眼瞳跟踪或用于实现这种对准的其他技术的复杂性。

在一些情况下，处理器可以被配置为相对于每个目标区域的光束投射器坐标映射目标物体上的物理层标记的坐标(在静止成像仪的视野中测量)。这可以使物理层标记快速开环运动到目标物体上的新定位。

另外，处理器可以被配置为使用该标记定位图来选择性地照亮或勾勒出目标物体的由远程用户定义或从目标物体的图像(对准到成像仪视野的图像)获得的组件或区域。可以解释连续获取的图像帧内物理层标记区域上的投射器光斑的行进速度，以得出目标物体表面相对于投射器的图像平面(或垂直于图像平面)的方向。方向的这种了解可以被用来进一步提高物理层标记的放置精度，或者用于将用户引导到成像仪当前不可见的目标物体的一部分。在一些情况下，当处理器确定头戴件正面对测试物体、物理层标记或另一特定区域时，处理器可以被配置为播放音频内容(例如口头解释)或其他非可视内容。

图1示意性地示出了具有可戴式头戴件的多层查看系统。多层查看系统110可以允许用于操作目标物体10的至少一个用户的同步目标定位。

在一些实例中，参与者中的至少一个(例如，参与目标物体10的维护的本地或远程用户)可以由计算机化系统代替。例如，计算机化系统可以接收场景的图像，例如通过应用图像处理技术来确定要标记的目标物体10上的位置，并且标记该位置以供人类用户观看。在一些实例中，人类用户可以是本地用户，其在现场由多层查看系统110的计算机化系统生成的目标定位的帮助下手动操作目标物体10。在一些实例中，人类用户可以是远程用户，其远离目标物体10，并且可以在具有来自用于传输目标物体10的图像的照相机的现场计算机系统的目标定位的帮助下在其上进行远程操作(例如远程用户远程操纵机械臂)。

在一些实例中，至少一个参与者或用户可以是物理上在目标物体10上或其附近的本地用户，目的是在目标物体10的目标区域20上执行操作(例如，替换电路板的组件，或进行其他维修或保养)。本地用户可以配备有至少一个具有视野102的成像仪101(例如，摄像机)。在一些实例中，成像仪101可以被配置为捕获包括目标区域20的视野102的图像。在一些实例中，成像仪101可以是本地用户可佩戴的(例如，在头部上)，使得视野102可以对应于手动操作目标物体10的本地用户的眼睛的实际视野。

在一些实例中，本地用户还可以配备有至少一个方向性照射源103(例如，激光源或其他光束源)，其被配置为发射光束104，以指示具有物理层标记107的目标区域20。在一些实例中，方向性照明源103可以由本地用户可佩戴，使得光束104可以对应于本地用户的头部的方向(例如，注视的方向)。因此，物理层标记107可以向其它(例如，远程)用户指示本地用户在目标物体10上的凝视的点。

在一些实例中，成像仪101和/或方向性照明源103可以是可移动的和/或由用户(本地或远程)控制，以便适当地与目标区域20对准。

在一些实例中，多层查看系统110可包括至少一个处理器105，用于接收来自成像仪101的信号，并控制方向性照明源103。在一些实例中，成像仪101和/或方向性照明源103的移动可以由处理器105控制。在一些实例中，处理器105和成像仪101以及方向性照明源103之间的通信可以至少部分地是无线的(例如，经由Wi-Fi和/或蓝牙)。

头戴件106可由本地用户佩戴。头戴件106可至少包括成像仪101，其视野与本地用户的正常视野对准(例如，当用户的眼睛直线注视用户面部的前面时，瞳孔居中定位)，这可以向其他用户提供本地用户凝视的指示。头戴件106还可以包括方向性照明源103(例如，固定到头戴件)，使得用户的头部的移动可导致头戴件106的相应移动，从而使本地用户瞄准光束104，以将物理层标记107置于目标区域20上。方向性照明源103也可以是由远程和本地用户二者可移动的和可控制的。

在一些实例中，处理器105可以被嵌入头戴件106中。在一些实例中，头戴件106可以包括用于与其他设备(例如，无线地)通信的通信模块。在一些实例中，成像仪101和方向性照明源103中的至少一个可以单独地从头戴件106移动。

图2A示意性地示出了具有静止成像仪201的多层查看系统200。静止成像仪201可以由远程用户控制和/或移动，该远程用户辅助正在操作目标物体10的本地用户。在一些实例中，静止成像仪201可以与处理器105和/或与远程服务器通信。例如，成像仪101可以以第一视野102指向目标区域20，而静止成像仪201可以以视野202(例如，比视野102更宽的视野)从不同定位指向目标区域20。例如，操作静止成像仪201的远程用户可以观察目标物体10处的本地用户当前不可见的其他元件。作为另一实例，远程用户可以通过与本地用户的音频通信(例如，经由在头戴件106的专用扬声器)校正光束104的对准，以便精确地将物理层标记107施加到例如目标区域20，并从而指导本地用户的运动。

在一些实例中，当本地操作员正阻挡成像仪101观察目标10时，静止成像仪201可以实现更好(例如，更宽的视野、更稳定或以其他方式优选的)观察目标物体10或目标区域20。例如，远程用户可以使用静止成像仪201以不同的视角观看目标物体10。在一些实例中，远程用户可以同时从成像仪101和静止成像仪201接收图像。在一些实例中，多层查看系统200的不同成像仪可以获取不同光谱带中的图像，例如，一个在可见光中而一个在红外中。在一些实例中，多层查看系统200的成像仪可以被配置为检测注视检测以确定本地用户的注视方向，并且例如，从而引导方向性照明源103。

在一些实例中，多层查看系统的至少一个成像仪可以配备有附加照明单元，以照明目标物体10中未被周围照明照射的部分。

图2B示意性地示出了具有第二方向性照明源203的多层查看系统210。第二方向性照明源203可以由协助正在操作目标物体10的本地用户的远程用户控制(例如，旋转或平移)。例如，远程用户可以控制第二方向性照明源203以瞄准第二光束204，以便在目标物体10上的特定点施加第二物理层标记207。作为另一实例，远程用户可以施加第二物理层标记207以指示由物理层标记107所指示的当前目标区域20是错误的，并指示正确的目标区域20。

在一些实例中，第二方向性照明源203可以被物理地移位并且可以从静止成像仪201单独地控制(例如，通过处理器105)。

例如，第二方向性照明源203可以是激光指示器，并在一个点处产生可视照明(第二物理层标记207)，在所述点来自激光指示器203的定向光束204入射在目标物体10的表面上。第二物理层标记207可以是对其他用户或参与者可见的。应当理解，与其中标记仅是虚拟的方法(例如，使用增强现实设备)相反；这样的物理标记允许目标元件20的精确定位。

在一些实例中，第二方向性照明源203可以发射具有与光束104的颜色不同的颜色的第二光束204，以允许光束之间的可见区别。应当注意，尽管在图中示出了一个或两个成像仪和方向性照明源，但是任何数量的元件都是可能的。例如，多层查看系统可以包括由两个远程用户控制的第二成像仪和第三成像仪以及第二方向性照明源和第三方向性照明源，使得从方向性照明源发射的每个光束可以具有不同的颜色。

根据一些实例，可以感测至少一个成像仪或方向性照明源相对于预定定位的方向，以便确定相应用户(或操作者)的注视方向。在一些实例中，可以预定义每个成像仪或方向性照明源的初始定位，使得可以将任何运动与初始定位进行比较。在一些实例中，每个成像仪或方向性照明源的定向或定位可以由全球定位系统(GPS)设备、加速计、陀螺仪或其他定位或方向传感器确定。

根据一些实例，至少两个方向性照明源可以同时朝着目标物体10上的单一点发射光束。以这种方式，可以解决来自光滑表面的反射的影响。例如，两个方向性照明源103可以位于不同的定位，并且朝着单一位置发射光束104。在一些实例中，这样的多个方向性照明源的感测方向可以使得能够在多个成像仪的视野之间精确对准，从而使得能够使用图像配准来组合多个帧。

根据一些实例，多层查看系统210可以包括至少一个投射器205，其联接到处理器105并且被配置为将至少一个符号(或图案)投射到目标物体10上以使参与者可见。例如，投射器205可以投射用于旋转目标区域20附近的特定旋钮的指令。在一些实例中，可以将至少一个投射器205嵌入至少一个方向性照明源中。在一些实例中，投射可以显示在头戴件上。

在一些实例中，由多层查看系统210的成像仪获取的图像可以被存储在与处理器105通信的存储单元中，以用于将来的处理。例如，对目标物体10的操作的参与者可以将目标10的当前视图与先前获取的图像进行比较。

在一些实例中，可以使用诸如三脚架或屈曲臂的安装装置将成像仪或方向性照明源附接到目标物体10的部分，安装到本地用户的身体部分或定位在目标物体10附近。在一些实例中，目标物体10的每种类型的操纵或目标物体10的每个区域可以与先前已经被确定为有利于成像仪或方向性照明源的放置的位置相关联。

在一些实例中，远程用户可以引导本地用户对目标物体10的特定部分执行操作，并且该操作当前对于本地用户不可见。在这样的实例中，远程用户操作第二方向性照明源203以提供第二物理层标记207，其指示大体方向以使本地用户能够定位那个部分。远程用户可以查看设备地点的广角视图，以便于将本地用户引导到感兴趣的部分。

图3示意性地示出了根据本发明的实施例的多层查看系统。

通常，多层系统300包括头戴件306，以供本地用户(例如，可以直接观看并且在某些情况下进行物理接触以便触摸、处理或操纵目标物体10的一部分的用户)佩戴，和远程站320以供远程用户操作。远程用户可以在物理上远离目标物体10的位置，可以是在目标物体10附近但确实戴着头戴件306的用户，或者可以与本地用户相同。

远程站320通常包括用户控件322和远程显示器324。例如，用户控件322可由远程用户操作，以控制静止成像仪201、光束投射器303、增强现实场景成像仪301和增强现实显示器302中的一个或多个的操作。远程显示器324可以用于显示来自静止成像仪201、增强现实场景成像仪301或一个或多个其他源中的一个或多个的图像(例如，从与处理器105相关联的数据存储设备中检索到的或来自远程用户可访问的另一个源的与目标物体10有关的图像或其他文档)。正在远程显示器324上查看所获取的目标物体10的图像的远程用户可以操作用户控件322以在显示的图像上指示目标位置20，以使光束投射器303将物理层标记307投射到所指示位置。正在远程显示器324上查看目标物体10的获取图像的远程用户可以操作用户控件322以指示所显示图像上的选定位置，以使增强现实显示器302在选定位置显示注释310。例如，增强现实显示器302可以包括投射器，该投射器被配置为在增强现实显示器302的半透明的透视组件上投射注释，或者可以被另外配置(例如，以液晶显示器或其他方式)以在增强现实显示器302上显示注释310。

在多层系统300中，目标物体10的目标区域20可以用由光束投射器303(其可以与图2B中的第二方向性照明源203相同或相似)投射的投射光束304标记上物理层标记307。例如，光束投射器303的操作可以由处理器105根据编程指令自动地控制，或者响应于由多层系统300的用户(例如，远程用户)操作的控制来控制。

在某些情况下，光束投射器303可以是单一静止单元312的一部分，该单一静止单元包括静止成像仪201(例如，可独立移动或旋转但安装在单一支架上)。在一些情况下，多层系统300可以包括两个或更多个静止单元312，例如，位于另外的静止或可移动位置。例如，本地用户或另一个人可以例如在肩膀或躯干上佩戴附加静止单元312。在一些情况下，光束投射器303和静止成像仪201可以是可以彼此独立放置的单独的单元。在一些情况下，光束投射器303可以设置有一个或多个反射镜、透镜、棱镜或其他元件的光学系统，该光学系统可由致动器移动或旋转以控制投射光束304的方向。光束投射器303可包括激光源或用于发射投射光束304的另一源(例如，具有准直光学器件的漫射源)。光束投射器303可以包括微投射器或微型投射器，其可以被操作为以光栅图案或其他图案移动投射光束304，从而以轮廓、图、符号、字母数字字符或其他图案的形式投射物理层标记307在目标物体10上。

另外，多层系统300的处理器105可以被配置为在增强现实显示器302上显示注释310。通常，增强现实显示器302被合并到可以由多层系统300的本地用户佩戴的头戴件306中。头戴件306的护目镜可以足够透明(或半透明)，以使本地用户能够通过增强现实显示器302直接查看目标物体10，包括目标区域20和物理层标记307。增强现实显示器302包括被配置为将注释310投射或以其他方式显示在护目镜上的投射器或其他组件。因此，本地用户可以查看在增强现实显示器302上显示的注释310，该注释叠加或覆盖在目标物体10的直接视图上。注释可以包括字母数字字符、符号(例如，箭头或其他符号)、轮廓、绘图或图形、突出显示(例如，覆盖感兴趣区的区域的着色)或其他注释。

处理器105可以包括一个或多个单独的处理单元，例如计算机或处理电路。单独处理单元中的一些或全部可以被配置为例如经由有线(电缆或光缆)或无线通信信道相互通信。在一些情况下，一个或多个单独的处理单元可以被配置为自主地并且独立于其他处理单元地操作。例如，头戴件306可以包括被配置为或专用于控制头戴件306的增强现实显示器302的处理单元。静止单元312可以包括处理单元(例如，处理电路)，以促进静止成像仪201和光束投射器303的操作之间的协调(例如，闭环协调)(例如，以确保物理层标记307在正确的目标区域处的投射，如在由静止成像仪201获取的图像上识别的)。

在一些情况下，头戴件306可以包括音频扬声器或耳机、指示头戴件306或其他组件(例如，处理器105、电源或其他组件的一部分或全部)的方向的指向设备光束。在某些情况下，头戴件306可以包括配置成对眼睛330成像的背向摄像机，以帮助计算本地用户的眼睛330(通常应理解为代表两只眼睛)的凝视方向。

通常，头戴件306还可包括至少一个增强现实场景成像仪301，其被配置为获取在头戴件306和增强现实显示器302前面的场景的图像。增强现实场景成像仪301可以相对于增强现实显示器302固定。通常，增强现实场景成像仪301可以被定向和调整(例如，以适当的透镜焦距)，使得增强现实场景成像仪301的视野302至少近似与本地观看者通过(例如，增强现实显示器302的)护目镜所见的一致。当本地用户的头部被转动或以其他方式移动时，增强现实场景成像仪301可因此与增强现实显示器302一前一后地移动。

可替代地或除了增强现实场景成像仪301外，头戴件306可包括头戴件光束投射器(如图1所示照明源103-为了清楚起见未示于图3)，其被配置为投射表示头戴件306的方向的光束(例如光束104)。

注释310可以涉及目标物体10的特定部分或区域。例如，注释310可以帮助识别零件或区域，可以在该零件或区域上进行操作或执行操作时向本地提供指导，或者可以与零件或区域以其他方式相关。因此，处理器105可以被配置为将由增强现实显示器302显示的注释310与本地用户的眼睛330当前正在观看的场景对准。

静止成像仪201的视野202可由本地用户或远程用户调节(例如，定向、缩放或两者)，以便获取目标物体10的图像。通常，静止成像仪201的视野202足够大，以完全覆盖至少包括可以由光束投射器303标记的目标物体10的区域的空间区域。在一些情况下，视野202可以比增强现实场景成像仪301的视野302宽。多层系统300的远程站320的远程用户可以在远程显示器324上查看由静止成像仪201采集的目标物体10的图像。远程用户然后可以操作用户控件322以在图像上指示要由物理层标记307标记的选定位置。远程用户还可以操作用户控件322，以指示将在增强现实显示器302上显示的注释310的内容。

处理器105可以被配置为接收注释310的选定位置和内容的指示。处理器105可以被配置为分析由静止成像仪201和增强现实场景成像仪301中的每一个获取的目标物体10的图像，并且在获取的每幅图像中识别一个或多个物理层标记307的图像。

在图3示意性示出的实例中，注释310将被眼睛330视为叠加在物理层标记307上。在这种情况下，处理器105可以分析由增强现实场景成像仪301获取的图像(或由安装在头戴式安装的光束投射器投射的光束)，以确定头戴件306相对于目标物体10和物理层标记307的方向。例如，可以假设眼睛330直接注视着物理层标记307。如果头戴件306的方向不直接朝向物理层标记307，则可以假设头戴件306与物理层标记307的方向的角度偏差可以等于眼睛330旋转远离头戴件306所面对的方向。使用该信息，注释310可以显示在增强现实显示器302上的经计算位于连接眼睛330和物理层标记307的直线上的位置处。

在一些情况下，增强现实显示器302显示注释310的操作可以在对准校准过程之前。

例如，当眼睛330正对着物理层标记307正前方时，可以要求本地用户面对(例如，使头戴件306朝着)投射的物理层标记307。然后可以在增强现实显示器302上显示注释310。可以调整注释310在增强现实显示器302上的位置(例如，通过由本地用户或者由与本地用户进行通信的远程用户操作的控件)，直到本地用户报告注释310看起来像是叠加在物理层标记307上。以这种方式，可以建立眼睛330和增强现实显示器302之间的基线对准。

作为对准校准过程的另一实例，可以同时投射多个物理层标记307(例如，以不同颜色或形状的投射光束304)，或者以与静止成像仪201和增强现实场景成像仪301的图像采集相协调的顺序依次投射。可以要求本地用户查看这些投射的物理层标记307中的一个或多个。处理器105可以利用由增强现实场景成像仪301观察到的所标识的物理层标记307来标识相对于目标物体10静止的坐标系(例如，全局或局部坐标系)中的坐标。在一些情况下，处理器105可以利用已知目标物体10的表面的平面或数字描述(例如，三维模型)来识别物理层标记307的三维坐标。在一些情况下，处理器105可以利用顺序地获取的物理层标记307的图像，该图像以已知速率在目标物体10的表面(例如，已知曲率)上被扫描，以计算物理层标记307投射在其上的表面的倾斜角，从而计算成像仪(静止成像仪201或增强现实场景成像仪301)与物理层标记307之间的相对距离(因此，除了可以由获取的图像中的物理层标记307的图像的(像素)坐标得出的两个尺寸外，还提供了第三尺寸)。

例如，静止坐标系可以基于由一个或多个静止成像仪201获取的图像。当远程用户指示注释310的选定位置时(例如，在目标物体10的显示图像上)，该注释310(例如具有远程用户输入的内容)可以通过增强现实显示器302显示在根据固定坐标系确定的相对于目标物体10的位置。因此，注释310当在增强现实显示器302上的相对于例如由远程用户指示的目标物体10的选定位置处显示时可以被本地用户感知。

与没有物理层标记的系统中的配准相比，在多层系统300中的目标物体10中的注释310的配准可以更准确和更简单。在没有物理层标记的系统中，注释与目标物体的对准可以仅基于增强现实显示器的观看方向，例如，基于将头戴件安装的成像仪的视野与静止成像仪的视野进行比较。在这种情况下，其中本地用户的视线方向与头戴件安装的成像仪的指向方向不一致(例如，头戴件指向左，而用户的眼睛转向右)，则注释可能不会在相对于目标物体的正确定位(例如，距离右侧太远)感知。

一些增强现实的护目镜设有瞳孔定位传感器(例如，面向佩戴者的眼睛的照相机)以检测瞳孔相对于护目镜的定位。将增强现实场景成像仪301对物理层标记307的检测与来自瞳孔定位传感器的数据相结合可以比仅使用瞳孔定位传感器可能有的能够以更高的精度和更简单(或更快速)的算法对注释310进行精确定位。

由多层系统300启用的注释310的改进的配准可以使注释310能够概述或突出显示目标物体10的一个或多个组件，同时避免任何模糊或附近的特征。(在典型的增强现实系统中，组件合成图像将显示在所查看组件的上方或旁边，或者通过勾勒或突出显示该组件为此类图像来显示。)

多层系统300可以被配置为促进光束投射器303的定位，以使得能够将物理层标记307放置在目标物体10的所有感兴趣区域上。

例如，可以以预定图案(诸如光栅图案)在目标物体10的表面上自动扫描物理层标记307。在扫描时，由静止成像仪201和增强现实场景成像仪301获取的物理层标记307的连续图像可以检测到投射光束304(例如，由于被目标物体10的其他组件或被附近的其他物体遮挡)不能到达的目标物体10上的定位。类似地，处理器105可以检测静止成像仪201和增强现实场景成像仪301中的一个可见而另一个不可见的目标物体10的区域。对这些区域的自动识别可以促进静止成像仪201和目标物体10中的一个或多个的重新定位，以消除或减少这种区域(或“盲点”)的出现。

在不可避免发生此类区域(“盲点”)的情况下(例如，由于目标物体10的三维结构或由于障碍物或墙壁的存在)，可以提供附加的光束投射器、静止成像仪或静止单元(例如，除了光束投射器303之外，还有静止成像仪201或静止单元312)。处理器105可以被配置为辅助定位附加组件，以便能够查看或将物理层标记307施加于静止成像仪201不可见或不能被光束投射器303的投射光束304到达的目标物体10的部分。

处理器105可以被配置为根据需要在不同的静止成像仪或光束投射器之间自动切换，以使得能够将物理层标记307投射到目标物体10的区域上。在通过例如插入工具或物体、通过本地用户的操作、通过对目标物体10进行整形(例如，通过打开或关闭盖子、移除或添加零件或其他方式)而(暂时)阻挡一个投射光束304的情况下，或在其他情况下，这种切换能力还可以使物理层标记307得以继续施加。

在投射光束304的一些情况下，增强现实显示器302的注释310可以代替物理层标记307。

因为通常以稳定的方式安装光束投射器303，所以物理层标记307可以比三维表面的典型增强现实标记更精确。在目标物体10的表面上物理层标记307的初始扫描期间，可以创建目标物体10的图，该图将目标物体10的表面的每个区域的倾斜角与该区域的定位相关联(例如，通过将物理层标记307的成像扫描速度与投射光束304的实际扫描速率进行比较，或其他方式)。对目标物体10的表面的详细了解可以实现物理层标记307的精确定位。

图4是描述根据本发明实施例的多层查看系统的操作方法的流程图。

相对于本文所引用的任何流程图，应当理解，仅出于方便和清楚的目的，已选择将图示的方法划分为由流程图的方框表示的离散操作。图解的方法可替代地划分为离散操作是可能的，其结果是等效的。图解的方法的这种替代划分为离散操作应该被理解为代表所图解的方法的其他实施例。

类似地，应当理解，除非另外指出，否则仅出于方便和清楚的目的选择了本文所引用的任何流程图的框所代表的操作的图示执行顺序。所说明的方法的操作可以以替代顺序执行，或者同时执行，并具有等同的结果。图示方法的操作的这种重新排序应被理解为代表图示方法的其他实施例。

多层操作方法400可以由多层系统300的处理器105执行，例如，响应于远程用户在增强现实显示器302上显示注释310的请求。

在执行多层操作方法400之前，可以进行初始配准校准过程。通常，初始配准校准过程可以包括在目标物体10上投射一个或多个物理层标记307，以及请求戴着头戴件306的本地用户进行一个或多个响应或动作。例如，这样的响应可以包括面对并看着物理层标记307，帮助将注释310与物理层标记307对准或其他动作。当本地用户戴着头戴件306并且就位以开始在目标物体10上工作时，可以执行初始配准校准过程。在某些情况下，例如，当头戴件306已从本地用户的头上取下并更换时，或者当头戴件306滑动或以其他方式在本地用户的头上移动时，或在其他情况下，可以重复初始配准校准过程。

光束投射器303可以被操作以将一个或多个物理层标记307投射到目标物体10上(方框410)。投射的物理层标记307可以在目标物体10的目标区域20处投射到目标物体10上。例如，远程站的远程用户可以操作用户控件322以控制投射光束304的方向。

可以接收指令(例如，从远程站320接收)以在相对于目标区域20或物理层标记307的选定位置处显示注释310(方框420)。例如，远程用户可以在正显示目标物体10的图像的远程显示器324上查看目标物体10和由静止成像仪201获取的物理层标记307。远程用户可以操作用户控件322以标记所显示的图像上的位置(例如，在将要显示注释310的物理层标记307处或附近)，并且可以输入注释310的内容。

可以确定增强现实显示器302的方向(框430)。例如，增强现实场景成像仪301可以获取目标物体10的图像和一个或多个物理层标记307(例如，同时或顺序显示)。处理器105然后可以应用图像处理技术来确定头戴件306所面向的方向。作为另一实例，通过静止成像仪201可以获取目标物体10的图像和物理层标记307，以及由并入或联接至头戴件306的方向性照明源103发射的光束104形成的标记。两个成像光束的相对位置可以指示增强现实显示器302相对于物理层标记307的方向。

处理器105可以例如基于初始配准校准过程或其他方式计算用于在增强现实显示器302上显示注释310的显示位置，使得正在查看增强现实显示器302的本地用户的眼睛330可以感知注释310，如在相对于目标物体10的选定位置处显示的(方框440)。例如，处理器105可以分析所获取的图像，以计算头戴件306的朝向与朝向物理层标记307的实际方向之间的角度偏差，并计算在增强现实显示器302上的显示注释310的位置，使得眼睛330预期在相对于目标物体10或物理层标记307的选定位置处将注释310视为叠加在目标物体10上。

然后，处理器105可以使增强现实显示器302在计算的显示定位处显示注释310，以在相对于物理层标记307的图像的指示定位处感知到注释310(方框450)。

虽然本文已经说明和描述了本发明的某些特征，但是本领域技术人员可以想到许多修改、替换、改变和等效方案。因此，应当理解的是，随附权利要求书旨在涵盖落入本发明的真实精神内的所有此类修改和变化。

已经提出了各种实施例。这些实施例中的每一个当然可以包括来自所呈现的其他实施例的特征，并且未具体描述的实施例可以包括本文所述的各种特征。

Claims (20)

1. 一种多层查看系统，包括：静止成像仪，其被配置为获取具有包括目标物体的视野的图像；静止光束投射器，其可控制以将一个或多个物理层标记投射到所述目标物体的目标区域上；与所述静止成像仪和所述静止光束投射器分开的头戴件，所述头戴件包括增强现实显示器，所述增强现实显示器足够透明，以使戴着所述头戴件的本地用户可以通过所述增强现实显示器直接查看所述目标物体，并配置为显示叠加在直接查看的目标物体上的注释，以便所述本地用户可以看到，所述头戴件还包括：配置成获取所述增强现实显示器前面区域的场景图像的场景成像仪，或配置成向所述增强现实显示器前面投射头戴件光束的头戴件光束投射器；和处理器，其配置为： 接收相对于所述目标区域的选定位置的指示，以显示所述注释； 基于所述一个或多个物理层标记在所述场景图像中的位置，或基于由所述头戴件光束形成的标记相对于所述一个或多个物理层标记在由所述静止成像仪获取的图像中的位置，确定所述增强现实显示器的方向； 计算用于在所述增强现实显示器上显示所述注释的显示位置，使得所述注释在相对于所述目标区域的所述选定位置处显示时能够被本地用户所感知；和在所述增强现实显示器上在计算的显示位置显示所述注释。

2.根据权利要求1所述的系统，其中所述静止光束投射器是由用户控件的操作可控制的。

3.根据权利要求2所述的系统，其中所述用户控件使远程用户能够通过所述目标区域在由所述静止成像仪获取的所述目标物体的图像上的指示来控制所述静止光束投射器。

4.根据权利要求2所述的系统，其中所述用户控件被配置为通过所述选定位置在由所述静止成像仪获取的所述目标物体的图像上的指示使得能够输入所述选定位置。

5.根据权利要求1所述的系统，其中所述静止光束投射器包括激光器。

6.根据权利要求1所述的系统，其中所述静止光束投射器被配置为以图案的形式投射物理层标记。

7.根据权利要求1所述的系统，其中所述静止成像仪的视野足够大，以完全覆盖目标物体的至少一个区域，物理层标记可以被所述静止光束投射器投射到该区域上。

8.根据权利要求1所述的系统，其中所述静止光束投射器还被配置为在所述目标物体的表面上扫描所述一个或多个物理层标记。

9.根据权利要求8所述的系统，其中所述处理器进一步被配置成计算所述表面的倾斜角。

10.根据权利要求1所述的系统，还包括远程站。

11.根据权利要求10所述的系统，其中所述远程站包括远程显示器和用户控件。

12.根据权利要求1所述的系统，其中所述静止成像仪和所述静止光束投射器被结合到单一静止单元中。

13.根据权利要求1所述的系统，还包括至少一个附加成像仪或至少一个附加投射器。

14.根据权利要求13所述的系统，其中所述处理器还被配置为操作所述至少一个附加成像仪以获取所述目标物体的被识别为对所述静止成像仪不可见的区域的图像，或者操作所述至少一个附加投射器以将标记投射在所述目标物体的被识别为所述静止光束投射器所发射的光束无法接近的区域上。

15. 一种操作查看系统的方法，所述查看系统包括静止成像仪，静止光束投射器，和与所述静止成像仪和所述静止光束投射器分开的头戴件，所述头戴件包括增强现实显示器，所述增强现实显示器足够透明，以使戴着所述头戴件的本地用户可以通过所述增强现实显示器直接查看目标物体，并配置为显示叠加在直接查看的目标物体上的可见的注释，所述头戴件还包括：配置成获取所述增强现实显示器前面区域的场景图像的场景成像仪，或配置成向所述增强现实显示器前面投射头戴件光束的头戴件光束投射器，所述方法包括：当所述静止光束投射器将一个或多个物理层标记投射到所述目标物体的目标区域上时，使用所述场景成像仪获取所述目标物体的场景图像；或者使用所述静止成像仪获取包括所述一个或多个物理层标记和由所述头戴件光束形成的标记的图像； 接收相对于所述目标区域的选定位置的指示，以显示所述注释；基于以下位置，确定所述增强现实显示器的方向：所述一个或多个物理层标记的图像在获取的场景图像中的位置，或由所述头戴件光束形成的标记相对于所述一个或多个物理层标记在由所述静止成像仪获取的图像中的位置；计算用于在所述增强现实显示器上显示所述注释的显示位置，使得所述注释当在相对于所述目标区域的所述选定位置处显示时能够被本地用户感知；和在所述增强现实显示器上在计算的显示位置显示所述注释。

16.根据权利要求15所述的方法，其中获取所述目标物体的所述场景图像包括当在所述目标物体的表面上扫描所述一个或多个物理层标记的物理层标记时连续获取多个所述场景图像。

17.根据权利要求16所述的方法，还包括通过识别在连续获取的场景图像内的扫描的物理层标记的图像的位置计算所述表面的倾斜角。

18.根据权利要求15所述的方法，其中在使用所述场景成像仪进行获取之前执行配准校准过程。

19.根据权利要求18所述的方法，其中所述配准校准过程包括操作所述静止光束投射器以将一个或多个校准物理层标记投射到所述目标物体上。

20.根据权利要求19所述的方法，其中所述配准校准过程还包括在所述增强现实显示器上显示校准注释，使得所述注释对于正在查看所述一个或多个校准物理层标记的一个标记的所述头戴件的用户可见，所述校准物理层标记叠加在那个标记上。