CN109938837A - 光学跟踪系统及光学跟踪方法 - Google Patents

Abstract

提供一种跟踪标记的位置及姿势的光学跟踪系统。标记能够附着于对象体，包括在内部形成的图案面及为了图案面借助于具有无限大焦距的第一成像部而成像而在开口形成的光学系。包括处理器，所述处理器以由通过开口而看到的图案面一部分借助于第一成像部而成像的第一图像为基础，决定标记的姿势，基于由在互不相同方向通过开口而释放的出射光，借助于具有比无限大焦距近的焦距的第二及第三成像部而成像的第二图像及第三图像，决定标记的位置。

Description

光学跟踪系统及光学跟踪方法

技术领域

本公开涉及光学跟踪系统及光学跟踪方法。

本公开来源于作为中小企业厅WC 300项目技术开发支持的一部分的研究[作业具体编号：S2482672，研究对象名称：匹配精度1mm以下的手术导航融合头颈部手术机器人系统的开发]。

背景技术

作为用于跟踪对象体的方法，可以使用光学跟踪系统。最近，为了在使手术失误发生的危险最小化的同时进行精密的手术，利用了跟踪手术机器人或手术工具的位置(location或coordinate)及姿势(posture或orientation)并将其跟踪结果应用于手术的方法。对象体的位置例如可以用诸如直角坐标系X、Y、Z轴上坐标的空间坐标来定义。对象体的姿势可以用翻滚角(roll)、仰俯角(pitch)、偏航角(yaw)定义。为了准确跟踪对象体，正如上面所作的说明，重要的是准确掌握与对象体的六自由度(Degree of Freedom)相应的位置及姿势。

在光学跟踪系统中，例如将名为标记(marker)的基准体附着于对象体后跟踪该标记，从而可以测量对象体的位置及姿势。在光学跟踪系统中，经过例如利用诸如照相机的成像装置，拍摄标记的一部分并对其进行判读的过程。在该过程中，由于多样的因素，拍摄的图像的一部分(例如，边界部分)可能显示模糊或不清晰。当以这种图像为基础跟踪标记时，在推定的对象体的位置及姿势与实际对象体的位置及姿势之间会发生差异。

发明内容

解决的技术问题

本公开的一个实施例提供一种能够更准确地测量对象体的位置及姿势的光学跟踪系统及方法。例如，本公开的一个实施例可以提供一种对标记拍摄三个图像，以拍摄的三个图像为基础，测量对象体的位置及姿势的光学跟踪系统及方法。

技术方案

本公开一个实施例的光学跟踪系统，作为跟踪标记的位置及姿势的光学跟踪系统，标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，所述光学跟踪系统可以包括：处理器，其以通过开口显示的图案面的一部分在无限大焦距处成像的第一图像为基础，决定标记的姿势，基于由在互不相同方向通过开口释放的出射光在比无限大焦距近的焦距处分别成像的第二图像及第三图像，决定标记的位置。

根据一个实施例，处理器可以包括：姿势跟踪部，其以第一图像为基础，决定标记的姿势，其中，所述第一图像是通过开口而看到的图案面的一部分在无限大焦距处成像的图像；及位置跟踪部，其基于第二及第三图像，决定标记的位置，其中，所述第二及第三图像是由在互不相同方向通过开口释放的出射光比无限大焦距近的焦距处分别成像的图像。

根据一个实施例，第一图像在无限大焦距处成像，且包括图案面的一部分可识别地成像的图案图像，第二及第三图像在包含对象体位置的预定范围的焦距处成像，且包括由朝向互不相同方向的出射光成像的出射光图像。

根据一个实施例，姿势跟踪部可以在图案面的全体区域内决定图案图像的位置，基于决定的位置，决定对象体的姿势。

根据一个实施例，位置跟踪部可以分别决定第二及第三图像内成像的出射光图像的基准坐标，基于分别决定的基准坐标，决定对象体的位置。

根据一个实施例，位置跟踪部可以基于第二及第三图像中成像的出射光图像的基准坐标之间的差异(disparity)，决定标记的三维空间上的位置。

根据一个实施例，可以还包括由生成光场图像的光场照相机构成的第一成像部；第一成像部构成得从光场图像提取在无限大焦距处成像的第一图像，以便包含图案图像。

根据一个实施例，第一成像部可以构成得从光场图像提取在比无限大焦距近的焦距处成像的第四图像，以便包含出射光图像；处理器可以基于第二图像、第三图像及第四图像，决定标记的位置。

本公开另一实施例的光学跟踪系统，作为跟踪标记的位置及姿势的光学跟踪系统，标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，所述光学跟踪系统可以包括：第一成像部，其在无限大焦距处，对包含图案面一部分的第一图像进行成像；第二成像部，其在比无限大焦距近的焦距处，对包括由通过开口而向第一方向释放的出射光成像的出射光图像的第二图像进行成像；第三成像部，其在比无限大焦距近的焦距处，对包括由通过开口而向与第一方向不同的第二方向释放的出射光成像的出射光图像的第三图像进行成像；及处理器，其以第一图像为基础决定标记的姿势，基于第二图像及第三图像，决定标记的位置。

根据一个实施例，第一成像部及第二成像部可以分别由生成光场图像的光场照相机构成，第一成像部构成得从光场图像提取在比无限大焦距近的焦距处成像的第四图像，第二成像部构成得从光场图像提取在比无限大焦距近的焦距处成像的第二图像；处理器基于第二图像、第三图像及第四图像，决定标记的位置。

根据一个实施例，第一成像部可以配置得具有与第二及第三成像部距离地面高度不同的高度，以朝向地面的方向为基准，配置于第二及第三成像部之间。

本公开又一实施例的光学跟踪方法，作为跟踪标记的位置及姿势的光学跟踪方法，标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，所述光学跟踪方法包括：以由通过开口看到的图案面的一部分在无限大焦距处成像为图案图像的第一图像为基础，决定标记的姿势的步骤；及基于由通过开口而向互不相同方向释放的出射光在比无限大焦距近的焦距处分别成像为出射光图像的第二图像及第三图像，决定标记的位置的步骤。

根据一个实施例，决定标记的姿势的步骤可以包括：在图案面的全体区域内，决定第一图像中包含的图案图像的位置的步骤；及基于决定的位置，决定对象体的姿势的步骤。

根据一个实施例，决定标记的位置的步骤可以包括：分别决定第二及第三图像内成像的出射光图像的基准坐标的步骤；及利用分别决定的基准坐标及出射光指向的方向间的几何学关系，决定对象体的位置的步骤。

根据一个实施例，可以还包括：生成包含通过开口看到的图案面的一部分的光场图像的步骤；从光场图像提取在无限大焦距处成像的第一图像，以便包含图案图像，提取在比无限大焦距近的焦距处成像的第四图像，以便包含出射光图像的步骤；及基于第二图像、第三图像及第四图像，决定标记的位置的步骤。

发明效果

根据本公开的实施例，可以同时跟踪附着于对象体的标记的姿势和位置。另外，可以提高对标记的姿势及位置的跟踪准确度，可以提高光学跟踪系统的精密度。

附图说明

图1是显示本公开一个实施例的光学跟踪系统在手术中使用的示例的图。

图2是本公开一个实施例的光学跟踪系统的框图。

图3是根据本公开的一个实施例，显示成像部在各个方向拍摄从标记的开口释放的反射光的示例的图。

图4是用于根据本公开的一个实施例，说明从成像部成像的图像的补正图像的图。

图5是用于根据本公开的一个实施例，说明基于光学跟踪系统的三个成像部成像的三个图像来决定标记的姿势及位置的方法的图。

图6是用于说明图5所示第一成像部成像的第一图像的示例形态的图。

图7是用于说明图5所示第二成像部成像的第二图像的示例形态的图。

图8是用于说明图5所示第三成像部成像的第三图像的示例形态的图。

图9是显示本公开一个实施例的光学跟踪系统的一个成像部由光场照相机构成的示例的图。

图10是用于说明基于图9所示光学跟踪系统的三个成像部成像的图像来决定标记的姿势及位置的方法的图。

图11是显示本公开一个实施例的光学跟踪系统的两个成像部由光场照相机构成的示例的图。

图12是用于说明基于图11所示光学跟踪系统的三个成像部成像的图像来决定标记的姿势及位置的方法的图。

图13是显示本公开另一实施例的光学跟踪方法的流程图。

图14是显示图13所示光学跟踪方法中决定标记的姿势的步骤的流程图。

图15是显示图13所示光学跟踪方法中决定标记的位置的步骤的流程图。

图16是显示在图13所示光学跟踪方法中使用光场图像的示例的流程图。

附图标记

1：光学跟踪系统

10：标记

100：成像装置

110、270、410、510：第一成像部

120、280、420、520：第二成像部

130、290、430、530：第三成像部

140、440：处理器

450、550、650：第一图像

460、560、660：第二图像

470、570、570：第三图像

580、680：第四图像

690：第五图像

具体实施方式

本公开的实施例是出于说明本公开的目的而列举的示例。本公开的实施例可以以多样的形态实施，不得解释为本公开限定于以下提示的实施例或对这些实施例的具体说明。

本公开中使用的术语“部”意味着诸如软件、FPGA(field-programmable gatearray，现场可编程门阵列)、ASIC(application specific integrated circuit，专用集成电路)、独立运转装置的硬件构成要素。但是，“部”并非限定于硬件及软件。“部”既可以构成得位于可寻址的存储介质，也可以构成得再生一个或其以上的处理器。因此，作为一个示例，“部”包括诸如软件构成要素、面向对象的软件构成要素、类构成要素及任务构成要素的构成要素，处理器、函数、属性、程序、子程序、程序代码的区段、驱动程序、固件、微码、电路、数据、数据库、数据结构、工作表、阵列及变数。构成要素和“部”内提供的功能还可以结合为更少数量的构成要素及“部”，或分离为追加的构成要素和“部”。

只要未不同地定义，本公开中使用的所有技术性术语及科学性术语具有本公开所属技术领域的普通技术人员一般理解的意义。本公开中使用的所有术语是出于更明确地说明本公开的目的而选择的，不是为了限制本公开的范围而选择的。

只要未不同地提及，本公开中记述的单数型的表现可以还一同包括复数型的表现，这也同样适用权利要求书中记载的单数型的表现。

本公开的多样实施例中使用的“第一”、“第二”等表现只是为了相互区分多个构成要素而使用的，并非限定相应构成要素的顺序或重要度。

本公开中使用的诸如“包括的”及“具有的”的表现，只要在包含相应表现的语句或文章中未不同地提及，应理解为涵盖将包括其他实施例的可能性的开放型术语(open-ended terms)。

本公开中“基于～”字样的表现，用于记述对包含相应表现的语句中记述的决定或判断的行为或给动作施加影响的一个以上因子，该表现不排除对决定或判断的行为或动作施加影响的追加因子。

在本公开中，当提及某种构成要素“连接于”或“接入于”其他构成要素时，应理解为既可以是所述某种构成要素直接连接于或接入于所述其他构成要素，也可以在所述某种构成要素与所述其他构成要素之间存在新的其他构成要素。

下面参照附图，详细说明本公开的实施例。对于附图上相同的构成要素，使用相同的附图标记，对于相同的构成要素，省略重复的说明。

<光学跟踪系统>

图1显示了本公开一个实施例的光学跟踪系统1在手术中使用的示例。如图所示，医生D(doctor)可以利用包括手术工具20、成像装置100的光学跟踪系统1，进行对患者P(patient)的手术。在医生D使用的手术工具20上，可以附着有标记10，在诸如患者P的患处的对象体上也可以附着有另一标记30。光学跟踪系统1的成像装置100可以成像(capture)及获得在标记(10和/或30)形成的图案的全部或一部分的图案图像。图案图像可以在成像装置100的成像部包括的图像传感器输出的图像帧内的一部分区域成像。

获得图案图像后，可以从图案图像，提取子图案中至少一者作为构成标记图案的基本单位。在一个实施例中，可以决定提取的至少一个子图案在全体图案内的位置，可以基于决定的子图案在全体图案内的位置，决定标记(10和/或30)的姿势。其中，标记(10和/或30)的姿势可以意味着相对于标记(10和/或30)的成像装置100的三维方向以及方位。

在一个实施例中，成像装置100可以包括三个成像部，成像部分别可以为例如能对标记(10和/或30)至少一部分形成图像的照相机。更具体而言，成像部例如可以从标记(10和/或30)的开口(aperture)朝向各成像部的光分别形成图像。

某一标记(10和/或30)的位置可以利用基于三台照相机所成像的三个图像中具有立体图像关系的两个图像的三角法(triangulation)来决定。

如此获得了标记(10和/或30)的位置及姿势后，可以基于标记(10和/或30)与该标记(10和/或30)附着的标的物间的几何学关系，决定标记(10和/或30)附着的对象体的位置及姿势。

正如以下详细说明所示，根据本公开一个实施例的光学跟踪系统1，可以利用至少一个标记，决定对象体的与六自由度相应的位置及姿势。

根据本公开的光学跟踪系统1，在1个标记10附着于作为对象体的手术工具20的情况下，也可以基于在标记10上形成的图案，跟踪对象体的位置及姿势。因此，在手术工具20上，可以附着有轻量或小型的标记10，医生D可以在没有对标记10大小及重量的负担的情况下，使用附着有标记的手术工具20进行手术。

在以上说明的实施例中，本公开的标记及光学跟踪系统1应用于医生对患者进行手术的示例，但也可以应用于利用标记来决定对象体位置及姿势的其他多样示例。例如，本公开的标记及光学跟踪系统在利用手术机器人对患者进行手术的情况下，可以用于决定附着于手术机器人的手术工具的位置及姿势。在另一示例中，本公开的标记及光学跟踪系统在作业者或作业机器人利用特定工具，对特定对象体执行特定作业的情况下，可以用于决定该工具和/或对象体的位置及姿势。下面就通过图1及2的示例而概略地说明的本公开的标记及光学跟踪系统的多样实施例进行更具体说明。

图2是本公开一个实施例的光学跟踪系统1的框图。

在光学跟踪系统1中，成像装置100拍摄包括标记10至少一部分的多个图像，处理器140从成像装置100接收所述多个图像，可以以此为基础，跟踪标记10的位置及姿势。

在一个实施例中，标记10可以包括形成有图案的图案面15及诸如透镜的光学系12，所述光学系12构成得使沿着在标记10外部观察的方向固有地显示的图案的至少一部分可以在标记10外部被识别(或在视觉上认知)。

标记10的外形11可以具有图案面15及诸如透镜的光学系12容易安装的形状。例如，标记10的外形11可以整体上具有曲面形状。此时，形成图案的图案面15可以在曲面形状的内部面或外部面的至少一部分体现。光学系12可以在曲面形状的内部面中与图案面15相向的开口13体现，例如可以具有曲面形状。在另一实施例中，标记10的外形11例如可以具有六面体或圆筒形状。当标记10的外形11具有圆筒形状时，在圆筒形状的一端部形成的开口13处，可以安装光学系12，在相向的另一端部，可以设置图案面15。在这种构成中，在图案面15形成的图案可以通过光学系12而从外部在视觉上识别。

在一个实施例中，标记10位于成像装置100的视野角(FOV)内，当光学系12朝向成像装置100排列时，成像装置100可以对通过位于开口13的光学系12而识别的图案面15的至少一部分进行成像。

在一个实施例中，成像装置100可以包括相互并行运转的第一至第三成像部110、120、130。在第一至第三成像部110、120、130中，一个成像部(例如，第一成像部110)可以拍摄标记10的图案面15的至少一部分，剩余两个成像部(例如，第二及第三成像部120、130)可以分别拍摄从标记10的开口13射出的出射光。另外，第一至第三成像部110、120、130可以具有同轴照明照相机的构成。

第一成像部110的光学系可以与在标记10的开口13形成的光学系12形成无限光学系。另外，第一成像部110的光学系可以在无限大焦距处聚焦。因此，第一成像部110可以对包含通过标记10的开口13而显示的图案面15一部分的图像进行成像。第二及第三成像部120、130的光学系可以在比无限大焦距近的焦距处聚焦。因此，第二及第三成像部120、130可以对从标记10的开口13释放的出射光拍摄的图像进行成像。

无限大焦距例如以成像装置100为基准，可以意味着对应于比标记10远得多的位置的距离。另外，比无限大焦距近的焦距(以下称“近焦距”)可以为包含对象体的位置的预定范围的焦距。即，标记10附着于对象体，因而比无限大焦距近的焦距可以为包含标记10位置的预定范围的焦距。

在一个实施例中，各个第一至第三成像部110、120、130可以朝向标记10，分别指向互不相同的方向。第一成像部110以观察地面的方向为基准，可以配置于第二及第三成像部120、130之间。另外，第二及第三成像部120、130可以以水平式(平行)或交叉式(聚拢)配置，以便具有立体关系。

在一个实施例中，各个第一至第三成像部110、120、130可以拍摄一个图像，例如可以具有诸如数码照相机的结构。第一至第三成像部110、120、130可以分别包括透镜111、121、131及图像传感器112、122、132。各个图像传感器112、122、132可以将从对应的透镜111、121、131射出的光线成像为一个图像。

在一个实施例中，透镜111、121、131可以对从标记射出的光线进行聚光。透镜111、121、131可以是具有一个焦距的凸透镜，以便从标记进入的光线可以聚光于一个点。在透镜111、121、131利用多个透镜等体现的情况下，根据公知的薄透镜理论(thin lens theory)，可以将多个透镜定义为一个薄透镜。因此，透镜111、121、131的直径、焦距及中心可以分别用如上所述定义的一个薄透镜的直径、焦距及中心代表。

在一个实施例中，各个图像传感器112、122、132可以传感穿过透镜的光线，获得一个图像。各个图像传感器112、122、132可以包括构成得获得任意物体的成像图像的任意种类的至少一个成像元件，例如可以包括CCD(charge-coupled device，电荷耦合装置)传感器或CMOS(complementary metal-oxide semiconductor,互补金属氧化物半导体)传感器。另外，图像传感器112、122、132可以由多个像素(fixel)构成。

在一个实施例中，各个第一至第三成像部110、120、130为了加强通过光学系12入射到成像装置100的光线，以便图案面15可在标记10外部充分识别，可以包括向标记10或图案照射光线的至少一个光源114、124、134。此时，标记10可以作为被动标记(passivemarker)工作。另外，第一至第三成像部110、120、130可以分别包括光束分离器113、123、133，所述光束分离器113、123、133通过透镜111、121、131向标记10照射光源114、124、134发生的光线。

在图2中，图示了光源114、124、134配置于第一至第三成像部110、120、130各自内部，但并非限定于此，也可以配置于成像装置100的外部。根据另一实施例，光源可以安装得从标记10的内部向图案面15的前面或后面照射光线。此时，标记10可以作为主动标记(active marker)工作。

在一个实施例中，在光学跟踪系统1在诸如手术导航系统(surgical navigationsystem)的手术系统内工作的情况下，标记10可以附着于包括手术工具、手术机器人的一部分或患者的患处在内的至少一个对象体。另外，在使用多个标记的情况下，标记的位置及姿势可以依次或同时跟踪。

在一个实施例中，处理器140可以包括：姿势跟踪部142，其以第一图像为基础，决定标记10的姿势，其中，所述第一图像是在无限大焦距处对通过开口13看到的图案面15的一部分进行成像的图像；位置跟踪部141，其基于第二及第三图像，决定标记10的位置，其中，所述第二及第三图像是在近焦距处对从互不相同的方向通过开口13释放的出射光分别进行成像的图像；及ID识别部143，其为了跟踪多个标记的位置及姿势而通过标记ID来区别附着于各个对象体的标记。ID识别部143可以从第一图像包含的图案图像识别标记10的ID。

根据又一实施例，光学跟踪系统1可以跟踪具有预先决定的几何学关系的2个标记的位置及姿势。例如，光学跟踪系统1可以同时跟踪图1所示的附着于手术工具20的标记10及附着于患者头部的标记30的位置及姿势。光学跟踪系统可以通过成像装置，获得分别在2个标记上形成的图案的图案图像。2个标记的位置可以基于预先决定的几何学关系及图案图像上的图案至少一部分的位置与各标记上的图案至少一部分的位置间的关系来决定。标记的姿势可以以与前面说明的方式相同的方式决定。

在一个实施例中，标记10可以附着于借助光学跟踪系统1来测量其位置及姿势的对象体，或作为该对象体的全体或一部分而体现。通过测量标记10的位置及姿势，可以测量附着了标记10的对象体的位置及姿势。另外，标记10与对象体可以具有预先确定的几何学关系。

图3是根据本公开的一个实施例，显示成像部在各个方向拍摄从标记的开口释放的反射光的示例的图。

在一个实施例中，第一成像部270可以与标记210形成无限光学系。形成有图案255的图案面250可以配置于标记210内部，以便图案图像通过光学系220，以平行出射光L1的形态传递给第一成像部270。第一成像部270包括的图像传感器的景深可以设置成，在从比标记210位置远的地点或在无限大地点，包括预定的有限范围，以便借助于标记210的光学系220而形成图案图像。此时，与随着标记210的移动而距标记210距离的变化无关，第一成像部270包含的图像传感器可以对与在标记210上形成的图案的一部分相关的图案图像进行成像。另外，即使在标记远离或靠近的情况下，第一成像部270也可以无需调整景深或倍率地对图案图像进行成像。因此，在如上所述构成无限光学系的情况下，即使标记210位于远离成像装置的位置，也可以从借助于第一成像部270而成像的图案图像识别图案的至少一部分。在另一实施例中，当图案面250配置于标记210内时，标记210的光学系220可以与第一及第二成像部270、280各自的光学系透镜275、285一同构成无限光学系。

在一个实施例中，第二及第三成像部280、290可以在互不相同的方向中，对由分别通过标记210的开口230释放的出射光拍摄的第二图像及第三图像进行成像。即，从标记210反射的光线L2、L3穿过第二及第三成像部280、290的透镜285、295，可以在第二及第三成像部280、290包含的图像传感器中成像。另外，第二及第三成像部280、290的透镜285、295与标记210的光学系220不形成无限光学系，此时，在第二及第三图像内，图案可以不成像为可判读的形态。另外，第二及第三成像部280、290的透镜285、295为了对从开口230释放的出射光进行成像，可以在标记210的第二及第三成像部280、290前聚焦，在第二及第三图像内拍摄的出射光的位置可以清晰识别。

在一个实施例中，图案255形成得针对全体图案固有地决定各子图案的位置，因此，可以从该图案的图案图像，提取各子图案相对于全体图案的位置相关信息。具体而言，图案255可以包括反复排列的非周期性序列(aperiodic sequences)。例如，各非周期性序列可以为PRBS(Pseudo-Random Binary Sequence，伪随机二进制序列)，更具体而言，可以是德布鲁因序列(De Bruijn Sequence)。其中，所谓“非周期性序列”，可以意味着如上所述具有最大化的自相关性或相应序列包含的多个子序列不以周期性方式排列。另外，图案255可以形成得能够提供标记的ID。

图4是用于根据本公开的一个实施例，说明从成像部成像的图像的补正图像300的图。

在一个实施例中，成像部为了决定附着有标记的对象体(例如，手术工具)的位置及姿势，可以对在标记上形成的图案的至少一部分进行成像。在标记与对象体之间，可以存在预先设置的几何学关系，当跟踪标记的姿势时，可以利用与对象体的预先设置的几何学关系，跟踪对象体的姿势。

与标记形成无限光学系的成像部可以从图像传感器实际成像的图像(300)获得经预定的图像处理(image process)的补正图像(correction image)。成像的图像(300)是图案部分周边的周边部分未完全黑暗地成像、位于成像装置视野角的事物模糊显示的程度。图像处理例如可以是在所成像的图像中，进一步强化明亮部分与黑暗部分的差异的作业。

在一个实施例中，成像的图像300可以包括在既定位置形成的图案图像320。环绕图案图像320的虚假(imaginary)边界部分330可以与标记的开口位置对应，可以区分图案图像320及周边部分310。图案图像320中包含的子图案350可以由处理器的姿势决定部通过图案窗口340来判读。另外，从原本图像(图上未示出)进行了图像处理后，图案图像320比图4所示的成像的图像300更突显，周边部分310变黑，边界部分330模糊地成像。

在成像的图像300中，除图案图像320之外的周边部分310作为比与图案图像320对应的标记图案面相对更暗的部分，可以成像为无图像的形态(例如，涂黑(black out)的状态)。即，成像部的图像传感器对未形成被摄体景深的区域及光量相对较少部分较暗地成像，较暗地成像的部分可以为周边部分310。另外，与标记的光学系形成无限光学系的成像部，其图像传感器的被摄体景深聚焦于远距离至无限大，因而标记所运用的范围内的近距离物体可以全部严重模糊(blur)。另外，从标记开口射出的出射光比周边光相对更亮，因此，在成像的图像300内，图案图像320可以强烈突显。如果通过照明和滤波来控制用于标记拍摄的光线，那么，在成像的图像300内，图案图像320与周边部分310的亮度差异会进一步加大。

在一个实施例中，如果光学跟踪系统的成像部将从在标记形成的图案面反射的出射光成像为图案图像320，那么，处理器的姿势决定部可以基于图案图像320包含的各子图案350在全体图案内的位置，决定标记的姿势。例如，成像的图案图像320中可以包含图3所示的图案255的一部分，处理器可以从成像部接收成像的图像300，执行图像补正后，在判读的图案图像320内，通过图案窗口340识别子图案350。图案窗口340的大小可以与子图案350大小相同或更大。即，处理器的姿势跟踪部可以在全体图案内决定相应子图案的位置，可以基于如此决定的子图案的位置，决定标记的姿势。

图5是用于根据本公开的一个实施例，说明基于光学跟踪系统的三个成像部410、420、430成像的三个图像450、460、470来决定标记405的姿势及位置的方法的图。

在一个实施例中，标记405可以包括图案面及开口。图案面形成有图案，至少一部分可以以曲面形成。形成有光学系的开口可以构成得使沿着在标记405外部观察的方向固有地显示的图案的至少一部分可以在标记405外部识别。

在一个实施例中，标记405可以位于第一至第三成像部410、420、430的视野角内，各个第一至第三成像部410、420、430拍摄从标记405的开口向互不相同方向射出的出射光，对第一至第三图像450、460、470进行成像。另外，第一成像部410的光学系可以与标记405的光学系形成无限光学系，第一成像部410可以对在无限大焦距处成像的第一图像450进行成像。另外，第二及第三成像部420、430的光学系可以在近距离处聚焦，第二及第三成像部420、430可以分别对在近焦距处成像的第二及第三图像460、470进行成像。

第一图像450的景深可以以与无限大焦距相应的位置为中心，在既定的有限范围形成。另外，第二及第三图像460、470的景深可以以与近焦距相应的位置为中心，在既定的有限范围形成。即，第二及第三图像460、470的景深可以以标记405的位置为中心，在既定的有限范围形成。

在一个实施例中，第一至第三成像部410、420、430可以配置于互不相同的位置。另外，第一至第三成像部410、420、430可以配置于预先设置的位置，以便光学系指向标记。例如，第一成像部410可以以图5所示的X轴方向为基准，配置于第二及第三成像部420、430之间。另外，第一至第三成像部410、420、430中的至少两个成像部可以沿X轴方向，隔开相互相同的间隔。例如第一成像部410与第二成像部420之间的间隔可以和第一成像部410与第三成像部430之间的间隔相同。另外，第二及第三成像部420、430可以沿X轴方向，设置既定间隔Dx地隔开，可以沿Y轴方向，具有距地面相同高度地配置于预先设置的位置。

在一个实施例中，与标记405形成无限光学系的第一成像部410可以具有与第二及第三成像部420、430不同高度地配置于预先设置的位置。例如，第一成像部410可以配置于比第二及第三成像部420、430高出既定高度Dy的位置。在光学跟踪系统中，例如当标记提供多个时，只有准确区别各个标记才能提高精密度。如上所述，当使第一成像部410配置于在Y轴方向上，比沿X轴方向连接第二及第三成像部420、430的基准线(base line)更高的位置时，用于区别各个标记的算法会更简捷。即，可以减小立体相关性(stereocorrespondence)的比较区域，由此可以提高相关性匹配(correspondence matching)的鲁棒性(robustness)。

在一个实施例中，第一成像部410可以在与标记405形成无限光学系的状态下，对包含图案面一部分的第一图像450进行成像，第二及第三成像部420、430可以分别拍摄从标记405的开口射出的出射光，分别对第二及第三图像460、470进行成像。因此，在第一图像450中，图案图像465可以以可判读方式成像，在第二及第三图像460、470中，由通过标记的开口而释放的出射光成像的开口区域465、475可以清晰地成像。

在一个实施例中，处理器440的姿势跟踪部可以基于第一图像450，跟踪对象体的姿势。具体而言，姿势跟踪部可以在图案的全体区域内，决定第一图像450包含的图案的一部分的位置，基于决定的位置，决定对象体的姿势。在一个实施例中，姿势跟踪部可以判读图案的一部分中包含的子图案，决定图案的一部分的位置。首先，为了从第一图像450中成像的图案图像提取标记跟踪所需的信息，姿势跟踪部可以在图案图像中判读子图案。然后，姿势跟踪部可以计算判读的各子图案在全体图案内的位置(坐标)。

在一个实施例中，处理器440的位置跟踪部可以基于第二及第三图像460、470而跟踪对象体的位置。具体而言，位置跟踪部可以分别决定第二及第三图像460、470包含的开口区域465、475的基准坐标，利用各个决定的基准坐标及第二及第三成像部420、430指向标记的方向间的几何学关系，决定对象体的位置。开口区域465、475的基准坐标例如可以为开口区域465、475的中心坐标。

在一个实施例中，位置跟踪部可以利用三角法来决定标记的位置。例如，位置跟踪部可以在从借助于第二及第三成像部420、430而分别成像的第二及第三图像460、470，提取开口区域465、475的基准坐标后，利用基于该基准坐标的三角法，计算标记的位置。更具体而言，位置跟踪部可以利用各图案图像上成像的开口区域的基准坐标、第二及第三成像部420、430之间的预先确定的间隔Dx、处于互不相同位置的第二及第三成像部420、430观察标记的方向间的几何学关系，计算标记的位置。

图6是示例性显示图5所示第一成像部410成像的第一图像450的形态的图。

第一图像450可以是借助于与标记405形成无限光学系的第一成像部410而成像的图像。第一图像450包括图3所示的图案255的一部分，可以包括在该部分聚焦的图案图像455。另外，当沿图5所示的X轴方向，第一成像部410配置于第二及第三成像部420、430之间时，图案图像455可以在第一图像450内，配置于第二及第三图像460、470的开口区域465、475所形成的位置之间。

在第一图像450内，图案图像455的位置可以用横向距离X1及纵向距离Y1定义。横向距离X1可以意味着第一图像450的左侧端部及图案图像455之间的最短距离，纵向距离Y1可以意味着第一图像450的上端及图案图像455之间的最短距离。另外，当第一成像部410与第二及第三成像部420、430配置于距地面不同高度时，图案图像455的纵向距离Y1可以不同于开口区域465、475的纵向距离。

在第一图像450中，环绕图案图像455的边界部分456可以对应于标记的开口。穿过标记的开口边缘而释放的出射光，由于出射光经过开口时的衍射、内部反射、开口的光晕或焦点景深等理由，在被照相机拍摄时，会以模糊不清(blurred)的形态成像。因此，边界部分456得模糊地形成，因此，会无法与周边部分457良好区别。另外，周边部分457作为比图案图像455相对较暗的部分，在图像处理过程中，可以补正为无图像的形态(例如，涂黑(blackout)的状态)。因此，当处理器440的位置跟踪部测量图案图像455的基准坐标时，由于边界部分456模糊成像的现象而会发生误差，因此，位置跟踪部可以基于在第二及第三图像460、470内清晰地成像的开口区域465、475的基准坐标来跟踪标记的位置。

在一个实施例中，图5所示的处理器440的姿势跟踪部可以从第一图像450判读图案图像455，因而可以利用图案图像455，判读标记的姿势，利用标记与对象体的相对关系，跟踪对象体的姿势。在一个实施例中，处理器440可以通过图案窗口，从图案图像455提取至少一个子图案，计算子图案在全体图案内的位置，基于此来决定标记的姿势。例如，处理器440可以基于1个子图案，计算标记的姿势。

图7是示例性显示图5所示第二成像部420成像的第二图像460的形态的图，图8是示例性显示图5所示第三成像部430成像的第三图像470的形态的图。

第二及第三图像460、470不与标记形成无限光学系，而是在近焦距处对图像成像，因而出射光会以图案面无法识别的形态成像。即，标记的开口区域465、475可以具有圆盘(disk)形态，可以成像得比周边部分467、477亮。在另一实施例中，当标记的入口的形状具有并非圆形的其他形状(例如，多边形形状)时，标记的开口区域465、475可以具有与所述其他形状对应的形状。

在第二及第三图像460、470中，标记的开口区域465、475可以构成得能够与周边部分467、477清晰区别。因此，在第二及第三图像460、470内，标记的开口区域465、475的位置可以识别。在一个实施例中，处理器440的位置跟踪部可以判断与环绕标记的开口区域465、475的周边部分467、477相区分的边界(boundary)，以此为基础，决定标记的开口区域465、475在第二及第三图像460、470内的基准坐标466、476。例如，基准坐标466、476可以相应于标记的开口区域465、475的中心坐标。

在第二及第三图像460、470内，各个标记的开口区域465、475的位置可以用横向距离X2、X3及纵向距离Y2、Y3定义。横向距离X2、X3可以意味着第二及第三图像460、470的左侧端部及标记的开口区域465、475之间的最短距离，纵向距离Y2、Y3可以意味着第二及第三图像460、470的上端及标记的开口区域465、475之间的最短距离。

如果参考图5，第二成像部420与第一成像部410相比可以配置于偏向X轴(-)方向的位置，因而第二图像460的开口区域465横向距离X2可以小于第一图像450的图案图像455的横向距离X1。另外，第二成像部420与第一成像部410相比可以配置于距地面更高或更低的位置，因此，第二图像460的开口区域465的纵向距离H2可以不同于第一图像450的图案图像455的纵向距离H1。

第三成像部430与第一成像部410相比可以配置于偏向X轴(+)方向的位置，因而第三图像470的开口区域455的横向距离X3可以大于第一图像450的图案图像455的横向距离X1。另外，第三成像部430与第一成像部410相比可以配置于距离地面更低或更高的位置，因而第三图像470的开口区域455的纵向距离Y3可以不同于第一图像450的图案图像455的纵向距离Y1。另外，当第二及第三成像部420、430配置于距离地面相同的高度时，在第二及第三图像460、470内，开口区域465、475的纵向长度Y2、Y3可以相互相同。

第二及第三成像部420、430及标记可以实质上形成三角形形态，因此，第二及第三图像460、470的开口区域465、475的横向距离X2、X3大小相互不同，所述横向距离X2、X3会始终表现出差异(disparity)。例如，如果参考图7及8，横向距离X2与横向距离X3的差异可以表现出正值。另外，第二及第三成像部420、430可以从所述差异构成立体图像。如果参考图5，第二及第三成像部420、430可以隔开预先确定的距离Dx，处理器440的位置跟踪部在利用三角测量法的过程中，可以利用所述差异及预先确定的距离Dx来决定标记的位置。

在一个实施例中，参考图5，处理器440的位置跟踪部可以分别决定第二及第三图像460、470中包含的标记的开口区域465、475的基准坐标466、476，利用各个决定的基准坐标466、476及第二及第三成像部420、430指向标记的方向间的几何学关系，决定对象体的位置。

图9是显示本公开一个实施例的光学跟踪系统的一个成像部由光场照相机构成的示例的图，图10是用于说明基于图9所示光学跟踪系统的三个成像部成像的图像来决定标记的姿势及位置的方法的图。省略对与上述实施例中说明的构成重复的说明。

在一个实施例中，光学跟踪系统可以包括：标记505，其形成有图案面507及构成得显示图案面507的光学系506；成像装置500，其包括第一成像部510、第二成像部520及第三成像部530；处理器540，其包括位置跟踪部521、姿势跟踪部542及ID识别部543。第一成像部510可以具有光场照相机的结构。光场照相机可以构成得在拍摄被摄体后，后续决定被摄体景深，组合具有互不相同被摄体景深的图像。因此，光场照相机的图像传感器可以具有后续的、可变的被摄体景深。另外，光场照相机生成的光场图像可以包括一同存储光线的颜色信息和方向信息的多个单位图像。

具有光场照相机结构的第一成像部510可以配置于透镜511与图像传感器512之间，包括多个微透镜排列的透镜阵列515。另外，图像传感器512可以区分为与各个微透镜对应的区域。第一成像部510体现的光场照相机可以将对被摄体景深为远距离至无限大的图像进行合成的第一图像550传输给处理器540，以便能够清晰拍摄处于无限大位置的图案面507的一部分。

在另一实施例中，第一成像部270可以利用多个单位图像，进行再聚焦(refocusing)过程。在再聚焦过程中，可以在光场图像的像素中，对需要的被摄体景深及与据此逆向演算的光路径至方向相应的像素的颜色信息进行组合，重新提取出希望的景深的图像。由此，图案图像可以生成可清晰识别的第一图像550。

第二及第三成像部520、530可以分别对由从标记505开口506向互不相同方向释放的出射光成像的第二图像560及第三图像570进行成像。从标记505反射的光线穿过第二及第三成像部520、530的透镜521、532，可以在图像传感器522、532中成像。另外，第二及第三成像部520、530的透镜521、531及标记505的光学系506不形成无限光学系，此时，在第二及第三图像560、570内，图案面507的一部分无法以可判读的形态成像。因此，在第二及第三图像560、570内，开口区域565、575的位置可以清晰识别。

在一个实施例中，处理器540的姿势跟踪部542可以基于第一图像550，跟踪对象体的姿势。具体而言，姿势跟踪部542可以在图案的全体区域内，决定第一图像450中包含的图案的一部分的位置，基于决定的位置，决定对象体的姿势。

处理器540的位置跟踪部541可以利用三角测量法，决定标记的位置。具有光场照相机结构的第一成像部510可以构成得从拍摄的光场图像提取在近焦距处成像的第四图像580，以便包含出射光图像。在第四图像580内，开口区域585的位置可以清晰成像，以便清晰识别。

在一个实施例中，位置跟踪部541可以在从借助于第一至第三成像部510、520、530而分别成像的第二至第四图560、570、580，提取开口区域565、575、585的基准坐标后，利用基于三个基准坐标的三角测量法，计算标记的位置。更具体而言，位置跟踪部541可以利用三个基准坐标、第一至第三成像部510、520、530之间的预先确定的间隔、处于互不相同位置的第一至第三成像部510、520、530观察标记的方向间的几何学关系，计算标记的位置。

图11是显示本公开一个实施例的光学跟踪系统的两个成像部由光场照相机构成的示例的图，图12是用于说明基于图11所示光学跟踪系统的三个成像部成像的图像来决定标记的姿势及位置的方法的图。省略与上述实施例中说明的内容重复的说明。

在一个实施例中，光学跟踪系统可以包括：标记605，其形成有图案面607及构成得显示图案面607的光学系606；成像装置600，其包括第一成像部610、第二成像部620及第三成像部630；处理器640，其包括位置跟踪部641、姿势跟踪部642及ID识别部643。各个第一及第二成像部610、620可以具有光场照相机的结构。

各个具有光场照相机结构的第一及第二成像部610、620可以配置于透镜611、621与图像传感器612、622之间，包括多个微透镜排列的透镜阵列615、625。另外，图像传感器612、622可以区分为与各个微透镜对应的区域。第一及第二成像部610、620可以将对被摄体景深为远距离至无限大的图像进行合成的第一图像650和/或第五图像690传输给处理器640，以便能够清晰拍摄处于无限大位置的图案面607的一部分。

第二及第三成像部620、630可以分别对由从标记605的开口606向互不相同方向释放的出射光成像的第二图像660及第三图像670进行成像。在一个实施例中，第二成像部620可以将从拍摄的光场图像提取的在近焦距处成像的第二图像660传输给处理器640。从标记605反射的光线可以穿过第二及第三成像部620、630的透镜621、632，在图像传感器622、632中成像。在第二及第三图像660、670内，开口区域665、675的位置可以清晰识别。

在一个实施例中，处理器640的姿势跟踪部642可以基于在第一图像650中成像的图案图像655，跟踪对象体的姿势。在另一实施例中，姿势跟踪部642可以基于在第五图像690中成像的图案图像695，跟踪对象体的姿势。具体而言，姿势跟踪部542可以在图案的全体区域内，决定第一图像650或第五图像690中包含的图案的一部分的位置，基于决定的位置，决定对象体的姿势。在另一实施例中，姿势跟踪部642可以基于以第一图像650为基础决定的对象体的姿势及以第五图像690为基础决定的对象体的姿势的平均值，跟踪对象体的姿势。

在一个实施例中，处理器640的位置跟踪部641可以利用三角测量法，决定标记的位置。具有光场照相机结构的第一成像部610可以构成得从拍摄的光场图像提取在近焦距处成像的第四图像680，以便包含出射光图像。在第四图像680内，开口区域685的位置可以清晰成像，以便清晰识别。例如，位置跟踪部641可以在从借助于第一至第三成像部610、620、630而分别成像的第二至第四图像660、670、680提取开口区域665、675、685的基准坐标后，利用基于三个基准坐标的三角测量法，计算标记的位置。更具体而言，位置跟踪部641可以利用三个基准坐标、第一至第三成像部610、620、630之间的预先确定的间隔、处于互不相同位置的第一至第三成像部610、620、630观察标记的方向 间的几何学关系，计算标记的位置。

<跟踪标记的方法>

图13是显示本公开另一实施例的光学跟踪方法S1200的流程图。下面针对各步骤，参照附图更具体地说明跟踪标记的方法。

可以将包括图案面及开口的标记附着于对象体。如果参照图1及2，标记10可以附着于手术工具20的端部。另外，标记10的开口13可以配置得始终朝向成像装置100。

首先，在步骤S1210中，如果参考图5，可以以第一图像450为基础，决定标记的姿势，所述第一图像450是由通过开口而显示的图案面的一部分在无限大焦距处成像为图案图像的图像。在下个步骤S1220中，可以基于第二图像及第三图像460、470，决定标记的位置，所述第二图像及第三图像460、470是由通过开口而在互不相同方向释放的出射光在比无限大焦距近的焦距处分别成像为出射光图像的图像。

在光学跟踪方法S1200中，处理器440可以同时决定标记的姿势及标记的位置。在另一实施例中，处理器440可以在决定标记的姿势之前，决定标记的位置，或在决定标记的姿势后，决定标记的位置。

图14是显示图13所示光学跟踪方法中决定标记的姿势的步骤S1210的流程图，图15是显示图13所示光学跟踪方法中决定标记的位置的步骤S1220的流程图。

在一个实施例中，步骤S1210可以如下进行。如果参考图5，首先，在图案面的全体区域内，决定第一图像450中包含的图案图像455的位置S1211。然后，可以基于决定的位置，决定对象体的姿势S1212。

在一个实施例中，步骤S1220可以如下进行。首先，分别决定第二及第三图像460、470内成像的出射光图像的基准坐标S1221，可以利用分别决定的基准坐标及出射光指向的方向间的几何学关系，决定对象体的位置S1222。

在一个实施例中，处理器440可以并行处理并决定标记的位置及姿势。即，第一至第三图像450、460、470同时成像，因而处理器440同时对其进行处理，对象体的姿势及位置可以同时决定。

图16是显示在图13所示光学跟踪方法中使用光场图像的示例的流程图。

如果参考图10，首先，可以生成包括通过开口而显示的图案面一部分的光场图像S1230。然后，可以从光场图像提取在无限大焦距处成像并包含图案图像的第一图像550，提取在近焦距处成像并包含出射光图像的第四图像580(S1240)。然后，可以基于第二图像、第三图像及第四图像560、570、580，决定标记的位置S1250。

在步骤S1250中，处理器可以基于利用了三个图像中包含的出射光图像的基准坐标、成像部观察标记的方向间的几何学关系的三角法，决定标记的位置。在以上实施例中，虽然利用三角法来决定标记的位置，但并非限定于此，可以使用并非三角法的其他位置决定方法。

所述方法通过特定实施例进行了说明，但所述方法还可以在计算机可读记录介质中，以计算机可读代码体现。计算机可读记录介质包括供可借助于计算机系统而读取的数据存储的所有种类的记录装置。作为计算机可读记录介质的示例，有CD-ROM、USB存储装置等。另外，计算机可读记录介质可以分布于以网络连接的计算机系统，计算机可读代码可以以分布方式存储、运行。而且，体现所述实施例所需的功能性(functional)程序、代码及代码片段，可以由本公开所属技术领域的程序员容易地推导。

在本公开中，本公开就一部分实施例进行了说明，本公开所属技术领域的从业人员可以理解，在不超出本公开的精神及范围的范围内，可以实现多样的变形及变更。另外，这种变形及变更应视为属于本公开附带的权利要求书的范围内。

Claims (15)

1.一种光学跟踪系统，作为跟踪标记的位置及姿势的光学跟踪系统，其中，

所述标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，

所述光学跟踪系统包括：处理器，其以通过所述开口看到的所述图案面的一部分在无限大焦距处成像的第一图像为基础，决定所述标记的姿势，基于由在互不相同方向通过所述开口释放的出射光在比所述无限大焦距近的焦距处分别成像的第二图像及第三图像，决定所述标记的位置。

2.根据权利要求1所述的光学跟踪系统，其中，

所述处理器包括：

姿势跟踪部，其以所述第一图像为基础，决定所述标记的姿势，其中，所述第一图像是由通过所述开口而看到的所述图案面的一部分在所述无限大焦距处成像的图像；及

位置跟踪部，其基于所述第二及第三图像，决定所述标记的位置，其中，所述第二及第三图像是由在互不相同方向通过所述开口释放的出射光分别在比所述无限大焦距近的焦距处成像的图像。

3.根据权利要求2所述的光学跟踪系统，其中，

所述第一图像在所述无限大焦距处成像，且包括所述图案面的一部分可识别地成像的图案图像，

所述第二及第三图像在包含所述对象体位置的预定范围的焦距处成像，且包括由朝向互不相同方向的出射光成像的出射光图像。

4.根据权利要求3所述的光学跟踪系统，其中，

所述姿势跟踪部在所述图案面的全体区域内决定所述图案图像的位置，基于所述决定的位置，决定所述对象体的姿势。

5.根据权利要求3所述的光学跟踪系统，其中，

所述位置跟踪部分别决定所述第二及第三图像内成像的所述出射光图像的基准坐标，基于所述分别决定的基准坐标，决定所述对象体的位置。

6.根据权利要求5所述的光学跟踪系统，其中，

所述位置跟踪部基于所述第二及第三图像中成像的所述出射光图像的基准坐标之间的差异，决定所述标记的三维空间上的位置。

7.根据权利要求1所述的光学跟踪系统，其中，

还包括由生成光场图像的光场照相机构成的第一成像部；

所述第一成像部构成得从所述光场图像提取在无限大焦距处成像的所述第一图像，以便包含图案图像。

8.根据权利要求7所述的光学跟踪系统，其中，

所述第一成像部构成得从所述光场图像提取在比所述无限大焦距近的焦距处成像的第四图像，以便包含出射光图像；

所述处理器基于所述第二图像、所述第三图像及所述第四图像，决定所述标记的位置。

9.一种光学跟踪系统，作为跟踪标记的位置及姿势的光学跟踪系统，其中，

所述标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，

所述光学跟踪系统包括：

第一成像部，其在无限大焦距处，对包含所述图案面一部分的第一图像进行成像；

第二成像部，其在比所述无限大焦距近的焦距处，对包括由通过所述开口而向第一方向释放的出射光成像的出射光图像的第二图像进行成像；

第三成像部，其在比所述无限大焦距近的焦距处，对包括由通过所述开口而向与所述第一方向不同的第二方向释放的出射光成像的出射光图像的第三图像进行成像；及

处理器，其以所述第一图像为基础，决定所述标记的姿势，基于所述第二图像及第三图像，决定所述标记的位置。

10.根据权利要求9所述的光学跟踪系统，其中，

所述第一成像部及所述第二成像部分别由生成光场图像的光场照相机构成，

所述第一成像部构成得从所述光场图像提取在比所述无限大焦距近的焦距处成像的第四图像，所述第二成像部构成得从所述光场图像提取在比无限大焦距近的焦距处成像的所述第二图像；

所述处理器基于所述第二图像、所述第三图像及所述第四图像，决定所述标记的位置。

11.根据权利要求9所述的光学跟踪系统，其中，

所述第一成像部配置得具有与所述第二及第三成像部距离地面高度不同的高度，以朝向所述地面的方向为基准，配置于所述第二及第三成像部之间。

12.一种光学跟踪方法，作为跟踪标记的位置及姿势的光学跟踪方法，其中，

所述标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，

所述光学跟踪方法包括：

以由通过所述开口看到的所述图案面的一部分在无限大焦距处成像为图案图像的第一图像为基础，决定所述标记的姿势的步骤；及

基于由通过所述开口而向互不相同方向释放的出射光在比所述无限大焦距近的焦距处分别成像为出射光图像的第二图像及第三图像，决定所述标记的位置的步骤。

13.根据权利要求12所述的光学跟踪方法，其中，

所述决定标记的姿势的步骤包括：

在所述图案面的全体区域内，决定所述第一图像中包含的所述图案图像的位置的步骤；及

基于所述决定的位置，决定所述对象体的姿势的步骤。

14.根据权利要求12所述的光学跟踪方法，其中，

所述决定标记的位置的步骤包括：

分别决定所述第二及第三图像内成像的所述出射光图像的基准坐标的步骤；及

利用所述分别决定的基准坐标及所述出射光指向的方向间的几何学关系，决定所述对象体的位置的步骤。

15.根据权利要求12所述的光学跟踪方法，其中，还包括：

生成包含通过所述开口看到的所述图案面的一部分的光场图像的步骤；

从所述光场图像提取在所述无限大焦距处成像的所述第一图像，以便包含所述图案图像，提取在比所述无限大焦距近的焦距处成像的第四图像，以便包含出射光图像的步骤；及

基于所述第二图像、所述第三图像及所述第四图像，决定所述标记的位置的步骤。