CN109938843B - 光学跟踪系统及光学跟踪方法 - Google Patents

光学跟踪系统及光学跟踪方法 Download PDF

Info

Publication number
CN109938843B
CN109938843B CN201711403280.0A CN201711403280A CN109938843B CN 109938843 B CN109938843 B CN 109938843B CN 201711403280 A CN201711403280 A CN 201711403280A CN 109938843 B CN109938843 B CN 109938843B
Authority
CN
China
Prior art keywords
image
imaged
pattern
light
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711403280.0A
Other languages
English (en)
Other versions
CN109938843A (zh
Inventor
洪德和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaoying Technology Co ltd
Original Assignee
Gaoying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaoying Technology Co ltd filed Critical Gaoying Technology Co ltd
Publication of CN109938843A publication Critical patent/CN109938843A/zh
Application granted granted Critical
Publication of CN109938843B publication Critical patent/CN109938843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

提供一种跟踪标记的位置及姿势的光学跟踪系统。光学跟踪系统包括：成像装置，其包括对标记的至少一部分进行成像而生成光场图像的第一成像部及对从开口释放的出射光进行成像的第二成像部；及处理器，其以第一图像为基础，决定标记的姿势，基于第二图像及第三图像，决定标记的位置，其中，所述第一图像是从光场图像，作为在无限大焦距处成像的图像而提取并由图案面的一部分成像的图像，所述第二图像是从光场图像，作为在比无限大焦距近的焦距处成像的图像而提取的图像，所述第三图像是在与朝向第一成像部的出射光不同的方向，由通过开口释放的出射光借助于第二成像部而成像的图像。

Description

光学跟踪系统及光学跟踪方法
技术领域
本公开涉及光学跟踪系统及光学跟踪方法。
本公开来源于作为中小企业厅WC 300项目技术开发支持的一部分的研究[作业具体编号：S2482672，研究对象名称：匹配精度1mm以下的手术导航融合头颈部手术机器人系统的开发]。
背景技术
作为用于跟踪对象体的方法，可以使用光学跟踪系统。最近，为了在使手术失误发生的危险最小化的同时进行精密的手术，利用了跟踪手术机器人或手术工具的位置(location或coordinate)及姿势(posture或orientation)并将其跟踪结果应用于手术的方法。对象体的位置例如可以用诸如直角坐标系X、Y、Z轴上坐标的空间坐标来定义。对象体的姿势可以用翻滚角(roll)、仰俯角(pitch)、偏航角(yaw)定义。为了准确跟踪对象体，正如上面所作的说明，重要的是准确掌握与对象体的六自由度(Degree of Freedom)相应的位置及姿势。
在光学跟踪系统中，例如将名为标记(marker)的基准体附着于对象体后跟踪该标记，从而可以测量对象体的位置及姿势。在光学跟踪系统中，经过例如利用诸如照相机的成像装置，拍摄标记的一部分并对其进行判读的过程。在该过程中，由于多样的因素，拍摄的图像的一部分(例如，边界部分)可能显示模糊或不明确。当以这种图像为基础跟踪标记时，在推定的对象体的位置及姿势与实际对象体的位置及姿势之间会发生差异。
发明内容
解决的技术问题
本公开的一个实施例提供一种能够更准确地测量对象体的位置及姿势的光学跟踪系统及方法。
技术方案
本公开的一个实施例光学跟踪系统，作为跟踪标记的位置及姿势的光学跟踪系统，其中，标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，所述光学跟踪系统可以包括：成像装置，其包括对标记的至少一部分进行成像而生成光场图像的第一成像部及对从开口释放的出射光进行成像的第二成像部；及处理器，其以第一图像为基础，决定标记的姿势，基于第二图像及第三图像，决定标记的位置，其中，所述第一图像是从光场图像，作为在无限大焦距处成像的图像而提取的并由图案面的一部分成像的图像，所述第二图像是从光场图像，作为在比无限大焦距近的焦距处成像的图像而提取的图像，所述第三图像是在与朝向第一成像部的出射光不同的方向，由通过开口释放的出射光借助于第二成像部而成像的图像。
根据一个实施例，处理器可以包括：姿势跟踪部，其以第一图像为基础，决定标记的姿势，其中，所述第一图像是通过开口而显示的图案面的在无限大焦距处成像的图像；及位置跟踪部，其基于第二及第三图像，决定标记的位置，其中，所述第二及第三图像是由在互不相同方向通过开口释放的出射光在比无限大焦距近的焦距处分别成像的图像。
根据一个实施例，第一图像作为为了在无限大焦距处成像，而从光场图像提取的图像，包含由图案面的一部分可识别地成像的图案图像，第二图像作为为了在包含对象体位置的既定范围的焦距处成像，而从光场图像提取的图像，包含由朝向第一成像部的出射光成像的出射光图像，第三图像可以包含由朝向第二成像部的出射光成像的出射光图像。
根据一个实施例，姿势跟踪部可以在图案面的全体区域内决定图案图像的位置，基于决定的位置，决定对象体的姿势。
根据一个实施例，位置跟踪部可以分别决定第二及第三图像内成像的出射光图像的基准坐标，基于分别决定的基准坐标及标记与第一及第二成像部之间的几何学关系，决定对象体的位置。
根据一个实施例，位置跟踪部可以基于第二及第三图像中成像的出射光图像的基准坐标之间的差异(disparity)，决定标记的三维空间上的位置。
根据一个实施例，位置跟踪部可以以第二及第三图像为基础，构成立体图像，决定标记的三维空间上的位置。
本公开另一实施例的光学跟踪系统，作为跟踪标记的位置及姿势的光学跟踪系统，其中，标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，所述光学跟踪系统可以包括：成像装置，其包括对标记的至少一部分进行成像而分别生成光场图像的第一成像部及第二成像部；及处理器，其以第一图像为基础，决定标记的姿势，基于第二图像及第三图像，决定标记的位置，其中，所述第一图像是从借助于第一成像部而成像的光场图像，作为在无限大焦距处成像的图像而提取的并由图案面的一部分成像的图像，所述第二图像是从借助于第一成像部而生成的光场图像，作为在比无限大焦距近的焦距处成像的图像而提取的图像，所述第三图像是从借助于第二成像部而生成的光场图像，作为在比无限大焦距近的焦距处成像的图像而提取的图像。
根据一个实施例，第一图像作为为了在无限大焦距处成像，而从借助于第一成像部而成像的光场图像提取的图像，可以包含由图案面的一部分可识别地成像的图案图像，第二图像作为为了在包含对象体位置的既定范围的焦距处成像，而从借助于第一成像部而成像的光场图像提取的图像，可以包含由朝向第一成像部的出射光成像的出射光图像，第三图像作为为了在既定范围的焦距处成像，而从借助于第二成像部而成像的光场图像提取的图像，可以包含由朝向第二成像部的出射光成像的出射光图像。
根据一个实施例，处理器可以在图案面的全体区域内，决定图案图像的位置，基于决定的位置，决定对象体的姿势；处理器可以分别决定第二及第三图像内成像的出射光图像的基准坐标，基于分别决定的基准坐标及标记与第一及第二成像部之间的几何学关系，决定对象体的位置。
根据一个实施例，第二成像部将第四图像传输给处理器，所述第四图像作为为了在无限大焦距处成像，而从借助于第二成像部而生成的光场图像提取的图像，包含由图案面的一部分可识别地成像的图案图像；处理器可以在图案面的全体区域内，决定第四图像内成像的图案图像的位置，基于决定的位置，决定对象体的姿势；处理器可以以从第一图像决定的对象体的姿势及从第四图像决定的对象体的姿势的平均值为基础，决定对象体的姿势。
根据一个实施例，处理器可以从第一图像内成像的图案图像，决定对象体的位置及姿势。
本公开又一实施例的光学跟踪方法，作为跟踪标记的位置及姿势的光学跟踪方法，其中，标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，所述光学跟踪方法可以包括：对第一图像、第二图像、第三图像成像的步骤，其中，所述第一图像包括从借助于第一成像部而成像的光场图像，作为在无限大焦距处成像的图像而提取的由图案面的一部分可识别地成像的图案图像，所述第二图像是从光场图像，作为在比无限大焦距近的焦距处成像的图像而提取的由通过开口向第一方向释放的出射光成像的图像，所述第三图像是借助于第二成像部，由通过开口向与第一方向不同的第二方向释放的出射光成像的图像；以第一图像为基础，决定标记的姿势的步骤；及基于第二图像及第三图像，决定标记的位置的步骤。
根据一个实施例，决定标记的姿势的步骤可以包括：在图案面的全体区域内，决定第一图像中包含的图案图像的位置的步骤；及基于决定的位置，决定对象体的姿势的步骤。
根据一个实施例，决定标记的位置的步骤可以包括：分别决定第二及第三图像内成像的出射光图像的基准坐标的步骤；及利用分别决定的基准坐标及出射光指向的方向间的几何学关系，决定对象体的位置的步骤。
发明效果
根据本公开的实施例，可以从光场图像同时分别获得图案图像可识别地成像的图像及开口区域的位置可识别地成像的图像。
另外，在拍摄的图像内，可以提高出射光图像的基准位置的准确度，可以提高光学跟踪系统的精密度。
附图说明
图1是显示本公开一个实施例的光学跟踪系统在手术中使用的示例的图。
图2是本公开一个实施例的光学跟踪系统的框图。
图3是根据本公开的一个实施例，显示成像部在各个方向拍摄从标记的开口释放的出射光的示例的图。
图4是用于根据本公开的一个实施例，说明从成像部成像的图像的补正图像的图。
图5是用于说明具有光场照相机结构的成像部的图。
图6是用于说明图5所示的透镜阵列的图。
图7是显示成像部获得的光场图像中包含的多个单位图像的被摄体景深不同地形成的过程的图。
图8是用于说明包括具有互不相同的被摄体景深的多个单位图像的光场图像的图。
图9是用于说明本公开一个实施例的基于光学跟踪系统的成像部成像的图像来决定标记的姿势及位置的方法的图。
图10是显示图9所示的光学跟踪系统成像的图像的图。
图11是本公开的另一实施例的光学跟踪系统的框图。
图12是用于说明本公开的另一实施例的基于光学跟踪系统的成像部成像的图像来决定标记的姿势及位置的方法的图。
图13是显示本公开另一实施例的光学跟踪系统成像的图像的图。
图14是显示本公开的又一实施例的光学跟踪方法的流程图。
图15是显示图14所示光学跟踪方法中决定标记姿势的步骤的流程图。
图16是显示图15所示光学跟踪方法中决定标记位置的步骤的流程图。
附图标记
1、2：光学跟踪系统
10、30：标记
100、800：成像装置
110、120、270、280、710、720、810、820：成像部
111、121、131：透镜
112、142：透镜阵列
113、123、813、823：图像传感器
130、760、830：处理器
600：光场图像
730、930：第一图像
740、940：第二图像
750、950：第三图像
960：第四图像
具体实施方式
本公开的实施例是出于说明本公开的目的而列举的示例。本公开的实施例可以以多样的形态实施，不得解释为本公开限定于以下提示的实施例或对这些实施例的具体说明。
本公开中使用的术语“部”意味着诸如软件、FPGA(field-programmable gatearray，现场可编程门阵列)、ASIC(application specific integrated circuit，专用集成电路)的硬件构成要素。但是，“部”并非限定于硬件及软件。“部”既可以构成得位于可寻址的存储介质，也可以构成得再生一个或其以上的处理器。因此，作为一个示例，“部”包括诸如软件构成要素、面向对象的软件构成要素、类构成要素及任务构成要素的构成要素，处理器、函数、属性、程序、子程序、程序代码的区段、驱动程序、固件、微码、电路、数据、数据库、数据结构、工作表、阵列及变数。构成要素和“部”内提供的功能还可以结合为更少数量的构成要素及“部”，或分离为追加的构成要素和“部”。
只要未不同地定义，本公开中使用的所有技术性术语及科学性术语具有本公开所属技术领域的普通技术人员一般理解的意义。本公开中使用的所有术语是出于更明确地说明本公开的目的而选择的，不是为了限制本公开的范围而选择的。
只要未不同地提及，本公开中记述的单数型的表现可以还一同包括复数型的表现，这也同样适用权利要求书中记载的单数型的表现。
本公开的多样实施例中使用的“第一”、“第二”等表现，只是为了相互区分多个构成要素而使用的，并非限定相应构成要素的顺序或重要度。
本公开中使用的诸如“包括的”及“具有的”的表现，只要在包含相应表现的语句或文章中未不同地提及，应理解为涵盖将包括其他实施例的可能性的开放型术语(open-ended terms)。
本公开中“基于～”字样的表现，用于记述对包含相应表现的语句中记述的决定或判断的行为或给动作施加影响的一个以上因子，该表现不排除对决定或判断的行为或动作施加影响的追加因子。
在本公开中，当提及某种构成要素“连接于”或“接入于”其他构成要素时，应理解为既可以是所述某种构成要素直接连接于或接入于所述其他构成要素，也可以在所述某种构成要素与所述其他构成要素之间存在新的其他构成要素。
下面参照附图，详细说明本公开的实施例。对于附图上相同的构成要素，使用相同的附图标记，对于相同的构成要素，省略重复的说明。
<光学跟踪系统>
图1显示了本公开一个实施例的光学跟踪系统1在手术中使用的示例。
如图所示，医生D(doctor)可以利用包括手术工具20、成像装置100的光学跟踪系统1，进行对患者P(patient)的手术。在医生D使用的手术工具20上，可以附着有标记10，在诸如患者P的患处的对象体上也可以附着有另一标记30。光学跟踪系统1的成像装置100可以成像(capture)及获得在标记(10和/或30)上形成的图案的全部或一部分的图案图像。图案图像可以在成像装置100的成像部包括的图像传感器输出的成像图像帧内的一部分区域成像。
获得图案图像后，可以从图案图像，提取子图案中至少一者作为构成标记图案的基本单位。根据一个实施例，可以决定提取的至少一个子图案在全体图案内的位置，可以基于决定的子图案在全体图案内的位置，决定标记(10和/或30)的姿势。其中，标记(10和/或30)的姿势可以意味着相对于标记(10和/或30)的成像装置100的三维方向以及方位。
根据一个实施例，成像装置100可以包括2个以上的成像部，成像部例如可以是可对标记至少一部分进行图像成像的照相机。更具体而言，各个成像部例如可以由从标记(10和/或30)的开口(aperture)朝向各成像部的光分别形成图像。某一个标记(10和/或30)的位置可以利用基于借助2个以上照相机而成像的图像中具有立体图像关系的两个图像的三角法(triangulation)来决定。
如此获得了标记(10和/或30)的位置及姿势后，可以基于标记(10和/或30)与该标记(10和/或30)附着的对象体间的几何学关系，决定标记(10和/或30)附着的对象体的位置及姿势。
正如以下详细说明所示，根据本公开一个实施例的光学跟踪系统1，可以利用至少一个标记，决定对象体的与六自由度相应的位置及姿势。
根据本公开的光学跟踪系统1，在1个标记10附着于作为对象体的手术工具20的情况下，也可以基于在标记10上形成的图案，跟踪对象体的位置及姿势。因此，在手术工具20上，可以附着有轻量或小型的标记10，医生D可以在没有对标记10大小及重量的负担的情况下，使用附着有标记的手术工具20进行手术。
在以上说明的实施例中，本公开的标记及光学跟踪系统1应用于医生对患者进行手术的示例，但也可以应用于利用标记来决定对象体位置及姿势的其他多样示例。例如，本公开的标记及光学跟踪系统在利用手术机器人对患者进行手术的情况下，可以用于决定附着于手术机器人的手术工具的位置及姿势。在另一示例中，本公开的标记及光学跟踪系统在作业者或作业机器人利用特定工具，对特定对象体执行特定作业的情况下，可以用于决定该工具和/或对象体的位置及姿势。下面就通过图1及2的示例而概略地说明的本公开的标记及光学跟踪系统的多样实施例进行更具体说明。
图2是本公开一个实施例的光学跟踪系统1的框图。
光学跟踪系统1可以包括标记10、成像装置100及处理器130。标记10可以包括形成有图案的图案面15及诸如透镜的光学系12，所述光学系12构成得使沿着在标记10外部观察的方向固有地显示的图案的至少一部分可以在标记10的外部被识别(或在视觉上认知)。根据一个实施例，标记10可以附着于借助光学跟踪系统1来测量其位置及姿势的对象体，或作为该对象体的全体或一部分而体现。通过测量标记10的位置及姿势，可以测量附着了标记10的对象体的位置及姿势。
标记10的外形可以具有图案面15及诸如透镜的光学系12容易安装的形状。在一个实施例中，标记10的外形11可以具有曲面形状。如上所述，当标记10具有曲面形状时，形成图案的图案面15可以在球形状的内部面或外部面的至少一部分体现，光学系12可以在球形状的内部面中与图案面15相向的开口13体现。在另一实施例中，标记10的外形11例如可以具有六面体或圆筒形状。当外形11具有圆筒形状时，在圆筒形状的一侧面形成的开口13，可以安装光学系12，在相向的另一侧面，可以设置图案面15。在这种构成中，在图案面15形成的图案经过圆筒的主体，可以通过光学系12而从外部在视觉上识别。
在一个实施例中，成像装置100拍摄包括标记10至少一部分的多个图像，处理器130可以从成像装置100接收所述多个图像，并以此为基础，跟踪标记10的位置及姿势。成像装置100可以包括构成得分别对不同图像进行成像的第一及第二成像部110、120。第一及第二成像部110、120可以对从标记10反射并向互不相同方向释放的出射光进行成像。
第一成像部110可以包括透镜111、透镜阵列112及图像传感器113。即，第一成像部110可以具有构成得对光场图像进行成像的光场照相机(light field camera)结构。因此，第一成像部110可以对被图案面15反射而进入透镜111的出射光进行成像，生成光场图像。另外，第二成像部120可以包括透镜121及图像传感器123。因此，第二成像部120可以获得从与被标记10的图案面15反射后朝向第一成像部110的光线不同的方向进入透镜121的出射光所成像的图像。
在一个实施例中，第一及第二成像部110、120为了加强通过光学系12入射到成像装置100的光线，以便图案可在标记10外部充分识别，可以包括向标记10或图案照射光线的至少一个光源116、126。此时，标记10可以作为被动标记(passive marker)工作。另外，第一及第二成像部110、120可以包括光束分离器115、125，所述光束分离器115、125通过透镜111、121向标记10照射光源116、126发生的光线。
在图2中，图示了光源116、126配置于成像部110、120内部，但并非限定于此，也可以配置于成像装置100的外部。根据另一实施例，光源可以安装得从标记10的内部向图案面15的前面或后面照射光线。此时，标记10可以作为主动标记(active marker)工作。
在一个实施例中，在光学跟踪系统1在诸如手术导航系统(surgical navigationsystem)的手术系统内工作的情况下，标记10可以附着于包括手术工具、手术机器人的一部分或患者的患处在内的至少一个对象体。另外，在使用多个标记的情况下，标记的位置及姿势可以依次或同时跟踪。此时，处理器130为了跟踪多个标记的位置及姿势，可以通过标记的ID，区别附着于各个对象体的标记。
根据又一实施例，光学跟踪系统1可以跟踪具有预先决定的几何学关系的2个标记的位置及姿势。例如，光学跟踪系统1可以同时跟踪图1所示的附着于手术工具20的标记10及附着于患者头部的标记30的位置及姿势。光学跟踪系统可以通过成像装置，获得分别在2个标记上形成的图案的图案图像。2个标记的位置可以基于预先决定的几何学关系及图案图像上的图案至少一部分的位置与各标记上的图案的至少一部分的位置间的关系来决定。标记的姿势可以以与前面说明的方式相同的方式决定。
在一个实施例中，处理器130可以包括：姿势跟踪部132，其以第一图像为基础，决定标记10的姿势，其中，所述第一图像是在无限大焦距处对通过开口13看到的图案面15的一部分进行成像的图像；位置跟踪部131，其基于第二及第三图像，决定标记10的位置，其中，所述第二及第三图像是在比无限大焦距近的焦距处对从互不相同的方向通过开口13释放的出射光分别进行成像的图像；及ID识别部133，其为了跟踪多个标记的位置及姿势而通过标记ID来区别附着于各个对象体的标记。ID识别部133可以从第一图像包含的图案图像识别标记10的ID。
无限大焦距例，如以成像装置100为基准，可以意味着对应于比标记10远得多的位置的距离。另外，比无限大焦距近的焦距(以下称“近焦距”)可以为包含对象体的位置的预定范围的焦距。即，标记10附着于对象体，因而比无限大焦距近的焦距可以为包含标记10位置的预定范围的焦距。
图3是根据本公开的一个实施例，显示成像部270、280在各个方向拍摄从标记210的开口230释放的出射光L1、L2的示例的图。
如果参考图2，第一成像部270可以具有光场照相机的结构。第二成像部280可以具有用于在近焦距处形成图像的照相机的结构。另外，第一成像部270可以在无限大焦距处对图案面250一部分进行成像，对图案图像进行成像，第二成像部280可以在近焦距处对被标记210的图案面250反射而进入光学系220的出射光进行成像。
根据一个实施例，标记210可以位于第一及第二成像部270、280各自的视野角(FOV)内，在开口230形成的光学系220可以朝向第一及第二成像部270、280配置。其中，被图案面250反射的光线可以通过光学系220，以平行出射光L1射出，到达第一成像部270的透镜275，可以成像为图案图像。另外，标记210的与从光学系220朝向第一成像部270的出射光不同方向的出射光L2到达第二成像部280的透镜285，可以成像为出射光图像。
在一个实施例中，第一成像部270可以与标记210形成无限光学系。形成有图案255的图案面250可以配置于标记210内部，以便图案图像通过光学系220，以平行出射光L1的形态传递到第一成像部270。第一成像部270包括的图像传感器的景深可以设置得包括从比标记210位置远的地点起，至借助于标记210的光学系220而形成图案图像的无限大地点。此时，与随着标记210的移动而距标记210距离的变化无关，第一成像部270包含的图像传感器可以对在标记210上形成的图案的一部分的图案图像进行成像。另外，即使在标记远离或靠近的情况下，第一成像部270也可以无需调整景深或倍率地对图案图像进行成像。因此，在如上所述构成无限光学系的情况下，即使标记210位于远离成像装置的位置，也可以从借助于第一成像部270而成像的图案图像识别图案的至少一部分。在另一实施例中，当图案面250配置于标记210内时，标记210的光学系220可以与第一及第二成像部270、280各自的光学系透镜275、285一同构成无限光学系。
在一个实施例中，图案255形成得针对全体图案，固有地决定各子图案的位置，因此，可以从该图案的图案图像，提取各子图案相对于全体图案的位置相关信息。具体而言，图案255可以包括反复排列的非周期性序列(aperiodic sequences)。例如，各非周期性序列可以为PRBS(Pseudo-Random Binary Sequence，伪随机二进制序列)，更具体而言，可以是德布鲁因序列(De Bruijn Sequence)。其中，所谓“非周期性序列”，可以意味着如上所述具有最大化的自相关性，或相应序列中包含的多个子序列不以周期性方式排列。另外，图案255可以形成得能够提供标记的ID。
图4是用于根据本公开的一个实施例，说明从成像部成像的图像的补正图像的图。
在一个实施例中，成像部为了决定附着有标记的对象体(例如，手术工具)的位置及姿势，可以对在标记上形成的图案的至少一部分进行成像。在标记与对象体之间，可以存在预先设置的几何学关系，当跟踪标记的姿势时，可以利用与对象体的预先设置的几何学关系，跟踪对象体的姿势。
与标记形成无限光学系的成像部，可以从图像传感器实际成像的图像(300)，获得经预定的图像处理(image process)的补正图像(correction image)。成像的图像(300)是图案部分周边的周边部分未完全黑暗地成像、位于成像装置视野角的事物模糊显示的程度。图像处理例如可以是在所成像的图像中，进一步强化明亮部分与黑暗部分的差异的作业。
在一个实施例中，成像的图像300可以包括在既定位置形成的图案图像320。环绕图案图像320的虚假(imaginary)边界部分330可以与标记的开口位置对应，可以区分图案图像320及周边部分310。图案图像320中包含的子图案350可以由处理器的姿势决定部通过图案窗口340来判读。另外，从原本图像(图上未示出)进行了图像处理后，图案图像320比图4所示的成像的图像300更突显，周边部分310变黑，边界部分330模糊地成像。
在成像的图像300中，除图案图像320之外的周边部分310作为比与图案图像320对应的标记图案面相对更暗的部分，可以成像为无图像的形态(例如，涂黑(black out)的状态)。即，成像部的图像传感器对未形成被摄体景深的区域及光量相对较少部分较暗地成像，较暗地成像的部分可以为周边部分310。另外，与标记的光学系形成无限光学系的成像部，其图像传感器的焦距聚焦于远距离至无限大，因而标记所运用的范围内的近距离物体可以全部严重模糊(blur)。另外，从标记开口射出的出射光比周边光相对更亮，因此，在成像的图像300内，图案图像320可以强烈突显。如果通过照明和滤波来控制用于标记拍摄的光线，那么，在成像的图像300内，图案图像320与周边部分310的亮度差异会进一步加大。
在一个实施例中，如果光学跟踪系统的成像部将从在标记形成的图案面反射的出射光成像为图案图像320，那么，处理器的姿势决定部可以基于图案图像320包含的各子图案350在全体图案内的位置，决定标记的姿势。例如，成像的图案图像320中可以包含图3所示的图案255的一部分，处理器可以从成像部接收成像的图像300，执行图像补正后，在判读的图案图像320内，通过图案窗口340识别子图案350。图案窗口340的大小可以与子图案350大小相同或更大。即，处理器的姿势跟踪部可以在全体图案内决定相应子图案的位置，可以基于如此决定的子图案的位置，决定标记的姿势。
图5是用于说明具有光场照相机结构的成像部400的图。
在一个实施例中，成像部400可以包括从被摄体410起依次配置的透镜420、透镜阵列430及图像传感器440。被摄体410可以成为在标记的开口乃至标记上形成的图案的一部分。图5所示的成像部400是作为用于获得光场图像的一种配置结构的示例，为了获得光场图像，可以应用与图5所示结构不同的结构。
在一个实施例中，透镜420可以对从被摄体410进入的光线进行聚光。透镜420可以是具有一个焦距的凸透镜，以便从被摄体410进入的光线可以聚光于一个点。在透镜420利用多个透镜等体现的情况下，根据公知的薄透镜理论(thin lens theory)，可以将多个透镜定义为一个薄透镜。因此，透镜420的直径、焦距及中心可以分别用如上所述定义的一个薄透镜的直径、焦距及中心表示。
在一个实施例中，透镜阵列430可以使穿过透镜420而进入的光线分散，聚光于在互不相同的位置形成的多个点。透镜阵列430可以由多个子透镜431构成。在一个实施例中，透镜阵列430可以配置得比透镜420的焦距更靠近透镜420。在另一实施例中，透镜阵列430可以配置得距离透镜420比透镜420的焦距更远。
在一个实施例中，透镜阵列430可以配置于与透镜420焦距对应的位置。此时，从透镜420进入的光线的焦点可以在子透镜431中之一上形成。另外，图像传感器440可以固定安装于与透镜阵列430包含的各个子透镜431的焦距对应的位置。
在一个实施例中，图像传感器440可以传感穿过透镜阵列430的光线。另外，图像传感器440可以获得包含与多个点对应的多个单位图像的光场图像(light field image)。图像传感器440可以包括构成得获得任意物体的成像图像的任意种类的至少一个成像元件，例如可以包括CCD(charge-coupled device，电荷耦合装置)传感器或CMOS(complementarymetal-oxide semiconductor,互补金属氧化物半导体)传感器。图像传感器440可以由多个像素(fixel)441构成。
在一个实施例中，图像传感器440拍摄1次时，可以输出例如具有照片集合体文件格式(format)的光场图像。照片集合体文件可以包括在与多个子透镜的焦距对应的位置形成被摄体焦点、具有互不相同被摄体景深的多个单位图像。在各个单位图像中，可以根据X、Y坐标，一同存储光线的颜色信息和方向信息。
在一个实施例中，各个单位图像可以拍摄具有互不相同被摄体景深但却相同的对象体。在各个单位图像中显示的对象体形象实质上可以相同，在相互清晰显示的部分及模糊显示的部分的位置会发生差异。清晰显示的部分可以是对应的子透镜431聚焦并具有被摄体景深的部分，模糊显示的部分可以是除此之外的部分。
光场照相机可以构成得在拍摄被摄体后，后续决定被摄体景深，组合具有互不相同被摄体景深的图像。因此，光场照相机的图像传感器可以具有后续的、可变的被摄体景深。另外，光场照相机生成的光场图像可以包括一同存储光线的颜色信息和方向信息的多个单位图像。
在一个实施例中，成像部400体现的光场照相机可以将对被摄体景深为远距离至无限大的图像进行合成的第一图像传输给处理器，以便能够清晰拍摄处于无限大位置的被摄体410，即清晰拍摄标记的图案面的一部分。
在另一实施例中，成像部400可以利用多个单位图像，进行再聚焦(refocusing)过程。在再聚焦过程中，可以在光场图像的像素中，对需要的被摄体景深及与据此逆向演算的光路径至方向相应的像素的颜色信息进行组合，重新提取出希望的景深的图像。由此，图案图像可以生成可清晰识别的第一图像。
图6是用于说明图5所示透镜阵列430的图。
在一个实施例中，透镜阵列430包含的多个子透镜431可以由N个(N>1，N为自然数)微透镜提供。即，N个可以意味着多个。例如，在透镜阵列430中，可以相对于各行，配置有i个子透镜431，相对于各列，配置有j个子透镜。因此，N个微透镜可以由i X j个行列构成。例如，为了形成更细密的光场，透镜阵列430可以具有由大致1000X1000个微透镜排列的形态。微透镜的排列及个数可以因透镜及微透镜的物性、拍摄环境、单位图像要求的分辨率或图像传感器的像素数等多样的条件而异。
在一个实施例中，与子透镜431对应的N个微透镜可以使穿过透镜而进入的光线分散到N个点。在一个实施例中，图5所示的图像传感器可以区分为与N个微透镜形成的N个点对应的N个区域。即，N个微透镜的各自焦点可以形成得分散于图像传感器的N个区域。
在一个实施例中，当在N个区域中对N个单位图像进行成像时，光场图像可以包括具有互不相同被摄体景深的N个单位图像。另外，处理器可以在N个图像中，选择在既定位置形成被摄体景深的图像。处理器可以在N个图像中，选择具有无限大焦距至近焦距的至少一个图像。例如，成像部为了对标记的图案面所成像的图像进行成像，可以从光场图像提取具有无限大焦距的图像，为了对出射光图像进行成像，可以提取具有近焦距的图像。
图7是显示成像部500获得的光场图像中包含的多个单位图像的被摄体景深不同地形成的过程的图。
成像部500可以包括透镜530、透镜阵列540及图像传感器550。与第二被摄体520相比，第一被摄体510可以配置得距离透镜530较近。在一个实施例中，第一被摄体510可以对应于图3所示的标记的开口230，第二被摄体520可以对应于图3所示的图案面250。
从第一被摄体510上端射出的光线通过透镜530而聚光，可以聚焦于配置在透镜阵列540下侧的子透镜542。从子透镜542射出的光线可以到达配置于图像传感器550下侧的区域A1。因此，从第一被摄体510上端射出的光线的光量可以主要分布于下侧区域A1，而光量在剩余区域分布较少。即，在下侧区域A1包含的像素551、552、553中，第一被摄体510上端的形态可以清晰成像。
从第二被摄体520上端射出的光线可以通过透镜530而聚光，聚焦于透镜阵列540中间部分的子透镜541。从子透镜541射出的光线可以到达配置于图像传感器550中间部分的区域A2。因此，从第二被摄体520上端射出的光线的光量可以主要分布于中间区域A2，而光量在剩余区域分布较少。即，在中间区域A2包含的像素554、555、556中，第二被摄体520上端的形态可以清晰成像。
在下侧区域A1，从第二被摄体520射出的光线的光量分布较少，因而第二被摄体520的形态会以模糊状态成像。另外，在中间区域A2，从第一被摄体510射出的光线的光量分布较少，因而第一被摄体510的形态会以模糊状态成像。因此，下侧区域A1可以输出针对第一被摄体510形成被摄体景深的单位图像，中间区域A2可以输出针对第二被摄体520形成被摄体景深的单位图像。
如上所述，如果通过一个实施例的成像部拍摄被摄体，则可以获得包含具有互不相同被摄体景深的多个单位图像的光场图像。
图8是用于说明包含具有互不相同被摄体景深的多个单位图像的光场图像600的图。
在一个实施例中，光场图像600可以从图像传感器输出到包含在互不相同位置的区域C1、C2、C3、C4形成被摄体景深的多个单位图像的照片集合体文件。多个区域C1、C2、C3、C4可以是单位图像内互不相同的位置，根据情况，可以是至少两个区域相互相同的位置。照片集合体文件如图9所示，可以是单纯地汇集物理上相互分离的多个单位图像的集合体格式。不同于此，照片集合体文件也可以是以新的扩展名方式，由多个单位图像相互结合成一体的格式。在一个实施例中，各个单位图像可以包括光线的颜色信息和方向信息，以便具有互不相同的被摄体景深。图9所示的箭头方向可以代表形成被摄体景深的距离增加的方向。
根据一个实施例，处理器可以根据图像形成的被摄体景深(DOF)，对光场图像600包含的多个图像进行分类，根据使用者的输入，输出具有比参照图像(REF)更近的被摄体景深或具有更远的被摄体景深的单位图像。例如，参照图像的被摄体景深可以与包含标记位置的区域的景深相应。
在一个实施例中，成像装置拍摄的光场图像可以包括可根据被摄体景深而分类的N个单位图像。在一个实施例中，处理器可以按照N个图像各自形成的被摄体景深对N个图像进行分类，可以根据使用者的输入，选择N个图像中某一个图像。另外，处理器为了从光场图像获得清晰的图案图像，可以在N个图像中，输出在无限大焦距处形成被摄体景深的图像。
图9是用于说明本公开一个实施例的基于光学跟踪系统的成像部710、720成像的图像730、740、750来决定标记的姿势及位置的方法的图。
在一个实施例中，标记70可以位于第一及第二成像部710、720的视野角内。另外，第一成像部710可以具有光场照相机的结构，第二成像部720可以具有用于在近焦距处对出射光图像进行成像的照相机结构。第一成像部710可以对第一图像730及第二图像740进行成像，其中，所述第一图像730是作为从光场图像作为具有无限大焦距的图像而提取的包含图案图像735的图像，所述第二图像740是从光场图像作为具有近焦距图像而提取的图像。另外，第二成像部720可以对第三图像750进行成像，所述第三图像750是包含从近焦距处朝向第二成像部720的出射光图像的图像。
第一图像730的景深可以以相当于无限大焦距的位置为中心，在预定的有限范围形成。另外，第二及第三图像740、750的景深可以以相当于近焦距的位置为中心，在既定的有限范围形成。即，第二及第三图像740、750的景深可以以标记70的位置为中心，在既定的有限范围形成。
在一个实施例中，第一成像部710可以从借助于第一成像部710而成像的光场图像，提取在无限大焦距处成像的第一图像730及在近焦距处成像的第二图像740，传输给处理器760。处理器760的姿势跟踪部可以基于第一图像730的图案图像735上包含的图案的至少一部分(或区域)的大小及开口区域745的基准坐标，跟踪标记的姿势。
在一个实施例中，处理器760的姿势跟踪部可以以第一图像730为基础，决定标记的姿势，其中，所述第一图像730是从通过开口而显示的图案面的一部分借助于第一成像部710而成像的光场图像，作为在无限大焦距处成像的图像而提取的图像。另外，姿势跟踪部可以基于第一图像730中包含的图案图像735，决定形成图案的各子图案在全体图案内的位置，可以基于该结果，决定标记的姿势。
图案图像735可以在第一图像730内可识别地成像，开口区域745的位置可以在第二图像740内可识别地成像。在一个实施例中，第一成像部710及第二成像部720可以配置于距离地面相同的高度(例如，Y轴方向的高度)。因此，在第二图像740中成像的开口区域745及在第三图像750中成像的开口区域755分别可以在第二及第三图像740、750内具有相同的高度。
在一个实施例中，处理器760的位置跟踪部可以基于在第二及第三图像740、750中成像的出射光图像的基准坐标之间的差异(disparity)，决定标记的三维空间上的位置。开口区域745在第二图像740内沿着与地面平行的方向(例如，X轴方向)位置的距离X1，可以与开口区域755在第三图像750内沿着与地面平行方向位置的距离X2不同。例如，距离X2可以形成得大于距离X1。另外，第一及第二成像部710、720可以将预先确定的距离d置于之间而隔开，处理器760的位置跟踪部可以在利用三角法决定标记位置的过程中，利用预先确定的距离d信息。
另一方面，在第一图像730内，图案图像735形成的区域的大小，可以根据从图案图像730成像的位置(例如，成像部的位置)至标记的距离及标记的位置中至少一者而变更。
根据一个实施例，处理器760的位置跟踪部可以在成像的第二及第三图像740、750上，提取开口区域745、755的基准坐标，基于这些坐标，决定标记的位置。例如，当标记的开口具有圆形时，图案图像735及开口区域745可以如图10所示显示为大致圆形。
在一个实施例中，处理器760的位置跟踪部可以利用三角法决定标记的位置。可以基于第二图像740及第三图像750而决定标记的位置，其中，所述第二图像740是从借助于第一成像部710而成像的光场图像，作为在近焦距处成像的图像而提取的图像，所述第三图像750是从与朝向第一成像部710的出射光不同的方向，通过开口释放的出射光借助于第二成像部720而在近焦距处成像的图像。
处理器760的位置跟踪部从借助于第一及第二成像部710、720而分别成像的第二及第三图像740、750，提取开口区域745、755的基准坐标后，可以利用基于该基准坐标的三角法计算标记的位置。更具体而言，位置跟踪部可以利用开口区域745、755的基准坐标、第一及第二成像部710、720各自观察标记的方向
Figure BDA0001519828060000211
间的几何学关系，计算标记的位置。
根据一个实施例，姿势跟踪部可以从图案图像735，决定各子图案的位置。为了从图案图像提取跟踪标记所需的信息，首先处理器760可以在图案图像735中判读子图案。然后，处理器760可以计算已判读的各子图案在全体图案内的位置(坐标)。
图10是显示图9所示的光学跟踪系统成像的图像的图。
在图9所示的光学跟踪系统中，第一成像部710可以获得光场图像。光场图像可以包括相互具有被摄体景深的多个单位图像。第一成像部710可以从第一图像提取在无限大焦距处成像的第一图像730及在近焦距处成像的第二图像740。在无限大焦距处成像的第一图像730内的图案图像735区域的大小，可以大于在近焦距处成像的第二图像740内开口区域745的大小。
在第一图像730中，环绕图案图像735的边界部分736可以对应于标记70的开口位置。穿过标记70的开口边缘而释放的出射光，由于出射光经过开口时的衍射、内部反射、开口的光晕或焦点景深等理由，在被照相机拍摄时，会以模糊不清(blurred)的形态成像。因此，边界部分736模糊地形成，因此，会无法与周边部分737良好区别。另外，周边部分737作为比图案图像735相对非常暗的部分，在图像处理过程中，可以补正为无图像的形态(例如，涂黑(black out)的状态)。因此，当处理器760的位置跟踪部测量图案图像735的基准坐标时，由于边界部分736模糊成像的现象而会发生误差，因此，位置跟踪部可以基于在第二及第三图像740、750内清晰地成像的开口区域745、755的基准坐标来跟踪标记的位置。
在一个实施例中，姿势跟踪部可以判读第一图像730内成像的图案图像735，决定标记的姿势。另外，位置跟踪部可以决定第二图像740内成像的开口区域745的基准坐标746及第三图像750内成像的开口区域755的基准坐标756，以两个基准坐标746、756为基础，决定标记的位置。
图案图像735及开口区域745可以分别从第一及第二图像730、740的左侧端部起，设置距离X1并成像。不同于此，开口区域755可以在第三图像750内，从左侧端部起，设置距离X2并成像。因此，这种距离X1及距离X2的差异可以用于决定标记的位置。
图11是本公开另一实施例的光学跟踪系统2的框图。省略对与上述实施例中说明的构成重复的说明。
另一实施例的光学跟踪系统2可以包括标记80、成像装置800及处理器830。成像装置800可以包括第一成像部810及第二成像部820。另外，第一及第二成像部810、820可以分别具有光场照相机结构。处理器830可以分别从第一及第二成像部810、820接收由图案互不相同部分成像的光场图像，以此为基础，跟踪标记10的位置及姿势。
在一个实施例中，第一成像部810可以包括透镜811、透镜阵列812及图像传感器813。第二成像部820可以包括透镜821、透镜阵列822及图像传感器823。因此，第一及第二成像部810、820可以分别在拍摄1次时生成一个光场图像。另外，第一及第二成像部810、820可以构成立体图像，可以具有同轴照明照相机的构成。
在一个实施例中，第一及第二成像部810、820为了加强通过光学系82入射到成像装置800的光线，以便图案可以在标记80外部被良好识别，可以包括朝向标记80或图案面85照射光线的至少一个光源816、826。另外，第一及第二成像部810、820可以包括光束分离器815、825，所述光束分离器815、825将从光源816、826发生的光线，通过透镜811、821照射到标记80。
在一个实施例中，处理器830可以包括：姿势跟踪部832，其以第一图像为基础，决定标记80的姿势，其中，所述第一图像是在无限大焦距处对通过开口83而看到的图案面85的一部分进行成像的图像；位置跟踪部831，其基于第二及第三图像，决定标记80的位置，其中，所述第二及第三图像分别是在近焦距处对从互不相同的方向通过开口83释放的出射光分别进行成像的图像；及ID识别部833，其为了跟踪多个标记的位置及姿势而通过标记ID来区别附着于各个对象体的标记。ID识别部833可以从第一图像包含的图案图像识别标记80的ID。
图12是用于说明本公开另一实施例的基于光学跟踪系统2的成像部成像的图像来决定标记的姿势及位置的方法的图，图13是显示本公开另一实施例的光学跟踪系统2成像的图像的图。
如果参考图3，光学跟踪系统2的第一成像部810可以生成包含图案第一部分的第一光场图像，第二成像部820可以生成包含与所述第一部分相异的图案的第二部分的第二光场图像。第一及第二光场图像可以分别包含具有互不相同被摄体景深的多个单位图像。
在一个实施例中，处理器830的姿势跟踪部可以以第一图像930为基础，决定标记的姿势，其中，所述第一图像930是从通过开口而显示的图案面的一部分借助于第一成像部810而成像的光场图像，作为在无限大焦距处成像的图像而提取的图像。另外，处理器830的位置跟踪部可以基于第二图像940及第三图像950，决定标记的位置，其中，所述第二图像940是从借助于第一成像部810而生成的光场图像，作为在近焦距处成像的图像而提取的图像，所述第三图像950是从借助于第二成像部820而生成的光场图像，作为在近焦距处成像的图像而提取的图像。因此，处理器830可以无时间差地同时、实时跟踪标记80的位置及姿势。
根据一个实施例，第一图像930是从借助于第一成像部810而成像的光场图像，作为在无限大焦距处成像的图像而提取的图像，可以包括由图案面的一部分可识别地成像的图案图像935。另外，第二图像940是从借助于第一成像部910而成像的光场图像，作为在包含标记80位置的区域形成的近焦距处成像的图像而提取的图像，可以包括由朝向第一成像部810的出射光成像的出射光图像(例，开口区域945)。另外，第三图像950是从借助于第二成像部820而成像的光场图像，作为在包含标记80位置的区域形成的近焦距处成像的图像而提取的图像，可以包括由朝向第二成像部820的出射光成像的出射光图像(例，开口区域955)。
在一个实施例中，处理器的姿势跟踪部可以以在第二成像部成像的第二光场图像中提取的第四图像960为基础，跟踪标记80的姿势。具体而言，第二成像部820可以将第四图像960传输给处理器830，其中，所述第四图像960是从借助于第二成像部820而生成的第二光场图像，作为在无限大焦距处成像的图像而提取的图像，包含由图案面的一部分可识别地成像的图案图像965，处理器830的位置跟踪部可以在标记的图案面的全体区域内，决定第四图像960内成像的图案图像965的位置，基于决定的位置，决定对象体的姿势。
在第一图像930中，环绕图案图像935的边界部分936可以对应于标记80的开口位置。另外，在第四图像960中，环绕图案图像965的边界部分966可以对应于标记80的开口位置。另外，这种边界部分936、966会模糊地成像，因而标记的姿势可以以开口区域945、955清晰成像的第一及第三图像940、950为基础决定。
在一个实施例中，处理器830的位置跟踪部可以以从第一图像930决定的对象体姿势及从第四图像960决定的对象体姿势的平均值为基础，决定对象体的姿势，因此，可以提高跟踪的标记80位置的准确度。
在一个实施例中，处理器830的位置跟踪部可以从第二及第三图像940、950决定标记的位置。即，处理器可以决定环绕第二图像940内成像的开口区域945的边框的基准坐标946及环绕第三图像950内成像的开口区域955的边框的基准坐标956，以2个基准坐标946、956为基础决定标记的姿势。
在第一及第二图像930、940内，图案图像935及开口区域945可以从左侧端部起设置距离X1并成像。另外，在第三及第四图像950、960内，开口区域955及图案图像965可以从左侧端部起设置距离X2并成像。因此，处理器830的位置跟踪部可以基于这种距离X1及距离X2的差异，决定标记的三维空间上的位置。另外，位置跟踪部可以以第二及第三图像940、950为基础构成立体图像，决定标记80的三维空间上的位置。
<跟踪标记的方法>
图14是显示本公开又一实施例的光学跟踪方法S1220的流程图。下面针对各步骤，参照附图更具体地说明跟踪标记的方法。省略与上述实施例中说明的内容重复的说明。
首先参考图2，在步骤S1210中，可以对第一图像、第二图像、第三图像进行成像，其中，所述第一图像是从借助于第一成像部110而成像的光场图像，作为在无限大焦距处成像的图像而提取并包含由图案面15的一部分可识别地成像的图案图像的图像，所述第二图像是从光场图像，作为在近焦距处成像的图像而提取的由通过开口13向第一方向释放的出射光成像的图像，所述第三图像是借助于在近焦距处成像的第二成像部120，由通过开口13而向与第一方向不同的第二方向释放的出射光成像的图像。然后，在步骤S1220中，可以以第一图像为基础决定标记的姿势。然后，在步骤S1230中，可以基于第二图像及第三图像，决定标记的位置。
图15是显示图14所示光学跟踪方法S1200中决定标记的姿势的步骤S1220的流程图。
如果参考图5，决定标记的姿势的步骤S1220可以在图案面的全体区域内，决定第一图像730中包含的图案图像735的位置S1221，基于决定的位置，决定对象体的姿势S1222。
在步骤S1221中，处理器可以从图案图像提取至少一个子图案。例如，如果参考图4，处理器可以在借助于成像装置而获得的图案图像中，通过预先决定大小的图案窗口340，提取至少一个子图案350。
如上所述提取至少一个子图案后，在步骤S1222中，处理器可以基于提取的至少一个子图案，决定标记的姿势。具体而言，处理器可以决定子图案在图案内的位置，然后，处理器可以基于决定的子图案在图案内的位置，决定标记的姿势。即，处理器可以基于决定的子图案在全体图案内的位置，决定标记的姿势。
图16是显示图15所示光学跟踪方法S1200中决定标记的位置的步骤S1230的流程图。
如果参考图5，决定标记的位置的步骤S1230可以分别决定第二及第三图像740、750内成像的出射光图像745、755的基准坐标S1231，利用分别决定的基准坐标及出射光指向的方向间的几何学关系，决定对象体的位置S1232。
处理器可以基于利用了各出射光图像745、755的基准坐标(例如，开口区域的中心坐标)、第一及第二成像部710、720观察标记70的方向
Figure BDA0001519828060000261
间的几何学关系的三角法，决定标记70的位置。在以上实施例中，是利用三角法决定标记的位置，但并非限定于此，也可以使用并非三角法的其他位置决定方法。
在参照图14进行说明的实施例中，处理器在决定标记的位置后，决定标记的姿势。在另一实施例中，处理器也可以在决定标记的位置之前，决定标记的姿势。在又一实施例中，处理器可以并列处理并决定标记的位置及姿势。
所述方法通过特定实施例进行了说明，但所述方法还可以在计算机可读记录介质中，以计算机可读代码体现。计算机可读记录介质包括供可借助于计算机系统而读取的数据存储的所有种类的记录装置。作为计算机可读记录介质的示例，有CD-ROM(只读光盘驱动器)、USB(通用串行总线)存储装置等。另外，计算机可读记录介质可以分布于以网络连接的计算机系统，计算机可读代码可以以分布方式存储、运行。而且，体现所述实施例所需的功能性(functional)程序、代码及代码片段，可以由本公开所属技术领域的程序员容易地推导。
在本公开中，本公开就一部分实施例进行了说明，本公开所属技术领域的从业人员可以理解，在不超出本公开的精神及范围的范围内，可以实现多样的变形及变更。另外，这种变形及变更应视为属于本公开附带的权利要求书的范围内。

Claims (15)

1.一种光学跟踪系统，作为跟踪标记的位置及姿势的光学跟踪系统，其中，
所述标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，
所述光学跟踪系统包括：
成像装置，其包括对所述标记的至少一部分进行成像而生成光场图像的第一成像部及对从所述开口释放的出射光进行成像的第二成像部，其中，所述光场图像包括具有互不相同的被摄体景深的多个单位图像；及
处理器，其以第一图像为基础，决定所述标记的姿势，基于第二图像及第三图像，决定所述标记的位置，其中，所述第一图像是从所述光场图像的所述多个单位图像，作为在无限大焦距处成像的图像而提取的并由所述图案面的一部分成像的图像，所述第二图像是从所述光场图像的所述多个单位图像，作为在比所述无限大焦距近的焦距处成像的图像而提取的图像，所述第三图像是在与朝向所述第一成像部的出射光不同的方向，由通过所述开口释放的出射光借助于所述第二成像部而成像的图像。
2.根据权利要求1所述的光学跟踪系统，其中，
所述处理器包括：
姿势跟踪部，其以所述第一图像为基础，决定所述标记的姿势，其中，所述第一图像是由通过所述开口而显示的所述图案面的一部分在所述无限大焦距处成像的图像；及
位置跟踪部，其基于所述第二及第三图像，决定所述标记的位置，其中，所述第二及第三图像是由在互不相同方向通过所述开口释放的出射光分别成像的图像。
3.根据权利要求2所述的光学跟踪系统，其中，
所述第一图像作为为了在所述无限大焦距处成像，而从所述光场图像提取的图像，包含由所述图案面的一部分可识别地成像的图案图像，
所述第二图像作为为了在包含所述对象体位置的预定范围的焦距处成像，而从所述光场图像提取的图像，包含由朝向所述第一成像部的出射光成像的出射光图像，
所述第三图像包含由朝向所述第二成像部的出射光成像的出射光图像。
4.根据权利要求3所述的光学跟踪系统，其中，
所述姿势跟踪部在所述图案面的全体区域内决定所述图案图像的位置，基于所述决定的位置，决定所述对象体的姿势。
5.根据权利要求3所述的光学跟踪系统，其中，
所述位置跟踪部分别决定所述第二及第三图像内成像的所述出射光图像的基准坐标，基于所述分别决定的基准坐标及所述标记与所述第一及第二成像部之间的几何学关系，决定所述对象体的位置。
6.根据权利要求5所述的光学跟踪系统，其中，
所述位置跟踪部基于所述第二及第三图像中成像的所述出射光图像的基准坐标之间的差异，决定所述标记的三维空间上的位置。
7.根据权利要求3所述的光学跟踪系统，其中，
所述位置跟踪部以所述第二及第三图像为基础构成立体图像，决定所述标记的三维空间上的位置。
8.一种光学跟踪系统，作为跟踪标记的位置及姿势的光学跟踪系统，其中，
所述标记能够附着于对象体，构成得通过在开口形成的光学系而看到在内部形成的图案面，
所述光学跟踪系统包括：
成像装置，其包括对所述标记的至少一部分进行成像而分别生成光场图像的第一成像部及第二成像部，其中，所述光场图像包括具有互不相同的被摄体景深的多个单位图像；及
处理器，其以第一图像为基础，决定所述标记的姿势，基于第二图像及第三图像，决定所述标记的位置，其中，所述第一图像是从借助于所述第一成像部而成像的光场图像的所述多个单位图像，作为在无限大焦距处成像的图像而提取的并由所述图案面的一部分成像的图像，所述第二图像是从借助于所述第一成像部而生成的光场图像的所述多个单位图像，作为在比所述无限大焦距近的焦距处成像的图像而提取的图像，所述第三图像是从借助于所述第二成像部而生成的光场图像的所述多个单位图像，作为在比所述无限大焦距近的焦距处成像的图像而提取的图像。
9.根据权利要求8所述的光学跟踪系统，其中，
所述第一图像作为为了在所述无限大焦距处成像，而从借助于所述第一成像部而成像的所述光场图像提取的图像，包含由所述图案面的一部分可识别地成像的图案图像，
所述第二图像作为为了在包含所述对象体位置的预定范围的焦距处成像，而从借助于所述第一成像部而成像的所述光场图像提取的图像，包含由朝向所述第一成像部的出射光成像的出射光图像，
所述第三图像作为为了在所述预定范围的焦距处成像，而从借助于所述第二成像部而成像的所述光场图像提取的图像，包含由朝向所述第二成像部的出射光成像的出射光图像。
10.根据权利要求8所述的光学跟踪系统，其中，
所述处理器在所述图案面的全体区域内，决定图案图像的位置，基于所述决定的位置，决定所述对象体的姿势；
所述处理器分别决定所述第二及第三图像内成像的出射光图像的基准坐标，基于所述分别决定的基准坐标及所述标记与所述第一及第二成像部之间的几何学关系，决定所述对象体的位置。
11.根据权利要求10所述的光学跟踪系统，其中，
所述第二成像部将第四图像传输给所述处理器，其中，所述第四图像作为为了在所述无限大焦距处成像，而从借助于所述第二成像部而生成的光场图像提取的图像，包含由所述图案面的一部分可识别地成像的图案图像；
所述处理器在所述图案面的全体区域内，决定所述第四图像内成像的所述图案图像的位置，基于所述决定的位置，决定所述对象体的姿势；
所述处理器以从所述第一图像决定的所述对象体的姿势及从所述第四图像决定的所述对象体的姿势的平均值为基础，决定所述对象体的姿势。
12.根据权利要求8所述的光学跟踪系统，其中，
所述处理器从所述第一图像内成像的图案图像，决定所述对象体的位置及姿势。
13.一种光学跟踪方法，作为跟踪标记的位置及姿势的光学跟踪方法，其中，
所述标记能够附着于对象体，构成得通过在开口形成的光学系，而看到在内部形成的图案面，
所述光学跟踪方法包括：
对第一图像、第二图像、第三图像成像的步骤，其中，所述第一图像包括从借助于第一成像部而成像的包括具有互不相同的被摄体景深的多个单位图像的光场图像，作为在无限大焦距处成像的图像而提取的并由所述图案面的一部分可识别地成像的图案图像，所述第二图像是从所述光场图像的所述多个单位图像，作为在比所述无限大焦距近的焦距处成像的图像而提取的并由通过所述开口向第一方向释放的出射光成像的图像，所述第三图像是借助于第二成像部，由通过所述开口向与所述第一方向不同的第二方向释放的出射光成像的图像；
以所述第一图像为基础，决定所述标记的姿势的步骤；及
基于所述第二图像及第三图像，决定所述标记的位置的步骤。
14.根据权利要求13所述的光学跟踪方法，其中，
所述决定标记的姿势的步骤包括：
在所述图案面的全体区域内，决定所述第一图像中包含的所述图案图像的位置的步骤；及
基于所述决定的位置，决定所述对象体的姿势的步骤。
15.根据权利要求13所述的光学跟踪方法，其中，
所述决定标记的位置的步骤包括：
分别决定所述第二及第三图像内成像的所述出射光图像的基准坐标的步骤；及
利用所述分别决定的基准坐标及所述出射光指向的方向间的几何学关系，决定所述对象体的位置的步骤。
CN201711403280.0A 2017-12-20 2017-12-22 光学跟踪系统及光学跟踪方法 Active CN109938843B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170176495A KR102102291B1 (ko) 2017-12-20 2017-12-20 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
KR10-2017-0176495 2017-12-20

Publications (2)

Publication Number Publication Date
CN109938843A CN109938843A (zh) 2019-06-28
CN109938843B true CN109938843B (zh) 2022-01-04

Family

ID=60953600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711403280.0A Active CN109938843B (zh) 2017-12-20 2017-12-22 光学跟踪系统及光学跟踪方法

Country Status (5)

Country Link
US (1) US11033337B2 (zh)
EP (1) EP3503032B1 (zh)
JP (1) JP6475312B1 (zh)
KR (1) KR102102291B1 (zh)
CN (1) CN109938843B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102102291B1 (ko) * 2017-12-20 2020-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
KR102166372B1 (ko) * 2017-12-20 2020-10-15 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
GB2586601B (en) * 2019-08-27 2022-10-12 Zeta Motion Ltd Determining object pose from image data
CN113116525B (zh) * 2021-04-28 2021-12-03 北京长木谷医疗科技有限公司 用于导航手术动力系统的光学跟踪结构
CN114903507B (zh) * 2022-05-16 2023-06-09 张海光 一种医学图像数据处理系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460684A (zh) * 2011-03-30 2013-12-18 佳能株式会社 图像处理设备、成像系统和图像处理系统
CN106415663A (zh) * 2014-05-29 2017-02-15 株式会社高永科技 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54155683A (en) * 1978-05-30 1979-12-07 Matsushita Electric Ind Co Ltd Electronic scanning system ultrasoniccwave tomooinspection device
JPS5740212A (en) * 1980-08-22 1982-03-05 Canon Inc Automatic focusing apparatus
US4818886A (en) * 1986-11-12 1989-04-04 Quential, Inc. Method and apparatus for self-referencing and self-focusing a bar-code reader
US4978860A (en) * 1988-09-21 1990-12-18 Hewlett-Packard Company Optical system for a large depth-of-field bar code scanner
US5478997A (en) * 1988-10-21 1995-12-26 Symbol Technologies, Inc. Symbol scanning system and method having adaptive pattern generation
JP2788152B2 (ja) * 1992-06-22 1998-08-20 松下電器産業株式会社 バーコードリーダ
US5474548A (en) * 1993-07-14 1995-12-12 Knopp; Carl F. Method of establishing a unique machine independent reference frame for the eye
US5770850A (en) * 1997-04-30 1998-06-23 At&T Corp Sensor array tracking and detection system having an alignment positioner
US7006132B2 (en) * 1998-02-25 2006-02-28 California Institute Of Technology Aperture coded camera for three dimensional imaging
US7406214B2 (en) * 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7084910B2 (en) * 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
IL148664A0 (en) * 2002-03-13 2002-09-12 Yeda Res & Dev Auto-focusing method and device
US6824059B2 (en) * 2002-04-30 2004-11-30 Hewlett-Packard Development Company, L.P. Apparatus for capturing images and barcodes
US7671321B2 (en) * 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
US9867669B2 (en) * 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
JP2008026236A (ja) * 2006-07-24 2008-02-07 Olympus Corp 位置姿勢測定装置および位置姿勢測定方法
JP2008216089A (ja) * 2007-03-06 2008-09-18 Natl Inst Of Radiological Sciences 被験体の３次元的位置及び向き測定装置
TWI343207B (en) * 2007-09-07 2011-06-01 Lite On Technology Corp Device and method for obtain a clear image
US8331627B2 (en) * 2007-09-26 2012-12-11 Agency For Science, Technology And Research Method and system for generating an entirely well-focused image of a large three-dimensional scene
CN103134446B (zh) * 2008-02-26 2017-03-01 株式会社高永科技 三维形状测量装置及测量方法
US20090302116A1 (en) * 2008-06-04 2009-12-10 Symbol Technologies, Inc. Semi-zoom imaging optical system
GB2480193B (en) * 2009-01-19 2015-01-21 Minoru Inaba Stereoscopic video imaging display system
US8366003B2 (en) * 2009-07-23 2013-02-05 Massachusetts Institute Of Technology Methods and apparatus for bokeh codes
US8910870B2 (en) * 2010-08-06 2014-12-16 Hand Held Products, Inc. System and method for document processing
DE112012000752A5 (de) * 2011-02-11 2013-11-21 Olaf Christiansen Endoskopisches Bildverarbeitungssystem mit Mitteln, welche im Erfassungsbereich einer optischen Digitalkamera eine geometrische Vermessungsinformation erzeugen
US20130027538A1 (en) * 2011-07-29 2013-01-31 Mitutoyo Corporation Multi-region focus navigation interface
US9230325B2 (en) * 2011-08-19 2016-01-05 University Of Rochester Three-dimensional model acquisition using planar mirrors
JP5848561B2 (ja) * 2011-09-20 2016-01-27 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
KR101614061B1 (ko) * 2012-03-29 2016-04-20 주식회사 고영테크놀러지 조인트 검사 장치
TW201351959A (zh) * 2012-06-13 2013-12-16 Wistron Corp 立體全景影像合成方法及其相關之立體攝影機
KR101406220B1 (ko) * 2013-04-30 2014-06-12 경북대학교 산학협력단 옵티컬 트랙킹 시스템 및 이를 이용한 트랙킹 방법
EP2992852B1 (en) * 2013-04-30 2018-03-07 Koh Young Technology Inc. Optical tracking system and detection method
KR101487248B1 (ko) * 2013-05-28 2015-01-29 주식회사 고영테크놀러지 옵티컬 트랙킹 시스템
US20140327793A1 (en) * 2013-05-01 2014-11-06 Itzhak Sapir Imaging Apparatus and Method Comprising Imager and Optics Actuator Means
US9723300B2 (en) * 2014-03-17 2017-08-01 Spatial Intelligence Llc Stereoscopic display
KR101615086B1 (ko) 2014-05-29 2016-04-27 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 산출방법
KR101627835B1 (ko) * 2015-07-24 2016-06-08 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 방법
JP6211137B2 (ja) * 2016-06-02 2017-10-11 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理方法
KR101820682B1 (ko) * 2016-08-09 2018-01-23 주식회사 고영테크놀러지 옵티컬 트래킹용 마커, 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
KR102102291B1 (ko) * 2017-12-20 2020-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460684A (zh) * 2011-03-30 2013-12-18 佳能株式会社 图像处理设备、成像系统和图像处理系统
CN106415663A (zh) * 2014-05-29 2017-02-15 株式会社高永科技 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Bokode: Imperceptible Visual tags for Camera Based Interaction from a Distance;Ankit Mohan etal;《ACM Transactions on Graphics》;20090930;第28卷(第3期);第98:1页-98:8页 *

Also Published As

Publication number Publication date
KR102102291B1 (ko) 2020-04-21
US11033337B2 (en) 2021-06-15
EP3503032B1 (en) 2020-07-15
JP2019113394A (ja) 2019-07-11
KR20190074835A (ko) 2019-06-28
JP6475312B1 (ja) 2019-02-27
EP3503032A1 (en) 2019-06-26
US20190183583A1 (en) 2019-06-20
CN109938843A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN109938837B (zh) 光学跟踪系统及光学跟踪方法
CN109938843B (zh) 光学跟踪系统及光学跟踪方法
US10219866B2 (en) Optical tracking method and system based on passive markers
CN109751973B (zh) 三维测量装置、三维测量方法以及存储介质
US10440357B2 (en) System and method for determining an imaging deviation of a camera
EP3281599A1 (en) Marker for optical tracking, optical tracking system, and optical tracking method
DE102006005036B4 (de) Vorrichtung und Verfahren zur verbesserten Formcharakterisierung
KR20080111474A (ko) 스페클 패턴을 이용한 3차원 센싱
CN113034612B (zh) 一种标定装置、方法及深度相机
US20230284933A1 (en) Portable three-dimensional image measuring device, three-dimensional image measuring method using same, and medical image matching system
JP2002318344A (ja) 光学機器のオートフォーカシング方法および装置
KR20200030932A (ko) 이종 카메라를 이용한 마커 위치 추적장치 및 이를 이용한 마커 위치 추적방법
KR102253350B1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
Abbaspour Tehrani et al. A practical method for fully automatic intrinsic camera calibration using directionally encoded light
DE102021130148A1 (de) Fehlerkompensation für ein dreidimensionales verfolgungssystem
DE202014011540U1 (de) System insbesondere zur Darbietung einer Blickfelddarstellung und Videobrille

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Seoul, South Kerean

Applicant after: Gaoying Technology Co.,Ltd.

Address before: Seoul, South Kerean

Applicant before: KOH YOUNG TECHNOLOGY Inc.

GR01 Patent grant
GR01 Patent grant