CN113240732A - 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法 - Google Patents

光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法 Download PDF

Info

Publication number
CN113240732A
CN113240732A CN202011125744.8A CN202011125744A CN113240732A CN 113240732 A CN113240732 A CN 113240732A CN 202011125744 A CN202011125744 A CN 202011125744A CN 113240732 A CN113240732 A CN 113240732A
Authority
CN
China
Prior art keywords
coordinate
matrix
pattern
transformation
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011125744.8A
Other languages
English (en)
Other versions
CN113240732B (zh
Inventor
李贤箕
蔡有圣
金珉永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingbei University School Industry University Cooperative Force
Gaoying Technology Co ltd
Original Assignee
Qingbei University School Industry University Cooperative Force
Gaoying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingbei University School Industry University Cooperative Force, Gaoying Technology Co ltd filed Critical Qingbei University School Industry University Cooperative Force
Priority to CN202011125744.8A priority Critical patent/CN113240732B/zh
Publication of CN113240732A publication Critical patent/CN113240732A/zh
Application granted granted Critical
Publication of CN113240732B publication Critical patent/CN113240732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

光学跟踪系统包括标记部、成像部及处理部。标记部包括具有特定信息的图案及第1透镜。第1及第2成像部分别包括第2透镜及第3透镜和第1及第2成像单元。处理部从图案的图案面上的坐标与图案的第1图像上的第1像素坐标之间的第1坐标变换式及包括第1像素坐标和图案的第2图像上的第2像素坐标之间的旋转变换在内的图案的图案面上的坐标与图案的第2图像上的第2像素坐标之间的第2坐标变换式，决定标记部的姿势，利用决定的标记部的姿势，跟踪标记部。据此，能够以更单纯容易的方法准确地跟踪标记部。

Description

光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法
技术领域
本发明涉及光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法，更详细而言，涉及一种利用图案信息的光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法。
背景技术
一般而言，为了追踪预定物体的位置，使用光学跟踪系统(optical trackingsystem)。例如，所述光学跟踪系统可以在诸如手术机器人的装备中，用于实时跟踪标的物。
所述光学跟踪系统通常包括附着于标的物的多个标记和使由所述标记释放的光成像的成像单元，在数学上计算从所述成像单元获得的信息，获得位置信息等。
但是，以往的光学跟踪系统包括多个标记，因而存在装备的大小变大的缺点，因此，对于小型的要求精密性的跟踪而言，可能会不适合。
因此，要求一种能够在简化标记的同时，准确、容易地进行跟踪的光学跟踪系统。
发明内容
解决的技术问题
因此，本发明要解决的课题是提供一种能够在简化标记的同时，准确、容易地进行跟踪的光学跟踪系统。
本发明要解决的另一课题是提供一种能够应用于所述光学跟踪系统的光学跟踪系统的标记部姿势及位置算出方法。
技术方案
本发明示例性的一个实施例的光学跟踪系统包括：标记(marker)部，其包括具有特定信息的图案(pattern)及从所述图案隔开配置且具有第1焦距的第1透镜；第1成像部，其包括具有第2焦距的第2透镜及第1成像单元，所述第1成像单元从所述第2透镜隔开配置，借助于所述第1透镜和所述第2透镜而成像所述图案的第1图像；第2成像部，其包括具有第3焦距的第3透镜及第2成像单元，所述第2成像单元从所述第3透镜隔开配置，借助于所述第1透镜和所述第3透镜而成像所述图案的第2图像；及处理部，其从所述图案的图案面上的坐标与所述图案的第1图像上的第1像素坐标之间的第1坐标变换式及包括所述第1像素坐标与所述图案的第2图像上的第2像素坐标之间的旋转变换在内的所述图案的图案面上的坐标与所述图案的第2图像上的第2像素坐标之间的第2坐标变换式，决定所述标记部的姿势，跟踪所述标记部。
作为一个实施例，所述处理部可以获得如下矩阵：第1变换矩阵，其把与所述图案的图案面上的坐标相应的第1坐标变换成，与所述标记部的对于所述第1透镜的三维坐标相应的第2坐标；第2变换矩阵，其把与所述第2坐标的对于所述第2透镜的三维坐标相应的第3坐标变换成，与所述第1成像部的所述图案的第1图像上的第1像素坐标相应的第4坐标；第3变换矩阵，其把与所述图案的图案面上的坐标相应的第5坐标变换成，与所述标记部的对于所述第1透镜的三维坐标相应的第6坐标，其与所述第1变换矩阵相同；及第4变换矩阵，其把与所述第6坐标的对于所述第3透镜的三维坐标相应的第7坐标变换成，与所述第2成像部的所述图案的第2图像上的第2像素坐标相应的第8坐标；所述第1坐标变换式定义为包括所述第1变换矩阵及所述第2变换矩阵，把所述第1坐标变换成，所述第4坐标，所述第2坐标变换式定义为包含所述第3变换矩阵及所述第4变换矩阵，把所述第5坐标定义为所述第8坐标，所述处理部可以从所述第1及第2坐标变换式，获得定义所述标记部相对于所述第1成像部的姿势的第1姿势定义矩阵。
例如，所述第1坐标变换式可以根据下述数学式定义：
Figure BDA0002733552580000021
((lu,lv)为所述第1坐标，(lu’,lv’)为所述第4坐标，[C]为所述第1变换矩阵，[Al]为所述第2变换矩阵，[RL]为所述第1姿势定义矩阵，s为比例常数)
所述第2坐标变换式可以根据下述数学式定义：
Figure BDA0002733552580000031
((ru,rv)为所述第5坐标，(ru',rv')为所述第8坐标，[C]为与所述第1变换矩阵相同的所述第3变换矩阵，[Ar]为所述第4变换矩阵，[RR]为定义所述标记部相对于所述第2成像部的姿势的第2姿势定义矩阵，[RLR]为定义所述第1成像部相对于所述第2成像部的姿势的第3姿势定义矩阵，s为比例常数)
例如，所述第1变换矩阵及所述第3变换矩阵可以根据下述数学式定义：
Figure BDA0002733552580000032
((uc,vc)为所述图案的中心的坐标，fb为所述第1焦距)
所述第2及第4变换矩阵可以根据下述数学式定义：
Figure BDA0002733552580000033
((u'c,v'c)为与所述图案的中心对应的所述图案的图像上的像素坐标，fc在所述第2变换矩阵时为所述第2焦距，在所述第4变换矩阵时为所述第3焦距，pw在所述第2变换矩阵时为所述图案的第1图像的像素宽度，在所述第4变换矩阵时为所述图案的第2图像的像素宽度，ph在所述第2变换矩阵时为所述图案的第1图像的像素高度，在所述第4变换矩阵时为所述图案的第2图像的像素高度)
作为一个实施例，所述处理部从至少3个以上的拍摄图像获得uc、vc及fb的校准值，从而可以获得所述第1变换矩阵及所述第3变换矩阵，利用所述获得的数据，获得fc、pw、ph的校准值，从而可以获得所述第2变换矩阵及所述第4变换矩阵。
作为一个实施例，所述处理部可以获得对于所述第1坐标和所述第4坐标的多个数据及对于所述第5坐标和所述第8坐标的多个数据，可以根据应用了所述获得的多个数据的下述数学式，获得所述第1姿势定义矩阵：
Figure BDA0002733552580000041
Figure BDA0002733552580000042
Figure BDA0002733552580000043
Figure BDA0002733552580000044
Figure BDA0002733552580000045
Figure BDA0002733552580000046
Figure BDA0002733552580000047
Figure BDA0002733552580000048
Figure BDA0002733552580000049
((lu1,lv1),…,(lun,lvn)为所述第1坐标的数据，(lu'1,lv'1),…,(lu'n,lv'n)为所述第4坐标的数据，(lu'c,lv'c)为与所述图案的中心对应的所述图案的第1图像上的像素坐标，((ru1,rv1),…,(run,rvn)为所述第5坐标的数据，(ru'1,rv'1),…,(ru'n,rv'n)为所述第8坐标的数据，(ru'c,rv'c)为与所述图案的中心对应的所述图案的第2图像上的像素坐标)
作为一个实施例，所述处理部可以从对于所述第2坐标和所述第4坐标的第3坐标变换式及对于所述第6坐标和所述第8坐标的第4坐标变换式，决定所述标记部的位置，利用决定的所述标记部的位置，跟踪所述标记部。
例如，所述第3坐标变换式可以根据下述数学式定义：
Figure BDA0002733552580000051
((u'1,v'1)为所述第4坐标，(X,Y,Z)为所述第2坐标，[AL]为所述第2变换矩阵，[I]为3x3形态的恒等矩阵(identity matrix)，[0]为3x1形态的零矩阵，s为比例常数)
所述第4坐标变换式可以根据下述数学式定义：
Figure BDA0002733552580000052
((u'2,v'2)为所述第8坐标，(X,Y,Z)为所述第6坐标，[AR]为所述第4变换矩阵，[RLR]为3x3形态的所述第3姿势定义矩阵，[T]为3x1形态的位置变换矩阵，s为比例常数)
作为一个实施例，所述处理部可以获得在所述第1及第2成像单元分别拍摄的作为所述图案视野范围中心的第1中心坐标及第2中心坐标，利用所述获得的多个中心坐标，可以校准所述第1成像部及所述第2成像部之间的位置变换矩阵，利用所述校准的位置变换矩阵，可以获得所述标记部的位置。
作为一个实施例，所述处理部可以在至少2个以上的位置测量所述标记部并获得换算系数，一同利用所述获得的换算系数和所述获得的多个中心坐标，可以校准所述第1成像部及所述第2成像部之间的所述位置变换矩阵。
本发明示例性的一个实施例的光学跟踪系统的标记部姿势及位置算出方法，提供用于算出所述标记部的姿势，以便跟踪所述标记部，所述光学跟踪系统包括：标记(marker)部，其包括具有特定信息的图案(pattern)及从所述图案隔开配置且具有第1焦距的第1透镜；第1成像部，其包括具有第2焦距的第2透镜及第1成像单元，所述第1成像单元从所述第2透镜隔开配置，借助于所述第1透镜和所述第2透镜而成像所述图案的第1图像；及具有第3焦距的第3透镜及第2成像单元，所述第2成像单元从所述第3透镜隔开配置，借助于所述第1透镜和所述第3透镜而成像所述图案的第2图像。所述光学跟踪系统的标记部姿势及位置算出方法包括：获得如下矩阵的步骤，即，第1变换矩阵，其把与所述图案的图案面上的坐标相应的第1坐标变换成，与所述标记部的对于所述第1透镜的三维坐标相应的第2坐标；第2变换矩阵，其把与所述第2坐标的对于所述第2透镜的三维坐标相应的第3坐标变换成，与所述第1成像部的所述图案的第1图像上的第1像素坐标相应的第4坐标；第3变换矩阵，其把与所述图案的图案面上的坐标相应的第5坐标变换成，与所述标记部的对于所述第1透镜的三维坐标相应的第6坐标，其与所述第1变换矩阵相同；及第4变换矩阵，其把与所述第6坐标的对于所述第3透镜的三维坐标相应的第7坐标变换成，与所述第2成像部的所述图案的第2图像上的第2像素坐标相应的第8坐标；及获得姿势定义矩阵的步骤，从第1坐标变换式及第2坐标变换式获得定义所述标记部的姿势的姿势定义矩阵，所述第1坐标变换式包括所述第1变换矩阵及所述第2变换矩阵，把所述第1坐标变换成所述第4坐标，所述第2坐标变换式包括所述第3变换矩阵及所述第4变换矩阵，把所述第5坐标变换成所述第8坐标。
作为一个实施例，所述光学跟踪系统的标记部姿势及位置算出方法可以还包括：获得在所述第1及第2成像单元分别拍摄的作为所述图案的视野范围中心的第1中心坐标及第2中心坐标的步骤；利用所述获得的多个中心坐标，校准所述第1成像部及所述第2成像部之间的位置变换矩阵的步骤；及利用所述校准的位置变换矩阵获得所述标记部的位置的步骤。
作为一个实施例，所述光学跟踪系统的标记部姿势及位置算出方法在所述校准位置变换矩阵的步骤之前，可以还包括在至少2个以上位置测量所述标记部而获得换算系数的步骤；在校准位置变换矩阵的步骤中，一同利用所述获得的换算系数和所述获得的多个中心坐标，可以校准所述第1成像部及所述第2成像部之间的位置变换矩阵。
发明效果
根据本发明，在跟踪标记部的光学跟踪系统中，标记部包含特定信息的图案，以便能够跟踪，可以实现标记部小型化，利用坐标变换式对所述标记部和所述成像部的光学系进行建模，立体构成所述光学系，从而能够更准确地决定所述标记部的姿势及位置，因而能够以更单纯容易的方法，更准确地跟踪标记部。
另外，应用立体方式，对包含特定信息的图案并小型化的标记部进行建模，从而能够更准确地决定所述标记部的位置，因而能够以更单纯容易的方法实现准确的标记部跟踪。
附图说明
图1是图示本发明一个实施例的光学跟踪系统的概念图。
图2是概略性地显示图1的光学跟踪系统的处理部为了决定标记部的姿势所需的解题过程的流程图。
图3是显示在图2的解题过程中进行系统建模的过程的流程图。
图4是用于说明图3的进行系统建模的过程的概念图。
图5是显示在图2的解题过程中校准第2变换矩阵的过程的流程图。
图6是显示在图2的解题过程中校准第1变换矩阵的过程的流程图。
图7是显示在图2的解题过程中获得姿势定义矩阵的过程的一个示例的流程图。
图8是显示在图2的解题过程中获得姿势定义矩阵的过程的另一示例的流程图。
图9是显示本发明一个实施例的光学跟踪系统的标记部姿势算出方法的流程图。
图10是图示本发明另一实施例的光学跟踪系统的概念图。
图11是概略性地显示图10的光学跟踪系统的处理部为了决定标记部的姿势所需的解题过程的流程图。
图12是显示在图11的解题过程中校准变换矩阵的过程的流程图。
图13是显示在图11的解题过程中获得姿势定义矩阵的过程的一个示例的流程图。
图14是显示本发明另一实施例的光学跟踪系统的标记部姿势算出方法的流程图。
图15是概略性地显示图10的光学跟踪系统的处理部为了决定标记部的位置所需的解题过程的流程图。
图16是用于说明在图15的解题过程中执行系统建模的过程的概念图。
图17是显示在图15的解题过程中校准位置变换矩阵的过程的流程图。
图18是显示在图15的解题过程中获得标记部的位置的过程的一个示例的流程图。
图19是显示在图15的解题过程中获得标记部的位置的过程的另一示例的流程图。
图20是显示本发明一个实施例的光学跟踪系统的标记部位置算出方法的流程图。
具体实施方式
本发明可以具有多样的变更，可以具有多种形态，在附图中示例性列举特定实施例并在正文中详细说明。但是，这并非用于将本发明限定于特定的公开形态，应理解为包括本发明的思想及技术范围内包含的所有变更、等同物乃至替代物。
第1、第2等术语可以用于说明多样的构成要素，但所述构成要素不得由所述术语限定。所述术语只用于把一种构成要素区别于其它构成要素之目的。例如，在不超出本发明的权利范围的同时，第1构成要素可以命名为第2构成要素，类似地，第2构成要素也可以命名为第1构成要素。
本申请中使用的术语只用于说明特定的实施例，并非要限定本发明之意图。只要在文理上未明确表示不同，则单数的表现也包括复数的表现。在本申请中，“包括”或“具有”等术语应理解为是要指定说明书中记载的特征、数字、步骤、动作、构成要素、部件或其组合的存在，不预先排除一个或其以上的其它特征或数字、步骤、动作、构成要素、部件或其组合的存在或附加可能性。
只要未不同地定义，包括技术性或科学性术语在内，在此使用的所有术语具有与本发明所属技术领域的普通技术人员一般理解的意义相同的意义。
与普遍使用的字典中定义的内容相同的术语，应解释为具有与相关技术文理上具有的意义一致的意义，只要在本申请中未明确定义，则不得解释为理想地或过度形式上的意义。
下面参照附图，更详细地说明本发明的优选实施例。
图1是图示本发明一个实施例的光学跟踪系统的概念图。
如果参照图1，本发明示例性的一个实施例的光学跟踪系统100包括标记(marker)部110、成像部120及处理部130。
所述标记部110包括图案(pattern)112及第1透镜114。
所述图案112具有特定信息。例如，所述特定信息是所述图案作为后述成像部120为了跟踪而能够识别的信息，可以包括与条形码(bar code)类似的一维图案、与QR码(QRcode)类似的二维图案等。
所述第1透镜114从所述图案112隔开配置，具有第1焦距。例如，所述第1透镜114与所述图案112之间的隔开距离可以与所述第1透镜114的第1焦距相同，以便后述的成像部120远距离也可以对所述图案112进行成像并跟踪。此时，通过所述第1透镜114的对于所述图案112的光束(bundle of rays)可以实现平行。所述第1透镜114例如可以执行与显微镜的物镜类似的功能。
所述标记部110可以不包括光源，此时，所述标记部110可以使用利用位于外部的照明的被动标记(passive marker)。不同于此，所述标记部110也可以包括光源，此时，所述标记部110可以使用利用自身照明的主动标记(active marker)。
所述成像部120包括第2透镜122及成像单元124。
所述第2透镜122具有第2焦距。所述第2透镜114例如可以执行与显微镜的目镜类似的功能。
所述成像单元124从所述第2透镜122隔开配置，借助于所述第1透镜114和所述第2透镜122而成像所述图案112的图像。例如，所述成像单元124与所述第2透镜122之间的隔开距离可以与所述第2透镜122的第2焦距相同，以便可以使通过所述第1透镜114的实现平行的对于所述图案112的光束成像。例如，所述成像单元124可以包括诸如CCD(chargecoupled device)、CMOS(complementary metal-oxide semiconductor)等的图像传感器。
所述处理部130从所述图案112的图案面上的坐标与所述图案112的图像上的像素坐标之间的坐标变换式来决定所述标记部110的姿势。所述处理部130利用决定的所述标记部110的姿势，跟踪所述标记部110。所述处理部130例如可以包括计算机，或更具体而言，可以包括中央处理装置(CPU)。
下面参照附图，更详细地说明成为所述处理部130的功能依据的系统建模过程及据此决定所述标记部110的姿势的过程。
图2是概略性地显示图1的光学跟踪系统的处理部为了决定标记部的姿势所需的解题过程的流程图。
如果参照图2，首先对具有所述构成的所述光学跟踪系统100执行系统建模(S100)。
在如图1所示的光学跟踪系统100中，所述图案112的图案面上的坐标与所述图案112的图像上的像素坐标之间的坐标变换借助于所述光学跟踪系统100的光学系而实现，因而对由所述光学跟踪系统100的光学系决定的坐标变换进行建模，从而可以设置所述坐标变换式。此时，由所述光学跟踪系统100的光学系决定的坐标变换，可以根据所述标记部110及所述成像部120各个光学系及它们之间的关系进行建模。
接着，在作为系统建模的结果而获得的坐标变换式中，对后述第1及第2变换矩阵进行校准(calibration)(S200)。
当分别把图1所示的所述图案112的图案面上的坐标定义为第1坐标、把所述第1坐标的对于所述第1透镜114的三维本地性坐标定义为第2坐标、把所述第2坐标的对于所述第2透镜122的三维本地性坐标定义为第3坐标、把所述成像部120的所述图案112的图像上的像素坐标定义为第4坐标时，所述第1变换矩阵是把所述第1坐标变换成所述第2坐标的矩阵，所述第2变换矩阵是把所述第3坐标变换成所述第4坐标的矩阵。
作为所述系统建模的结果而获得的坐标变换式虽然以对于图1所示的所述标记部110及所述成像部120的光学系的各种参数的公式进行确定，但由于可能无法准确获得所述参数或值可能会因机构的配置状态等而使值发生变化，因而通过校准所述第1及第2变换矩阵，从而能够进行更准确的系统建模。
接下来，利用校准结果获得姿势定义矩阵(S300)。
其中，姿势意味着所述标记部110朝向的方向，所述姿势定义矩阵作为提供对于所述标记部110的姿势的信息的矩阵，可以从所述姿势定义矩阵掌握所述标记部110的翻滚角(roll)、俯仰角(pitch)、偏航角(yaw)等。
下面，针对图2所示各步骤，以附图为参照更具体地说明。
图3是显示在图2的解题过程中进行系统建模的过程的流程图，图4是用于说明进行图3的系统建模的过程的概念图。
如果参照图3及图4，首先，获得由所述标记部110与所述成像部120之间的光路径决定的3条直线的方程式(S110)。
具体而言，把所述第1透镜114的中心点称为第1中心点A，把所述第2透镜122的中心点称为第2中心点O，把所述图案112上的任意点称为B。对于所述任意点B的光通过所述第1透镜114的第1中心点A后直行，把通过所述第1中心点A的光与所述第2透镜122相交的点称为D，把在所述D点被所述第2透镜122折射而在所述成像单元124成像的点称为E。另外，经过所述第1透镜114的第1中心点A并通过所述第2透镜122的第2中心点O的光直行，把该光与线段DE的延长线相交的点称为C。
此时，如图4所示，把对于线段AO(或线段AC)的直线方程式、对于线段AD的直线方程式及对于线段DC的直线方程式分别定义为L1、L2及L3。
在世界坐标系(world coordinate system)中，所述第1中心点A的坐标设置为(X,Y,Z)，所述第2中心点O的坐标设置为作为原点的(0,0,0)。由于把所述第2透镜122的第2中心点O的坐标设置为原点，因而对于所述第2透镜122的三维本地性坐标系与所述世界坐标系相同。
另外，把所述图案112上的任意点(对应于B点)的坐标定为(u,v)，把所述图案112的中心点的坐标定为(uc,vc)，把在所述成像单元124成像的所述图案112的图像的像素(对应于E点)的坐标定为(u’,v’)。作为一个示例，所述坐标(u,v)、(uc,vc)可以以所述图案112的左上侧为基准进行设置，作为一个示例，所述坐标(u’,v’)可以以所述图案112的图像的左上侧为基准进行设置。
另一方面，如果使所述成像单元124位于所述第2透镜122的焦距fc，则所述成像单元124的z轴坐标为-fc。
利用以上的信息，依次获得所述三个直线方程式。
直线L1的方程式从线段AO求出，在此获得C点的位置。直线L2的方程式从线段AB求出，在此获得D点的位置。直线L3的方程式从线段DC求出。此时，由于已知A点和O点的世界坐标，因而只要知道B点的世界坐标，则可知所述三个直线的方程式。
如果把定义所述标记部110的姿势的姿势定义矩阵定义为3*3矩阵[R]，把矩阵[R]的各成分分别定义为r11、r12、r13、r21、r22、r23、r31、r32、r33，那么，B点的世界坐标可以把B点的图案上坐标(u,v)确定为以矩阵[R]和所述第1透镜114的焦距fb为基础变换的(r11u+r12v+r13fb+X，r21u+r22v+r23fb+Y，r31u+r32v+r33fb+Z)。
因此，可以从A点、O点及B点的世界坐标获得三个直线方程式。
接着，从所述获得的三个直线方程式导出所述图案112及图案的图像之间的关系式(S120)。
在前面求出的直线L3的方程式中，可以获得E点的位置(E点的世界坐标)，因此，由此可知E点的像素坐标(u’,v’)。
因此，可以用B点的图案上坐标(u,v)表示E点的像素坐标(u’,v’)，因此，可以确定与B点对应的所述图案112及与E点对应的图案的图像之间的关系式。
接下来，把所述关系式表现为矩阵方程式，设置为所述坐标变换式(S130)。
所述关系式可以以诸如下述数学式1的矩阵方程式表现，可以把这种对于坐标变换的矩阵方程式设置为所述坐标变换式。
(数学式1)
Figure BDA0002733552580000121
其中，(u,v)意味着所述第1坐标，(u’,v’)意味着所述第4坐标，[C]意味着所述第1变换矩阵，[A]意味着所述第2变换矩阵，而且，[R]意味着所述姿势定义矩阵。另外，(uc,vc)意味着所述图案的中心的图案面上的坐标，fb意味着所述第1焦距，fc意味着所述第2焦距，pw意味着所述图案的图像的像素宽度，ph意味着所述图案的图像的像素高度。另外，在(ui,vi)、(u’i,v’i)中，i意味着预定的第i号图案。
可知，所述坐标变换式由图1中说明的所述第1及第2变换矩阵及所述姿势定义矩阵之积构成。
具体而言，如果从概念上考查所述坐标变换式，那么，如在图1中所作的说明，当分别把所述图案112的图案面上的坐标定义为第1坐标((u,v))、把所述第1坐标的对于所述第1透镜114的三维性本地坐标定义为第2坐标、把所述第2坐标的对于所述第2透镜122的三维本地性坐标(与世界坐标相同)定义为第3坐标、把所述成像部120的所述图案112的图像上的像素坐标定义为第4坐标((u’,v’))时，可知所述坐标变换式由把所述第1坐标变换成所述第2坐标的第1变换矩阵[C]、把所述第2坐标变换成所述第3坐标的姿势定义矩阵[R]及把所述第3坐标变换成所述第4坐标的第2变换矩阵[A]之积的[A][R][C]代表。
下面以附图为参照，对作为所述系统建模的结果而获得的坐标变换式中校准所述第1及第2变换矩阵的过程(S200)进行更详细说明。
所述校准先针对所述第2变换矩阵执行，然后针对所述第1变换矩阵进行。
图5是显示在图2的解题过程中校准第2变换矩阵的过程的流程图。
如果参照图5，首先定义矩阵[B]和矩阵[H]，以便容易进行校准所需的数学解析(S210)。
具体而言，如果利用所述第2变换矩阵([A])定义矩阵[B]，则如数学式2所示，如果利用所述第1变换矩阵([C])、所述第2变换矩阵([A])及所述姿势定义矩阵([R])定义矩阵[H]，则如数学式3所示。
(数学式2)
[B]＝[A]-T＊[A]-1
(数学式3)
[H]＝[A][R][C]
其中，各矩阵[A]、[B]、[C]、[H]、[R]均具有3*3形态，可以表示为[H]＝[h1,h2,h3]，[R]＝[r1,r2,r3]。
如果在数学式3的两边乘以A-1，则获得数学式4。
(数学式4)
A-1[h1h2h3]＝[r1r2T]
接着，利用矩阵[R]的规范正交性(orthonormality)，设置由[H]和[B]的成分构成的方程式(S220)。
具体而言，如果利用与旋转矩阵(rotation matrix)相应的姿势定义矩阵([R])的规范正交性，则可以如数学式5所示定义矩阵[B]。
(数学式5)
Figure BDA0002733552580000141
其中，α＝-fc/pw，β＝-fc/ph，fc意味着所述成像部120的第2透镜122的焦距，pw和ph分别意味着像素宽度和高度。
利用矩阵[B]的非0的成分，如数学式6所示定义列向量b和vij。
(数学式6)
b＝[B11 B22 B13 B23 B33]T
vij＝[hi1hj1，hi2hj2，hi3hj1+hi1hj3，hi3hj2+hi2hj3，hi3hj3]T
在数学式6中，如果利用矩阵[R]的规范正交性，则可以获得数学式7。
(数学式7)
Figure BDA0002733552580000142
然后，把3张以上的影像数据应用于[H]，求出[B]的解(S230)。
具体而言，把至少3张以上的影像应用于数学式7后，作为一个示例，可以利用诸如奇异值分解(singular value decomposition，SVD)的方法，求出列向量b。如果求出列向量b，则可知矩阵[B]的所有成分。
接着，获得最终校准的[A](S240)。
具体而言，如果知道矩阵[B]的所有成分，则可通过下述数学式8而求出v'c、α、β、u'c(把λ、γ表现为参数)。
(数学式8)
Figure BDA0002733552580000151
Figure BDA0002733552580000152
Figure BDA0002733552580000153
Figure BDA0002733552580000154
γ＝-B12α2β/λ
因此，从数学式9可知矩阵[A]的所有成分。
(数学式9)
Figure BDA0002733552580000155
然后，利用前面校准的第2变换矩阵([A])，校准第1变换矩阵([C])。
图6是显示在图2的解题过程中校准第1变换矩阵的过程的流程图。
如果参照图6，把先校准的矩阵[A]代入矩阵[H]并整理，获得矩阵[R](S250)。
具体而言，把数学式9的所述第2变换矩阵[A]代入数学式3，整理数学式1的[R][C]，获得数学式10。
(数学式10)
Figure BDA0002733552580000161
在数学式10中，如果把矩阵[R]放入[R]＝[r1 r2 r3]，则[R]可以在数学式11中按列向量成分而获得。
(数学式11)
r1＝[A]-1h1，r2＝[A]-1h2，r3＝r1×r2
接着，把矩阵[HK]定义为[HK]＝[A][R]，代入所述坐标变换式并整理(S260)。
具体而言，把矩阵[A]与矩阵[R]之积定义为矩阵[HK]，代入数学式1的坐标变换式并整理，使得由矩阵[HK]和矩阵[C]的成分构成。
此时，利用数学式9中求出的矩阵[A]和数学式11中求出的矩阵[R]，可以求出矩阵[HK]，如果将其应用于数学式1的坐标变换式，则获得由矩阵[HK]和矩阵[C]的成分构成的数学式12。
(数学式12)
Figure BDA0002733552580000162
然后，把整理的公式变形为[AA][CC]＝[BB]形态(S270)。
具体而言，在整理的公式中，把只由矩阵[C]的成分构成的矩阵定义为[CC]并分离后，把整理的公式变形为[AA][CC]＝[BB]形态。此时，由于已知矩阵[HK]，因而利用矩阵[HK]，可以如数学式13所示定义矩阵[AA]、矩阵[BB]及矩阵[CC]。
(数学式13)
Figure BDA0002733552580000163
Figure BDA0002733552580000164
Figure BDA0002733552580000165
接着，从[CC]＝[AA]-1[BB]求出[CC]，获得校准的矩阵[C](S280)。
具体而言，从对公式[AA][CC]＝[BB]进行变形的[CC]＝[AA]-1[BB]获得[CC]的成分，获得最终校准的所述第1变换矩阵[C]。
下面，以附图为参照，更详细说明利用所述校准的第1及第2变换矩阵而获得所述姿势定义矩阵的过程(S300)。
图7是显示在图2的解题过程中获得姿势定义矩阵的过程的一个示例的流程图。
如果参照图7，作为获得所述姿势定义矩阵[R]的一个示例，首先，设置在两边对自己自身进行外积的方程式(S310)。
具体而言，如果在所述数学式1的两边对自己自身进行外积，则为0，因此，如果将其设置为方程式，则可获得数学式14。
(数学式14)
Figure BDA0002733552580000171
接着，作为一个示例，利用诸如奇异值分解(SVD)的方法获得矩阵[H](S320a)。
具体而言，把数学式3的[H]＝[A][R][C]应用于数学式14后，整理成对于矩阵[H]的各成分(H1,H2,…,H9)的方程式，获得了数学式15。
(数学式15)
Figure BDA0002733552580000172
作为一个示例，利用诸如奇异值分解(SVD)的方法，获得数学式15的2n个公式。
然后，从[R]＝[A]-1[H][C]-1获得[R](S330a)。
具体而言，从对数学式3的[H]＝[A][R][C]进行变形的[R]＝[A]-1[H][C]-1获得[R]。
所述姿势定义矩阵也可以以其它方法获得。
图8是显示在图2的解题过程中获得姿势定义矩阵的过程的另一示例的流程图。
如果参照图8，作为获得所述姿势定义矩阵[R]的另一示例，首先设置在两边对自己自身进行外积的方程式(S310)。本过程与图7的过程相同，因而省略重复的说明。
接着，整理成对于r11～r33的方程式(S320b)。
具体而言，从数学式14整理成对于所述姿势定义矩阵[R]的各成分r11、r12、r13、r21、r22、r23、r31、r32、r33的方程式，获得数学式16。
(数学式16)
Figure BDA0002733552580000181
然后，作为一个示例，利用诸如奇异值分解(SVD)的方法，获得矩阵[R](S330b)。
具体而言，利用诸如奇异值分解(SVD)的方法，获得数学式16的2n个公式。
如上所述，最终可以获得所述姿势定义矩阵[R]。
把如上所述的系统建模过程及姿势定义矩阵[R]的获得方法应用于图1所示的所述光学跟踪系统100，可以算出所述标记部110的姿势。
下面，以附图为参照，更详细地说明所述处理部130算出所述标记部110的姿势的方法。
图9是显示本发明一个实施例的光学跟踪系统的标记部姿势算出方法的流程图。
如果参照图9，首先，所述处理部130从至少3个影像校准第1及第2变换矩阵(S510)。
所述校准实质上与图2中说明的步骤S200、图5及图6中具体说明的步骤S210至步骤S280的过程相同，在所述处理部130中，如所述过程中的步骤S230和步骤S280所示，只利用校准所需的最终方程式，便可以校准所述第1及第2变换矩阵。
然后，从包括所述第1及第2变换矩阵的坐标变换式获得姿势定义矩阵(S520)。
所述姿势定义矩阵的获得实质上与图2中说明的步骤S300、图7及图8中具体说明的步骤S310至步骤S330a以及步骤S310至步骤S330b的过程相同，在所述处理部130中，如所述过程中的步骤S320a和S320a或步骤S320b所示，只利用所述姿势定义矩阵获得所需的最终方程式，便可以获得所述姿势定义矩阵。
因此，所述处理部130事先校准而预先获得把所述第1坐标变换成所述第2坐标的第1变换矩阵及把所述第3坐标变换成所述第4坐标的第2变换矩阵后，可以从所述坐标变换式获得定义所述标记部110的姿势的姿势定义矩阵。
如果获得所述姿势定义矩阵，则可知所述标记部110的姿势。例如，可以从所述姿势定义矩阵掌握所述标记部110的翻滚角(roll)、俯仰角(pitch)、偏航角(yaw)等。
根据如上所述的光学跟踪系统，标记部包括特定信息的图案而使得能够跟踪，可以实现标记部小型化，利用坐标变换式，对所述标记部和所述成像部的光学系进行建模，从而能够决定所述标记部的姿势，因而能够以更单纯容易的方法，实现准确的标记部跟踪。
图10是图示本发明另一实施例的光学跟踪系统的概念图。
如果参照图10，本发明另一实施例的光学跟踪系统1000包括标记部1110、第1成像部1120a、第2成像部1120b及处理部1130。
图10所示的光学跟踪系统1000除了应用包括两个成像部的立体方式及处理部1140利用两个成像部来决定姿势之外，实质上与图1所示的光学跟踪系统100相同，因而省略重复的详细说明。
所述标记部1110包括图案(pattern)1112及第1透镜1114，实质上与图1所示的标记部110相同。
所述第1成像部1120a包括具有第2焦距的第2透镜及第1成像单元，所述第1成像单元从所述第2透镜隔开配置，借助于所述第1透镜和所述第2透镜而成像所述图案的第1图像。
所述第2成像部1120b包括具有第3焦距的第3透镜及第2成像单元，所述第2成像单元从所述第3透镜隔开配置，借助于所述第1透镜和所述第3透镜而成像所述图案的第2图像。
所述第1成像部1120a及所述第2成像部1120b实质上分别与图1所示的成像部120相同。
所述处理部1130从所述图案1112的图案面上的坐标与所述图案1112的第1图像上的第1像素坐标之间的第1坐标变换式及所述图案1112的图案面上的坐标与所述图案1112的第2图像上的第2像素坐标之间的第2坐标变换式，决定所述标记部1110的姿势。此时，所述第2坐标变换式包括所述第1像素坐标与所述第2图像上的第2像素坐标之间的旋转变换。所述处理部1130利用决定的所述标记部1110姿势，跟踪所述标记部1110。
下面以附图以参照，详细说明成为所述处理部1130功能的根据的系统建模过程及据此决定所述标记部1110的姿势的过程。
图11是概略性显示图10的光学跟踪系统的处理部为了决定标记部的姿势所需的解题过程的流程图。
如果参照图11，首先，对具有上述构成的所述光学跟踪系统1000进行系统建模(S1100)。
在如图10所示的光学跟踪系统1000中，所述图案1112的图案面上的坐标与所述图案1112的图像上的像素坐标之间的坐标变换，借助于所述光学跟踪系统1100的光学系而实现，因而通过对由所述光学跟踪系统1000的光学系决定的坐标变换进行建模，从而可以设置所述坐标变换式。此时，由所述光学跟踪系统100的光学系决定的坐标变换可以根据所述标记部1110及所述第1及第2成像部1120a、1120b各个的光学系及它们之间的关系而建模。
接着，在作为系统建模的结果而获得的坐标变换式中，校准后述的第1、第2、第3及第4变换矩阵(S1200)。
当分别把图10所示所述图案1112的图案面上的坐标定义为第1坐标、把所述第1坐标的对于所述第1透镜1114的三维本地性坐标定义为第2坐标、把所述第2坐标的对于所述第2透镜1122a的三维本地性坐标定义为第3坐标、把所述第1成像部1120a的所述图案1112的第1图像上的像素坐标定义为第4坐标时，所述第1变换矩阵是把所述第1坐标变换成所述第2坐标的矩阵，所述第2变换矩阵是把所述第3坐标变换成所述第4坐标的矩阵。
另外，当分别把图10所示的所述图案1112的图案面上的坐标定义为第5坐标、把所述第5坐标的对于所述第1透镜1114的三维本地性坐标定义为第6坐标、把所述第6坐标的对于所述第3透镜1122b的三维本地性坐标定义为第7坐标、把所述第2成像部1120b的所述图案1112的第2图像上的像素坐标定义为第8坐标时，所述第3变换矩阵是把所述第5坐标变换成所述第6坐标的矩阵，所述第4变换矩阵是把所述第7坐标变换成所述第8坐标的矩阵。
作为所述系统建模的结果而获得的坐标变换式虽然以对于图10所示的所述标记部1100及所述成像部1120的光学系的各种参数的公式而确定，但由于无法准确获得所述参数或值会因机构的配置状态等而变化，因而通过校准所述第1及第2变换矩阵，可以能更准确系统建模。
然后，利用校准结果获得姿势定义矩阵(S1300)。
所述姿势定义矩阵作为提供对于所述标记部1110的姿势的信息的矩阵，从所述姿势定义矩阵可以掌握所述标记部1110的翻滚角(roll)、俯仰角(pitch)、偏航角(yaw)等。
下面对图11所示的各步骤进行更具体说明。
首先，在执行系统建模(S1100)方面，如图3中说明的方式及结果相同地应用。因此，可以针对所述第1成像部1120a和所述第2成像部1120b，独立地应用数学式1。因此，系统建模结果可以获得下述数学式17。出于便利，在数学式17中，在对于第1成像部1120a的变数中应用L、l，在对于第2成像部1120b的变数中应用R、r。
(数学式17)
Figure BDA0002733552580000211
Figure BDA0002733552580000212
其中，(lu,lv)意味着所述第1坐标，(lu',lv')意味着所述第4坐标，[C]意味着所述第1变换矩阵，[Al]意味着所述第2变换矩阵，[RL]意味着所述第1姿势定义矩阵，(ru,rv)意味着所述第5坐标，(ru',rv')意味着所述第6坐标，[C]意味着与所述第1变换矩阵相同的所述第3变换矩阵，[Ar]意味着所述第4变换矩阵，[RR]意味着所述第2姿势定义矩阵。另外，如果参照图10，矩阵[RR]可以用矩阵[RLR][RL]表现。其中，[RLR]意味着把对于所述第1成像部1120a的三维本地性坐标变换成对于所述第2成像部1120b的三维本地性坐标的矩阵，可以视为定义所述第1成像部1120a相对于所述第2成像部1120b的姿势的矩阵。
下面以附图为参照，更详细说明作为所述系统建模的结果而获得的坐标变换式中校准所述第1、第2、第3及第4变换矩阵的过程(S1200)。
图12是显示在图11的解题过程中校准变换矩阵的过程的流程图。
校准所述变换矩阵的过程基本上与前面在图5及图6中说明的过程相同。
如果参照图12，首先把步骤S210至步骤S240的过程应用于所述第1成像部1120a，校准[Al](S1210a)。接着，把步骤S250应用于所述第1成像部1120a而获得[RL](S1220a)。
另外，与此并列，把步骤S210至步骤S240的过程应用于所述第2成像部1120b，校准[Ar](S1210b)。接着，把步骤S250应用于所述第2成像部1120b而获得[RR](S1220b)。
对于根据如上所述在图5及图6中说明的方式而独立地获得的[Al]、[RL]、[Ar]及[RR]，以与图5及图6中说明的方式类似的方式校准[C]。
具体而言，首先把矩阵[HKl]定义为[HKl]＝[Al][RL]，把矩阵[HKr]定义为[HKr]＝[Ar][RR]，代入各个坐标变换式并整理(S1260)。该过程对应于图6中说明的步骤S260，由此，获得由矩阵[HKl]及[HKr]和矩阵[C]的成分构成的数学式18。
(数学式18)
Figure BDA0002733552580000221
Figure BDA0002733552580000222
接着，把整理的公式变形成[AA2][CC2]＝[BB2]形态(S1270)。该过程对应于图6中说明的步骤S270，此时，可以如数学式19所示定义矩阵[AA2]、矩阵[BB2]及矩阵[CC2]。
(数学式19)
Figure BDA0002733552580000231
Figure BDA0002733552580000232
Figure BDA0002733552580000233
接着，从[CC2]＝[AA2]-1[BB2]求出[CC2]，获得校准的[C]获得(S1280)。该过程对应于图6中说明的步骤S280，从对[AA2][CC2]＝[BB2]进行变形的[CC2]＝[AA2]-1[BB2]获得[CC2]的成分，获得与最终校准的所述第1变换矩阵及第3变换矩阵相应的[C]。
下面以附图为参照，更详细地说明利用所述校准的第1、第2、第3及第4变换矩阵而获得所述姿势定义矩阵的过程(S1300)。
图13是显示在图11的解题过程中获得姿势定义矩阵的过程的一个示例的流程图。
获得所述姿势定义矩阵的过程基本上与前面在图8中说明的过程相同，但作为立体方式，在利用更多数据方面有差异。
如果参照图13，首先，在所述第1坐标变换式中，把步骤S310及步骤S320b的过程应用于[RL]，整理成对于成分r11～r33的第1方程式(S1310)。该过程对应于图8中说明的步骤S310及步骤S320b的过程，在下述数学式21中显示出所述第1方程式。
(数学式20)
Figure BDA0002733552580000241
Figure BDA0002733552580000242
接着，在所述第2坐标变换式中，把[RLR]的成分放入r'11～r'33，把步骤S310及步骤S320b的过程应用于[RL]，整理成对于成分r11～r33的第2方程式(S1320)。该过程应用图8中说明的步骤S310及步骤S320b的过程，在下述数学式21中显示出所述第2方程式。
(数学式21)
Figure BDA0002733552580000251
Figure BDA0002733552580000252
Figure BDA0002733552580000253
Figure BDA0002733552580000254
Figure BDA0002733552580000255
Figure BDA0002733552580000256
接着，把整理的对于r11～r33的所述第1及第2方程式整理成统合方程式(S1330)。由此，获得数学式22。
(数学式22)
Figure BDA0002733552580000261
Figure BDA0002733552580000262
接着，作为一个示例，利用诸如奇异值分解(SVD)的方法获得矩阵[RL](S1340)。
具体而言，在数学式22中，矩阵[LWi]及[RWi]分别包括2个公式，因此，针对r11～r33获得共4n个公式，因而可以利用诸如奇异值分解(SVD)的方法而获得。
数学式22包括4n个公式，包括比图1至图9中说明的方法更多的公式，因而可以获得对于矩阵[RL]的更准确结果，因此，可以实现所述标记部1110的更准确的姿势测量。
下面以附图为参照，更详细地说明所述处理部1130算出所述标记部1110的姿势的方法。
图14是显示本发明另一实施例的光学跟踪系统的标记部姿势算出方法的流程图。
如果参照图14，首先，所述处理部1130从至少3个影像校准第1、第2、第3及第4变换矩阵(S1510)。
所述校准实质上与图11中说明的步骤S1200、图12中具体说明的步骤S1210a及S1210b至步骤S1280的过程相同，在所述处理部1130中，如所述过程中的步骤S1210a、S1220a、S1210b、S1220b及步骤S1280等所示，只利用校准所需的最终方程式，便能够校准所述第1及第2变换矩阵。
然后，从包括所述第1、第2、第3及第4变换矩阵的第1及第2坐标变换式获得姿势定义矩阵(S1520)。
所述姿势定义矩阵的获得实质上与图11中说明的步骤S1300、图13中具体说明的步骤S1310至步骤S1340的过程相同，在所述处理部1130中，如所述过程中的步骤S1330及步骤S1340所示，只利用获得所述姿势定义矩阵所需的最终方程式，便能够获得所述姿势定义矩阵。
因此，所述处理部1130事先校准而预先获得把所述第1坐标变换成所述第2坐标的第1变换矩阵、把所述第3坐标变换成所述第4坐标的第2变换矩阵、把所述第5坐标变换成所述第6坐标的第3变换矩阵及把所述第7坐标变换成所述第8坐标的第4变换矩阵后，可以从所述第1及第2坐标变换式获得定义所述标记部1110的姿势的姿势定义矩阵。
如果获得所述姿势定义矩阵，则可知所述标记部1110的姿势。例如，从所述姿势定义矩阵可以掌握所述标记部1110的翻滚角(roll)、俯仰角(pitch)、偏航角(yaw)等。
根据如上所述的光学跟踪系统，就跟踪标记部的光学跟踪系统而言，标记部包括特定信息的图案而使得能够实现跟踪，可以实现标记部小型化，以坐标变换式对所述标记部和所述成像部的光学系进行建模，且应用立体方式，从而能够更准确地决定所述标记部的姿势，因而能够以更单纯容易的方法实现标记部的准确跟踪。
另一方面，如上所述的光学跟踪系统1000在所述标记部1110的姿势的基础上，可以决定所述标记部1110的位置。
下面以附图为参照，更详细地说明决定所述标记部1110位置所需的系统建模过程及据此决定所述标记部1110位置的过程。
图15是概略性地显示图10的光学跟踪系统的处理部为了决定标记部的位置所需的解题过程的流程图。
如果参照图15，首先，针对具有上述构成的所述光学跟踪系统1000执行系统建模(S2100)。
所述系统建模为了获得所述标记部1110(参照图10)的位置，不同于前面说明的坐标变换式，包括与所述标记部1110的第1透镜1114(参照图10)中心的坐标对应的所述第2坐标(与所述第6坐标相同)地执行。
接着，从所述系统建模的结果校准位置变换矩阵[T](S2200)。
所述位置变换矩阵[T]由于所述第1成像部1120a(参照图10)与所述第2成像部1120b(参照图10)隔开，意味着把所述第1成像部1120a的位置变换成所述第2成像部1120b的位置的矩阵。
接着，获得所述标记部1110的位置(S2300)。
具体而言，获得所述标记部1110的所述第1透镜1114中心的三维坐标。
图16是用于说明在图15的解题过程中执行系统建模的过程的概念图。
如果参照图16，针对与所述标记部1110的第1透镜1114中心坐标对应的所述第2坐标(P2)及与所述第1成像部1120a的所述图案1112的第1图像上的第1像素坐标相应的所述第4坐标(P4)之间，设置第3坐标变换式。所述第3坐标变换式可以如下述数学式23所示表现为矩阵方程式。
(数学式23)
Figure BDA0002733552580000281
其中，(u’,v’)为所述第4坐标(P4)，(X,Y,Z)为所述第2坐标(P2)，[AL]为所述第2变换矩阵，[I]为3x3形态的恒等矩阵(identity matrix)，[0]为3x1形态的零矩阵。如图16所示，所述第1成像部1120a的第2透镜1122a)为原点，因此，以此为基准，就所述第4坐标(P4)而言，旋转变换部分显示为恒等矩阵，而且，位置变换部分显示为零矩阵，可以如[I|0]所示表现。
接着，针对与所述标记部1110的第1透镜1114中心坐标对应的所述第6坐标(P6)(与所述第2坐标(P2)相同)及与所述第2成像部1120b的所述图案1112的第2图像上的第2像素坐标相应的所述第8坐标(P8)之间，设置第4坐标变换式。当设置所述第4坐标变换式时，包括所述第1成像部1120a及所述第2成像部1120b之间的位置变换矩阵[T]地进行设置。因此，所述第4坐标变换式可以如下述数学式24所示表现为矩阵方程式。
(数学式24)
Figure BDA0002733552580000291
其中，(u'2,v'2)意味着所述第8坐标(P8)，(X,Y,Z)意味着第6坐标(P6)(与所述第2坐标(P2)相同)，AR意味着所述第4变换矩阵，[RLR]具有3x3形态，意味着定义图11等中说明的所述第1成像部1120a相对于所述第2成像部1120b的姿势的矩阵，[T]具有3x1形态，意味着把所述第1成像部1120a的位置变换成所述第2成像部1120b的位置的位置变换矩阵。如图16所示，所述第1成像部1120a的第1透镜1122a)为原点，因此，以此为基准，就所述第2成像部1120b的所述第8坐标(P8)而言，旋转变换部分用矩阵[RLR]代表，位置变换部分用[T]代表，可以如[RLR|T]所示表现。
所述系统建模中出现的因子除位置变换矩阵[T]之外，均是从前面图11至图14中获得的因子。因此，如果获得位置变换矩阵[T]，则可以获得所述第2坐标(P2)(与所述第6坐标(P6)相同)，即，获得所述标记部1110的位置。
下面以附图为参照，更详细地说明作为所述系统建模的结果而获得的第3及第4坐标变换式中校准所述位置变换矩阵[T]的过程(S2200)。
图17是显示在图15的解题过程中校准位置变换矩阵的过程的流程图。
如果参照图17，首先，获得所述第1及第2成像单元1124a、1124b分别拍摄的第1中心坐标及第2中心坐标(S2210)。
其中，所述第1及第2中心坐标分别意味着所述第1及第2成像单元1124a、1124b在拍摄所述图案1112时显示的视野范围(filed of view)的中心，可以获得多个中心坐标。
然后，利用获得的所述第1及第2中心坐标，算出基础矩阵(fundamental matrix)[F](S2220)。
所述基础矩阵可以如数学式25所示表现。
(数学式25)
Figure BDA0002733552580000292
在数学式25中，下标字j代表获得多个中心坐标时获得的多个数据的序号。
如果把数学式25整理成所述基础矩阵[F]的成分，则可以获得数学式26，如果以数学式26为例，针对至少8个点，作为一个示例而应用诸如奇异值分解(SVD)的方法，可以获得所述基础矩阵[F]。
(数学式26)
Figure BDA0002733552580000301
接着，利用获得的基础矩阵[F]，算出本质矩阵(essential matrix)[E](S2230)。
所述本质矩阵[E]如数学式27所示表现。
(数学式27)
Figure BDA0002733552580000302
从数学式27算出的本质矩阵[E]表现为位置变换及旋转变换之积，因此，如果如数学式28所示进行整理，则可以求出对应于位置变换成分的矩阵[t]X。
(数学式28)
E＝[t]×RLR
Figure BDA0002733552580000303
Figure BDA0002733552580000304
所述矩阵[t]X可以与所述位置变换矩阵相同，但必要时，可以乘以换算系数(scale factor)而算出位置变换矩阵。
因此，接下来获得换算系数(S2240)。
所述换算系数可以通过在至少2个位置测量标记而获得。例如，可以通过使标记移动配置于已知隔开距离的至少2个标记位置进行测量而算出。
接着，利用获得的所述本质矩阵[E]和所述换算系数，获得位置变换矩阵[T](S2250)。
具体而言，所述位置变换矩阵[T]可以把以获得的所述矩阵[t]X成分中的tx、ty、tz为成分的3x1形态的矩阵(tx,ty,tz)T乘以换算系数而算出。
下面以附图为参照，更详细地说明利用所述校准的位置变换矩阵[T]而获得所述标记部1110的位置的过程(S2300)。
图18是显示在图15的解题过程中获得标记部的位置的过程的一个示例的流程图。
如果参照图18，首先，从对于所述第1成像单元1120a的第1位置变换式，获得第1方程式(S2310)。
具体而言，如数学式29所示定义作为所述第1位置变换式的数学式23。
(数学式29)
Figure BDA0002733552580000311
如果在数学式29的两边对自己自身进行外积，放入0，对其整理，则可获得对应于所述第1方程式的数学式30。
(数学式30)
Figure BDA0002733552580000312
接着，从对于所述第2成像单元1120b的第2位置变换式，获得第2方程式(S2320)。
具体而言，如数学式31所示定义作为所述第2位置变换式的数学式24。
(数学式31)
Figure BDA0002733552580000321
如果对数学式31应用与获得所述第1方程式的过程(S2310)相同的过程，则可以获得所述第2方程式。
对应于所述第1方程式的数学式30包括2个方程式，以相同的方式，所述第2方程式也包括2个方程式，因而对应于两个成像单元，共可获得4个方程式。
然后，从所述第1及第2方程式和位置变换矩阵[T]获得所述标记部1110的位置(S2330)。
具体而言，把校准的所述位置变换矩阵[T]应用于所述第1及第2方程式，可以获得所述标记部1110的所述第1透镜1114中心的三维坐标。
图19是显示在图15的解题过程中获得标记部的位置的过程的另一示例的流程图。
如果参照图19，首先从对于所述第1成像单元1120a的第1图案坐标变换式，获得第3方程式(S2350)。
具体而言，如数学式32所示设置并整理对所述第1位置变换式进行变形的第1图案坐标变换式。
(数学式32)
Figure BDA0002733552580000331
如果把数学式32整理成方程式，则可以获得数学式33。
(数学式33)
Figure BDA0002733552580000332
Figure BDA0002733552580000333
接着，从对于所述第2成像单元1120b的第2图案坐标变换式，获得第4方程式(S2360)。
本步骤除对象不是所述第1成像单元1120a而是所述第2成像单元1120b之外，实质上与获得所述第3方程式的步骤(S2350)相同。
对应于所述第3方程式的数学式33包括2个方程式，以相同的方式，所述第4方程式也包括2个方程式，因而对应于两个成像单元，共可获得4个方程式。
然后，从所述第3及第4方程式和位置变换矩阵[T]，获得所述标记部1110的位置(S2370)。
具体而言，把校准的所述位置变换矩阵[T]应用于所述第1及第2方程式，可以获得所述标记部1110的所述第1透镜1114中心的三维坐标。
下面以附图为参照，更详细地说明所述处理部1130算出所述标记部1110的位置的方法。
图20是显示本发明一个实施例的光学跟踪系统的标记部位置算出方法的流程图。
如果参照图20，首先，借助于所述第1及第2成像单元1124a,1124b的拍摄而获得多个坐标值(S2510)。
所述坐标值的获得实质上与图17中说明的获得所述第1中心坐标及所述第2中心坐标的过程(S2210)相同，作为一个示例，至少获得8个坐标值。
接着，获得换算系数(S2520)。
所述换算系数的获得实质上与图17中说明的步骤S2240相同。
然后，利用获得的坐标值和换算系数，校准位置变换矩阵(S2530)。
所述校准实质上与图15中说明的步骤S2200、图17中具体说明的步骤S2250的过程相同，因而所述处理部1130只利用校准所需的最终方程式，便能够校准所述位置变换矩阵。
接着，利用校准的位置变换矩阵，获得标记部1110的位置(S2540)。
所述标记部1110的位置的获得实质上与图15中说明的步骤S2300、图18中具体说明的步骤S2310至步骤S2330的过程或图19中具体说明的步骤S2350至步骤S2370的过程相同，所述处理部1130如所述过程中的步骤S2330或步骤S2370所示，可以只利用获得所述位置所需的最终方程式。
根据如上所述的光学跟踪系统，针对包括特定信息的图案并小型化的标记部，应用立体方式进行建模，从而能够更准确地决定所述标记部的位置，因而能够以更单纯容易的方法实现准确的标记部跟踪。
在前面说明的本发明的详细说明中，参照本发明的优选实施例进行了说明，但只要是相应技术领域的熟练从业者或相应技术领域的普通技术人员便会理解，在不超出后述专利权利要求书中记载的本发明的思想及技术领域的范围内，可以多样地修订及变更本发明。因此，前述的说明及下面的附图应解释为并非限定本发明的技术思想，而是对本发明的示例。
(附图标记说明)
100,1000：光学跟踪系统； 110,1110：标记部
112,1112：图案； 114,1114：第1透镜
120,1120：成像部； 122,1122：第2透镜
124,1124：成像单元； 130,1130：处理部

Claims (13)

1.一种光学跟踪系统，其中，包括：
标记(marker)部，其包括具有特定信息的图案(pattern)及从所述图案隔开配置且具有第1焦距的第1透镜；
第1成像部，其包括具有第2焦距的第2透镜及第1成像单元，所述第1成像单元从所述第2透镜隔开配置，借助于所述第1透镜和所述第2透镜而成像所述图案的第1图像；
第2成像部，其包括具有第3焦距的第3透镜及第2成像单元，所述第2成像单元从所述第3透镜隔开配置，借助于所述第1透镜和所述第3透镜而成像所述图案的第2图像；及
处理部，其从所述图案的图案面上的坐标与所述图案的第1图像上的第1像素坐标之间的第1坐标变换式及包括所述第1像素坐标与所述图案的第2图像上的第2像素坐标之间的旋转变换在内的所述图案的图案面上的坐标与所述图案的第2图像上的第2像素坐标之间的第2坐标变换式，决定所述标记部的姿势，跟踪所述标记部，且
所述第1坐标变换式包括定义所述第1成像部相对于所述标记部的姿势的第1姿势定义矩阵，
所述第2坐标变换式包括定义所述第2成像部相对于所述标记部的姿势的第2姿势定义矩阵，并且
所述第2姿势定义矩阵定义相对于所述第2成像部的所述第1成像部的姿势，并由对应于所述旋转变换的第3姿势定义矩阵及所述第1姿势定义矩阵的乘积被定义。
2.根据权利要求1所述的光学跟踪系统，其中，
所述处理部获得如下矩阵：
第1变换矩阵，其把与所述图案的图案面上的坐标相应的第1坐标变换成，与所述标记部的对于所述第1透镜的三维坐标相应的第2坐标；
第2变换矩阵，其把与所述第2坐标的对于所述第2透镜的三维坐标相应的第3坐标变换成，与所述第1成像部的所述图案的第1图像上的第1像素坐标相应的第4坐标；
第3变换矩阵，其把与所述图案的图案面上的坐标相应的第5坐标变换成，与所述标记部的对于所述第1透镜的三维坐标相应的第6坐标，其与所述第1变换矩阵相同；及
第4变换矩阵，其把与所述第6坐标的对于所述第3透镜的三维坐标相应的第7坐标变换成，与所述第2成像部的所述图案的第2图像上的第2像素坐标相应的第8坐标；
所述第1坐标变换式定义为包括所述第1变换矩阵及所述第2变换矩阵，把所述第1坐标变换成所述第4坐标，所述第2坐标变换式定义为包含所述第3变换矩阵及所述第4变换矩阵，把所述第5坐标定义为所述第8坐标，
所述处理部从所述第1坐标变换式和所述第2坐标变换式，获得第1姿势定义矩阵。
3.根据权利要求2所述的光学跟踪系统，其中，
所述第1坐标变换式根据下述数学式定义：
Figure FDA0002733552570000021
(lu,lv)为所述第1坐标，(lu',lv')为所述第4坐标，[C]为所述第1变换矩阵，[Al]为所述第2变换矩阵，[RL]为所述第1姿势定义矩阵，s为比例常数；
所述第2坐标变换式根据下述数学式定义：
Figure FDA0002733552570000022
(ru,rv)为所述第5坐标，(ru',rv')为所述第8坐标，[C]为与所述第1变换矩阵相同的所述第3变换矩阵，[Ar]为所述第4变换矩阵，[RR]为第2姿势定义矩阵，[RLR]为第3姿势定义矩阵，s为比例常数。
4.根据权利要求3所述的光学跟踪系统，其中，
所述第1变换矩阵及所述第3变换矩阵根据下述数学式定义：
Figure FDA0002733552570000023
(uc,vc)为所述图案的中心的坐标，fb为所述第1焦距；
所述第2变换矩阵和所述第4变换矩阵根据下述数学式定义：
Figure FDA0002733552570000031
(u'c,v'c)为与所述图案的中心对应的所述图案的图像上的像素坐标，fc在所述第2变换矩阵时为所述第2焦距，在所述第4变换矩阵时为所述第3焦距，pw在所述第2变换矩阵时为所述图案的第1图像的像素宽度，在所述第4变换矩阵时为所述图案的第2图像的像素宽度，ph在所述第2变换矩阵时为所述图案的第1图像的像素高度，在所述第4变换矩阵时为所述图案的第2图像的像素高度。
5.根据权利要求4所述的光学跟踪系统，其中，
所述处理部从至少3个以上的拍摄图像获得uc、vc及fb的校准值，从而获得所述第1变换矩阵及所述第3变换矩阵，
利用获得的数据，获得fc、pw、ph的校准值，从而获得所述第2变换矩阵及所述第4变换矩阵。
6.根据权利要求3所述的光学跟踪系统，其中，所述处理部获得对于所述第1坐标和所述第4坐标的多个数据及对于所述第5坐标和所述第8坐标的多个数据，根据应用了所述获得的多个数据的下述数学式，获得所述第1姿势定义矩阵：
Figure FDA0002733552570000041
Figure FDA0002733552570000042
Figure FDA0002733552570000043
Figure FDA0002733552570000044
Figure FDA0002733552570000045
Figure FDA0002733552570000046
Figure FDA0002733552570000047
Figure FDA0002733552570000048
Figure FDA0002733552570000049
(lu1,lv1),…,(lun,lvn)为所述第1坐标的数据，(lu'1,lv'1),…,(lu',lv')为所述第4坐标的数据，(lu'c,lv'c)为与所述图案的中心对应的所述图案的第1图像上的像素坐标，(ru1,rv1),…,(run,rvn)为所述第5坐标的数据，(ru'1,rv'1),…,(ru'n,rv'n)为所述第8坐标的数据，(ru'c,rv'c)为与所述图案的中心对应的所述图案的第2图像上的像素坐标。
7.根据权利要求3所述的光学跟踪系统，其中，
所述处理部从对于所述第2坐标和所述第4坐标的第3坐标变换式及对于所述第6坐标和所述第8坐标的第4坐标变换式，决定所述标记部的位置，利用决定的所述标记部的位置，跟踪所述标记部。
8.根据权利要求7所述的光学跟踪系统，其中，
所述第3坐标变换式根据下述数学式定义：
Figure FDA0002733552570000051
(u'1,v'1)为所述第4坐标，(X,Y,Z)为所述第2坐标，[AL]为所述第2变换矩阵，[I]为3x3形态的恒等矩阵(identity matrix)，[0]为3x1形态的零矩阵，s为比例常数；
所述第4坐标变换式根据下述数学式定义：
Figure FDA0002733552570000052
(u'2,v'2)为所述第8坐标，(X,Y,Z)为所述第6坐标，[AR]为所述第4变换矩阵，[RLR]为3x3形态的所述第3姿势定义矩阵，[T]为3x1形态的位置变换矩阵，s为比例常数。
9.根据权利要求8所述的光学跟踪系统，其中，
所述处理部获得在所述第1及第2成像单元分别拍摄的作为所述图案视野范围中心的第1中心坐标及第2中心坐标，
利用获得的多个中心坐标，校准所述第1成像部及所述第2成像部之间的位置变换矩阵，
利用所述校准的位置变换矩阵，获得所述标记部的位置。
10.根据权利要求9所述的光学跟踪系统，其中，
所述处理部在至少2个以上的位置测量所述标记部并获得换算系数，
一同利用所述获得的换算系数和所述获得的多个中心坐标，校准所述第1成像部及所述第2成像部之间的所述位置变换矩阵。
11.一种光学跟踪系统的标记部姿势及位置算出方法，所述光学跟踪系统包括：标记(marker)部，其包括具有特定信息的图案(pattern)及从所述图案隔开配置且具有第1焦距的第1透镜；第1成像部，其包括具有第2焦距的第2透镜及第1成像单元，所述第1成像单元从所述第2透镜隔开配置，借助于所述第1透镜和所述第2透镜而成像所述图案的第1图像；及第二成像部，其包括具有第3焦距的第3透镜及第2成像单元，所述第2成像单元从所述第3透镜隔开配置，借助于所述第1透镜和所述第3透镜而成像所述图案的第2图像，所述光学跟踪系统的标记部姿势及位置算出方法用于算出所述标记部的姿势，以便跟踪所述标记部，其中，包括：
获得如下矩阵的步骤：第1变换矩阵，其把与所述图案的图案面上的坐标相应的第1坐标变换成，与所述标记部的对于所述第1透镜的三维坐标相应的第2坐标；第2变换矩阵，其把与所述第2坐标的对于所述第2透镜的三维坐标相应的第3坐标变换成，与所述第1成像部的所述图案的第1图像上的第1像素坐标相应的第4坐标；第3变换矩阵，其把与所述图案的图案面上的坐标相应的第5坐标变换成，与所述标记部的对于所述第1透镜的三维坐标相应的第6坐标，其与所述第1变换矩阵相同；及第4变换矩阵，其把与所述第6坐标的对于所述第3透镜的三维坐标相应的第7坐标变换成，与所述第2成像部的所述图案的第2图像上的第2像素坐标相应的第8坐标；及
获得第1以及第2姿势定义矩阵的步骤，从第1坐标变换式及第2坐标变换式获得定义所述标记部的姿势的姿势定义矩阵，所述第1坐标变换式包括所述第1变换矩阵及所述第2变换矩阵，把所述第1坐标变换成所述第4坐标，所述第2坐标变换式包括所述第3变换矩阵及所述第4变换矩阵，把所述第5坐标变换成所述第8坐标，且包括所述第1像素坐标与所述第2像素坐标之间的旋转变换，并且
所述第1坐标变换式包括定义所述第1成像部相对于所述标记部的姿势的第1姿势定义矩阵，
所述第2坐标变换式包括定义所述第2成像部相对于所述标记部的姿势的第2姿势定义矩阵，并且
所述第2姿势定义矩阵定义相对于所述第2成像部的所述第1成像部的姿势，并由对应于所述旋转变换的第3姿势定义矩阵及所述第1姿势定义矩阵的乘积被定义。
12.根据权利要求11所述的光学跟踪系统的标记部姿势及位置算出方法，其中，还包括：
获得在所述第1成像单元和所述第2成像单元分别拍摄的作为所述图案的视野范围中心的第1中心坐标及第2中心坐标的步骤；
利用获得的多个中心坐标，校准所述第1成像部及所述第2成像部之间的位置变换矩阵的步骤；及
利用校准的位置变换矩阵获得所述标记部的位置的步骤。
13.根据权利要求12所述的光学跟踪系统的标记部姿势及位置算出方法，其中，
在所述校准位置变换矩阵的步骤之前，
还包括在至少2个以上位置测量所述标记部而获得换算系数的步骤；
在校准位置变换矩阵的步骤中，一同利用所述获得的换算系数和所述获得的多个中心坐标，校准所述第1成像部及所述第2成像部之间的所述位置变换矩阵。
CN202011125744.8A 2014-05-29 2015-05-29 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法 Active CN113240732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011125744.8A CN113240732B (zh) 2014-05-29 2015-05-29 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020140065178A KR101613418B1 (ko) 2014-05-29 2014-05-29 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
KR10-2014-0065178 2014-05-29
CN202011125744.8A CN113240732B (zh) 2014-05-29 2015-05-29 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法
PCT/KR2015/005444 WO2015183050A1 (ko) 2014-05-29 2015-05-29 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
CN201580027892.7A CN106415663B (zh) 2014-05-29 2015-05-29 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580027892.7A Division CN106415663B (zh) 2014-05-29 2015-05-29 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法

Publications (2)

Publication Number Publication Date
CN113240732A true CN113240732A (zh) 2021-08-10
CN113240732B CN113240732B (zh) 2024-04-19

Family

ID=54699308

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580027892.7A Active CN106415663B (zh) 2014-05-29 2015-05-29 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法
CN202011125744.8A Active CN113240732B (zh) 2014-05-29 2015-05-29 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580027892.7A Active CN106415663B (zh) 2014-05-29 2015-05-29 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法

Country Status (6)

Country Link
US (1) US10109066B2 (zh)
EP (2) EP3576051B1 (zh)
JP (1) JP6357251B2 (zh)
KR (1) KR101613418B1 (zh)
CN (2) CN106415663B (zh)
WO (1) WO2015183050A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101820682B1 (ko) * 2016-08-09 2018-01-23 주식회사 고영테크놀러지 옵티컬 트래킹용 마커, 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
CN107194968B (zh) * 2017-05-18 2024-01-16 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
KR102166372B1 (ko) * 2017-12-20 2020-10-15 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
KR102102291B1 (ko) * 2017-12-20 2020-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
US11673567B2 (en) 2020-04-14 2023-06-13 Plusai, Inc. Integrated fiducial marker for simultaneously calibrating sensors of different types
US11366233B2 (en) 2020-04-14 2022-06-21 Plusai, Inc. System and method for GPS based automatic initiation of sensor calibration
US11635313B2 (en) * 2020-04-14 2023-04-25 Plusai, Inc. System and method for simultaneously multiple sensor calibration and transformation matrix computation
CN114486292B (zh) * 2022-04-18 2022-07-12 中国汽车技术研究中心有限公司 碰撞测试中假人运动响应的测量方法、设备和存储介质
CN115631362B (zh) * 2022-09-26 2024-07-05 北京霍里思特科技有限公司 一种铁器的识别方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044750A (ko) * 2000-12-06 2002-06-19 윤덕용 영상을 이용한 머리의 위치 및 방향을 추적하는 방법
CN1445513A (zh) * 2002-03-19 2003-10-01 佳能株式会社 传感器校准装置及方法、程序、存储介质、信息处理方法及装置
CN101308012A (zh) * 2008-05-29 2008-11-19 上海交通大学 双单目白光三维测量系统标定方法
US7671318B1 (en) * 2008-11-14 2010-03-02 Lockheed Martin Corporation Sensor apparatus and method for low-frequency scene suppression and fixed pattern noise suppression
CN101766476A (zh) * 2009-07-08 2010-07-07 中国科学院自动化研究所 自发荧光分子影像系统
US20120120243A1 (en) * 2003-01-14 2012-05-17 Tseng-Lu Chien Device Having Built-In Digital Data Device Powered By Unlimited Power Source
US20120121124A1 (en) * 2010-01-04 2012-05-17 The Board Of Trustees Of The Leland Stanford Junior University Method for optical pose detection
US20120154794A1 (en) * 2010-12-17 2012-06-21 Teledyne Scientific & Imaging, Llc Optical angle-of-arrival measurement system and method for multiple light sources
CN102612704A (zh) * 2009-10-19 2012-07-25 Metaio有限公司 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法
WO2012100829A1 (en) * 2011-01-27 2012-08-02 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
CN102890785A (zh) * 2011-07-19 2013-01-23 上海上大海润信息系统有限公司 一种服务机器人目标识别与定位的方法
US20130063558A1 (en) * 2011-09-14 2013-03-14 Motion Analysis Corporation Systems and Methods for Incorporating Two Dimensional Images Captured by a Moving Studio Camera with Actively Controlled Optics into a Virtual Three Dimensional Coordinate System
CN103229287A (zh) * 2010-12-29 2013-07-31 奥瑟戴尼电子公司 用于对准超声键合系统的工装元件的方法及系统
CN103236054A (zh) * 2013-04-10 2013-08-07 博奥生物有限公司 一种拍照装置的定位方法及定位系统
CN103315739A (zh) * 2013-05-22 2013-09-25 华东师范大学 基于动态跟踪技术免除运动伪影的磁共振影像方法和系统
CN103649998A (zh) * 2010-12-21 2014-03-19 Metaio有限公司 确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3144400B2 (ja) 1998-11-13 2001-03-12 日本電気株式会社 ジェスチャ認識装置及び方法
KR20070122271A (ko) 2006-06-26 2007-12-31 한국산업기술대학교산학협력단 로봇 자세 제어 시스템 및 로봇 자세 제어 방법
US7643893B2 (en) * 2006-07-24 2010-01-05 The Boeing Company Closed-loop feedback control using motion capture systems
US8366003B2 (en) * 2009-07-23 2013-02-05 Massachusetts Institute Of Technology Methods and apparatus for bokeh codes
KR101262181B1 (ko) 2010-05-03 2013-05-14 한국과학기술원 수족관 내의 로봇 물고기 위치 탐지 방법 및 장치
US9832441B2 (en) * 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
JP4869430B1 (ja) 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP5602702B2 (ja) * 2011-10-13 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US9478030B1 (en) * 2014-03-19 2016-10-25 Amazon Technologies, Inc. Automatic visual fact extraction

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044750A (ko) * 2000-12-06 2002-06-19 윤덕용 영상을 이용한 머리의 위치 및 방향을 추적하는 방법
CN1445513A (zh) * 2002-03-19 2003-10-01 佳能株式会社 传感器校准装置及方法、程序、存储介质、信息处理方法及装置
US20120120243A1 (en) * 2003-01-14 2012-05-17 Tseng-Lu Chien Device Having Built-In Digital Data Device Powered By Unlimited Power Source
CN101308012A (zh) * 2008-05-29 2008-11-19 上海交通大学 双单目白光三维测量系统标定方法
US7671318B1 (en) * 2008-11-14 2010-03-02 Lockheed Martin Corporation Sensor apparatus and method for low-frequency scene suppression and fixed pattern noise suppression
CN101766476A (zh) * 2009-07-08 2010-07-07 中国科学院自动化研究所 自发荧光分子影像系统
CN102612704A (zh) * 2009-10-19 2012-07-25 Metaio有限公司 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法
CN102667855A (zh) * 2009-10-19 2012-09-12 Metaio有限公司 用于确定相机姿态以及用于识别真实环境的对象的方法
US20120121124A1 (en) * 2010-01-04 2012-05-17 The Board Of Trustees Of The Leland Stanford Junior University Method for optical pose detection
US20120154794A1 (en) * 2010-12-17 2012-06-21 Teledyne Scientific & Imaging, Llc Optical angle-of-arrival measurement system and method for multiple light sources
CN103649998A (zh) * 2010-12-21 2014-03-19 Metaio有限公司 确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法
CN103229287A (zh) * 2010-12-29 2013-07-31 奥瑟戴尼电子公司 用于对准超声键合系统的工装元件的方法及系统
WO2012100829A1 (en) * 2011-01-27 2012-08-02 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
CN102890785A (zh) * 2011-07-19 2013-01-23 上海上大海润信息系统有限公司 一种服务机器人目标识别与定位的方法
US20130063558A1 (en) * 2011-09-14 2013-03-14 Motion Analysis Corporation Systems and Methods for Incorporating Two Dimensional Images Captured by a Moving Studio Camera with Actively Controlled Optics into a Virtual Three Dimensional Coordinate System
CN103236054A (zh) * 2013-04-10 2013-08-07 博奥生物有限公司 一种拍照装置的定位方法及定位系统
CN103315739A (zh) * 2013-05-22 2013-09-25 华东师范大学 基于动态跟踪技术免除运动伪影的磁共振影像方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YOU SEONG CHAE等: "An Image-Based Coordinate Tracking System Using Afocal Optics for Surgical Navigation", 《PROGRESS IN OPTOMECHATRONIC TECHNOLOGIES》, pages 141 - 152 *
刘飞;董云峰;: "基于单轴气浮台的空间跟瞄地面试验的设计与实现", 计算机测量与控制, no. 03, 25 March 2010 (2010-03-25) *

Also Published As

Publication number Publication date
KR20150138501A (ko) 2015-12-10
US10109066B2 (en) 2018-10-23
CN113240732B (zh) 2024-04-19
JP2017525937A (ja) 2017-09-07
JP6357251B2 (ja) 2018-07-11
EP3151196A4 (en) 2017-11-22
KR101613418B1 (ko) 2016-04-21
EP3576051A1 (en) 2019-12-04
EP3576051B1 (en) 2021-03-24
CN106415663A (zh) 2017-02-15
WO2015183050A1 (ko) 2015-12-03
EP3151196A1 (en) 2017-04-05
US20170200278A1 (en) 2017-07-13
EP3151196B1 (en) 2019-08-14
CN106415663B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN106415663B (zh) 光学跟踪系统及光学跟踪系统的标记部姿势及位置算出方法
CN103759670B (zh) 一种基于数字近景摄影的物体三维信息获取方法
CN110447220B (zh) 校准装置、校准方法、光学装置、摄影装置以及投影装置
US9965870B2 (en) Camera calibration method using a calibration target
CN101975588B (zh) 一种多传感器视觉测量系统的刚性杆全局校准方法及装置
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN102376089B (zh) 一种标靶校正方法及系统
CN105157725A (zh) 一种二维激光视觉传感器和机器人的手眼标定方法
CN111667536A (zh) 一种基于变焦相机深度估计的参数标定方法
JP5082941B2 (ja) 標線位置測定装置、標線位置測定用プログラム、および標線マーク
CN105469389B (zh) 一种用于视觉传感器标定的网格球靶标及相应标定方法
KR101615086B1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 산출방법
Hanning High precision camera calibration
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN110136068A (zh) 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
JP2010160056A (ja) 位置計測装置およびプログラム
CN105434046B (zh) 基于消除红外滤光片折射效应的手术导航仪定位方法
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
CN113658270A (zh) 基于工件孔心的多目视觉标定的方法、装置、介质及系统
Xue et al. Complete calibration of a structure-uniform stereovision sensor with free-position planar pattern
CN107202549B (zh) 一种高精度三维测量方法与测量仪器
Dolereit et al. Calibration of shared flat refractive stereo systems
CN111179357A (zh) 一种基于平面靶标组合的大视场相机标定方法
JP2015137897A (ja) 距離計測装置及び距離計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant