JP2016515837A - トラッキングシステム及びこれを用いたトラッキング方法 - Google Patents

トラッキングシステム及びこれを用いたトラッキング方法 Download PDF

Info

Publication number
JP2016515837A
JP2016515837A JP2015553651A JP2015553651A JP2016515837A JP 2016515837 A JP2016515837 A JP 2016515837A JP 2015553651 A JP2015553651 A JP 2015553651A JP 2015553651 A JP2015553651 A JP 2015553651A JP 2016515837 A JP2016515837 A JP 2016515837A
Authority
JP
Japan
Prior art keywords
marker
markers
lens array
array unit
lenses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015553651A
Other languages
English (en)
Inventor
ジョン‐キュ ホン、
ジョン‐キュ ホン、
ヒョン‐キ イ、
ヒョン‐キ イ、
ジェ‐ホン チョン、
ジェ‐ホン チョン、
ミン‐ヨン キム、
ミン‐ヨン キム、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of KNU
Original Assignee
Industry Academic Cooperation Foundation of KNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of KNU filed Critical Industry Academic Cooperation Foundation of KNU
Publication of JP2016515837A publication Critical patent/JP2016515837A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Abstract

一台の結像ユニットのみでもそれぞれのマーカーの3次元座標を算出できるようにして、製作費用の低減と共に装備のコンパクト化を実現することにより、手術空間の制約を最小化できるトラッキングシステム及びこれを用いたトラッキング方法を開示する。前記トラッキングシステム及びこれを用いたトラッキング方法は、それぞれのマーカーから放出される光が少なくとも一対のレンズを備えたレンズアレイユニットを通過して結像ユニットに各マーカー毎に前記レンズアレイユニットに備えられたレンズの数に相応する数のマーカー画像が結像されることにより、一台の結像ユニットのみでも三角法を通じて前記マーカーの3次元座標を算出して目的物の空間位置及び方向を算出して確認できるため、トラッキングシステムの製作費用の節減とともに装備の小型・軽量化を達成することができ、従来のトラッキングシステムに比較して手術空間の制約を相対的に少なく受けるという効果がある。

Description

本発明は、トラッキングシステム及びこれを用いたトラッキング方法に関し、より具体的には、患部や手術器具のような目的物に取り付けられたマーカーの座標を追跡して目的物の空間位置情報及び方向情報を検出する手術用トラッキングシステム及びこれを用いたトラッキング方法に関する。
最近では腹腔鏡手術や耳鼻咽喉科の手術を行うとき、患者の苦痛をさらに減らして素早く患者が回復できるようにするためのロボット手術が研究及び導入されている。
かかるロボット手術の際には手術の危険を最小化してさらに精密な手術が行われるようにするために、患部や手術器具のような目的物の空間位置及び方向を正確に追跡して検出した後、前記手術器具を患者の患部へ正確に操縦(NAVIGATE)できるナビゲーションが用いられる。
上記のような手術用ナビゲーションには、上述したように患部や手術器具のような目的物の空間位置及び方向を正確に追跡して検出することができるトラッキングシステムが含まれる。
上記のようなトラッキングシステムは、通常、患部や手術器具のような目的物に取り付けられるマーカーと、前記マーカーによって放出される光を結像させる第1及び第2結像ユニットと、前記第1及び第2結像ユニットと連結されて前記マーカーの3次元座標を算出した後、既に格納済の前記互いに隣り合うマーカーを連結する直線等の情報と、互いに隣り合う一対の直線がなす角度情報を前記マーカーの3次元座標と比較して前記目的物の空間位置及び方向を算出するプロセッサを含む。
ここで、前記マーカーの3次元座標をプロセッサを通じて算出するためには、通常、1つのマーカーから放出されて第1結像ユニットに結像された前記マーカーの座標と、前記第2結像ユニットに結像された前記マーカーの座標が同一であるという仮定下で、三角法を通じて前記プロセッサによって検出されることによりそれぞれのマーカーの3次元座標がプロセッサを通じて算出されるためには必ず2台のディテクターが必要であった。
よって、従来の一般的なトラッキングシステムは、相異する位置でそれぞれのマーカーから放出される光を結像させるための2台の結像ユニットを備えなければならないため、製作費用の上昇とともにシステム全体のサイズが大きくなってしまい、手術空間の制約を大きく受けるという問題点があった。
本発明の目的は、一台の結像ユニットのみでもそれぞれのマーカーの3次元座標を算出できるようにして製作費用の低減とともに装備のコンパクト化を実現し、手術空間の制約を最小化することができるトラッキングシステム及びこれを用いたトラッキング方法を提供することにある。
本発明の一実施例によるトラッキングシステムは、目的物に取り付けられて光を放出する少なくとも3つのマーカーと、前記マーカーから放出される光を通過させる少なくとも2つのレンズが所定間隔で配列されたレンズアレイユニットと、前記マーカーから放出されて前記レンズアレイユニットの各レンズを通過した光を受光してマーカー毎に前記レンズアレイユニットのレンズ数に相応する数の像を結像させる結像ユニットと、前記結像ユニットにマーカー毎に前記レンズアレイユニットのレンズ数に相応する数だけ結像されたマーカー画像を用いて前記それぞれのマーカーの3次元座標を算出した後、前記マーカーの3次元座標と既に格納済の互いに隣り合うマーカー間の幾何学的情報とを比較して前記目的物の空間位置及び方向を算出するプロセッサを含む。
一実施例によれば、前記マーカーは自ら光を放出するアクティブマーカーであり得る。
一方、前記レンズアレイユニット側から前記マーカーに光を放出する少なくとも1つの光源をさらに含むことができ、この場合、前記マーカーは前記光源から放出された光を前記レンズアレイユニット側に反射させるパッシブマーカーであり得る。
一実施例によれば、前記結像ユニットは、前記マーカーから放出されて前記レンズアレイユニットの各レンズを通過した光を受光してマーカー毎に前記レンズアレイユニットのレンズ数に相応する少なくとも2つの像を結像させるカメラであり得る。
一実施例によれば、前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であり得る。
本発明の一実施例によるトラッキング方法は、目的物に取り付けられた少なくとも3つのマーカーから光を放出する段階と、前記マーカーから放出された光がレンズアレイユニットの少なくとも2つのレンズを通過して結像ユニットに前記レンズアレイユニットのレンズ数に相応する数の像を結像させる段階と、前記結像ユニットにマーカー毎に前記レンズアレイユニットのレンズ数に相応する数だけ結像されたマーカー画像を用いてプロセッサを通じて前記それぞれのマーカーの3次元座標を算出する段階と、前記それぞれのマーカーの3次元座標と前記プロセッサに既に格納済の互いに隣り合うマーカー間の幾何学的情報とを比較して前記目的物の空間位置及び方向を算出する段階とを含むことができる。
一実施例によれば、前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であり得る。
一方、前記マーカーの3次元座標を算出する段階は、前記プロセッサを通じて前記結像ユニットに結像されたマーカー毎に前記レンズアレイユニットのレンズ数に相応する数のマーカー画像の2次元座標を算出する段階と、前記マーカー毎に前記レンズアレイユニットのレンズ数に相応する数のマーカー画像の2次元座標を用いて前記プロセッサを通じて前記マーカーの3次元座標を算出する段階とを含むことができる。
一実施例によれば、前記光を放出する段階は、前記マーカーが自ら発生させる光を前記レンズアレイユニット側に放出することができる。
これとは異なって、前記光を放出する段階は、少なくとも1つの光源から放出される光を前記マーカーを通じてレンズアレイユニット側に反射させて放出することもできる。
一方、前記光源の空間位置及び方向は、前記プロセッサに予め格納されている。
このように本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、それぞれのマーカーから放出される光が少なくとも一対のレンズを備えたレンズアレイユニットを通過して結像ユニットに各マーカー毎に前記レンズアレイユニットに備えられたレンズの数に相応する数のマーカー画像が結像されることにより、一台の結像ユニットのみでも三角法を通じて前記マーカーの3次元座標を算出して目的物の空間位置及び方向を算出して確認することができる。
また、レンズの配列方法及び倍率に影響を受けないため、トラッキングシステムの製作費用の節減とともに小型・軽量化を達成することができ、従来のトラッキングシステムに比べて手術空間の制約を相対的に少なく受けるという効果がある。
本発明の一実施例によるトラッキングシステムの概略図である。 マーカーが目的物に取り付けられた例示図である。 レンズの同一光路上においてマーカーの位置が変わる時にマーカーの画像が結像される位置の変化を説明するための例示図である。 本発明の一実施例によるトラッキング方法を説明するためのブロック図である。 マーカーの3次元座標を算出する過程を説明するためのブロック図である。 結像ユニットのイメージセンサを第1及び第2マーカー画像の座標系に仮想分割した例示図である。 画像における2次元座標と実際のマーカーの3次元座標との関係を説明するための図面である。
本発明は、多様な変更を加えることができ、また、様々な形態を有することができるところ、特定の実施例を図面に例示して本文に詳細に説明する。しかし、これは本発明を特定の開示形態について限定しようとするのではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解されるべきである。
第1、第2等の用語は多様な構成要素を説明するのに用いられるが、前記構成要素は前記用語によって限定されてはならない。前記用語は1つの構成要素を他の構成要素から区別する目的でのみ用いられる。例えば、本発明の権利範囲を逸脱せずに第1の構成要素は第2の構成要素と呼ばれることができて、同様に第2の構成要素は第1の構成要素と呼ばれることができる。
本出願で使用する用語は単に特定の実施例を説明するために使用しており、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なって意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」等の用語は明細書に記載された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定するものであり、1つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたもの等の存在または付加の可能性を予め排除しないものと理解されるべきである。
異なって定義しない限り、技術的であったり科学的である用語を含めてここで使用される全ての用語は、本発明が属する技術分野で通常の知識を有する者によって一般に理解されるものと同一の意味を有する。
一般に使用される辞典に定義されている用語は関連技術の文脈上の意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的であったり過度に形式的な意味と解釈されない。
以下、図面を参照して、本発明の望ましい実施例をより詳細に説明する。
本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、患部や手術器具のような目的物に少なくとも3つのマーカーを取り付けた後、前記マーカーの3次元座標を算出してプロセッサに既に格納済の互いに隣り合うマーカー間の幾何学的情報と、前記マーカーの3次元座標とをプロセッサを通じて比較して前記患部や手術器具のような目的物の空間位置及び方向を算出できるようにするものであって、その詳細な構成については図面を参照して説明する。
図1は、本発明の一実施例によるトラッキングシステムの概略図、図2はマーカーが目的物に取り付けられた例示図、図3はレンズの同一光路上においてマーカーの位置が変わる時にマーカーの画像が結像される位置の変化を説明するための例示図である。
図1〜図3を参照すると、本発明の一実施例によるトラッキングシステム100は少なくとも3つのマーカー110、111、112、レンズアレイユニット(lens array unit)120、結像ユニット130及びプロセッサ(processor)140を含むことができ、ここで、レンズアレイユニット120は結像ユニット130に装着されて含まれることもできる。
前記少なくとも3つのマーカー110、111、112は患部や手術器具のような目的物200に取り付けられる。ここで、前記少なくとも3つのマーカー110、111、112は、互いに隣り合うマーカー110、111、112間に一定の間隔で離隔され、互いに隣り合うマーカー110、111、112を仮想に連結して各マーカー毎に隣り合う一対の直線L1、L2、L3が一定の角度A1、A2、A3をなすように配置されて前記患部や手術器具のような目的物200に取り付けられる。
ここで、前記互いに隣り合うマーカー110、111、112間の幾何学的情報、すなわち、互いに隣り合うマーカー110、111、112を連結する直線L1、L2、L3の長さ情報と、互いに隣り合うマーカー110、111、112を連結する隣り合う一対の直線がなす角度A1、A2、A3情報は、前記プロセッサ140に実装されたメモリ(memory)141に予め格納されている。
例えば、前記マーカー110、111、112は、3つが患部や手術器具のような目的物200に三角形状に取り付けられ得、前記3つのマーカー110、111、112を頂点とする三角形の辺をなすそれぞれの直線L1、L2、L3の長さ情報と、前記マーカー110、111、112を連結する互いに隣り合う一対の直線がなす角度A1、A2、A3情報は、前記プロセッサ140に含まれたメモリ141に予め格納され得る。
一方、前記マーカー110、111、112は、自ら光を放出するアクティブ(active)マーカーであり得る。上述したように前記マーカー110、111、112をアクティブマーカーとして使用する場合には、別途の光源を使用する必要がない。
これとは異なって、前記マーカー110、111、112は少なくとも1つの光源150から放出される光を反射させるパッシブ(passive)マーカーであり得る。
上述したように前記マーカー110、111、112をパッシブマーカーとして使用する場合には、前記マーカー110、111、112に光を放出する少なくとも1つの光源150を前記レンズアレイユニット120の周辺に配置することができる。例えば、一対の光源150が前記レンズアレイユニット120の両側に配置され得る。ここで、前記光源150の空間位置及び方向はプロセッサ140に実装されたメモリ141に予め格納されている。
前記レンズアレイユニット120は、結像ユニット130の前方部に配置される。このような前記レンズアレイユニット120は、前記マーカー110、111、112から放出される光を通過させる少なくとも一対のレンズ121、122が所定間隔で配列されて形成される。例えば、前記レンズアレイユニット120は、第1レンズ121と第2レンズ122が所定間隔で配列されて形成され得る。図面には前記第1及び第2レンズ121、122が所定間隔で配列されたレンズアレイユニット120が示されているが、前記レンズアレイユニット120は3つ以上のレンズが所定間隔で配列されて形成されることもできる。
前記結像ユニット130は、前記マーカー110、111、112から放出されて前記レンズアレイユニット120のそれぞれのレンズ121、122を通過した光を受光してマーカー毎に前記レンズアレイユニット120のレンズの数に相応する数の像を結像させる。
より詳細に説明すると、前記レンズアレイユニット120に第1及び第2レンズ121、122が所定間隔で配置される場合には、前記結像ユニット(130)は、前記マーカー110、111、112から放出されて前記第1及び第2レンズ121、122を通過した光を受光してマーカー毎に一対のマーカー画像を結像させる。
例えば、前記結像ユニット130は、前記マーカー110、111、112から放出されて前記レンズアレイユニット120のそれぞれのレンズ121、122を通過した光を受光してマーカー毎に前記レンズアレイユニット120のレンズ121、122数に相応する数の像を結像させるイメージセンサ131が実装されたカメラであり得る。
前記プロセッサ140は、マーカー毎に前記レンズアレイユニット120のレンズ121、122数に相応する数だけ結像されたマーカー画像を用いて前記それぞれのマーカー110、111、112の3次元座標を算出し、前記マーカー110、111、112の3次元座標を既に格納済の互いに隣り合うマーカー110、111、112間の幾何学的情報と比較することにより、マーカー110、120、130が取り付けられた患部や手術器具のような前記目的物200の空間位置及び方向を算出する。
ここで、前記プロセッサ140にはメモリ141が実装される。一方、前記プロセッサ140に実装されたメモリ141には、前記互いに隣り合うマーカー110、111、112間の幾何学的情報、すなわち、互いに隣り合うマーカー110、111、112を連結する直線L1、L2、L3の長さ情報と、互いに隣り合うマーカー110、111、112を連結する隣り合う一対の直線がなす角度A1、A2、A3情報が予め格納され得る。
これに加えて、前記マーカー110、111、112がパッシブマーカーである場合には、前記プロセッサ140に実装されたメモリ141には前記少なくとも一対の光源150の空間位置及び方向が予め格納され得る。
上述したように本発明の一実施例によるトラッキングシステム100は、少なくとも一対のレンズ121、122が所定間隔で配列されたレンズアレイユニット120を使用して前記マーカー110、111、112から放出される光が少なくとも一対のレンズ121、122を通過してマーカー毎に少なくとも一対のマーカー画像が前記結像ユニットに結像されるようにすることにより、一台の結像ユニット130のみを用いてもそれぞれのマーカーの3次元座標を算出することができる利点がある。
例えば、図3に示すように、レンズ131の同一光軸AX上でマーカー110、111、112の位置が変わる時には、第2レンズ122画像が結像されるイメージセンサ133の位置は変更されないが、第1レンズ121画像が結像されるイメージセンサ133の位置が変更されることにより、一台の結像ユニットのみを使用してもそれぞれのマーカー110、111、112の3次元座標を三角法を用いて算出することができる。
図1〜図7を参照して、本発明の一実施例によるトラッキングシステムを用いて目的物の空間位置及び方向をトラッキングする過程について説明する。
図4は本発明の一実施例によるトラッキング方法を説明するためのブロック図、図5はマーカーの3次元座標を算出する過程を説明するためのブロック図、図6は結像ユニットのイメージセンサを第1及び第2マーカー画像の座標系に仮想分割した例示図、図7は画像における2次元座標と実際のマーカーの3次元座標との関係を説明するための図である。
図1〜図7を参照すると、本発明の一実施例によるトラッキングシステムを用いて目的物200の空間位置及び方向をトラッキングするためには、まず目的物200に取り付けられた少なくとも3つのマーカー110、111、112を活性化させて前記マーカー110、111、112から光が放出されるようにするか、または、少なくとも1つの光源150を作動させて前記光源150から前記目的物200に取り付けられた少なくとも3つのマーカー110、111、112に光を照射して前記マーカー110、111、112によって光が反射されて放出されるようにする(S110)。
より詳細に説明すると、前記目的物200に自ら光を放出する少なくとも3つのアクティブマーカー110、111、112が取り付けられた場合には、前記マーカー110、111、112を活性化させて前記マーカー110、111、112から光が放出されるようにする。これとは異なって前記目的物200)に自ら光を放出できない少なくとも3つのパッシブマーカー110、111、112が取り付けられた場合には、少なくとも1つの光源150を作動させて前記光源150から前記目的物200に取り付けられた少なくとも3つのパッシブマーカー110、111、112に光を照射して前記パッシブマーカー110、111、112により光が反射されて放出されるようにする。
前記少なくとも3つのマーカー110、111、112によって放出された光はレンズアレイユニット120のそれぞれのレンズ121、122を通過して前記レンズアレイユニット120のレンズの数に相応する数の像を結像ユニット130に結像させる(S120)。
例えば、図1に示すように一対の第1及び第2レンズ121、122が所定間隔で配置されたレンズアレイユニット120を使用する場合には、第1マーカー110から放出された光は第1光軸AX1と第2光軸AX2を通じてそれぞれ第1レンズ121と第2レンズ122を通過して結像ユニット130に一対の第1マーカー画像が結像され、第2マーカー111から放出された光は第3光軸AX3と第4光軸AX4を通じてそれぞれ第1レンズ121と第2レンズ122を通過して結像ユニット130に一対の第2マーカー画像が結像され、第3マーカー112から放出された光は第5光軸AX5と第6光軸AX6を通じてそれぞれ第1レンズ121と第2レンズ122を通過して結像ユニット130に一対の第3マーカー画像が結像される。
すなわち、一対の第1及び第2レンズ121、122が所定間隔で配列されたレンズアレイユニット120を使用することにより、前記結像ユニット130にそれぞれのマーカー110、111、112毎に一対のマーカー画像が結像される。
前記それぞれのマーカー110、111、112毎に前記レンズアレイユニット120のレンズ121、122数に相応する数のマーカー画像が結像ユニット130に結像されれば、前記結像ユニット130にマーカー毎に前記レンズアレイユニット120のレンズ121、122数に相応する数だけ結像されたマーカー画像を用いてプロセッサ140を通じて前記それぞれのマーカー110、111、112の3次元座標を算出する(S130)。
前記それぞれのマーカー110、111、112の3次元座標を算出する段階について図5に示したブロック図に基づいて詳細に説明すると下記の通りである。説明の便宜上、第1及び第2レンズ121、122が所定間隔で配列されたレンズアレイユニット120を使用する場合を例にあげて説明する。
前記それぞれのマーカー110、111、112の3次元座標を算出するためには、まず前記プロセッサ140を通じて前記結像ユニット130に結像されたそれぞれのマーカー110、111、112の一対のマーカー画像に対する2次元座標を算出する(S131)。
ここで、前記マーカー110、111、112の2次元座標を算出した後には、各座標系別に(第1レンズ画像FOV(FIELD OF VIEW)と第2レンズ画像FOV別に)結像ユニット130のカメラキャリブレーション(calibration)を行う(S132)。
上記のように各座標系別に前記結像ユニット130のカメラキャリブレーションを行った後には、前記それぞれのマーカー110、111、112毎に一対ずつ結像されたマーカー画像の2次元座標を用いて前記プロセッサ140を通じて前記それぞれのマーカー110、111、112の3次元座標を算出する(S133)。
前記それぞれのマーカー110、111、112の3次元座標を算出する段階について、図6及び図7を参照してさらに詳しく説明すると下記の通りである。
図6に示すように、イメージセンサ133の一側を第1レンズ画像のFOV(FIELD OF VIEW)、他側を第2レンズ画像のFOVと仮想で分割し、前記イメージセンサ133の第1レンズ画像の2次元座標を(U、V)座標系で表示し、前記第2レンズ画像の2次元座標を(U'、V')と表示して図7を参照すると、画像におけるマーカー110、111、112の2次元座標と実空間におけるマーカー110、111、112の3次元座標は、数式1のような関係式で表現され得る。

ここで、mは画像におけるマーカーの2次元座標、Mは実空間におけるマーカーの3次元座標、A(R、t)はカメラマトリックスである。
これをより簡略に説明するために、実際のマーカー110、111、112の3次元座標をXとすれば、前記実際のマーカー110、111、112の3次元座標Xと第1レンズを通過した画像でマーカーの2次元座標XLの関係式と、前記実際のマーカー110、111、112の3次元座標Xと第2レンズを通過した画像でマーカーの2次元座標XRの関係式は数式2のように示すことができる。

ここで、前記Pは第1レンズを通過した画像のカメラマトリックスであり、Pは第2レンズを通過した画像のカメラマトリックスである。
そして、それぞれのマーカー110、111、112の第1レンズを通過した画像と第2レンズを通過した画像に対してXL=PX、XR=PXの関係式はAX=0の線型方程式で表現が可能であり、これをまとめると、数式3のように示すことができる。

ここで、PiTは行列Pの行ベクトルである。
上記の数式を再度まとめると、数式4のように示すことができる。

ここで、Wはスケール因子である。
数式4のように表現された線型方程式を解いてX、Y、Zを求めると、その解がマーカー110、111、112の3次元座標となる。
図4〜図5を通じて詳述した通りプロセッサ140によってそれぞれのマーカー110、111、112の実空間における3次元座標を算出した後には、前記それぞれのマーカー110、111、112の実空間における3次元座標と、前記プロセッサ140に既に格納済の互いに隣り合うマーカー110、111、112間の幾何学的情報とをプロセッサ140を通じて比較し、前記マーカー110、111、112が取り付けられた目的物200の空間位置及び方向を算出する(S140)。
ここで、前記互いに隣り合うマーカー110、111、112間の幾何学的情報は、上述したように互いに隣り合うマーカー110、111、112を連結する直線L1、L2、L3の長さ情報と、前記マーカー110、111、112を連結する互いに隣り合う一対の直線がなす角度A1、A2、A3情報であり得る。
すなわち、前記プロセッサ140を通じて前記それぞれのマーカー110、111、112の実空間における3次元座標と前記プロセッサ140に既に格納済の互いに隣り合うマーカー110、111、112を連結する直線L1、L2、L3の長さ情報と、それぞれのマーカー110、111、112を互いに連結する互いに隣り合う一対の直線がなす角度A1、A2、A3情報を比較して前記マーカー110、111、112が取り付けられた目的物200の空間位置及び方向を算出する。
上述したように本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、それぞれのマーカー110、111、112から放出される光が少なくとも一対のレンズ121、122を備えたレンズアレイユニット120を通過して結像ユニット130に各マーカー110、111、112毎に前記レンズアレイユニット120に備えられたレンズ121、122数に相応する数のマーカー画像が結像される。
すなわち、一対の第1及び第2レンズ121、122を備えたレンズアレイユニット120を使用する場合には、1つのマーカー毎に2つの光軸を通じて結像ユニット130に2つの像が結像されることにより、一台の結像ユニット130のみでも三角法を通じて前記マーカーの3次元座標を算出することができる。
したがって、本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、一台の結像ユニット130のみでも目的物200に取り付けられたマーカー110、111、112の空間位置及び方向を算出して確認することができる。
また、トラッキングシステムの製作費用の節減とともに小型・軽量化を達成することができるので、従来のトラッキングシステムに比べて手術空間の制約を相対的に少なく受けるという利点がある。
上述した本発明の詳細な説明では本発明の望ましい実施例を参照して説明したが、該当技術分野の熟練した当業者または該当技術分野に通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を多様に修正及び変更させることができることを理解できるであろう。

Claims (11)

  1. 目的物に取り付けられて光を放出する少なくとも3つのマーカーと、
    前記マーカーから放出される光を通過させる少なくとも2つのレンズが所定間隔で配列されたレンズアレイユニットと、
    前記マーカーから放出されて前記レンズアレイユニットの各レンズを通過した光を受光してマーカー毎に前記レンズアレイユニットのレンズ数に相応する数の像を結像させる結像ユニットと、前記結像ユニットにマーカー毎に前記レンズアレイユニットのレンズ数に相応する数だけ結像されたマーカー画像を用いて前記それぞれのマーカーの3次元座標を算出した後、前記マーカーの3次元座標と既に格納済の互いに隣り合うマーカー間の幾何学的情報とを比較して前記目的物の空間位置及び方向を算出するプロセッサと、
    を含むトラッキングシステム。
  2. 前記マーカーは自ら光を放出するアクティブマーカーであることを特徴とする請求項1に記載のトラッキングシステム。
  3. 前記レンズアレイユニット側から前記マーカーに光を放出する少なくとも1つの光源をさらに含み、前記マーカーは前記光源から放出された光を前記レンズアレイユニット側に反射させるパッシブマーカーであることを特徴とする請求項1に記載のトラッキングシステム。
  4. 前記結像ユニットは、前記マーカーから放出されて前記レンズアレイユニットの各レンズを通過した光を受光してマーカー毎に前記レンズアレイユニットのレンズ数に相応する少なくとも2つの像を結像させるカメラであることを特徴とする請求項1に記載のトラッキングシステム。
  5. 前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であることを特徴とする請求項1に記載のトラッキングシステム。
  6. 目的物に取り付けられた少なくとも3つのマーカーから光を放出する段階と、
    前記マーカーから放出された光がレンズアレイユニットの少なくとも2つのレンズを通過して結像ユニットに前記レンズアレイユニットのレンズ数に相応する数の像を結像させる段階と、
    前記結像ユニットにマーカー毎に前記レンズアレイユニットのレンズ数に相応する数だけ結像されたマーカー画像を用いてプロセッサを通じて前記それぞれのマーカーの3次元座標を算出する段階と、
    前記それぞれのマーカーの3次元座標と前記プロセッサに既に格納済の互いに隣り合うマーカー間の幾何学的情報とを比較して前記目的物の空間位置及び方向を算出する段階と
    を含むトラッキング方法。
  7. 前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であることを特徴とする請求項6に記載のトラッキング方法。
  8. 前記マーカーの3次元座標を算出する段階は、
    前記プロセッサを通じて前記結像ユニットに結像されたマーカー毎に前記レンズアレイユニットのレンズ数に相応する数のマーカー画像の2次元座標を算出する段階と、
    前記マーカー毎に前記レンズアレイユニットのレンズ数に相応する数のマーカー画像の2次元座標を用いて前記プロセッサを通じて前記マーカーの3次元座標を算出する段階と
    を含むことを特徴とする請求項6に記載のトラッキング方法。
  9. 前記光を放出する段階は、前記マーカーが自ら発生させる光を前記レンズアレイユニット側に放出することを特徴とする請求項6に記載のトラッキング方法。
  10. 前記光を放出する段階は、少なくとも1つの光源から放出される光を前記マーカーを通じてレンズアレイユニット側に反射させて放出することを特徴とする請求項6に記載のトラッキング方法。
  11. 前記光源の空間位置及び方向は、前記プロセッサに予め格納されていることを特徴とする請求項10に記載のトラッキング方法。
JP2015553651A 2013-01-18 2014-01-15 トラッキングシステム及びこれを用いたトラッキング方法 Pending JP2016515837A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130005807A KR101371387B1 (ko) 2013-01-18 2013-01-18 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR10-2013-0005807 2013-01-18
PCT/KR2014/000426 WO2014112782A1 (ko) 2013-01-18 2014-01-15 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Publications (1)

Publication Number Publication Date
JP2016515837A true JP2016515837A (ja) 2016-06-02

Family

ID=50647855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015553651A Pending JP2016515837A (ja) 2013-01-18 2014-01-15 トラッキングシステム及びこれを用いたトラッキング方法

Country Status (6)

Country Link
US (1) US20160270860A1 (ja)
EP (1) EP2946741A4 (ja)
JP (1) JP2016515837A (ja)
KR (1) KR101371387B1 (ja)
CN (1) CN104936547A (ja)
WO (1) WO2014112782A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812775A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于硬镜的立体显示系统及方法
CN105812772B (zh) * 2014-12-29 2019-06-18 深圳超多维科技有限公司 医疗图像立体显示系统及方法
CN105809654B (zh) * 2014-12-29 2018-11-23 深圳超多维科技有限公司 目标对象跟踪方法、装置和立体显示设备及方法
CN105812774B (zh) * 2014-12-29 2019-05-21 广东省明医医疗慈善基金会 基于插管镜的立体显示系统及方法
CN105812776A (zh) * 2014-12-29 2016-07-27 广东省明医医疗慈善基金会 基于软镜的立体显示系统及方法
CN205610834U (zh) * 2014-12-29 2016-09-28 深圳超多维光电子有限公司 立体显示系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4396945A (en) * 1981-08-19 1983-08-02 Solid Photography Inc. Method of sensing the position and orientation of elements in space
JP2001506762A (ja) * 1997-09-26 2001-05-22 ノーザン・デジタル・インコーポレーテッド ターゲットの空間的位置を算出するためのシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061644A (en) * 1997-12-05 2000-05-09 Northern Digital Incorporated System for determining the spatial position and orientation of a body
US6279579B1 (en) 1998-10-23 2001-08-28 Varian Medical Systems, Inc. Method and system for positioning patients for medical treatment procedures
US7043961B2 (en) * 2001-01-30 2006-05-16 Z-Kat, Inc. Tool calibrator and tracker system
US20110015521A1 (en) * 2003-03-27 2011-01-20 Boulder Innovation Group, Inc. Means of Tracking Movement of Bodies During Medical Treatment
CA2523727A1 (en) * 2003-04-28 2005-01-06 Bracco Imaging Spa Surgical navigation imaging system
US8211094B2 (en) * 2004-10-26 2012-07-03 Brainlab Ag Pre-calibrated reusable instrument
US9867669B2 (en) * 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
KR100669250B1 (ko) 2005-10-31 2007-01-16 한국전자통신연구원 인공표식 기반의 실시간 위치산출 시스템 및 방법
JP4459155B2 (ja) * 2005-11-14 2010-04-28 株式会社東芝 光学式位置計測装置
DE112007000340T5 (de) * 2006-02-09 2008-12-18 Northern Digital Inc., Waterloo Retroreflektierende Markenverfolgungssysteme
EP1872735B1 (de) * 2006-06-23 2016-05-18 Brainlab AG Verfahren zum automatischen Identifizieren von Instrumenten bei der medizinischen Navigation
KR101136743B1 (ko) 2011-04-27 2012-04-19 목포대학교산학협력단 거리 및 각도측정 기능을 갖는 위치측정장치
KR101371384B1 (ko) * 2013-01-10 2014-03-07 경북대학교 산학협력단 트랙킹 시스템 및 이를 이용한 트랙킹 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4396945A (en) * 1981-08-19 1983-08-02 Solid Photography Inc. Method of sensing the position and orientation of elements in space
JP2001506762A (ja) * 1997-09-26 2001-05-22 ノーザン・デジタル・インコーポレーテッド ターゲットの空間的位置を算出するためのシステム

Also Published As

Publication number Publication date
CN104936547A (zh) 2015-09-23
WO2014112782A1 (ko) 2014-07-24
KR101371387B1 (ko) 2014-03-10
EP2946741A4 (en) 2016-09-07
EP2946741A1 (en) 2015-11-25
US20160270860A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
JP6690041B2 (ja) 三次元物体上の注視点決定方法及び装置
EP3281600B1 (en) Marker for optical tracking, optical tracking system, and optical tracking method
JP2016515837A (ja) トラッキングシステム及びこれを用いたトラッキング方法
US7561733B2 (en) Patient registration with video image assistance
US20220175464A1 (en) Tracker-Based Surgical Navigation
US8885177B2 (en) Medical wide field of view optical tracking system
US9622824B2 (en) Method for automatically identifying instruments during medical navigation
WO2023280326A1 (zh) 一种外科手术的主动导航系统及其控制方法
EP3108266B1 (en) Estimation and compensation of tracking inaccuracies
EP4194880A1 (en) Redundant reciprocal tracking system
JP6147360B2 (ja) トラッキングシステム及びこれを用いたトラッキング方法
CN105190235A (zh) 以六自由度跟踪的结构光扫描仪的补偿
JP2011504769A (ja) 光学追跡casシステム
US7789562B2 (en) Calibration of a multi-plane X-ray unit
JP6800296B2 (ja) オプティカルトラッキングシステムの作動方法及びオプティカルトラッキングシステム
JP5998294B2 (ja) トラッキングシステム及びこれを用いたトラッキング方法
Mitsugami et al. Estimation of 3D gazed position using view lines
JP2020058779A5 (ja)
US20240115325A1 (en) Camera tracking system for computer assisted surgery navigation
US11389250B2 (en) Position detection system by fiber Bragg grating based optical sensors in surgical fields

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170207