JP2016502905A

JP2016502905A - トラッキングシステム及びこれを用いたトラッキング方法

Info

Publication number: JP2016502905A
Application number: JP2015552571A
Authority: JP
Inventors: ジョン‐キュホン、; ヒョン‐キイ、; ジェ‐ホンチョン、; ミン‐ヨンキム、
Original assignee: Industry Academic Cooperation Foundation of KNU
Current assignee: Industry Academic Cooperation Foundation of KNU
Priority date: 2013-01-10
Filing date: 2014-01-07
Publication date: 2016-02-01
Anticipated expiration: 2034-01-07
Also published as: EP2944285A1; US9576366B2; US20150302590A1; KR101371384B1; JP6147360B2; WO2014109520A1; EP2944285B1; CN104902840A; CN104902840B; EP2944285A4

Abstract

一台の結像ユニットのみでもそれぞれのマーカーの３次元座標を算出できるようにして、製作費用の低減と共に装備のコンパクト化を実現することにより、手術空間の制約を最小化できるトラッキングシステム及びこれを用いたトラッキング方法を開示する。前記トラッキングシステム及びこれを用いたトラッキング方法は、それぞれのマーカーから放出される光が２つの経路で一台の結像ユニットに伝達されて前記結像ユニットのイメージセンサにそれぞれのマーカーに対してそれぞれの経路による２つの画像（ダイレクト画像とリフレクト画像）を結像させるため、一台の結像ユニットのみでも目的物に取り付けられたマーカーの空間位置及び方向を算出して確認することができるので、トラッキングシステムの製作費用の節減とともに装備の小型・軽量化をなすことができ、従来のトラッキングシステムに比較して手術空間の制約を相対的に少なく受けるという効果がある。

Description

本発明は、トラッキングシステム及びこれを用いたトラッキング方法に関し、より具体的には、患者の患部や手術器具のような目的物に取り付けられたマーカーの座標を追跡して目的物の空間位置情報及び方向情報を検出する手術用トラッキングシステム及びこれを用いたトラッキング方法に関する。

最近では腹腔鏡手術や耳鼻咽喉科の手術を行うとき、さらに患者の苦痛を減らして素早く患者が回復できるようにするためのロボット手術が研究及び導入されている。

かかるロボット手術の際には手術の危険を最小化してさらに精密な手術が行われるようにするために、患部や手術器具のような目的物の空間位置及び方向を正確に追跡して検出した後、前記手術器具を患者の患部へ正確に操縦（NAVIGATE）できるナビゲーションが用いられる。

上記のような手術用ナビゲーションには、上述したように患部や手術器具のような目的物の空間位置及び方向を正確に追跡して検出することができるトラッキングシステムが含まれる。

上記のようなトラッキングシステムは、通常、患部や手術器具のような目的物に取り付けられるマーカーと、前記マーカーによって放出される光を結像させる第１及び第２結像ユニットと、前記第１及び第２結像ユニットと連結されて前記マーカーの３次元座標を算出した後、既に格納済の前記互いに隣り合うマーカーを連結する直線の情報と、互いに隣り合う一対の直線がなす角度情報を前記マーカーの３次元座標と比較して前記目的物の空間位置及び方向を算出するプロセッサを含む。

ここで、前記マーカーの３次元座標をプロセッサを通じて算出するためには、通常、１つのマーカーから放出されて第１結像ユニットに結像された前記マーカーの座標と、前記第２結像ユニットに結像された前記マーカーの座標が同一であるという仮定下で三角法を通じて前記プロセッサによって検出されることによりそれぞれのマーカーの３次元座標がプロセッサを通じて算出されるためには必ず２台のディテクターが必要であった。

よって、従来の一般的なトラッキングシステムは、相異する位置でそれぞれのマーカーから放出される光を結像させるための２台の結像ユニットを備えなければならないため、製作費用の上昇とともにシステム全体のサイズが大きくなってしまい、手術空間の制約を大きく受けるという問題点があった。

本発明の目的は、一台の結像ユニットのみでもそれぞれのマーカーの３次元座標を算出できるようにして製作費用の低減とともに装備のコンパクト化を実現し、手術空間の制約を最小化することができるトラッキングシステム及びこれを用いたトラッキング方法を提供することにある。

本発明の一実施例によるトラッキングシステムは、目的物に取り付けられて光を放出するか、または少なくとも１つの光源から放出される光を反射させる少なくとも３つのマーカーと、前記マーカーから放出されるか、または前記マーカーによって反射されて放出される光を反射させるリフレクターと、前記マーカーから放出される光を直接受光してダイレクト画像を結像させると同時に、前記マーカーから放出された後、前記リフレクターによって反射されて放出される光を受光してリフレクト画像を結像させる結像ユニットと、前記結像ユニットに結像された前記マーカーのダイレクト画像及びリフレクト画像を用いて前記マーカーの３次元座標をそれぞれ算出した後、前記マーカーの３次元座標と既に格納済の互いに隣り合うマーカー間の幾何学的情報を比較して前記目的物の空間位置及び方向を算出するプロセッサとを含む。

一実施例によれば、前記リフレクターは、前記マーカーから放出される光を前記結像ユニット側に反射させてリフレクト画像を結像させるミラーであり得る。

一実施例によれば、前記リフレクターは、前記結像ユニットと同一光路上に位置し、前記プロセッサの制御下で設置位置や角度、反射面の形状のうち少なくとも１つを変更して、前記リフレクト画像の結像位置を変化させることができる。

一実施例によれば、前記結像ユニットは、前記マーカーから直接放出される光と前記リフレクターによって反射された光を受光して画像を結像させるカメラであり得る。

一方、前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であり得る。

本発明の一実施例によるトラッキング方法は、目的物に取り付けられた少なくとも３つのマーカーから放出される光を直接受光してダイレクト画像を結像ユニットに結像させると同時に、前記マーカーから放出された後、特定の位置に設けられて光を反射させるリフレクターによって放出される光を受光してリフレクト画像を結像ユニットに結像させる段階と、前記結像ユニットに結像された前記マーカーのダイレクト画像とリフレクト画像を用いてプロセッサを通じて前記それぞれのマーカーの３次元座標を算出する段階と、前記それぞれのマーカーの３次元座標と前記プロセッサに既に格納済の互いに隣り合うマーカー間の幾何学的情報を比較して前記目的物の空間位置及び方向を算出する段階とを含む。

ここで、前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であり得る。

一方、前記リフレクト画像を結像ユニットに結像させる段階は、前記プロセッサでリフレクターの設置位置、角度及び反射面の形状の変更のうち少なくとも１つを制御して前記結像ユニットとの同一光路上で前記リフレクト画像の結像位置を変化させる段階を含むことができる。

一実施例によれば、前記マーカーの３次元座標を算出する段階は、前記プロセッサを通じて前記結像ユニットに結像された前記マーカーのダイレクト画像とリフレクト画像の２次元座標を算出する段階と、前記マーカーのダイレクト画像の２次元座標と前記リフレクト画像の２次元座標を用いて前記プロセッサを通じて前記マーカーの３次元座標を算出する段階とを含むことができる。

このように本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、それぞれのマーカーから放出される光が直接結像ユニットに流入されると同時にリフレクターによって反射されて前記結像ユニットに流入されるようにする。すなわち、それぞれのマーカーから放出される光が２つの経路（第１の経路：マーカーから結像ユニットへ、第２の経路：マーカーからリフレクターを介して結像ユニットへ）で結像ユニットに伝達されて前記結像ユニットのイメージセンサにそれぞれのマーカーに対してそれぞれの経路による２つの画像（ダイレクト画像とリフレクト画像）を結像させるため、一台の結像ユニットのみでも目的物に取り付けられたマーカーの空間位置及び方向を算出して確認することができる

従って、トラッキングシステムの製作費用の節減とともに装備の小型・軽量化を達成することができ、従来のトラッキングシステムに比べて手術空間の制約を相対的に少なく受けるという効果がある。

本発明の一実施例によるトラッキングシステムの概略図である。マーカーが目的物に取り付けられた例示図である。レンズの同一光路上においてマーカーの位置が変わる時にリフレクト画像が結像される位置の変化を説明するための例示図である。本発明の一実施例によるトラッキング方法を説明するためのブロック図である。マーカーの３次元座標を算出する過程を説明するためのブロック図である。結像ユニットのイメージセンサをダイレクト画像の座標系とリフレクト画像の座標系に仮想分割した例示図である。画像における２次元座標と実際のマーカーの３次元座標との関係を説明するための図面である。

本発明は、多様な変更を加えることができ、また、様々な形態を有することができるところ、特定の実施例を図面に例示して本文に詳細に説明する。しかし、これは本発明を特定の開示形態について限定しようとするのではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解されるべきである。

第１、第２等の用語は多様な構成要素を説明するのに用いられるが、前記構成要素は前記用語によって限定されてはならない。前記用語は１つの構成要素を他の構成要素から区別する目的でのみ用いられる。例えば、本発明の権利範囲を逸脱せずに第１の構成要素は第２の構成要素と呼ばれることができて、同様に第２の構成要素は第１の構成要素と呼ばれることができる。

本出願で使用する用語は単に特定の実施例を説明するために使用しており、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なって意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」等の用語は明細書に記載された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定するものであり、１つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたもの等の存在または付加の可能性を予め排除しないものと理解されるべきである。

異なって定義しない限り、技術的であったり科学的である用語を含めてここで使用される全ての用語は、本発明が属する技術分野で通常の知識を有する者によって一般に理解されるものと同一の意味を有する。

一般に使用される辞典に定義されている用語は関連技術の文脈上の意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的であったり過度に形式的な意味と解釈されない。

以下、図面を参照して、本発明の望ましい実施例をより詳細に説明する。

本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、患部や手術器具のような目的物に少なくとも３つのマーカーを取り付けた後、前記マーカーの３次元座標を算出してプロセッサに既に格納済の互いに隣り合うマーカー間の幾何学的情報と、前記マーカーの３次元座標とをプロセッサを通じて比較して前記患部や手術器具のような目的物の空間位置及び方向を算出できるようにするものであって、その詳細な構成については図面を参照して説明する。

図１は、本発明の一実施例によるトラッキングシステムの概略図、図２はマーカーが目的物に取り付けられた例示図、図３はレンズの同一光路上においてマーカーの位置が変わる時にリフレクト画像が結像される位置の変化を説明するための例示図である。

まず、図１及び図３では説明の便宜上、１つのマーカーのみを示しているが、本発明の一実施例によるトラッキングシステム１００は図２に示すように少なくとも３つのマーカー１１０、１１１、１１２が患部や手術器具のような目的物２００に取り付けられる。

図１〜図３を参照すると、本発明の一実施例によるトラッキングシステム１００は少なくとも３つのマーカー１１０、１１１、１１２、リフレクター（reflector）１２０、結像ユニット１３０、プロセッサ（processor）１４０を含む。

前記少なくとも３つのマーカー１１０、１１１、１１２は患部や手術器具のような目的物２００に取り付けられる。ここで、前記少なくとも３つのマーカー１１０、１１１、１１２は、互いに隣り合うマーカー１１０、１１１、１１２間に一定の間隔で離隔され、互いに隣り合うマーカー１１０、１１１、１１２を仮想に連結して各マーカー毎に隣り合う一対の直線Ｌ１、Ｌ２、Ｌ３が一定の角度Ａ１、Ａ２、Ａ３をなすように配置されて前記患部や手術器具のような目的物２００に取り付けられる。

ここで、前記互いに隣り合うマーカー１１０、１１１、１１２間の幾何学的情報、すなわち、互いに隣り合うマーカー１１０、１１１、１１２を連結する直線Ｌ１、Ｌ２、Ｌ３の長さ情報と、互いに隣り合うマーカー１１０、１１１、１１２を連結する隣り合う一対の直線がなす角度Ａ１、Ａ２、Ａ３情報は、前記プロセッサ１４０に実装されたメモリ（memory）１４１に予め格納されている。

例えば、前記マーカー１１０、１１１、１１２は、３つが患部や手術器具のような目的物２００に三角形状に取り付けられ得、前記３つのマーカー１１０、１１１、１１２を頂点とする三角形の辺をなすそれぞれの直線Ｌ１、Ｌ２、Ｌ３の長さ情報と、前記マーカー１１０、１１１、１１２を連結する互いに隣り合う一対の直線がなす角度Ａ１、Ａ２、Ａ３情報は、前記プロセッサ１４０に含まれたメモリ１４１に予め格納され得る。

一方、前記マーカー１１０、１１１、１１２は、独自に光を放出するアクティブ（active）マーカーであり得る。上述したように前記マーカー１１０、１１１、１１２をアクティブマーカーとして用いる場合には、別途の光源を用いる必要がない。

これとは異なって、前記マーカー１１０、１１１、１１２は少なくとも１つの光源１５０から放出される光を反射させるパッシブ（passive）マーカーであり得る。上述したように前記マーカー１１０、１１１、１１２をパッシブマーカーとして用いる場合には、前記マーカー１１０、１１１、１１２に光を放出する少なくとも１つの光源１５０を前記結像ユニット１３０の周辺に配置することができる。例えば、一対の光源１５０が前記結像ユニット１３０の両側に配置され得る。

前記リフレクター１２０は、前記マーカー１１０、１１１、１１２から放出されたり前記マーカー１１０、１１１、１１２によって反射されて放出される光を反射させる。例えば、前記リフレクター１２０は、前記アクティブマーカーから放出される光を反射させたり、前記光源１５０から放出された後、前記パッシブマーカーによって反射されて放出される光を再反射させる。

ここで、前記リフレクター１２０は、前記マーカー１１０、１１１、１１２から放出される光を前記結像ユニット１３０側に反射させてリフレクト（reflect）画像を前記結像ユニット１３０に結像させることができるミラーであり得る。例えば、前記リフレクター１２０としては球面ミラーを用いることができる。このように、前記リフレクター１２０として球面ミラーを用いると、図３に示すように結像ユニット１３０のレンズ１３１の同一光路ＡＸ１上でマーカー１１０の位置が変わる時にθ値を減らすことができるため、これに基づいてマーカーの位置を測定することができる。

一方、前記リフレクター１２０は、設置位置や設置角度を変更したり、反射面の形状を変更して前記リフレクター１２０によって反射されて前記結像ユニット１３０に結像されるリフレクト画像の結像位置の変化を与えることができる。すなわち、前記リフレクター１２０の設置位置や設置角度または反射面の形状を変更することにより、様々な実測定可能範囲の変更を可能にする。

この時、リフレクター１２０の設置位置や角度、反射面の形状の変更は、有無線方式でネットワーク連動した前記プロセッサ１４０の制御により変更され得る。これにより、手術ロボットのスタンド、アーム、医師、看護師などによって光路が遮られる場合、リフレクター１２０の移動を通じてリフレクター画像の光路を変更することができる利点がある。

または、プロセッサ１４０において前記マーカー１１０、１１１、１１２のダイレクト画像を受信した後、一定時間リフレクト画像の受信を待機して受信できない場合には、リフレクター画像の光路が障害物によって遮断されたと判断し得るため、この場合には、予め設定された数値だけ予め設けられた位置で移動、角度調節、反射面の形状の変更のうち少なくとも１つを制御する制御情報をリフレクター１２０に伝送することができる。

このような、前記リフレクター１２０の空間位置と方向情報、及び変更された空間位置と方向情報は、前記プロセッサ１４０に実装されたメモリ１４１に予め格納され得る。

前記結像ユニット１３０は、前記マーカー１１０、１１１、１１２から放出される光を直接受光してダイレクト（direct）画像を結像させると同時に、前記マーカー１１０、１１１、１１２から放出された後、前記リフレクター１２０によって反射されて放出される光を受光してリフレクト画像を結像させる。

例えば、前記結像ユニット１３０は、前記マーカー１１０、１１１、１１２から直接放出される光と、前記リフレクター１２０によって反射された光を受光して画像を結像させるカメラであり得る。すなわち、前記結像ユニット１３０は、前記マーカー１１０、１１１、１１２から放出される光と前記リフレクター１２０によって反射する光が焦点を通過するレンズ１３１と、前記レンズ１３１の後方部に配置されて前記マーカー１１０、１１１、１１２から放出される光と前記リフレクター１２０によって反射する光が結像されるイメージセンサ１３３が実装された本体部１３２を含むことができる。

前記プロセッサ１４０は、前記結像ユニット１３０に結像された前記マーカー１１０、１１１、１１２のダイレクト画像とリフレクト画像を用いて前記それぞれのマーカー１１０、１１１、１１２の３次元座標を算出し、前記マーカー１１０、１１１、１１２の３次元座標を既に格納済の互いに隣り合うマーカー１１０、１１１、１１２間の幾何学的情報と比較して患部や手術器具のような前記目的物２００の空間位置及び方向を算出することができる。

ここで、前記プロセッサ１４０にはメモリ１４１が実装される。一方、前記プロセッサ１４０に実装されたメモリ１４１には、前記互いに隣り合うマーカー１１０、１１１、１１２間の幾何学的情報、すなわち、互いに隣り合うマーカー１１０、１１１、１１２を連結する直線Ｌ１、Ｌ２、Ｌ３の長さ情報と互いに隣り合うマーカー１１０、１１１、１１２を連結する隣り合う一対の直線がなす角度Ａ１、Ａ２、Ａ３情報が予め格納され得る。

これに加えて、前記プロセッサ１４０に実装されたメモリ１４１には、前記リフレクター１２０の空間位置及び方向が予め格納され得る。

上述したように本発明の一実施例によるトラッキングシステム１００は、マーカー１１０、１１１、１１２から放出される光が結像ユニット１３０に流入されてダイレクト画像が結像されるだけでなく、前記マーカー１１０、１１１、１１２から放出される光がリフレクター１２０によって反射された後、前記結像ユニット１３０に流入されてリフレクト画像も結像されるようにして、一台の結像ユニット１３０を使用して、また図１及び図３でリフレクター１２０の左側に点線で表示したように一台の結像ユニットをさらに使用したことと同じ効果が見られる。

図１〜図７を参照して本発明の一実施例によるトラッキングシステムを用いて目的物の空間位置及び方向をトラッキングする過程について説明する。

図４は本発明の一実施例によるトラッキング方法を説明するためのブロック図、図５はマーカーの３次元座標を算出する過程を説明するためのブロック図、図６は結像ユニットのイメージセンサをダイレクト画像の座標系とリフレクト画像の座標系に仮想分割した例示図、図７は画像における２次元座標と実際のマーカーの３次元座標との関係を説明するための図面である。

図１〜図７を参照すると、本発明の一実施例によるトラッキングシステムを用いて目的物２００の空間位置及び方向をトラッキングするためには、まず目的物２００に取り付けられた少なくとも３つのマーカー１１０、１１１、１１２を活性化させて前記マーカー１１０、１１１、１１２から光が放出されるようにするか、または、少なくとも１つの光源１５０を作動させて前記光源１５０から前記目的物２００に取り付けられた少なくとも３つのマーカー１１０、１１１、１１２に光を照射して前記マーカー１１０、１１１、１１２によって光が反射されて放出されるようにする（Ｓ１１０）。

より詳細に説明すると、前記目的物２００に自ら光を放出する少なくとも３つのアクティブマーカー１１０、１１１、１１２が取り付けられた場合には、前記マーカー１１０、１１１、１１２を活性化させて前記マーカー１１０、１１１、１１２から光が放出されるようにする。これとは異なって、前記目的物２００に自ら光を放出できない少なくとも３つのパッシブマーカー１１０、１１１、１１２が取り付けられた場合には、少なくとも１つの光源１５０を作動させて前記光源１５０から前記目的物２００に取り付けられた少なくとも３つのパッシブマーカー１１０、１１１、１１２に光を照射して前記パッシブマーカー１１０、１１１、１１２により光が反射されて放出されるようにする。

前記少なくとも３つのマーカー１１０、１１１、１１２によって放出された光は、前記結像ユニット１３０に直接伝達されて前記結像ユニット１３０に前記それぞれのマーカー１１０、１１１、１１２のダイレクト画像を結像させると同時に、前記少なくとも３つのマーカー１１０、１１１、１１２によって放出された光はリフレクター１２０に伝達されて前記リフレクター１２０によって反射された後、前記結像ユニット１３０に伝達されて前記結像ユニット１３０に前記それぞれのマーカー１１０、１１１、１１２のリフレクト画像を結像させる（Ｓ１２０）。

すなわち、前記目的物２００に取り付けられた少なくとも３つのマーカー１１０、１１１、１１２から放出される光を直接受光してダイレクト画像を前記結像ユニット１３０に結像させると同時に、前記マーカー１１０、１１１、１１２から放出された後、前記リフレクター１２０によって反射されて放出される光を受光してリフレクト画像を前記結像ユニット１３０に結像させる。

より詳細に説明すると、前記少なくとも３つのマーカー１１０、１１１、１１２によって放出された光は第１経路を通じて直接前記結像ユニット１３０側に伝達されて前記結像ユニット１３０のレンズを通過した後、前記結像ユニット１３０の本体部１３２に実装されたイメージセンサ１３３に前記マーカー１１０、１１１、１１２のダイレクト画像を結像させると同時に、前記少なくとも３つのマーカー１１０、１１１、１１２によって放出された光は第２経路を通じて前記リフレクター１２０によって反射された後、前記結像ユニット１３０側に伝達されて前記結像ユニット１３０のレンズ１３１を通過した後、前記結像ユニット１３０の本体部１３２に実装されたイメージセンサ１３３に前記マーカー１１０、１１１、１１２のリフレクト画像を結像させる。すなわち、前記マーカーによって放出された光は、２つの経路（第１経路：マーカーから結像ユニットへ、第２経路：マーカーからリフレクターを介して結像ユニットへ）で結像ユニット１３０に伝達されて前記結像ユニット１３０のイメージセンサ１３３にそれぞれのマーカー１１０、１１１、１１２に対してそれぞれの経路（第１及び第２経路）による２つの画像（ダイレクト画像とリフレクト画像）を結像させる。

上記のようにそれぞれのマーカー１１０、１１１、１１２のダイレクト画像とリフレクト画像が前記結像ユニット１３０に結像されれば、プロセッサ１４０により前記それぞれのマーカー１１０、１１１、１１２の３次元座標を算出する（Ｓ１３０）。

前記それぞれのマーカー１１０、１１１、１１２の３次元座標を算出する段階について、図５のブロック図を通じて詳細に説明すると次の通りである。

前記それぞれのマーカー１１０、１１１、１１２の３次元座標を算出するためには、まず前記プロセッサ１４０を通じて前記結像ユニット１３０に結像された前記マーカー１１０、１１１、１１２のダイレクト画像とリフレクト画像の２次元座標を算出する（Ｓ１３１）。

ここで、前記マーカー１１０、１１１、１１２のダイレクト画像の２次元座標と前記リフレクト画像の２次元座標を算出した後には、各座標系別にカメラキャリブレーション（calibration）を行う（Ｓ１３２）。

前記のように各座標系別にカメラキャリブレーションを行った後には、前記マーカー１１０、１１１、１１２のダイレクト画像の２次元座標と前記リフレクト画像の２次元座標を用いて、前記プロセッサ１４０を通じて前記それぞれのマーカー１１０、１１１、１１２の３次元座標を算出する（Ｓ１３３）。

前記それぞれのマーカー１１０、１１１、１１２の３次元座標を算出する段階について、図６及び図７を参照してさらに詳しく説明すると次の通りである。

図６に示すように、イメージセンサ１３３の一側をダイレクト画像のＦＯＶ（FIELD OF VIEW）、他側をリフレクト画像のＦＯＶと仮想で分割し、前記イメージセンサ１３３のダイレクト画像の２次元座標を（Ｕ、Ｖ）座標系で表示し、前記リフレクト画像の２次元座標を（Ｕ'、Ｖ'）と表示して図７を参照すると、画像におけるマーカー１１０、１１１、１１２の２次元座標と実空間におけるマーカー１１０、１１１、１１２の３次元座標は、数式１のような関係式で表現され得る。

ここで、ｍは画像におけるマーカーの２次元座標、Ｍは実空間におけるマーカーの３次元座標、Ａ（Ｒ、ｔ）はカメラマトリックスである。

これをより簡略に説明するために、実際のマーカー１１０、１１１、１１２の３次元座標をＸとすれば、前記実際のマーカー１１０、１１１、１１２の３次元座標Ｘとダイレクト画像の座標_ＸＬの関係式と、前記実際のマーカー１１０、１１１、１１２の３次元座標Ｘとリフレクト画像の座標_ＸＲの関係式は数式２のように示すことができる。

ここで、前記Ｐ_１はダイレクト画像のカメラマトリックス、Ｐ_２はリフレクト画像のカメラマトリックスである。

そして、それぞれのマーカー１１０、１１１、１１２のダイレクト画像とリフレクト画像に対して、_ＸＬ＝Ｐ_１Ｘ、_ＸＲ＝Ｐ_２Ｘの関係式はＡＸ＝０の線型方程式で表現が可能であり、これをまとめると、数式３のように示すことができる。

ここで、Ｐ^ｉＴは行列Ｐの行ベクトルである。

上記の数式を再度まとめると、数式４のように示すことができる。

ここで、Ｗはスケール因子である。

数式４のように表現された線型方程式を解いてＸ、Ｙ、Ｚを求めると、その解がマーカー１１０、１１１、１１２の３次元座標となる。

上述したようにプロセッサ１４０によってそれぞれのマーカー１１０、１１１、１１２の実空間における３次元座標を算出した後には、前記それぞれのマーカー１１０、１１１、１１２の実空間における３次元座標と前記プロセッサ１４０に既に格納済の互いに隣り合うマーカー１１０、１１１、１１２間の幾何学的情報とをプロセッサ１４０を通じて比較して前記マーカー１１０、１１１、１１２が取り付けられた目的物２００の空間位置及び方向を算出する（Ｓ１４０）。

ここで、前記互いに隣り合うマーカー１１０、１１１、１１２間の幾何学的情報は、上述したように互いに隣り合うマーカー１１０、１１１、１１２を連結する直線Ｌ１、Ｌ２、Ｌ３の長さ情報と、前記マーカー１１０、１１１、１１２を連結する互いに隣り合う一対の直線がなす角度Ａ１、Ａ２、Ａ３情報であり得る。

すなわち、前記プロセッサ１４０を通じて前記それぞれのマーカー１１０、１１１、１１２の実空間における３次元座標と前記プロセッサ１４０に既に格納済の互いに隣り合うマーカー１１０、１１１、１１２を連結する直線Ｌ１、Ｌ２、Ｌ３の長さ情報と、それぞれのマーカー１１０、１１１、１１２を互いに連結する互いに隣り合う一対の直線がなす角度Ａ１、Ａ２、Ａ３情報を比較して前記マーカー１１０、１１１、１１２が取り付けられた目的物２００の空間位置及び方向を算出する。

上述したように本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、それぞれのマーカー１１０、１１１、１１２から放出される光が直接結像ユニット１３０に流入されてダイレクト画像が結像されると同時にリフレクター１２０によって反射されて前記結像ユニット１３０に流入されることにより、リフレクト画像が流入されるようにする。すなわち、それぞれのマーカー１１０、１１１、１１２から放出される光が２つの経路（第１経路：マーカーから結像ユニットへ、第２経路：マーカーからリフレクターを介して結像ユニットへ）で結像ユニット１３０に伝達されて前記結像ユニット１３０のイメージセンサ１３３にそれぞれのマーカー１１０、１１１、１１２に対してそれぞれの経路による２つの画像（ダイレクト画像とリフレクト画像）を結像させる。

したがって、本発明の一実施例によるトラッキングシステム及びこれを用いたトラッキング方法は、一台の結像ユニット１３０のみでも目的物２００に取り付けられたマーカー１１０、１１１、１１２の空間位置及び方向を算出して確認することができる。

また、トラッキングシステムの製作費用の節減とともに小型・軽量化を達成することができるので、従来のトラッキングシステムに比べて手術空間の制約を相対的に少なく受けるという利点がある。

上述した本発明の詳細な説明では本発明の望ましい実施例を参照して説明したが、該当技術分野の熟練した当業者または該当技術分野に通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を多様に修正及び変更させることができることを理解できるであろう。

Claims

目的物に取り付けられて光を放出するか、または少なくとも１つの光源から放出される光を反射させる少なくとも３つのマーカーと、
前記マーカーから放出されるか、または前記マーカーによって反射されて放出される光を反射させるリフレクターと、
前記マーカーから放出される光を直接受光してダイレクト画像を結像させると同時に、前記マーカーから放出された後、前記リフレクターによって反射されて放出される光を受光してリフレクト画像を結像させる結像ユニットと、
前記結像ユニットに結像された前記マーカーのダイレクト画像及びリフレクト画像を用いて前記マーカーの３次元座標をそれぞれ算出した後、前記マーカーの３次元座標と既に格納済の互いに隣り合うマーカー間の幾何学的情報を比較して前記目的物の空間位置及び方向を算出するプロセッサと
を含むトラッキングシステム。
前記リフレクターは、前記マーカーから放出される光を前記結像ユニット側に反射させてリフレクト画像を結像させるミラーであることを特徴とする請求項１に記載のトラッキングシステム。
前記リフレクターは、前記結像ユニットと同一光路上に位置し、前記プロセッサの制御下で設置位置や角度、反射面の形状のうち少なくとも１つを変更して、前記リフレクト画像の結像位置を変化させることを特徴とする請求項１に記載のトラッキングシステム。
前記結像ユニットは、前記マーカーから直接放出される光と前記リフレクターによって反射された光を受光して画像を結像させるカメラであることを特徴とする請求項１に記載のトラッキングシステム。
前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であることを特徴とする請求項１に記載のトラッキングシステム。
目的物に取り付けられた少なくとも３つのマーカーから放出される光を直接受光してダイレクト画像を結像ユニットに結像させると同時に、前記マーカーから放出された後、特定の位置に設けられて光を反射させるリフレクターによって放出される光を受光してリフレクト画像を結像ユニットに結像させる段階と、
前記結像ユニットに結像された前記マーカーのダイレクト画像とリフレクト画像を用いてプロセッサを通じて前記それぞれのマーカーの３次元座標を算出する段階と、
前記それぞれのマーカーの３次元座標と前記プロセッサに既に格納済の互いに隣り合うマーカー間の幾何学的情報とを比較して前記目的物の空間位置及び方向を算出する段階と
を含むトラッキング方法。
前記マーカー間の幾何学的情報は、前記互いに隣り合うマーカーを連結する直線の長さ情報と、前記互いに隣り合う一対の直線がなす角度情報であることを特徴とする請求項６に記載のトラッキング方法。
前記リフレクト画像を結像ユニットに結像させる段階は、前記プロセッサでリフレクターの設置位置、角度及び反射面の形状の変更のうち少なくとも１つを制御して前記結像ユニットとの同一光路上で前記リフレクト画像の結像位置を変化させる段階を含むことを特徴とする請求項６に記載のトラッキング方法。
前記マーカーの３次元座標を算出する段階は、
前記プロセッサを通じて前記結像ユニットに結像された前記マーカーのダイレクト画像とリフレクト画像の２次元座標を算出する段階と、
前記マーカーのダイレクト画像の２次元座標と前記リフレクト画像の２次元座標を用いて前記プロセッサを通じて前記マーカーの３次元座標を算出する段階と
を含むことを特徴とする請求項６に記載のトラッキング方法。