JP2019113394A - オプティカルトラッキングシステム及びオプティカルトラッキング方法 - Google Patents

Abstract

【課題】マーカーの位置及び姿勢をトラッキングするオプティカルトラッキングシステムを提供する。【解決手段】オプティカルトラッキングシステム１はマーカー１０の少なくとも一部を結像してライトフィールドイメージを生成する第１結像部１１０及び開口１３から放出された出射光を結像する第２結像部１２０を含む結像装置１００と、ライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出され、パターン面の一部が結像された第１イメージに基づいてマーカーの姿勢を決定し、ライトフィールドイメージから無限大の焦点距離よりも近い焦点距離で結像されたイメージとして抽出された第２イメージ及び第１結像部へ向かう出射光と異なる方向で開口を通じて放出された出射光が第２結像部により結像された第３イメージに基づいてマーカーの位置を決定するプロセッサ１３０とを含む。【選択図】図２

Description

本開示は、オプティカルトラッキングシステム及びオプティカルトラッキング方法に関するものである。

本開示は、中小企業庁のＷＣ３００プロジェクト技術開発支援の一環として行った研究から導き出されたものである［課題固有番号：Ｓ２４８２６７２、研究課題名：整合精密度１ｍｍ以下の手術用ナビゲーション融合頭頸部手術ロボットシステムの開発］。

対象体をトラッキングするための方法として、オプティカルトラッキングシステムが用いられ得る。最近は手術の誤り発生の危険を最小化しながら精密な手術を行うために、手術ロボットまたは手術道具の位置（locationまたはcoordinate）及び姿勢（postureまたはorientation）をトラッキングし、そのトラッキング結果を手術に活用する方法が用いられている。対象体の位置は、例えば、直交座標系のＸ、Ｙ、Ｚ軸上での座標のような空間座標で定義され得る。対象体の姿勢は、ロール（roll）、ピッチ（pitch）、ヨー（yaw）で定義され得る。対象体の正確なトラッキングのために、前記で説明したような、対象体の６自由度（Degree of Freedom）に該当する位置及び姿勢を正確に把握することが重要である。

オプティカルトラッキングシステムでは、例えば、マーカー（marker）という基準体を対象体に付着した後、このマーカーをトラッキングすることにより、対象体の位置及び姿勢が測定され得る。オプティカルトラッキングシステムでは、例えば、カメラのような結像装置を用いてマーカーの一部を撮影し、これを読み出す過程を経るようになる。この過程で、多様な要因により、撮影されたイメージの一部（例えば、境界部分）がぼやけたり不明確に示され得る。このようなイメージに基づいてマーカーをトラッキングする場合、推定された対象体の位置及び姿勢と実際の対象体の位置及び姿勢との間に差が発生し得る。

本開示による一実施例は、対象体の位置及び姿勢をさらに正確に測定できるオプティカルトラッキングシステム及び方法を提供する。

本開示の一実施例による、マーカーの位置及び姿勢をトラッキングするオプティカルトラッキングシステムであって、マーカーは、対象体に付着され得、開口に形成された光学系を通じて内部に形成されたパターン面が見えるように構成され、マーカーの少なくとも一部を結像してライトフィールドイメージを生成する第１結像部及び開口から放出された出射光を結像する第２結像部を含む結像装置；およびライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出され、パターン面の一部が結像された第１イメージに基づいてマーカーの姿勢を決定し、ライトフィールドイメージから無限大の焦点距離よりも近い焦点距離で結像されたイメージとして抽出された第２イメージ及び第１結像部へ向かう出射光と異なる方向で開口を通じて放出された出射光が第２結像部により結像された第３イメージに基づいてマーカーの位置を決定するプロセッサを含み得る。

一実施例によれば、プロセッサは、開口を通じて見えるパターン面の無限大の焦点距離で結像された第１イメージに基づいてマーカーの姿勢を決定する姿勢トラッキング部；および互いに異なる方向で開口を通じて放出された出射光が無限大の焦点距離よりも近い焦点距離でそれぞれ結像された第２及び第３イメージに基づいてマーカーの位置を決定する位置トラッキング部を含み得る。

一実施例によれば、第１イメージは、ライトフィールドイメージから無限大の焦点距離で結像されるように抽出されたイメージであって、パターン面の一部が識別可能に結像されたパターンイメージを含み、第２イメージは、ライトフィールドイメージから対象体の位置を含む所定範囲の焦点距離で結像されるように抽出されたイメージであって、第１結像部へ向かう出射光が結像された出射光イメージを含み、第３イメージは、第２結像部へ向かう出射光が結像された出射光イメージを含み得る。

一実施例によれば、姿勢トラッキング部は、パターン面の全体領域内でパターンイメージの位置を決定し、決定された位置に基づいて対象体の姿勢を決定できる。

一実施例によれば、位置トラッキング部は、第２及び第３イメージ内に結像された出射光イメージの基準座標をそれぞれ決定し、それぞれ決定された基準座標及びマーカーと第１及び第２結像部との間の幾何学的関係に基づいて対象体の位置を決定できる。

一実施例によれば、位置トラッキング部は、第２及び第３イメージに結像された出射光イメージの基準座標間の差（disparity）に基づいてマーカーの３次元空間上の位置を決定できる。

一実施例によれば、位置トラッキング部は、第２及び第３イメージに基づいてステレオスコピックイメージを構成してマーカーの３次元空間上の位置を決定できる。

本開示の他の実施例によるマーカーの位置及び姿勢をトラッキングするオプティカルトラッキングシステムであって、マーカーは、対象体に付着され得、開口に形成された光学系を通じて内部に形成されたパターン面が見えるように構成され、マーカーの少なくとも一部を結像してそれぞれライトフィールドイメージを生成する第１結像部及び第２結像部を含む結像装置；および第１結像部により結像されたライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出され、パターン面の一部が結像された第１イメージに基づいてマーカーの姿勢を決定し、第１結像部により生成されたライトフィールドイメージから無限大の焦点距離よりも近い焦点距離で結像されたイメージとして抽出された第２イメージ及び第２結像部により生成されたライトフィールドイメージから無限大の焦点距離よりも近い焦点距離で結像されたイメージとして抽出された第３イメージに基づいてマーカーの位置を決定するプロセッサを含み得る。

一実施例によれば、第１イメージは、第１結像部により結像されたライトフィールドイメージから無限大の焦点距離で結像されるように抽出されたイメージであって、パターン面の一部が識別可能に結像されたパターンイメージを含み、第２イメージは、第１結像部により結像されたライトフィールドイメージから対象体の位置を含む所定範囲の焦点距離で結像されるように抽出されたイメージであって、第１結像部へ向かう出射光が結像された出射光イメージを含み、第３イメージは、第２結像部により結像されたライトフィールドイメージから所定範囲の焦点距離で結像されるように抽出されたイメージであって、第２結像部へ向かう出射光が結像された出射光イメージを含み得る。

一実施例によれば、プロセッサはパターン面の全体領域内でパターンイメージの位置を決定し、決定された位置に基づいて対象体の姿勢を決定し、プロセッサは第２及び第３イメージ内に結像された出射光イメージの基準座標をそれぞれ決定し、それぞれ決定された基準座標及びマーカーと第１及び第２結像部との間の幾何学的関係に基づいて対象体の位置を決定できる。

一実施例によれば、第２結像部は、第２結像部により生成されたライトフィールドイメージから無限大焦点距離で結像されるように抽出されたイメージとしてパターン面の一部が識別可能に結像されたパターンイメージを含む第４イメージをプロセッサへ伝送し、プロセッサはパターン面の全体領域内で第４イメージ内に結像されたパターンイメージの位置を決定し、決定された位置に基づいて対象体の姿勢を決定し、プロセッサは、第１イメージから決定された対象体の姿勢及び第４イメージから決定された対象体の姿勢の平均値に基づいて対象体の姿勢を決定できる。

一実施例によれば、プロセッサは、第１イメージ内に結像されたパターンイメージから対象体の位置及び姿勢を決定できる。

本開示の更に他の実施例によるマーカーの位置及び姿勢をトラッキングするオプティカルトラッキング方法であって、マーカーは、対象体に付着され得、開口に形成された光学系を通じて内部に形成されたパターン面が見えるように構成され、第１結像部により結像されたライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出され、パターン面の一部が識別可能に結像されたパターンイメージを含む第１イメージ、ライトフィールドイメージから無限大の焦点距離よりも近い焦点距離で結像されたイメージとして抽出されて開口を通じて第１方向に放出された出射光が結像された第２イメージ、第２結像部により開口を通じて第１方向と異なる第２方向に放出された出射光が結像された第３イメージを結像する段階；第１イメージに基づいてマーカーの姿勢を決定する段階；および第２イメージ及び第３イメージに基づいてマーカーの位置を決定する段階を含み得る。

一実施例によれば、マーカーの姿勢を決定する段階は、パターン面の全体領域内で第１イメージに含まれたパターンイメージの位置を決定する段階；および決定された位置に基づいて対象体の姿勢を決定する段階を含み得る。

一実施例によれば、マーカーの位置を決定する段階は、第２及び第３イメージ内に結像された出射光イメージの基準座標をそれぞれ決定する段階、およびそれぞれ決定された基準座標及び出射光が指向する方向の間の幾何学的関係を用いて対象体の位置を決定する段階を含み得る。

本開示の実施例によれば、ライトフィールドイメージからパターンイメージが識別可能に結像されたイメージ及び開口領域の位置が識別可能に結像されたイメージのそれぞれを同時に取得できる。

また、撮影されたイメージ内で出射光イメージの基準位置の精度を向上させることができ、オプティカルトラッキングシステムの精度を向上させることができる。

本開示の一実施例によるオプティカルトラッキングシステムが手術に用いられている例を示す図である。 本開示の一実施例によるオプティカルトラッキングシステムのブロック図である。 本開示の一実施例により結像部がマーカーの開口から放出される出射光をそれぞれの方向で撮影する例を示す図である。 本開示の一実施例により結像部で結像されたイメージを説明するための図である。 ライトフィールドカメラの構造を有する結像部を説明するための図である。 図５に示したレンズアレイを説明するための図である。 結像部で取得されたライトフィールドイメージに含まれた複数の単位イメージの被写体深度が異なって形成される過程を示す図である。 互いに異なる被写体深度を有する複数の単位イメージを含むライトフィールドイメージを説明するための図である。 本開示の一実施例によるオプティカルトラッキングシステムの結像部で結像されたイメージに基づいてマーカーの姿勢及び位置を決定する方法を説明するための図である。 図９に示したオプティカルトラッキングシステムで結像されたイメージを示す図である。 本開示の他の実施例によるオプティカルトラッキングシステムのブロック図である。 本開示の他の実施例によるオプティカルトラッキングシステムの結像部で結像されたイメージに基づいてマーカーの姿勢及び位置を決定する方法を説明するための図である。 本開示の他の実施例によるオプティカルトラッキングシステムで結像されたイメージを示す図である。 本開示の更に他の実施例によるオプティカルトラッキング方法を示すフローチャートである。 図１４に示したオプティカルトラッキング方法において、マーカーの姿勢を決定する段階を示すフローチャートである。 図１５に示したオプティカルトラッキング方法において、マーカーの位置を決定する段階を示すフローチャートである。

本開示の実施例は、本開示を説明するための目的で例示されたものである。本開示の実施例は、多様な形態で実施されることができ、本開示が下記に提示された実施例やこれらの実施例に関する具体的説明に限定されるものと解釈してはならない。

本開示で用いられる用語「部」は、ソフトウェア、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）のようなハードウェア構成要素を意味する。しかし、「部」は、ハードウェア及びソフトウェアに限定されるものではない。「部」は、アドレッシングできる格納媒体にあるように構成されてもよく、１つまたはそれ以上のプロセッサを再生させるように構成されてもよい。従って、一例として、「部」は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセッサ、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素と「部」内で提供される機能は、さらに小さい数の構成要素及び「部」に結合したり追加の構成要素と「部」にさらに分離され得る。

本開示で用いられる全ての技術的用語及び科学的用語は、別途に定義されていない限り、本開示の属する技術分野で通常の知識を有する者に一般に理解される意味を有する。本開示で用いられる全ての用語は本開示をより明確に説明するための目的で選択されたものであり、本開示の範囲を制限するために選択されたものではない。

本開示で記述された単数形の表現は、異なって言及しない以上、複数形の表現もともに含むことができ、これは請求項に記載された単数形の表現にも同様に適用される。

本開示の多様な実施例で用いられた「第１」、「第２」などの表現は、複数の構成要素を相互に区分するために用いるものに過ぎず、当該構成要素の順序または重要度を限定するものではない。

本開示で用いられる「含む」及び「有する」という表現は、当該表現が含まれる文句または文章において特に異なって言及されない限り、他の実施例を含む可能性を内包する開放型用語（open-ended terms）と理解されなければならない。

本開示で「〜に基づいて」という表現は、当該表現が含まれる文句で記述される決定または判断の行為または動作に影響を与える１つ以上の因子を記述するのに用いられ、この表現は決定または判断の行為または動作に影響を与える追加の因子を排除はしない。

本開示において、ある構成要素が他の構成要素に「連結されて」いるとか、「接続されて」いると言及されたときには、前記ある構成要素が前記他の構成要素に直接的に連結されているか、または接続されていてもよいが、前記ある構成要素と前記他の構成要素の間に新たな他の構成要素が存在してもよいと理解されるべきである。

以下、添付した図面を参照して、本開示の実施例を詳細に説明する。図面上の同一の構成要素に対しては同一の参照符号を用い、同一の構成要素について重複する説明は省略する。

＜オプティカルトラッキングシステム＞
図１は、本開示の一実施例によるオプティカルトラッキングシステム１が手術に用いられている例を示す。

図示した通り、医師Ｄ（doctor）は、手術道具２０と、結像装置１００を含むオプティカルトラッキングシステム１を活用して患者Ｐ（patient）に対する手術を行うことができる。医師Ｄが用いている手術道具２０にはマーカー１０が付着され得、患者Ｐの患部のような対象体にも他のマーカー３０が付着され得る。オプティカルトラッキングシステム１の結像装置１００は、マーカー１０及び／又は３０に形成されたパターンの全部または一部に対するパターンイメージを結像（Capture）及び取得できる。パターンイメージは、結像装置１００の結像部に含まれたイメージセンサが出力する結像イメージのフレーム内の一部領域に結像され得る。

パターンイメージが取得されると、パターンイメージからマーカーのパターンを構成する基本単位として、サブパターンのうちの少なくとも１つが抽出され得る。一実施例によれば、抽出された少なくとも１つのサブパターンの全体パターン内での位置が決定され、決定されたサブパターンの全体パターン内の位置に基づいてマーカー１０及び／又は３０の姿勢が決定され得る。ここで、マーカー１０及び／又は３０の姿勢は、マーカー１０及び／又は３０の結像装置１００に対する相対的な３次元的方向ないし方位を意味し得る。

一実施例により、結像装置１００は、２つ以上の結像部を含み得、結像部は、例えば、マーカーの少なくとも一部に対するイメージ結像が可能なカメラとなり得る。より具体的に、結像部のそれぞれは、例えば、マーカー１０及び／又は３０の開口（aperture）から各結像部へ向かう光からイメージをそれぞれ形成することができる。ある１つのマーカー１０及び／又は３０の位置は、２つ以上のカメラにより結像されたイメージのうちステレオスコピック関係を有する２つのイメージに基づいた三角法（triangulation）を用いて決定され得る。

このようにマーカー１０及び／又は３０の位置及び姿勢が取得されると、マーカー１０及び／又は３０とこのマーカー１０及び／又は３０が付着された対象体間の幾何学的関係に基づいて、マーカー１０及び／又は３０が付着された対象体の位置及び姿勢が決定され得る。

以下で詳細に説明するように、本開示の一実施例によるオプティカルトラッキングシステム１によれば、少なくとも１つのマーカーを用いて対象体の６自由度に該当する位置及び姿勢が決定され得る。

本開示のオプティカルトラッキングシステム１によれば、１つのマーカー１０が対象体である手術道具２０に付着された場合にも、マーカー１０に形成されたパターンに基づいて対象体の位置及び姿勢がトラッキングされ得る。従って、手術道具２０には軽量または小型のマーカー１０が付着され得、医師Ｄはマーカー１０の大きさ及び重さに対する負担なしにマーカーが付着された手術道具２０を用いて手術を行うことができる。

以上で説明した実施例では、本開示によるマーカー及びオプティカルトラッキングシステム１が、医師が患者に対して手術を行う例に適用されたが、マーカーを用いて対象体の位置及び姿勢を決定する他の多様な例にも適用され得る。例えば、本開示によるマーカー及びオプティカルトラッキングシステムは、手術ロボットを活用して患者に対して手術を行う場合に、手術ロボットに付着された手術道具の位置及び姿勢を決定するのに用いられ得る。他の例において、本開示によるマーカー及びオプティカルトラッキングシステムは、作業者または作業ロボットが特定の道具を活用して特定の対象体に対して特定の作業を行う場合に、その道具及び／又は対象体の位置及び姿勢を決定するのに用いられ得る。以下では、図１及び２の例を通じて概略的に説明した本開示のマーカー及びオプティカルトラッキングシステムの多様な実施例についてさらに具体的に説明する。

図２は、本開示の一実施例によるオプティカルトラッキングシステム１のブロック図である。

オプティカルトラッキングシステム１は、マーカー１０、結像装置１００及びプロセッサ１３０を含み得る。マーカー１０は、パターンが形成されたパターン面１５及びマーカー１０の外部から見た方向に沿って固有に示されるパターンの少なくとも一部がマーカー１０の外部から識別（または視覚的に認知）されるように構成された、レンズのような、光学系１２を含み得る。一実施例によれば、マーカー１０は、オプティカルトラッキングシステム１によりその位置及び姿勢が測定される、対象体に付着されたりその対象体の全体または一部として実現され得る。マーカー１０の位置及び姿勢を測定することにより、マーカー１０が付着された対象体の位置及び姿勢が測定され得る。

マーカー１０の外形はパターン面１５及びレンズのような光学系１２の設置が容易な形状を有し得る。一実施例において、マーカー１０の外形１１は曲面形状を有し得る。このように、マーカー１０が曲面形状を有する場合、パターンが形成されたパターン面１５は球形状の内部面または外部面の少なくとも一部に実現され得、光学系１２は球形状の内部面のうちパターン面１５と対向する開口１３に実現され得る。他の実施例において、マーカー１０の外形１１は、例えば、六面体またはシリンダ形状を有し得る。外形１１がシリンダ形状を有する場合、シリンダ形状の一側面に形成された開口１３には光学系１２が設けられ得、対向する他側面にはパターン面１５が設けられ得る。このような構成でパターン面１５に形成されたパターンは、シリンダの胴体を経過して光学系１２を通じて外部から視覚的に識別され得る。

一実施例において、結像装置１００はマーカー１０の少なくとも一部を含む複数のイメージを撮影し、プロセッサ１３０は結像装置１００から前記複数のイメージを受信してこれに基づいてマーカー１０の位置及び姿勢をトラッキングできる。結像装置１００は、それぞれ別個のイメージを結像するように構成された第１及び第２結像部１１０、１２０を含み得る。第１及び第２結像部１１０、１２０は、マーカー１０から反射されて互いに異なる方向に放出される出射光を結像できる。

第１結像部１１０は、レンズ１１１、レンズアレイ１１２、およびイメージセンサ１１３を含み得る。即ち、第１結像部１１０はライトフィールドイメージを結像するように構成されたライトフィールドカメラ（light field camera）の構造を有し得る。従って、第１結像部１１０はパターン面１５に反射されてレンズ１１１に入ってくる出射光を結像してライトフィールドイメージを生成できる。また、第２結像部１２０は、レンズ１２１及びイメージセンサ１２３を含み得る。従って、第２結像部１２０はマーカー１０のパターン面１５に反射された後に第１結像部１１０に向かう光と異なる方向でレンズ１２１に入ってくる出射光が結像されたイメージを取得できる。

一実施例において、第１及び第２結像部１１０、１２０は、パターンがマーカー１０の外部から十分に識別されるように光学系１２を通じて結像装置１００に入射される光を補強するために、マーカー１０またはパターンに向かって光を照射する少なくとも１つの光源１１６、１２６を含み得る。この場合、マーカー１０はパッシブマーカー（passive marker）として動作できる。また、第１及び第２結像部１１０、１２０は、光源１１６、１２６から発生した光をレンズ１１１、１２１を通じてマーカー１０に照射するビームスプリッタ１１５、１２５を含み得る。

図２では、光源１１６、１２６が結像部１１０、１２０内部に配置されるように示されているが、これに限定されるわけではなく、結像装置１００の外部に配置されることも可能である。他の実施例によれば、光源はマーカー１０の内部でパターン面１５の前面または後面に対して光を照射するように設けられ得る。この場合、マーカー１０は、アクティブマーカー（active marker）として動作できる。

一実施例において、オプティカルトラッキングシステム１が手術ナビゲーションシステム（surgical navigation system）のような手術システム内で動作する場合に、マーカー１０は手術道具、手術ロボットの一部または患者の患部を含む少なくとも１つの対象体に付着され得る。また、複数のマーカーが用いられる場合には、マーカーの位置及び姿勢が順次または同時にトラッキングされ得る。この場合、プロセッサ１３０は複数のマーカーの位置及び姿勢をトラッキングするために、それぞれの対象体に付着されたマーカーをマーカーのＩＤを通じて区別できる。

更に他の実施例によれば、オプティカルトラッキングシステム１は、予め決定された幾何学的関係を有する２つのマーカーの位置及び姿勢をトラッキングできる。例えば、オプティカルトラッキングシステム１は、図１に示した手術道具２０に付着されたマーカー１０及び患者の頭に付着されたマーカー３０の位置及び姿勢を同時にトラッキングできる。オプティカルトラッキングシステムは、結像装置を通じて２つのマーカーにそれぞれ形成されたパターンのパターンイメージを取得できる。２つのマーカーの位置は、予め決定された幾何学的関係、およびパターンイメージ上でのパターンの少なくとも一部の位置と、各マーカー上でのパターンの少なくとも一部の位置間の関係に基づいて決定され得る。マーカーの姿勢は先に説明した方式と同一の方式で決定され得る。

一実施例において、プロセッサ１３０は、開口１３を通じて見えるパターン面１５の一部を無限大の焦点距離で結像した第１イメージに基づいてマーカー１０の姿勢を決定する姿勢トラッキング部１３２、および互いに異なる方向で開口１３を通じて放出された出射光を無限大の焦点距離よりも近い焦点距離でそれぞれ結像した第２及び第３イメージに基づいてマーカー１０の位置を決定する位置トラッキング部１３１、および複数のマーカーの位置及び姿勢をトラッキングするためにそれぞれの対象体に付着されたマーカーをマーカーのＩＤを通じて区別するＩＤ識別部１３３を含み得る。ＩＤ識別部１３３は第１イメージに含まれたパターンイメージからマーカー１０のＩＤを識別できる。

無限大の焦点距離は、例えば、結像装置１００を基準としてマーカー１０より相当遠い位置に対応する距離を意味し得る。また、無限大の焦点距離よりも近い焦点距離（以下、「近い焦点距離」）は対象体の位置を含む所定範囲の焦点距離となり得る。即ち、マーカー１０は対象体に付着されるので、無限大の焦点距離よりも近い焦点距離はマーカー１０の位置を含む所定範囲の焦点距離となり得る。

図３は、本開示の一実施例により結像部２７０、２８０がマーカー２１０の開口２３０から放出される出射光Ｌ１、Ｌ２をそれぞれの方向で撮影する例を示す図である。

図２を参考にすると、第１結像部２７０はライトフィールドカメラの構造を有し得る。第２結像部２８０は近い焦点距離でイメージを形成するためのカメラの構造を有し得る。また、第１結像部２７０は無限大の焦点距離でパターン面２５０の一部を結像してパターンイメージを結像でき、第２結像部２８０は近い焦点距離でマーカー２１０のパターン面２５０に反射されて光学系２２０に入ってくる出射光を結像できる。

一実施例によれば、マーカー２１０は第１及び第２結像部２７０、２８０それぞれの視野角（FOV）内に位置しており、開口２３０に形成された光学系２２０は第１及び第２結像部２７０、２８０に向けて配置され得る。ここで、パターン面２５０に反射した光は光学系２２０を通じて平行出射光Ｌ１として出ることができ、第１結像部２７０のレンズ２７５に到達してパターンイメージとして結像され得る。また、マーカー２１０の光学系２２０から第１結像部２７０に向かう出射光と異なる方向に出る出射光Ｌ２は、第２結像部２８０のレンズ２８５に到達して出射光イメージとして結像され得る。

一実施例において、第１結像部２７０はマーカー２１０と無限光学系を形成することができる。パターン２５５が形成されたパターン面２５０は、パターンイメージが光学系２２０を通じて平行出射光Ｌ１の形態で第１結像部２７０に伝達されるようにマーカー２１０内部に配置され得る。第１結像部２７０に含まれたイメージセンサの被写体深度は、マーカー２１０の位置より遠い地点から、マーカー２１０の光学系２２０によりパターンイメージが形成される無限大地点まで包括するように設定され得る。この場合、第１結像部２７０に含まれたイメージセンサは、マーカー２１０の動きに応じてマーカー２１０からの距離が変化することと関係なく、マーカー２１０に形成されたパターンの一部に関するパターンイメージを結像できる。また、第１結像部２７０はマーカーが遠くなったり近くなる場合にも深度または倍率の調整なしにパターンイメージを結像できる。従って、以上の通り無限光学系が構成された場合には、マーカー２１０が結像装置からどれほど離れて位置しても、第１結像部２７０により結像されたパターンイメージからパターンの少なくとも一部が識別され得る。他の実施例において、パターン面２５０がマーカー２１０内に配置される場合、マーカー２１０の光学系２２０が第１及び第２結像部２７０、２８０それぞれの光学系レンズ２７５、２８５とともに無限光学系を構成することができる。

一実施例において、パターン２５５はパターン全体に対して各サブパターンの位置が固有に決定されるように形成されるので、そのパターンのパターンイメージからパターン全体に対する各サブパターンの位置に関する情報を抽出できる。具体的には、パターン２５５は繰り返し的に配列された非周期的シーケンス（aperiodic sequences）を含み得る。例えば、各非周期的シーケンスはＰＲＢＳ（Pseudo-Random Binary Sequence）であってもよく、より具体的にドゥブリュエインシーケンス（De Bruijn Sequence）であってもよい。ここで「非周期的シーケンス」とは、上述した通り、最大化された自己相関性を有したり、当該シーケンスに含まれた複数のサブシーケンスが周期的な方式で配列されないことを意味し得る。また、パターン２５５はマーカーのＩＤを提供できるように形成され得る。

図４は、本開示の一実施例により結像部で結像されたイメージを説明するための図である。

一実施例において、結像部はマーカーが付着された対象体（例えば、手術道具）の位置及び姿勢を決定するためにマーカーに形成されたパターンの少なくとも一部を結像できる。マーカーと対象体との間には既設定された幾何学的関係が存在し得、マーカーの姿勢がトラッキングされた場合、対象体との既設定された幾何学的関係を用いて対象体の姿勢をトラッキングできる。

マーカーと無限光学系を形成する結像部は、イメージセンサが実際に結像されたイメージ（３００）から所定のイメージ処理（image process）された補正イメージ(correction image)を取得できる。結像されたイメージ３００はパターン部分の周辺部分が完全に暗く結像されずに結像装置の視野角に位置した事物がぼやけて見える程度である。イメージ処理は、例えば、結像されたイメージにおいて明るい部分と暗い部分の差をさらに強化する作業になり得る。

一実施例において、結像されたイメージ３００は所定の位置に形成されるパターンイメージ３２０を含み得る。パターンイメージ３２０を囲む仮想の（imaginary）境界部分３３０はマーカーの開口の位置に対応し得、パターンイメージ３２０及び周辺部分３１０を区分することができる。パターンイメージ３２０に含まれたサブパターン３５０はプロセッサの姿勢決定部でパターンウィンドウ３４０を通じて読み出され得る。また、原本イメージ（図示せず）からイメージ処理を行った後には、図４に示した結像されたイメージ３００よりパターンイメージ３２０が目立ち、周辺部分３１０は黒くなり、境界部分３３０はぼやけて結像される。

結像されたイメージ３００においてパターンイメージ３２０を除いた周辺部分３１０は、パターンイメージ３２０に対応するマーカーのパターン面より相対的に暗い部分であって、イメージがない形態（例えば、ブラックアウト（black out）された状態）で結像され得る。即ち、結像部のイメージセンサは被写体深度が形成されていない領域及び相対的に光量が少ない部分を暗く結像し、暗く結像した部分が周辺部分３１０となり得る。また、マーカーの光学系と無限光学系を形成する結像部のイメージセンサは、焦点距離が遠距離ないし無限大に合わせられているので、マーカーが運用される範囲内の近距離の物体は全てひどくブラー（blur）となり得る。また、マーカーの開口から出る出射光が周辺光に比べて相対的に相当明るいので、結像されたイメージ３００内でパターンイメージ３２０は強く目立ち得る。万一、マーカーの撮像に用いられる光を照明とフィルタリングを通じて統制したのであれば、結像されたイメージ３００内でパターンイメージ３２０と周辺部分３１０の明るさの差がより一層大きくなり得る。

一実施例において、オプティカルトラッキングシステムの結像部がマーカーに形成されたパターン面から反射された出射光をパターンイメージ３２０として結像すれば、プロセッサの姿勢決定部はパターンイメージ３２０に含まれた各サブパターン３５０の全体パターン内での位置に基づいてマーカーの姿勢を決定できる。例えば、結像されたパターンイメージ３２０に図３に示したパターン２５５の一部が含まれ得、プロセッサは結像部から結像されたイメージ３００を受信してイメージ補正を行った後、読み出されたパターンイメージ３２０内でパターンウィンドウ３４０を通じてサブパターン３５０を識別できる。パターンウィンドウ３４０の大きさはサブパターン３５０の大きさと同一であるかさらに大きくてもよい。即ち、プロセッサの姿勢トラッキング部は全体パターン内で当該サブパターンの位置を決定でき、このように決定されたサブパターンの位置に基づいて、マーカーの姿勢を決定できる。

図５は、ライトフィールドカメラの構造を有する結像部４００を説明するための図である。

一実施例において、結像部４００は被写体４１０から順に配置される、レンズ４２０、レンズアレイ４３０、およびイメージセンサ４４０を含み得る。被写体４１０はマーカーの開口ないしマーカーに形成されたパターンの一部になり得る。図５に示した結像部４００は、ライトフィールドイメージを取得するための１つの配置構造であって、例示的なものであり、ライトフィールドイメージを取得するために図５に示した構造と異なる構造が適用され得る。

一実施例において、レンズ４２０は被写体４１０から入ってくる光を集光することができる。レンズ４２０は被写体４１０から入ってくる光が１つのポイントに集光されるように１つの焦点距離を有する凸レンズになり得る。レンズ４２０が複数のレンズなどを用いて実現された場合には、公知となった薄いレンズ理論（thin lens theory）により複数のレンズを１つの薄いレンズとして定義することができる。これにより、レンズ４２０の直径、焦点距離及び中心は、このように定義された１つの薄いレンズの直径、焦点距離及び中心でそれぞれ示すことができる。

一実施例において、レンズアレイ４３０はレンズ４２０を通過して入ってくる光を分散させ、互いに異なる位置に形成される複数のポイントに集光させることができる。レンズアレイ４３０は複数のサブレンズ４３１で構成され得る。一実施例において、レンズアレイ４３０はレンズ４２０の焦点距離よりレンズ４２０に近く配置され得る。他の実施例において、レンズアレイ４３０は、レンズ４２０から、レンズ４２０の焦点距離より遠く配置され得る。

一実施例において、レンズアレイ４３０はレンズ４２０の焦点距離に対応する位置に配置され得る。この場合、レンズ４２０から入ってくる光の焦点はサブレンズ４３１のうち１つに形成され得る。また、イメージセンサ４４０はレンズアレイ４３０に含まれたそれぞれのサブレンズ４３１の焦点距離に対応する位置に固定されて設けられ得る。

一実施例において、イメージセンサ４４０はレンズアレイ４３０を通過した光をセンシングできる。また、イメージセンサ４４０は複数のポイントに対応する複数の単位イメージを含むライトフィールドイメージ（light field image）を取得できる。イメージセンサ４４０は任意の物体の結像イメージを取得するように構成された任意の種類の少なくとも１つの結像素子を含み得、例えば、ＣＣＤ（charge-coupled device）センサまたはＣＭＯＳ（complementary metal-oxide semiconductor）センサを含み得る。イメージセンサ４４０は複数の画素４４１（fixel）で構成され得る。

一実施例において、イメージセンサ４４０は１回の撮影時に、例えば、写真集合体ファイルのフォーマット（format）を有する、ライトフィールドイメージを出力できる。写真集合体ファイルは複数のサブレンズの焦点に対応する位置に被写体の焦点が形成されて互いに異なる被写体深度を有する複数の単位イメージを含み得る。それぞれの単位イメージにはＸ、Ｙ座標によって光の色情報と方向情報がともに保存され得る。

一実施例において、それぞれの単位イメージは、互いに異なる被写体深度を有するが、同一の対象体を撮影できる。それぞれの単位イメージから見える対象体の姿は実質的に同一であり得、互いに鮮明に見える部分及びぼやけて見える部分の位置で差が発生し得る。鮮明に見える部分は対応するサブレンズ４３１の焦点が形成されて被写体深度を有する部分であり、ぼやけて見える部分はこれを除いた部分になり得る。

ライトフィールドカメラは被写体を撮影した後に被写体深度を事後的に決定し、互いに異なる被写体深度を有するイメージを組み合わせるように構成され得る。従って、ライトフィールドカメラのイメージセンサは事後的かつ可変的な被写体深度を有し得る。また、ライトフィールドカメラで生成するライトフィールドイメージは、光の色情報と方向情報をともに保存する複数の単位イメージを含み得る。

一実施例において、結像部４００が実現するライトフィールドカメラは無限大位置に置かれた被写体４１０、即ち、マーカーのパターン面の一部を明確に撮像できるように、被写体深度が遠距離ないし無限大であるイメージを合成した第１イメージをプロセッサへ伝送できる。

他の実施例において、第１結像部４００は複数の単位イメージを用いて再焦点（refocusing）過程を行うことができる。再焦点過程でライトフィールドイメージのピクセルのうち所望の被写体深度及びそれにより逆算される光経路ないし方向に相応するピクセルの色情報を組み合わせて所望の深度のイメージを新たに抽出できる。これを通じてパターンイメージが鮮明に識別可能な第１イメージを生成できる。

図６は、図５に示したレンズアレイ４３０を説明するための図である。

一実施例において、レンズアレイ４３０に含まれた複数のサブレンズ４３１はＮ個(Ｎ＞１、Ｎは自然数)のマイクロレンズで提供され得る。即ち、Ｎ個は複数を意味し得る。例えば、レンズアレイ４３０には各行に対してｉ個のサブレンズ４３１が配置され、各列に対してｊ個のサブレンズが配置され得る。従って、Ｎ個のマイクロレンズはｉ×ｊ個の行列として構成され得る。例示的に、より稠密なライトフィールドを形成するために、レンズアレイ４３０は略１０００×１０００個のマイクロレンズが配列される形態を有し得る。マイクロレンズの配列及び個数は、レンズ及びマイクロレンズの物性、撮影環境、単位イメージの要求される解像度、または、イメージセンサの画素数など多様な条件に応じて変わり得る。

一実施例において、サブレンズ４３１に対応するＮ個のマイクロレンズは、レンズを通過して入ってくる光をＮ個のポイントに分散させることができる。一実施例において、図５に示したイメージセンサはＮ個のマイクロレンズが形成するＮ個のポイントに対応するＮ個の区域に区分され得る。即ち、それぞれのＮ個のマイクロレンズの焦点はイメージセンサのＮ個の区域に分散するように形成され得る。

一実施例において、Ｎ個の区域でＮ個の単位イメージを結像する場合、ライトフィールドイメージは互いに異なる被写体深度を有するＮ個の単位イメージを含み得る。また、プロセッサは、Ｎ個のイメージのうち所定位置に被写体深度が形成されたイメージを選択することができる。プロセッサはＮ個のイメージのうち無限大の焦点距離ないし近い焦点距離を有する少なくとも１つのイメージを選択することができる。例えば、結像部はマーカーのパターン面が結像されたイメージを結像するためにライトフィールドイメージから無限大の焦点距離を有するイメージを抽出でき、出射光イメージを結像するために近い焦点距離を有するイメージを抽出できる。

図７は、結像部５００で取得されたライトフィールドイメージに含まれた複数の単位イメージの被写体深度が異なって形成される過程を示す図である。

結像部５００は、レンズ５３０、レンズアレイ５４０、およびイメージセンサ５５０を含み得る。第１被写体５１０は第２被写体５２０に比べてレンズ５３０に対して距離が近く配置され得る。一実施例において、第１被写体５１０は、図３に示したマーカーの開口２３０に対応し得、第２被写体５２０は、図３に示したパターン面２５０に対応し得る。

第１被写体５１０の上端から出た光はレンズ５３０を通じて集光されてレンズアレイ５４０の下側に配置されたサブレンズ５４２に焦点が形成され得る。サブレンズ５４２から出た光はイメージセンサ５５０の下側に配置された区域Ａ１に到達できる。これにより、第１被写体５１０の上端から出た光の光量は主に下側区域Ａ１に分布するようになり、残りの区域に光量が少なく分布し得る。即ち、下側区域Ａ１に含まれた画素５５１、５５２、５５３には第１被写体５１０の上端の姿が鮮明に結像され得る。

第２被写体５２０の上端から出た光はレンズ５３０を通じて集光されてレンズアレイ５４０の中間部分のサブレンズ５４１に焦点が形成され得る。サブレンズ５４１から出た光はイメージセンサ５５０の中間部分に配置された区域Ａ２に到達できる。これにより、第２被写体５２０の上端から出た光の光量は主に中間区域Ａ２に分布するようになり、残りの区域に光量が少なく分布し得る。即ち、中間区域Ａ２に含まれた画素５５４、５５５、５５６には第２被写体５２０の上端の姿が鮮明に結像され得る。

下側区域Ａ１には第２被写体５２０から出る光の光量が少なく分布するので、第２被写体５２０に対する姿はぼやけた状態で結像され得る。また、中間区域Ａ２には第１被写体５１０から出る光の光量が少なく分布するので、第１被写体５１０に対する姿はぼやけた状態で結像され得る。従って、下側区域Ａ１は第１被写体５１０に対して被写体深度が形成された単位イメージを出力し、中間区域Ａ２は第２被写体５２０に対して被写体深度が形成された単位イメージを出力できる。

上述したことによれば、一実施例による結像部を通じて被写体を撮影すれば、互いに異なる被写体深度を有する複数の単位イメージを含むライトフィールドイメージを取得できる。

図８は、互いに異なる被写体深度を有する複数の単位イメージを含むライトフィールドイメージ６００を説明するための図である。

一実施例において、ライトフィールドイメージ６００はイメージセンサで互いに異なる位置の区域Ｃ１、Ｃ２、Ｃ３、Ｃ４に被写体深度が形成された複数の単位イメージを含む写真集合体ファイルで出力され得る。複数の区域Ｃ１、Ｃ２、Ｃ３、Ｃ４は単位イメージ内で互いに異なる位置になり得、状況によって少なくとも２つの区域が互いに同一の位置になり得る。写真集合体ファイルは、図９に図示した通り互いに物理的に分離された複数の単位イメージを単に集めた集合体フォーマットになり得る。これとは異なり、写真集合体ファイルは新たな拡張子方式で複数の単位イメージが互いに一体に結合されたフォーマットになり得る。一実施例において、それぞれの単位イメージは互いに異なる被写体深度を有するように光の色情報と方向情報を含み得る。図９に示した矢印の方向は被写体深度が形成される距離が増加する方向を示すことができる。

一実施例によれば、プロセッサは、ライトフィールドイメージ６００に含まれた複数のイメージをイメージが形成された被写体深度ＤＯＦによって分類し、使用者の入力によりレファレンスイメージＲＥＦよりも近い被写体深度を有したりまたは遠い被写体深度を有する単位イメージを出力できる。例えば、レファレンスイメージの被写体深度はマーカーの位置を含む領域の深度に該当し得る。

一実施例において、結像装置で撮影されたライトフィールドイメージは被写体深度によって分類可能なＮ個の単位イメージを含み得る。一実施例において、プロセッサは、Ｎ個のイメージをＮ個のイメージそれぞれが形成された被写体深度によって分類し、使用者の入力によりＮ個のイメージのうちいずれか１つのイメージを選択することができる。また、プロセッサは、ライトフィールドイメージから鮮明なパターンイメージを取得するために、Ｎ個のイメージのうち、無限大の焦点距離で被写体深度が形成されたイメージを出力できる。

図９は、本開示の一実施例によるオプティカルトラッキングシステムの結像部７１０、７２０で結像されたイメージ７３０、７４０、７５０に基づいてマーカーの姿勢及び位置を決定する方法を説明するための図である。

一実施例において、マーカー７０は第１及び第２結像部７１０、７２０の視野角内に位置し得る。また、第１結像部７１０はライトフィールドカメラの構造を有し得、第２結像部７２０は近い焦点距離で出射光イメージを結像するためのカメラの構造を有し得る。第１結像部７１０はライトフィールドイメージから無限大の焦点距離を有するイメージとして抽出されてパターンイメージ７３５を含む第１イメージ７３０及びライトフィールドイメージから近い焦点距離を有するイメージとして抽出された第２イメージ７４０を結像できる。また、第２結像部７２０は近い焦点距離で第２結像部７２０に向かう出射光イメージを含む第３イメージ７５０を結像できる。

第１イメージ７３０の深度は無限大の焦点距離に該当する位置を中心に所定の有限な範囲に形成され得る。また、第２及び第３イメージ７４０、７５０の深度は近い焦点距離に該当する位置を中心に所定の有限な範囲に形成され得る。即ち、第２及び第３イメージ７４０、７５０の深度はマーカー７０の位置を中心に所定の有限な範囲に形成され得る。

一実施例において、第１結像部７１０は、第１結像部７１０によって結像されたライトフィールドイメージから無限大の焦点距離で結像された第１イメージ７３０及び近い焦点距離で結像された第２イメージ７４０を抽出してプロセッサ７６０へ伝送できる。プロセッサ７６０の姿勢トラッキング部は第１イメージ７３０のパターンイメージ７３５上に含まれたパターンの少なくとも一部（または領域）の大きさ及び開口領域７４５の基準座標に基づいてマーカーの姿勢をトラッキングできる。

一実施例において、プロセッサ７６０の姿勢トラッキング部は、開口を通じて見えるパターン面の一部が第１結像部７１０により結像されたライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出された第１イメージ７３０に基づいてマーカーの姿勢を決定できる。また、姿勢トラッキング部は第１イメージ７３０に含まれたパターンイメージ７３５に基づいて、パターンを形成する各サブパターンの全体パターン内での位置を決定し、その結果に基づいてマーカーの姿勢を決定できる。

パターンイメージ７３５は第１イメージ７３０内で識別可能に結像され、開口領域７４５の位置は第２イメージ７４０内で識別可能に結像され得る。一実施例において、第１結像部７１０及び第２結像部７２０は地面から同一の高さ（例えば、Ｙ軸方向への高さ）に配置され得る。従って、第２イメージ７４０に結像された開口領域７４５及び第３イメージ７５０に結像された開口領域７５５は、それぞれ第２及び第３イメージ７４０、７５０内で同一の高さを有し得る。

一実施例において、プロセッサ７６０の位置トラッキング部は、第２及び第３イメージ７４０、７５０に結像された出射光イメージの基準座標間の差（disparity）に基づいてマーカーの３次元空間上の位置を決定できる。開口領域７４５が第２イメージ７４０内で地面と平行な方向（例えば、Ｘ軸方向）に位置した距離Ｘ１は、開口領域７５５が第３イメージ７５０内で地面と平行な方向に位置した距離Ｘ２と異なり得る。例えば、距離Ｘ２は距離Ｘ１より大きく形成され得る。また、第１及び第２結像部７１０、７２０は予め定められた距離ｄを介して離隔され得、プロセッサ７６０の位置トラッキング部は三角法を用いてマーカーの位置を決定する過程で予め定められた距離ｄ情報を用いることができる。

一方、第１イメージ７３０内でパターンイメージ７３５が形成する領域の大きさは、パターンイメージ７３０が結像された位置（例えば、結像部の位置）からマーカーまでの距離及びマーカーの位置のうち少なくとも１つにより変更され得る。

一実施例によれば、プロセッサ７６０の位置トラッキング部は、結像された第２及び第３イメージ７４０、７５０上で開口領域７４５、７５５の基準座標を抽出し、これらに基づいてマーカーの位置を決定できる。例えば、マーカーの開口が円形を有する場合、パターンイメージ７３５及び開口領域７４５は、図１０に示した通り略円形に示され得る。

一実施例において、プロセッサ７６０の位置トラッキング部は、三角法を用いてマーカーの位置を決定できる。第１結像部７１０によって結像されたライトフィールドイメージから近い焦点距離で結像されたイメージとして抽出された第２イメージ７４０及び第１結像部７１０に向かう出射光と異なる方向で開口を通じて放出された出射光が第２結像部７２０によって近い焦点距離で結像された第３イメージ７５０に基づいてマーカーの位置を決定できる。

プロセッサ７６０の位置トラッキング部は、第１及び第２結像部７１０、７２０それぞれによって結像された第２及び第３イメージ７４０、７５０から、開口領域７４５、７５５の基準座標を抽出した後、この基準座標に基づいた三角法を用いてマーカーの位置を計算することができる。より具体的には、位置トラッキング部は及び開口領域７４５、７５５の基準座標と、第１及び第２結像部７１０、７２０それぞれがマーカーを見る方向、

間の幾何学的関係を用いてマーカーの位置を計算することができる。

一実施例により、姿勢トラッキング部はパターンイメージ７３５から各サブパターンの位置を決定できる。パターンイメージからマーカーのトラッキングのための情報を抽出するために、先ずプロセッサ７６０はパターンイメージ７３５でサブパターンを読み出すことができる。以後プロセッサ７６０は読み出された各サブパターンの全体パターン内での位置（座標）を計算することができる。

図１０は、図９に示したオプティカルトラッキングシステムで結像されたイメージを示す図である。

図９に示したオプティカルトラッキングシステムで、第１結像部７１０はライトフィールドイメージを取得できる。ライトフィールドイメージは互いに被写体深度を有する複数の単位イメージを含み得る。第１結像部７１０は第１イメージから無限大の焦点距離で結像された第１イメージ７３０及び近い焦点距離で結像された第２イメージ７４０を抽出できる。無限大の焦点距離で結像された第１イメージ７３０内のパターンイメージ７３５の領域の大きさは、近い焦点距離で結像された第２イメージ７４０内の開口領域７４５の大きさより大きくてもよい。

第１イメージ７３０において、パターンイメージ７３５を囲む境界部分７３６はマーカー７０の開口の位置に対応し得る。マーカー７０の開口の縁部を通過して放出される出射光は、出射光が開口を通る時、回折、内部反射、開口のビネッティング、または、焦点深度などの理由で、カメラに撮られる時にはぼやけた（blurred）形態で結像され得る。従って、境界部分７３６がぼやけて形成されるので、周辺の部分７３７と区別があまりつかなくなり得る。また、周辺の部分７３７は、パターンイメージ７３５に比べて相対的に相当暗い部分にイメージ処理過程でイメージがない形態（例えば、ブラックアウト（black out）された状態）に補正され得る。従って、プロセッサ７６０の位置トラッキング部がパターンイメージ７３５の基準座標を測定する場合、境界部分７３６がぼやけて結像される現象のため誤差を発生させ得るので、位置トラッキング部は、第２及び第３イメージ７４０、７５０内で明確に結像された開口領域７４５、７５５の基準座標に基づいてマーカーの位置をトラッキングできる。

一実施例において、姿勢トラッキング部は第１イメージ７３０内に結像されたパターンイメージ７３５を読み出してマーカーの姿勢を決定できる。また、位置トラッキング部は、第２イメージ７４０内に結像された開口領域７４５の基準座標７４６及び第３イメージ７５０内に結像された開口領域７５５の基準座標７５６を決定し、２つの基準座標７４６、７５６に基づいてマーカーの位置を決定できる。

パターンイメージ７３５及び開口領域７４５はそれぞれ第１及び第２イメージ７３０、７４０の左側端部から距離Ｘ１を置いて結像され得る。これとは異なり、開口領域７５５は第３イメージ７５０内で左側端部から距離Ｘ２を置いて結像され得る。従って、このような距離Ｘ１及び距離Ｘ２の差はマーカーの位置を決定するために用いられ得る。

図１１は、本開示の他の実施例によるオプティカルトラッキングシステム２のブロック図である。上述した実施例において説明された構成と重複する説明については省略する。

他の実施例によるオプティカルトラッキングシステム２は、マーカー８０、結像装置８００及びプロセッサ８３０を含み得る。結像装置８００は第１結像部８１０及び第２結像部８２０を含み得る。また、第１及び第２結像部８１０、８２０それぞれはライトフィールドカメラの構造を有し得る。プロセッサ８３０は第１及び第２結像部８１０、８２０それぞれからパターンの互いに異なる部分が結像されたライトフィールドイメージを受信し、これに基づいてマーカー１０の位置及び姿勢をトラッキングできる。

一実施例において、第１結像部８１０はレンズ８１１、レンズアレイ８１２及びイメージセンサ８１３を含み得る。第２結像部８２０はレンズ８２１、レンズアレイ８２２及びイメージセンサ８２３を含み得る。従って、第１及び第２結像部８１０、８２０はそれぞれ１回の撮影時に１つのライトフィールドイメージを生成できる。また、第１及び第２結像部８１０、８２０はステレオスコピックを構成でき、同軸照明カメラの構成を有し得る。

一実施例において、第１及び第２結像部８１０、８２０はパターンがマーカー８０の外部から十分に識別されるように光学系８２を通じて結像装置８００に入射される光を補強するために、マーカー８０またはパターン面８５に向かって光を照射する少なくとも１つの光源８１６、８２６を含み得る。また、第１及び第２結像部８１０、８２０は、光源８１６、８２６から発生した光をレンズ８１１、８２１を通じてマーカー８０に照射するビームスプリッタ８１５、８２５を含み得る。

一実施例において、プロセッサ８３０は開口８３を通じて見えるパターン面８５の一部を無限大の焦点距離で結像された第１イメージに基づいてマーカー８０の姿勢を決定する姿勢トラッキング部８３２、および互いに異なる方向で開口８３を通じて放出された出射光を近い焦点距離でそれぞれ結像された第２及び第３イメージに基づいてマーカー８０の位置を決定する位置トラッキング部８３１、および複数のマーカーの位置及び姿勢をトラッキングするためにそれぞれの対象体に付着されたマーカーをマーカーのＩＤを通じて区別するＩＤ識別部８３３を含み得る。ＩＤ識別部８３３は第１イメージに含まれたパターンイメージからマーカー８０のＩＤを識別できる。

図１２は、本開示の他の実施例によるオプティカルトラッキングシステム２の結像部で結像されたイメージに基づいてマーカーの姿勢及び位置を決定する方法を説明するための図面であり、図１３は、本開示の他の実施例によるオプティカルトラッキングシステム２で結像されたイメージを示す図である。

図３を参考にすると、オプティカルトラッキングシステム２の第１結像部８１０はパターンの第１部分を含む第１ライトフィールドイメージを生成でき、第２結像部８２０は前記第１部分と相違するパターンの第２部分を含む第２ライトフィールドイメージを生成できる。第１及び第２ライトフィールドイメージそれぞれは互いに異なる被写体深度を有する複数の単位イメージを含み得る。

一実施例において、プロセッサ８３０の姿勢トラッキング部は、開口を通じて見えるパターン面の一部が第１結像部８１０により結像されたライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出された第１イメージ９３０に基づいてマーカーの姿勢を決定できる。また、プロセッサ８３０の位置トラッキング部は、第１結像部８１０により生成されたライトフィールドイメージから近い焦点距離で結像されたイメージとして抽出された第２イメージ９４０及び第２結像部８２０により生成されたライトフィールドイメージから近い焦点距離で結像されたイメージとして抽出された第３イメージ９５０に基づいてマーカーの位置を決定できる。従って、プロセッサ８３０はマーカー８０の位置及び姿勢を時間差なしで、同時に、リアルタイムでトラッキングできる。

一実施例によれば、第１イメージ９３０は、第１結像部８１０によって結像されたライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出されたイメージであって、パターン面の一部が識別可能に結像されたパターンイメージ９３５を含み得る。また、第２イメージ９４０は、第１結像部９１０によって結像されたライトフィールドイメージからマーカー８０の位置を含む領域に形成される近い焦点距離で結像されたイメージとして抽出されたイメージであって、第１結像部８１０に向かう出射光が結像された出射光イメージ（例、開口領域９４５）を含み得る。また、第３イメージ９５０は、第２結像部８２０によって結像されたライトフィールドイメージからマーカー８０の位置を含む領域に形成される近い焦点距離で結像されたイメージとして抽出されたイメージであって、第２結像部８２０に向かう出射光が結像された出射光イメージ（例、開口領域９５５）を含み得る。

一実施例において、プロセッサの姿勢トラッキング部は、第２結像部で結像した第２ライトフィールドイメージから抽出された第４イメージ９６０に基づいてマーカー８０の姿勢をトラッキングできる。具体的には、第２結像部８２０は、第２結像部８２０により生成された第２ライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出されたイメージとして、パターン面の一部が識別可能に結像されたパターンイメージ９６５を含む第４イメージ９６０をプロセッサ８３０へ伝送し、プロセッサ８３０の位置トラッキング部はマーカーのパターン面の全体領域内で第４イメージ９６０内に結像されたパターンイメージ９６５の位置を決定し、決定された位置に基づいて対象体の姿勢を決定できる。

第１イメージ９３０で、パターンイメージ９３５を囲む境界部分９３６はマーカー８０の開口の位置に対応し得る。また、第４イメージ９６０で、パターンイメージ９６５を囲む境界部分９６６はマーカー８０の開口の位置に対応し得る。また、このような境界部分９３６、９６６はぼやけて結像され得るので、マーカーの姿勢は開口領域９４５、９５５が鮮明に結像された第１及び第３イメージ９４０、９５０に基づいて決定され得る。

一実施例において、プロセッサ８３０の位置トラッキング部は、第１イメージ９３０から決定された対象体の姿勢及び第４イメージ９６０から決定された対象体の姿勢の平均値に基づいて対象体の姿勢を決定でき、これによりトラッキングされたマーカー８０の位置の精度を向上させることができる。

一実施例において、プロセッサ８３０の位置トラッキング部は、第２及び第３イメージ９４０、９５０からマーカーの位置を決定できる。即ち、プロセッサは、第２イメージ９４０内に結像された開口領域９４５を囲む枠の基準座標９４６及び第３イメージ９５０内に結像された開口領域９５５を囲む枠の基準座標９５６を決定し、２つの基準座標９４６、９５６に基づいてマーカーの姿勢を決定できる。

第１及び第２イメージ９３０、９４０内で、パターンイメージ９３５及び開口領域９４５は左側端部から距離Ｘ１を置いて結像され得る。また、第３及び第４イメージ９５０、９６０内で、開口領域９５５及びパターンイメージ９６５は左側端部から距離Ｘ２を置いて結像され得る。従って、プロセッサ８３０の位置トラッキング部はこのような距離Ｘ１及び距離Ｘ２の差に基づいてマーカーの３次元空間上の位置を決定できる。また、位置トラッキング部は、第２及び第３イメージ９４０、９５０に基づいてステレオスコピックイメージを構成してマーカー８０の３次元空間上の位置を決定できる。

＜マーカーをトラッキングする方法＞
図１４は、本開示の更に他の実施例によるオプティカルトラッキング方法Ｓ１２２０を示したフローチャートである。以下の各段階に対して図面を参照してより具体的にマーカーをトラッキングする方法が説明される。上述した実施例で説明した内容と重複した説明は省略する。

先ず図２を参考にすると、段階Ｓ１２１０で、第１結像部１１０により結像されたライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出されてパターン面１５の一部が識別可能に結像されたパターンイメージを含む第１イメージ、ライトフィールドイメージから近い焦点距離で結像されたイメージとして抽出されて開口１３を通じて第１方向に放出された出射光が結像された第２イメージ、近い焦点距離で結像する第２結像部１２０により開口１３を通じて第１方向と異なる第２方向に放出された出射光が結像された第３イメージを結像できる。次に、段階Ｓ１２２０で、第１イメージに基づいてマーカーの姿勢を決定できる。次に、段階Ｓ１２３０で第２イメージ及び第３イメージに基づいてマーカーの位置を決定できる。

図１５は、図１４に示したオプティカルトラッキング方法Ｓ１２００でマーカーの姿勢を決定する段階Ｓ１２２０を示したフローチャートである。

図５を参考にすると、マーカーの姿勢を決定する段階Ｓ１２２０は、パターン面の全体領域内で第１イメージ７３０に含まれたパターンイメージ７３５の位置を決定し（Ｓ１２２１）、決定された位置に基づいて対象体の姿勢を決定できる（Ｓ１２２２）。

段階Ｓ１２２１で、プロセッサはパターンイメージから少なくとも１つのサブパターンを抽出できる。例えば、図４を参考にすると、プロセッサは結像装置によって取得されたパターンイメージから予め決定された大きさのパターンウィンドウ３４０を通じて少なくとも１つのサブパターン３５０を抽出できる。

このように少なくとも１つのサブパターンが抽出されれば、段階Ｓ１２２２で、プロセッサは、抽出された少なくとも１つのサブパターンに基づいてマーカーの姿勢を決定できる。具体的には、プロセッサはサブパターンのパターン内での位置を決定でき、以後、プロセッサは決定されたサブパターンのパターン内での位置に基づいてマーカーの姿勢を決定できる。即ち、プロセッサは決定されたサブパターンの全体パターン内での位置に基づいてマーカーの姿勢を決定できる。

図１６は、図１５に示したオプティカルトラッキング方法Ｓ１２００で、マーカーの位置を決定する段階Ｓ１２３０を示すフローチャートである。

マーカーの位置を決定する段階Ｓ１２３０は、図５を参考にすると、第２及び第３イメージ７４０、７５０内に結像された出射光イメージ７４５、７５５の基準座標をそれぞれ決定（Ｓ１２３１）し、それぞれ決定された基準座標及び出射光が指向する方向の間の幾何学的関係を用いて対象体の位置を決定（Ｓ１２３２）できる。

プロセッサは各出射光イメージ７４５、７５５の基準座標（例えば、開口領域の中心座標）と、第１及び第２結像部７１０、７２０がマーカー７０を見る方向

間の幾何学的関係を用いた三角法に基づいてマーカー７０の位置を決定できる。以上の実施例では、三角法を用いてマーカーの位置が決定されたが、これに限定されるわけではなく、三角法ではない他の位置決め方法が用いられ得る。

図１４を参照して説明された実施例で、プロセッサは、マーカーの位置を決定した後にマーカーの姿勢を決定する。他の実施例において、プロセッサはマーカーの位置を決定する前にマーカーの姿勢を決定することもできる。更に他の実施例において、プロセッサはマーカーの位置及び姿勢を並列的に処理して決定することもできる。

上記方法は特定の実施例を通じて説明されたが、上記方法はまた、コンピュータで読み出せる記録媒体にコンピュータが読み出せるコードとして実現することが可能である。コンピュータが読み出せる記録媒体はコンピュータシステムにより読まれることができるデータが格納される全ての種類の記録装置を含む。コンピュータが読み出せる記録媒体の例としてはＣＤ‐ＲＯＭ、ＵＳＢメモリ装置などがある。また、コンピュータが読み出せる記録媒体はネットワークで連結されたコンピュータシステムに分散し、分散方式でコンピュータが読み出せるコードが保存されて実行され得る。そして、上記実施例を実現するための機能的な（functional）プログラム、コード及びコードセグメントは、本開示の属する技術分野のプログラマーによって容易に推論されることができる。

本開示では本開示が一部実施例と関連して説明されたが、本開示の属する技術分野の当業者が理解することができる本開示の思想及び範囲を逸脱しない範囲で多様な変形及び変更がなされるという点を理解すべきである。また、そのような変形及び変更は本開示に添付の請求の範囲内に属すると考えられるべきである。

１、２：オプティカルトラッキングシステム
１０、３０：マーカー
１００、8００：結像装置
１１０、１２０、２７０、２８０、７１０、７２０、８１０、８２０：結像部
１１１、１２１、１３１：レンズ
１１２、１４２：レンズアレイ
１１３、１２３、８１３、８２３：イメージセンサ
１３０、７６０、８３０：プロセッサ
６００：ライトフィールドイメージ
７３０、９３０：第１イメージ
７４０、９４０：第２イメージ
７５０、９５０：第３イメージ
９６０：第４イメージ

Claims (15)

1. マーカーの位置及び姿勢をトラッキングするオプティカルトラッキングシステムであって、
   前記マーカーは、対象体に付着され得、開口に形成された光学系を通じて内部に形成されたパターン面が見えるように構成され、
   前記マーカーの少なくとも一部を結像してライトフィールドイメージを生成する第１結像部及び前記開口から放出された出射光を結像する第２結像部を含む結像装置と、
   前記ライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出されて前記パターン面の一部が結像された第１イメージに基づいて前記マーカーの姿勢を決定し、前記ライトフィールドイメージから前記無限大の焦点距離よりも近い焦点距離で結像されたイメージとして抽出された第２イメージ及び前記第１結像部へ向かう出射光と異なる方向で前記開口を通じて放出された出射光が前記第２結像部により結像された第３イメージに基づいて前記マーカーの位置を決定するプロセッサと、
   を含むオプティカルトラッキングシステム。
2. 前記プロセッサは、
   前記開口を通じて見える前記パターン面の一部が前記無限大の焦点距離で結像された前記第１イメージに基づいて前記マーカーの姿勢を決定する姿勢トラッキング部と、
   互いに異なる方向で前記開口を通じて放出された出射光がそれぞれ結像された前記第２イメージ及び前記第３イメージに基づいて前記マーカーの位置を決定する位置トラッキング部と
   を含む、請求項１に記載のオプティカルトラッキングシステム。
3. 前記第１イメージは、前記ライトフィールドイメージから前記無限大の焦点距離で結像されるように抽出されたイメージであって、前記パターン面の一部が識別可能に結像されたパターンイメージを含み、
   前記第２イメージは、前記ライトフィールドイメージから前記対象体の位置を含む所定範囲の焦点距離で結像されるように抽出されたイメージであって、前記第１結像部へ向かう出射光が結像された出射光イメージを含み、
   前記第３イメージは、前記第２結像部へ向かう出射光が結像された出射光イメージを含む、請求項２に記載のオプティカルトラッキングシステム。
4. 前記姿勢トラッキング部は、前記パターン面の全体領域内で前記パターンイメージの位置を決定し、前記決定された位置に基づいて前記対象体の姿勢を決定する、請求項３に記載のオプティカルトラッキングシステム。
5. 前記位置トラッキング部は、前記第２イメージ及び前記第３イメージ内に結像された前記出射光イメージの基準座標をそれぞれ決定し、前記それぞれ決定された基準座標及び前記マーカーと前記第１結像部及び前記第２結像部との間の幾何学的関係に基づいて前記対象体の位置を決定する、請求項３に記載のオプティカルトラッキングシステム。
6. 前記位置トラッキング部は、前記第２イメージ及び前記第３イメージに結像された前記出射光イメージの基準座標間の差に基づいて、前記マーカーの３次元空間上の位置を決定する、請求項５に記載のオプティカルトラッキングシステム。
7. 前記位置トラッキング部は前記第２イメージ及び前記第３イメージに基づいてステレオスコピックイメージを構成して前記マーカーの３次元空間上の位置を決定する、請求項３に記載のオプティカルトラッキングシステム。
8. マーカーの位置及び姿勢をトラッキングするオプティカルトラッキングシステムであって、
   前記マーカーは、対象体に付着され得、開口に形成された光学系を通じて内部に形成されたパターン面が見えるように構成され、
   前記マーカーの少なくとも一部を結像してそれぞれライトフィールドイメージを生成する第１結像部及び第２結像部を含む結像装置と、
   前記第１結像部により結像されたライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出されて前記パターン面の一部が結像された第１イメージに基づいて前記マーカーの姿勢を決定し、前記第１結像部により生成されたライトフィールドイメージから前記無限大の焦点距離よりも近い焦点距離で結像されたイメージとして抽出された第２イメージ及び前記第２結像部により生成されたライトフィールドイメージから前記無限大の焦点距離よりも近い焦点距離で結像されたイメージとして抽出された第３イメージに基づいて前記マーカーの位置を決定するプロセッサと
   を含む、オプティカルトラッキングシステム。
9. 前記第１イメージは、前記第１結像部により結像されたライトフィールドイメージから前記無限大の焦点距離で結像されるように抽出されたイメージであって、前記パターン面の一部が識別可能に結像されたパターンイメージを含み、
   前記第２イメージは、前記第１結像部により結像されたライトフィールドイメージから前記対象体の位置を含む所定範囲の焦点距離で結像されるように抽出されたイメージであって、前記第１結像部へ向かう出射光が結像された出射光イメージを含み、
   前記第３イメージは、前記第２結像部により結像されたライトフィールドイメージから前記所定範囲の焦点距離で結像されるように抽出されたイメージであって、前記第２結像部へ向かう出射光が結像された出射光イメージを含む、請求項８に記載のオプティカルトラッキングシステム。
10. 前記プロセッサは、前記パターン面の全体領域内でパターンイメージの位置を決定し、前記決定された位置に基づいて前記対象体の姿勢を決定し、
    前記プロセッサは、前記第２イメージ及び前記第３イメージ内に結像された出射光イメージの基準座標をそれぞれ決定し、前記それぞれ決定された基準座標及び前記マーカーと前記第１結像部及び前記第２結像部との間の幾何学的関係に基づいて前記対象体の位置を決定する、請求項８に記載のオプティカルトラッキングシステム。
11. 前記第２結像部は、前記第２結像部により生成されたライトフィールドイメージから前記無限大の焦点距離で結像されるように抽出されたイメージとして前記パターン面の一部が識別可能に結像されたパターンイメージを含む第４イメージを前記プロセッサへ伝送し、
    前記プロセッサは、前記パターン面の全体領域内で前記第４イメージ内に結像された前記パターンイメージの位置を決定し、前記決定された位置に基づいて前記対象体の姿勢を決定し、
    前記プロセッサは、前記第１イメージから決定された前記対象体の姿勢及び前記第４イメージから決定された前記対象体の姿勢の平均値に基づいて前記対象体の姿勢を決定する、請求項１０に記載のオプティカルトラッキングシステム。
12. 前記プロセッサは、前記第１イメージ内に結像されたパターンイメージから前記対象体の位置及び姿勢を決定する、請求項８に記載のオプティカルトラッキングシステム。
13. マーカーの位置及び姿勢をトラッキングするオプティカルトラッキング方法であって、
    前記マーカーは、対象体に付着され得、開口に形成された光学系を通じて内部に形成されたパターン面が見えるように構成され、
    第１結像部により結像されたライトフィールドイメージから無限大の焦点距離で結像されたイメージとして抽出されて前記パターン面の一部が識別可能に結像されたパターンイメージを含む第１イメージ、前記ライトフィールドイメージから前記無限大の焦点距離よりも近い焦点距離で結像されたイメージとして抽出されて前記開口を通じて第１方向に放出された出射光が結像された第２イメージ、第２結像部により前記開口を通じて前記第１方向と異なる第２方向に放出された出射光が結像された第３イメージを結像する段階と、
    前記第１イメージに基づいて前記マーカーの姿勢を決定する段階と、
    前記第２イメージ及び第３イメージに基づいて前記マーカーの位置を決定する段階と
    を含むオプティカルトラッキング方法。
14. 前記マーカーの姿勢を決定する段階は、
    前記パターン面の全体領域内で前記第１イメージに含まれた前記パターンイメージの位置を決定する段階と、
    前記決定された位置に基づいて前記対象体の姿勢を決定する段階と
    を含む、請求項１３に記載のオプティカルトラッキング方法。
15. 前記マーカーの位置を決定する段階は、
    前記第２イメージ及び前記第３イメージ内に結像された出射光イメージの基準座標をそれぞれ決定する段階及び
    前記それぞれ決定された基準座標及び前記出射光が指向する方向の間の幾何学的関係を用いて前記対象体の位置を決定する段階と
    を含む、請求項１３に記載のオプティカルトラッキング方法。