JP2022528202A - 位置合わせ方法およびセットアップ - Google Patents

Abstract

本発明は、位置検出システムに関連して物体の位置および配向を決定するための位置合わせ方法に関し、方法は、－少なくとも１つの動きセンサおよび／または少なくとも１つの位置センサを含む画像センサユニットを用いて、物体の表面の画像を捕捉するステップと、－その動きセンサによって提供される動きセンサ信号および／またはその位置センサによって提供される位置信号を処理することによって、位置検出システムの座標系における画像センサユニットの捕捉位置を決定するステップと、－捕捉画像から物体の表面モデルをフォトグラムで生成するステップと、－フォトグラム生成表面モデルを、位置検出システムの座標系に変換するステップと、を含む。

Description

本発明は、位置検出システムに関連して物体の位置および配向を決定するための位置合わせ方法および位置合わせセットアップに関する。

例えば、医療分野では、例えば、外科手術器具などの器具のナビゲーションを支持する位置検出システムは、それ自体が既知である。こうした位置検出システムは、光学式、超音波ベース、または電磁式の位置検出システムであり、位置検出システムに対する位置センサの位置および配向を検出するための役割を果たし得る。

例えば、電磁位置検出システムは、既知であり、ここで、磁場発生器が交流電磁場を生成し、コイルを含む位置センサが用意されている。交流電磁場によってコイル内に誘導される電流は、交流電磁場に対するそれぞれのコイルの配向に依存する。移動可能な器具が、例えば、センサコイルの形態で、こうした位置センサを装備している場合、例えば、同様にコイルを含むことができる、基準センサに対する器具の配置および場所を決定することができる。こうした基準センサは、好ましくは、患者の身体部分（または他の異なる物体）に強固に接続されている。

患者の体内で外科手術器具を操作する外科医を支持するために、位置センサを有する外科手術器具の位置は、通常、こうした位置検出システムによって検出され、器具の位置は、断層撮影によって取得された身体部分の断面画像中に表示される。

これが正常に機能するためには、器具の位置センサによって供給される位置値を患者の断層画像の座標に移動させなければならない。例として、患者の断層画像から身体部分の表面のトポグラフィー画像を生成する慣行は、トポグラフィー画像の表面上の点（以下、モデル表面とも呼ぶ）を、それぞれ、ポインター器具または感知器具によって接触される実際の身体部分の表面上の点と相関させるために知られている。したがって、位置検出システムによって検出される位置値をモデル座標に変換するための変換規定を、位置合わせ方法の範囲内で生成することができる。この目的のために、複数の点は、身体部分の実表面上に感知され、関連する位置値は、実表面上の点を表すが、モデル表面上の点と相関し、一方で、相互に対するそれらの相対位置は、これが可能な限り最小の誤差をもたらすような方法で維持される。ここでのトポグラフィーモデルとも呼ばれるトポグラフィー画像の座標、したがって、さらにトモグラフィー画像またはモデルの座標に検出された位置値がどのように変換されるかを指定する変換規定が、ここから現れる。

患者位置合わせは、動作中に検出された位置データを、手術前に取得された画像データの中の位置情報、例えば、断層撮影などに対応するようにするための変換関数の確立を指す。例として、上述のように、患者位置合わせの目的のために、患者モデルが検出され、位置合わせ方法の範囲内において、そこから検出された位置データおよび患者モデルを、手術前に取得された画像データに関連する位置情報に対応するようにする、変換関数が確立される。

いわゆる位置合わせと呼ばれる変換関数を決定する目的で、モデルおよび画像データ（例えば、断層撮影によって取得された）中の同じ幾何学的特徴が、それぞれの座標系内に確立される。次に、２つの座標系は、これらの特徴によって相関される。ポインター器具による表面位置合わせは、概して広範である。ここで、患者の皮膚表面は、対応する特徴としての役割を果たす。皮膚表面は、手術中にポインター器具によって感知され、画像データから抽出された皮膚表面と対応付けられる。

また、非触覚位置合わせ方法が記載されている。

ＵＳ９２０８５６１（Ｂ２）に記載されるような非触覚位置合わせ方法によって、患者画像データを位置合わせし、基準センサとして画像センサユニット（モノフォーカルカメラまたは３Ｄカメラ）を使用する。画像センサユニットは、皮膚表面の表面モデルを生成し、基準センサを光学的に検出し、その位置を皮膚表面モデルに関連付ける。基準センサも位置検出システムによって追跡されるので、表面モデルの座標系から位置検出システムの座標系への皮膚表面モデル点の変換を決定し、それによって、患者画像データへの位置合わせを計算することができる。

別の非触覚位置合わせ方法は、光学位置検出システムと強固に組み合わされた構造化された光またはレーザーエミッタ／レシーバユニットを使用する。光学位置検出システムは、多くの場合、光エミッタ／レシーバユニットと、光エミッタ／レシーバユニットによって放射される光を反射するように構成される位置センサと、を含む。次いで、エミッタ／レシーバユニットは、位置センサの位置および配向を取得することができる、反射光を検出する。このように、構造化された光またはレーザーエミッタ／レシーバユニットによって生成される表面モデルは、光学位置検出システムの座標系で既知である。

米国特許第９，２０８，５６１号公報

本発明の目的は、改善された非触覚位置合わせ方法および改善された位置合わせセットアップを提供することである。

位置合わせ方法に関して、この物体は、位置検出システムに関連して物体の位置および配向を決定するための位置合わせ方法によって達成され、方法は、
－少なくとも１つの動きセンサおよび／または少なくとも１つの位置センサを含む画像センサユニットを用いて、物体の表面の画像を捕捉するステップと、
－その動きセンサによって提供される動きセンサ信号および／またはその位置センサによって提供される位置信号を処理することによって、画像センサユニットの捕捉位置を決定するステップと、
－捕捉画像から物体の表面モデルをフォトグラムで生成するステップと、
－フォトグラム生成表面モデルを、位置検出システムの座標系に変換するステップと、を含む。

本明細書のフレームワーク内で、用語「捕捉位置」は、物体の画像を捕捉するときの画像センサユニットの位置を指す。例えば、用語「捕捉位置」は、画像を捕捉するときの画像センサユニットの一部であるカメラの入口瞳孔の位置を指す。

これらのステップのうち、「画像センサユニットで物体の表面の画像を捕捉すること」、「画像センサユニットの捕捉位置を決定すること」、および「捕捉画像から物体の表面モデルをフォトグラムで生成すること」からなる一連のステップシーケンスは、無関係である。したがって、まず、物体の表面の画像を撮影し、その後にのみ、画像センサユニットの捕捉位置を決定することができる。物体の表面モデルをフォトグラムで生成した後に、画像センサユニットの捕捉位置を決定することでさえ可能である。しかしながら、画像センサユニットの捕捉位置は、フォトグラム生成表面モデルを位置検出システムの座標系に変換するために必要である。これについて以下でより詳細に説明する。

本発明は、例えば、ポインター器具との接触中に変形する可能性のある患者の軟質の皮膚を原因とする、ポインター器具による既知の位置合わせ方法の場合に生じる問題を回避することができる利点を、一般的に非触覚位置合わせ方法が有するという認識を含む。さらに、表面モデルの光学的生成は、身体の一部または物体の表面のより大きな部分を同時検出することを可能にするため、位置合わせはまた、より迅速にかつ同時に、より正確に行うことができる。

表面の画像を捕捉するときに、画像センサユニットを物体の表面から十分な距離に配置することが好ましい。これは、典型的には、電磁位置検出システムの電磁場が、電磁位置検出システムによって画像センサユニットの位置の決定を可能にするために、画像センサユニットの捕捉位置で弱すぎることを意味している。

位置検出システムに対する物体の位置および配向を決定するための一般的な概念は、以下のように説明することができる。

好ましくは、物体の表面モデルは、画像センサユニットによってフォトグラムで生成される。表面モデルは、点群によって表されてもよく、点群の点の座標は、表面モデルの座標系で画定される。表面モデルの座標系は、画像センサユニットの固有座標系、またはより正確には、画像センサユニット内に含まれるカメラである。好ましくは、表面モデルの座標系は、その原点が、メイジセンサユニットのカメラの入口瞳孔の位置にあるように画定される。

物体の表面を表す点群の点は、表面モデルの座標系および位置検出システムの座標系の両方で座標を有する。

捕捉画像から表面モデルをフォトグラムで生成することによって、点群の点の座標が、表面モデルの座標系で最初に取得される。位置検出システムの座標系における点群のこれらの点を表す座標は、変換によって取得され得る。

こうした変換を実施するために、表面モデルの座標系に画定される点群の点のそれぞれの座標を、位置検出システムの座標系の座標に変換するために、変換関数を用いることができる。変換関数は、変換行列を含んでもよく、または変換行列によって表されてもよい。

画像センサユニットの座標系の座標を位置検出システムの座標系の座標に変換するための変換関数を取得するために、画像を捕捉する瞬間の画像センサユニットの位置および配向が必要である。これは、画像センサユニットの座標系が、画像センサユニット上、特に画像センサユニットの入口瞳孔の中心にあるためである。

画像センサユニットの位置、すなわち、位置検出システムの座標に関する捕捉位置は、画像センサユニット上に配置される、センサ、例えば、動きセンサまたは位置センサによって取得され得る。典型的には、こうしたセンサは、画像センサユニットの入口瞳孔に対してオフセットを有する。したがって、その原点での捕捉位置を有する画像センサユニットの座標系は、捕捉位置の座標が非自明ベクトルによって画定される、動きセンサおよび／または位置センサの座標系に対するオフセットを有する。こうしたオフセット（すなわち、ベクトル）は、キャリブレーションによって決定され得、画像センサユニットの座標系の座標に関して、または画像センサユニット上に配置されるセンサのセンサの座標系の座標に関して表現され得る。したがって、キャリブレーションによって、動きセンサおよび／または位置センサの座標系における捕捉位置の座標を決定することができる。次に、画像センサユニットの座標系は、その原点（表面モデルの座標系における捕捉位置である）を、動きセンサおよび／または位置センサの座標系における捕捉位置の座標に「取り付ける」ことができる。

それによって、表面モデルの点群の点を表す表面モデルの座標系における座標は、動きセンサまたは位置センサの座標系を介して、位置検出システムの座標系に変換され得る。

本発明による位置合わせ方法の好ましい変形例を以下に記載する。

画像センサユニットが位置センサを含む場合、画像センサユニットの並進運動および回転は、位置センサの位置および配向を検出することによって決定され得る。したがって、位置センサの座標系における捕捉位置の座標およびその配向は、位置検出システムの座標系で直接的に決定され得る。位置センサの座標系の配向から、画像センサユニットの回転を決定することができる。

画像センサユニットが、動きセンサ（位置センサなし）のみを含む場合、画像センサユニットの並進運動および回転は、位置検出システムに関連して間接的に決定され得る。画像センサユニットの位置および配向の間接的な決定を可能にする１つの方法は、位置検出システムの座標系で既知の座標のある位置から、またはその位置への経路に沿って、画像センサユニットを移動させることである。動きセンサの経路上の点は、位置検出システムの座標系におけるこの既知の位置と相関することができる。したがって、画像センサユニットの並進移動および回転は、位置検出システムの座標系に対する動きセンサの座標系の位置および配向を検出することによって決定され得る。それによって、位置検出システムの座標系に対する動きセンサの座標系の位置および配向を決定することができる。動きセンサを入口瞳孔の位置に対してキャリブレーションすることによって、動きセンサの座標系における捕捉位置の座標を決定することができる。これから、検出システムの座標系における捕捉位置の座標を決定することができる。

動きセンサおよび／または位置センサの座標系は、画像センサユニットのカメラと、画像センサユニット上に配置された動きセンサおよび／または位置センサとの間の相対的な距離および配向が一定のままであるような表面モデルの座標系との固定関係を有する。したがって、キャリブレーションベクトルは、動きセンサおよび／または位置センサの表面モデルの座標系と座標系との間のオフセットを表すように決定され得る。これは、カメラ、例えば、動きセンサおよび／または位置センサに対するカメラの入口瞳孔の位置をキャリブレーションすることによって行うことができる。キャリブレーションは、表面モデルの座標系と動きセンサまたは位置センサの座標系との間の変換関数を決定することを含み得る。それによって、動きセンサおよび／または位置センサの座標系における捕捉ポーションの座標を決定することができる。

特に、画像センサユニットが位置検出システムに比較的近い位置にある場合、捕捉位置は、画像センサユニットに取り付けられた位置センサを使用することによって決定され得、位置検出システムと位置付けられて、画像センサユニットの位置および配向を局在化することができる。画像センサユニットの入口瞳孔の位置に対して位置センサをキャリブレーションした後、位置センサの座標系における決定された捕捉位置の座標を、位置検出システムの座標系に変換することができる。これらの実施形態では、画像センサユニットの位置および配向は、電磁または光学位置検出システムを用いて直接的に追跡され得る。しかしながら、画像センサユニットの捕捉位置を決定するために位置センサのみを使用することは、電磁位置検出システムの電磁場が弱すぎる、すなわち、位置検出システムの作業空間の外側にある捕捉位置を決定することを可能にするものではない。

したがって、画像センサユニットが位置センサを含み、画像センサユニットがさらに動きセンサを含む、これらの実施形態の一部において、有益である。画像センサユニットが、位置センサおよび動きセンサの両方を含む場合、位置センサを使用して、例えば、画像センサユニットが移動する、ユーザが選択した経路の開始位置を決定することができる。次に、画像センサユニットが移動する経路は、位置センサもしくは動きセンサのいずれか、またはその両方のセンサで追跡され得る。

代替的にまたは追加的に、捕捉位置は、画像センサユニットから局在化されている位置検出システムの座標系内の位置および配向を検出するための位置センサを使用することによっても決定され得る。こうした基準位置センサは、物体自体に取り付けられてもよく、または物体に対して相対距離で配置されて、その結果、物体の画像を捕捉するときに、基準位置センサは、物体と一緒にその画像中で可視的である。次に、基準位置センサは、位置検出システムの座標系における座標に対するその画像内の基準を提供し、それによって、位置検出システムの座標系における座標に表面モデル上の点を相関させることを可能にする。それによって、表面モデルの任意の点の座標を、位置検出システムの座標系のそれぞれの座標に変換することができる。このアプローチはまた、画像センサユニットが位置センサおよび／または動きセンサを含む、位置合わせ方法の実施形態と組み合わせることができる。

代替的にまたは追加的に、捕捉位置はまた、画像センサユニットを、例えば、位置検出システムの座標系で既知である画像センサユニットホルダの位置によって画定される予め画定された位置に固定することによって決定され得る。予め画定された位置はまた、画像センサユニットを電磁位置検出システムのフィールドジェネレータに直接的に取り付けることによって画定され得る。画像センサユニットが、位置検出システムの座標系で既知の座標を有する予め画定された位置に固定されると、画像が捕捉され得る。次に、捕捉位置を、予め画定された位置、例えば、ホルダ内に含まれる位置センサの位置に対してキャリブレーションすることができる。次いで、位置検出システムの座標系における捕捉位置の座標を決定することができる。予め画定された位置に固定される画像センサユニットはまた、位置センサおよび／または動きセンサ自体を含み得る。また、物体に取り付けられるか、または物体に対して配置される基準位置センサが、物体と一緒に捕捉画像上に可視的であるように、画像を捕捉することができる。

本発明による位置合わせ方法の様々な実施形態では、特に、画像センサユニットが位置センサを含む位置合わせのこうした実施形態では、位置合わせ方法は、
－位置検出システムとは無関係に、経時的な線形加速度および／または回転速度を検出するための少なくとも１つの動きセンサを含む、少なくとも１つの画像センサユニットを提供するステップを含み得る。

画像センサユニットが、動きセンサを含むこれらの様々な実施形態のうちのいくつかの実施形態において、「画像センサユニットの捕捉位置を決定する」ステップは、
－位置検出システムに対する空間経路に沿って、画像センサユニットを移動させるサブステップと、
－動きセンサによって提供される動きセンサ信号を処理することによって、画像センサユニットのその経路を記録するサブステップと、
－その決定された経路の少なくとも１つの点を、位置検出システムの座標系内の座標に関連付けるサブステップと、
－決定された経路ならびに決定された経路およびその座標上の少なくとも１つの点の既知の空間関係に基づいて、画像センサユニットの捕捉位置を決定するサブステップと、を含む。

これらのサブステップは、位置検出システムに対してその画像センサユニットを移動させながら、画像センサユニットの位置を決定することを指す。これらのサブステップは、画像が捕捉される前に、または画像が捕捉された後に実施され得る。

画像センサユニットが移動する経路は、ユーザによって選択されてもよく、すなわち、特定の所定の経路に従う必要はない。

位置検出システムの座標系内の座標にその決定された経路の少なくとも１つの点を関連付けるサブステップ、ならびに決定された経路および決定された経路およびその座標上の少なくとも１つの点の既知の空間関係に基づいて、物体の画像が捕捉される画像センサユニットの捕捉位置を決定するサブステップは、位置検出システムの座標系における記録された経路の位置および配向を決定するのに役立つ。特に、位置検出システムの座標系内の座標にその決定された経路の少なくとも１つの点を関連付けるサブステップは、画像が捕捉されたかどうかとは無関係に機能する。したがって、画像センサユニットの経路は、画像を捕捉することなく、またはその前に記録され得る。しかしながら、特に位置検出システムの座標系における捕捉位置を決定するために、画像センサユニットが捕捉位置へ、またはそれから離れるように移動された経路が決定されること、および決定された経路上の少なくとも１つの点と、位置検出システムの座標系における座標との空間関係が既知であることが必要とされる。

その決定された経路の少なくとも１つの点を、位置検出システムの座標系内の座標に関連付けることは、様々な方法で達成され得る。例えば、位置検出システムの座標系内の既知の位置から経路に沿って画像センサユニットを移動させることによって、座標系の座標への経路の一点間の空間関係を確立することが可能である。画像センサユニットが、位置検出システムの座標系における既知の座標を有する位置に到達すると、位置検出システムの座標系における座標と、その決定された経路の少なくとも１つの点との間の既知の空間関係が確立される。既知の位置にあるとき、動きセンサは、リセットされ得る。

少なくとも１つの捕捉画像から物体の表面モデルをフォトグラムで生成するステップは、画像を捕捉されたことのみを必要とし、画像が捕捉された後に適宜実施され得る。

画像センサユニットが動きセンサを含む様々な実施形態だけでなく、画像センサユニットが追加の位置センサを含む位置合わせ方法の他の変形において、「フォトグラム生成表面モデルを位置検出システムの座標系に変換する」ステップは、
－生成表面モデルの少なくとも１つの点を、キャリブレーションによって、動きセンサおよび／または位置センサの座標系内の座標に関連付けるサブステップを含む。

写真測量については、カメラの入口瞳孔（前結節点としても知られる）は、典型的には、表面モデルのフォトグラム生成の参照として選択される。画像センサユニットの入口瞳孔は、画像センサユニット内に含まれる動きセンサおよび／または位置センサに対する固定の相対距離および配向を有する。これにより、画像センサユニットの座標系とセンサの座標系との間のオフセットが生じる。このオフセットは、キャリブレーションによって決定され得る。

捕捉位置、例えば、入口瞳孔の位置は、好ましくは、画像センサユニットの座標系の原点として設定される。画像センサユニットと位置または動きセンサとの間のオフセットを決定することによって、動きセンサおよび／または位置センサの座標系における捕捉位置を決定することができる。

それによって、画像センサユニットの座標系内の座標によって最初に画定されるような生成表面モデルの点は、センサの座標系のそれぞれの座標に関連し、次に、位置検出システムの座標系のそれぞれの座標に関連付けられ得る。

このサブステップでは、表面モデルが生成され、したがって、画像を捕捉する必要がある。このサブステップは、表面モデルが生成された後、適宜実施され得る。

好ましくは、生成表面モデルの少なくとも１つの点を、動きセンサおよび／または位置センサの座標系における座標に関連付けるこのサブステップは、
－キャリブレーションによって、動きセンサおよび／または位置センサの座標系と画像センサユニットの座標系との間の座標の変換について、変換関数が決定されることと、
－画像センサユニットの捕捉位置の座標が、動きおよび／または位置センサの座標系でそれぞれ決定されることと、を含む。

結果として、動きセンサおよび／または位置センサの座標系における捕捉位置の座標が取得される。動きセンサおよび／または位置センサの位置および配向、ならびにしたがって、センサの座標系が位置検出システムの座標系に関連して既知である（または決定され得る）ので、位置検出システムの座標系における捕捉位置の座標も決定され得る。変換関数を使用することによって、表面モデルの（画像センサユニットの）座標系におけるフォトグラム生成表面モデルの座標は、位置検出システムの座標系に変換され得る。

特に、画像センサユニットが動きセンサを含む様々な実施形態による位置合わせ方法によって、現在の非触覚位置合わせ方法の限界を克服することができる。例えば、ＵＳ９２０８５６１（Ｂ２）に記載されるような非触覚位置合わせ方法は、位置検出システムの座標系における位置および配向を検出するための位置センサが、画像センサユニットに結合されるか、または画像センサユニットによって構成されることを必要とする。位置センサによって、画像センサユニットの位置および配向は、位置検出システムの座標系で直接的に決定され得る。

本発明は、画像センサユニットが位置センサに結合されるか、または位置センサを含むこうした現在の非触覚位置合わせ方法が、位置センサが位置検出システムによって実際に確実に検出され得る場合にのみ機能するというさらなる認識を含む。結果として、こうした非触覚位置合わせ方法の適用は、典型的には、位置検出システムの作業空間に限定される。位置検出システムの作業空間は、例えば、位置検出システムの光学または電磁場が、特定の電界強度を有し、位置センサの位置および配向を確実に決定するために十分に均質である、空間である。しかしながら、位置センサに結合される、または位置センサを含む画像センサユニットが、位置検出システムの光学もしくは電磁場の作業空間がかなり弱いか、または作業空間がかなり不均一である位置検出システムから離れている場合、現在の非触覚位置合わせ方法は、正確性を失うことが予想され、もはや信頼性のある方法で適用されない可能性がある。

画像センサユニットが少なくとも１つの動きセンサを含む様々な実施形態による位置合わせ方法では、画像センサユニット自体が位置センサを含むか、または位置センサに結合される必要はない。加速度計もしくはジャイロスコープ、またはまた磁気計からなる慣性センサなどのいくつかの動きセンサを含む、動きセンサまたは好ましくは、動きセンサ配置で、直線加速度および移動体の回転速度が検出され得る。動きセンサは、経時的に検出された直線加速度および回転速度を表す動きセンサ信号を提供する。例えば、動きセンサ信号は、例えば、追跡ユニットによって統合されて処理され、それゆえ、画像センサユニットが移動した経路を決定することができる。画像センサユニットが位置検出システムに対して移動する経路は、経時的な一連の場所を含む。特に、この経路は、位置検出システムに対して自由に選択される経路である。動きセンサによる画像センサユニットの動きの追跡は、位置検出システムとは独立して機能する。

動きセンサは、位置検出システムとは独立して機能するが、特に、画像センサユニットが少なくとも１つの動きセンサを含む様々な実施形態による非触覚位置合わせ方法では、位置検出システムに関連して物体の位置および配向を決定することは依然として可能である。これは、画像センサユニットが移動する経路が、動きセンサによって提供される動きセンサ信号を処理することによって記録されるので、およびその決定された経路の少なくとも１つの点が、位置検出システムの座標系内の座標に関連するので達成される。それによって、決定された経路の少なくとも１つの点について、位置検出システムの座標系内の座標を決定することができる。位置検出システムに関連して物体の位置および配向を決定するために、特に、物体の画像が画像センサユニットによって捕捉される捕捉位置は、位置検出システムの座標系内で決定される必要がある。位置検出システムの座標系内の動きセンサを含む画像センサユニットの捕捉位置を決定する際に、画像センサユニットの決定された経路、ならびに決定された経路およびその座標上の少なくとも１つの点の既知の空間関係は、少なくとも既知でなければならない。

さらに、動きセンサの位置、またはセンサ配置の場合、動きセンサは、画像センサユニットのカメラの入口瞳孔に対してキャリブレーションされなければならない。画像センサユニットが２つ以上のカメラを含む場合、または１つのカメラが２つ以上の入口瞳孔を含む場合、複数の入口瞳孔は、互いに、および１つ以上の動きセンサに対してキャリブレーションされなければならない。１つ以上の位置センサなどのさらなるセンサも、画像センサユニット内に含まれる場合、入口瞳孔がまた、これらの位置センサに対してキャリブレーションされなければならない。キャリブレーションは、２つの要素、例えば、入口瞳孔および／またはセンサの座標系間の変換に対する変換関数の決定を指す。これらの変換関数は、典型的には、例えば、画像センサユニットに取り付けた後にそれぞれの入口瞳孔および／またはセンサ間の相対距離および配向が変化しないため、一度決定されなければならない。

この点において、画像センサユニットは、光学ステレオグラフィックカメラもしくは光学マルチカメラまたは飛行時間カメラなどの３－Ｄカメラを含むことが好ましいことが、既に強調されている。

捕捉位置で捕捉画像から、表面モデルがフォトグラムで生成される。次に、この表面モデルの点は、キャリブレーションによって、動きセンサおよび／または位置センサの座標系の座標に関連付けられる。これは、動きセンサおよび／または位置センサの座標系の座標を、表面モデルの座標系の対応する座標に変換するために、変換関数が決定されることを含むことができる。

キャリブレーションの後、表面モデルの座標系に画定された表面モデル上の点を、位置検出システムの座標系の座標に割り当てることができる。特に、表面モデルの座標系に画定される表面モデル上の点は、その経路上の少なくとも１つの点に対する既知の空間関係を有する位置検出システムの座標系の座標に割り当てられ得る。こうした空間関係は、位置検出システムの座標系で既知の位置から、またはその位置へと画像センサユニットを移動することによって確立され得る。キャリブレーション後、生成表面モデルを、位置検出システムの座標系に変換し、それゆえに座標系に位置合わせすることができる。

本発明による非触覚位置合わせ方法、特に、画像センサユニットが動きセンサを含む様々な実施形態による位置合わせ方法では、位置検出システムに対する物体の位置および配向を高精度に決定することが可能である。さらに、位置合わせ方法は、比較的容易かつ迅速、特に、画像センサユニットが動きセンサを含む様々な実施形態に関して、位置検出システムの作業空間に空間的限定されることなく、実施され得る。したがって、それは、位置検出システムに対する物体の位置および配向が依然として信頼できる様式で決定され得る一方で、位置検出システムの作業空間から比較的自由に独立して、画像センサユニットを移動させることができる位置合わせ方法の特定の利点である。これにより、したがって、最も適した捕捉位置で物体の画像を捕捉することができる。多くの場合、最も適切な捕捉位置は、位置検出システムの作業空間の外側に位置してもよく、今では確実にアクセス可能である。

好ましくは、カメラの入口瞳孔の位置は、画像センサユニット内に含まれるセンサの位置に対してキャリブレーションされる。センサの位置および配向は、位置検出システムに関連して決定され得るため、画像センサユニットの座標系での捕捉位置の座標を、位置検出システムの座標系に変換することができる。

画像を捕捉するときのセンサの位置は、経路の開始点または終了点であってもよいが、軌道の開始点と終了点との間にある経路上の任意の他の点にも対応し得る。

位置検出システムの座標系における決定された経路およびその座標上の少なくとも１つの点の既知の空間関係は、決定された経路上の少なくとも１つの点から、位置検出システムの座標系におけるその座標との相対距離であることができる。位置検出システムの座標系におけるその座標は、画像センサユニットを移動させる前に先験的に既知であるか、または画定されていることが好ましい。例えば、画像センサユニットが、位置検出システムの座標系で既知の位置から、またはその位置に移動する場合、位置検出システムの座標系内の座標と、その決定された経路の少なくとも１つの点との間の既知の空間関係が確立される。この既知の空間関係および位置検出システムに対する経路の既知の配向から、記録された経路上の任意の他の点を、位置検出システムの座標系に変換することができる。

好ましくは、位置検出システムの座標系における座標に、その決定された経路の少なくとも１つの点を関連付けることによって、位置検出システムの座標系における座標への経路の少なくとも１つの点からの相対距離、ならびに位置検出システムの座標系におけるその経路の配向が取得される。いくつかの実施形態では、これは、その決定された経路の少なくとも２つの点を、位置検出システムの座標系の異なる座標に各々関連付けることを必要とする。決定された経路の少なくとも１つの点から位置検出システムの座標系における座標までの相対距離、ならびに位置検出システムの座標系における経路の配向から、経路上の任意の点の相対距離、および特に、画像を捕捉するときのセンサの位置は、位置検出システムの座標系で決定され得る。

本発明による位置合わせ方法は、光学、電磁、または超音波ベースの位置検出システムなどの異なる位置検出システムを用いて実行され得る。しかしながら、本発明による位置合わせ方法は、電磁位置検出システムを用いて実行されることが好ましい。

経路上の少なくとも１つの点に対する既知の空間関係を有する座標は、例えば、フィールドジェネレータ、または位置検出システム自体の光源の位置によって画定され得る。例えば、フィールドジェネレータの位置は、電磁位置検出システムによってスパンされる座標系の原点とみなすことができる。経路上の少なくとも１つの点に対して既知の空間関係を有する座標はまた、フィールドジェネレータまたは光源に対して距離を置いて、例えば、固定位置に置かれた位置センサの位置によって画定され得る。こうした位置センサは、物体に取り付けることができる。位置センサはまた、画像センサユニット用の画像センサユニットホルダに含むことができる。座標は、位置センサが接触点内に含まれる経路上の少なくとも１つの点に対する既知の空間関係を有する。画像センサユニットは、接触点に移動させ、それに接触させることができる。画像センサユニットを経路に沿って接触点から離れて移動させるときに、経路上の各点は、好ましくは、接触点、特に、接触点の位置センサと相関させることができる。画像センサユニット自体が位置センサを含む場合、経路上の少なくとも１つの点に対する既知の空間関係を有する座標はまた、位置センサ、およびしたがって、位置検出システムの座標系内で検出される画像センサユニットの特定の位置または記録された経路によって画定され得る。例えば、画像センサユニット自体が、位置検出システムの座標系における位置および配向を検出するための位置センサをさらに含む場合、位置センサの任意の位置は、経路上の少なくとも１つの点に対する既知の空間関係を有する座標として画定され得る。この座標から開始すると、画像センサユニットは、動きセンサによって提供される動きセンサ信号を処理することによって記録される経路に沿って移動することができる。

少なくとも１つの捕捉画像からフォトグラムで生成される物体の表面モデルは、画像センサユニットによって、または代替的に、それぞれの位置合わせセットアップの一部である位置決定ユニットによって計算され得る。

画像が捕捉される物体は、患者の身体部分、例えば、患者の顔であってもよい。

画像センサユニットが、動きセンサを含む様々な実施形態の一部の実施形態では、画像センサユニットは、位置検出システムの座標系で既知である位置のその座標で開始され、画像が捕捉されるセンサの位置で終了する経路に沿って移動する。好ましくは、次に、画像が捕捉されるセンサの位置が、記録された経路およびその経路の開始点の少なくとも既知の空間関係およびその座標系に基づいて、位置検出システムの座標系において決定される。

画像センサユニットの移動が開始する位置検出システムの座標系における座標は、位置検出システムの作業空間内にある。画像センサユニットは、作業空間の外側の位置であっても、この既知の位置から離れて移動することができる。画像センサユニットが移動する経路は、既知の開始位置から始まるため、位置検出システムの座標系における経路の配向が既知の場合、経路上の任意の点から既知の開始位置への相対距離を計算することができる。これは、経路上の任意の点、特に、この経路上にある画像が捕捉される位置検出システムに対する任意のセンサ位置を、位置検出システムの座標系で決定することができることを意味する。経路の小部分は、作業空間の外側にあり、なおかつ静止していてもよい。これは、パッチが、動きセンサによって提供される動きセンサ信号を処理することによって記録されるため、作業空間の外側にある経路上の任意の点が、位置検出システムの座標系でも決定され得る。特に、位置検出システムの作業空間の外側にある捕捉位置がまた、依然として位置検出システムの座標系内で決定され得る。

画像センサユニットが、動きセンサを含む様々な実施形態の一部の代替の実施形態では、画像センサユニットが移動する経路は、捕捉位置から始まり、位置検出システムの座標系のその既知の座標で終了し、画像が捕捉された後、画像センサユニットはこの経路に沿って移動する。好ましくは、次に、捕捉位置が、記録された経路およびその経路の終了点の少なくとも既知の空間関係およびその座標系に基づいて、位置検出システムの座標系において決定される。

これらの代替の実施形態では、画像センサユニットを移動させ、画像を捕捉するステップは、画像センサユニットが位置検出システムの座標系におけるその座標で開始し、捕捉位置で終了する、経路に沿って移動する前述の実施形態と比較して逆の順序である。前述の実施形態およびこれらの代替的な実施形態の両方は、同じ結果をもたらすことができる。

画像センサユニットが動きセンサを含む様々な実施形態のこれらの代替的な実施形態ではまた、捕捉位置は、位置検出システムの作業空間の外側に位置し得る。しかしながら、捕捉位置からこの経路の終了点を示す位置検出システムの座標系におけるその座標までの経路は、動きセンサによって提供される動きセンサ信号を処理することによって記録されるので、位置検出システムの座標系における経路の配向が既知である場合、任意の点から、特に捕捉位置から終了点までの相対距離は、画像を捕捉した後の動きセンサ信号に基づいて計算され得る。

画像センサユニットを位置検出システムの座標系内の既知の位置に、またはそこから移動させることにより、位置検出システムの座標系と動きセンサの移動の経路との間の空間関係が確立される。一般的に言えば、画像センサユニットが動きセンサを含む実施形態では、画像が捕捉される捕捉位置は、位置検出システムの座標系における座標と、動きセンサによって提供される動きセンサ信号を処理することによって記録される経路上の点との間の既知の空間関係のみに基づいて決定され得る。この場合、捕捉位置を決定するために位置センサを必要としない。特に、必要な空間関係は、画像センサユニットを、位置検出システムの座標系における位置が既知である捕捉位置から終了点までの経路に沿って移動させることによって、または位置検出システムの座標系における位置が既知である開始点から捕捉位置までの経路に沿って画像センサユニットを移動させることによって達成され得る。

本発明による位置合わせ方法は、物体の移動を検出する一方で、物体上に配置される位置検出システムの座標系における位置および配向を検出するための位置センサによって、画像を捕捉し、検出された移動をタイムスタンプと一緒に表す移動信号を提供するステップをさらに含み得る。画像の捕捉中に物体の移動が検出された場合、アラーム信号がトリガされて、物体が画像の捕捉中に移動したことをユーザに通知することができる。

このステップを実装するための適切な位置センサは、検出された移動をタイムスタンプと一緒に表すセンサ信号を提供するように構成され得る。センサ信号は、例えば、位置合わせセットアップの位置決定ユニットに送達され得る。位置決定ユニットは、センサ信号を使用して、検出された移動を補正値として、それぞれのセンサ信号と同じタイムスタンプを有する画像センサユニットの位置に適用することによって、画像捕捉中の物体の検出された移動を補正するように構成され得る。それによって、生成表面モデルの少なくとも１つの点を、動きセンサおよび／または位置センサの座標系内の座標に関連付けることが、補正された捕捉位置を使用して実施され得る。

特に、画像センサユニットが、位置検出ユニットの座標系における位置および配向を検出するための位置センサを含まないそのような実施形態、または画像センサユニットが位置検出システムの作業空間の外側に位置する実施形態では、画像センサユニットが移動する経路は、動きセンサによって提供される動きセンサ信号を処理することによってのみ記録されることが好ましい。

しかしながら、画像センサユニットが、任意の位置センサをさらに含む場合、位置合わせ方法は、位置検出システムの座標系内の画像センサユニットによって構成される位置センサの位置および配向を検出するステップを含み得る。位置センサの決定された位置および配向から、その位置検出システムの座標系内の画像センサユニットの位置および配向が、計算され得る。

画像センサユニットが、動きセンサおよび位置センサを含む場合、好ましくは、経路（画像センサユニットが移動し、動きセンサ信号を処理することによって記録される）の開始点または終了点は、位置センサの位置および配向を検出することによって、位置検出システムの座標系における座標として決定される。それによって、経路上の任意の点、特に、画像が捕捉されるセンサの位置は、位置検出システムの座標系における座標が既知である位置と空間的に相関することができる。

画像センサユニットがまた位置センサを含む場合、画像センサユニットの位置および配向は、位置検出システムの座標系内で直接的に位置センサによって追跡され得る。したがって、位置センサを含む画像センサユニットが、位置検出システムの作業空間内で移動する限り、画像センサユニットの位置および配向は、位置検出システムの座標系内で直接的に決定され得る。さらに、動きセンサによって追跡される軌道の開始点は、位置センサの位置および配向を決定することによって、位置検出システムの座標系内で直接的に決定され得る。位置検出システムの座標系内で軌道の開始点を決定することができるという事実は、例えば、表示装置上で、または音響的に、ユーザに通知することができる。また、画像センサユニットが移動する経路は、動きセンサによって提供される動きセンサ信号、および位置センサによって提供される位置値を表す位置信号の両方を処理することによって記録または追跡され得る。例えば、それは、画像センサの経路を記録するために、動きセンサが、特定の状況で位置センサから引き継ぐか、または位置センサを支持する場合、または位置センサによって提供される位置値を補正するために使用され得る場合に有益である。

画像センサユニットが位置検出システムの作業空間内で移動する限り、位置検出システムに対する物体の位置および配向は、動きセンサによって提供される動きセンサ信号、および位置センサによって提供される位置値を表す位置信号の両方に基づいて決定され得る。

それは、動きセンサ信号および位置信号の両方の処理が、両方の信号を比較して、画像センサユニットが移動した経路を記録する精度を改善することを含む場合に有益である。

画像センサユニットが作業空間の外側に移動すると、位置センサは、信頼性の高い位置値の提供を停止する。しかしながら、作業空間を離れるときも、画像センサユニットの経路は、依然として動きセンサによって提供される動きセンサ信号を処理することによって、信頼性のある様式で記録され得る。例えば、動きセンサは、経路の追跡を位置センサから引き継ぐことができる。それによって、位置検出システムに対する物体の位置および配向を決定するために、画像センサユニットを移動することができる空間が、位置検出システムの作業空間に対して増加する。これにより、位置検出システムの作業空間の外側に位置し得ることが多い、最も適切な位置で物体の画像を捕捉することができる。

本発明による位置合わせ方法は、物体に対して位置付けられた基準位置センサと一緒に物体の画像を捕捉するステップと、捕捉された画像から基準位置センサと一緒に表面モデルをフォトグラムで生成し、その結果、フォトグラム生成表面モデルの座標系における基準位置センサの位置が決定され得る一方で、同時に、位置検出システムの座標系の座標に関して、位置情報を提供するステップと、をさらに含み得る。したがって、基準位置センサは、キャリブレーションのための基準点を提供することができる。こうした基準位置センサは、物体に取り付けられた位置センサに追加的に使用され得る。また、基準位置センサは、経路上の点に対する既知の空間関係を有する座標を画定する役割を果たすことができる。特に、物体上に位置センサが取り付けられておらず、かつ位置センサも画像センサユニット内に構成されていない場合、画像が基準位置センサを物体と一緒に示し、それによって、基準位置センサがフォトグラム生成表面モデルの座標系で識別可能であるように、画像を捕捉するための画像が有利であり得る。次に、基準位置センサは、物体の表面モデルの座標系でフォトグラムで生成され、位置検出システムの座標系内で既に既知であるさらなる基準位置を提供する。これにより、位置合わせ精度を改善することができる。

さらに、
－基準位置センサが、物体に対して位置付けられており、かつ
－基準位置センサの位置が、表面モデルの座標系においてフォトグラムで生成される場合、
位置検出システムの座標系の座標に関して提供された位置情報を使用して、その位置検出システムの座標系に表面モデルを変換した後に、位置検出システムの座標系におけるその基準位置センサの位置から、処理された動きセンサ信号および／または位置信号に基づいてその決定された位置の偏差を計算することによって、処理された動きセンサ信号および／または位置信号に基づいて、位置検出システムの座標系における生成表面モデルの決定された位置を検証することができる。

画像センサユニットの撮像特性は、事前に既知であることが好ましい。

画像センサユニットが３－Ｄカメラを含むことが好ましいが、いくつかの実施形態では、画像センサユニットが一焦点画像センサを含む場合に有益である。画像センサユニットが、一焦点画像センサを含む場合、好ましくは、位置合わせ方法において、一焦点画像センサを移動させながら、物体の複数の画像が、軌道上にある異なる捕捉位置で各々捕捉される。したがって、特に、画像センサユニットが一焦点画像センサを含む場合、画像センサユニットは、異なる捕捉位置で物体の表面の複数の画像を捕捉しながら移動することが好ましい。例えば、画像センサユニットは、検出される物体の表面にわたって位置合わせプロセスの間に連続的に誘導され得る。ここで、物体に関連する（より正確には、位置検出システムに関連する）、すなわち、画像センサユニットの場所に関連する画像センサユニットの相対位置、およびフォトグラムで検出される情報（すなわち、捕捉画像を表す一般的に光学的に検出された画像データ）が記録される。

連続的な位置合わせは、有利には、物体に対して静止している基準位置センサの必要性がもはやなくなるような様式で実施され得る。むしろ、動きセンサまたは存在する場合、画像センサユニットによって構成される追加的な位置センサは、それぞれの時間で機能を引き受けることになる。

例えば、動きセンサ信号および／または位置値によって表される場所情報、および光学的に検出された画像データは、反復アルゴリズムに供給されることが好ましい。このアルゴリズムは、光学的に検出された画像データ中（例えば、個人、画像中）の物体（エッジ、線、円など）を検出し、また様々な個人画像上でその物体を相互に関連付けることができる。したがって、異なる観察方向および観察位置からの一焦点画像センサを含む画像センサユニットによって記録された物体のリストが生成される。

好ましくは、使用は、その後、これらのデータから物体の空間位置を確立することができる、さらなるアルゴリズムからなされる。一焦点画像センサを含む画像センサユニットの場合、物体は、少なくとも２つの異なる観察方向および観察位置から記録されていなければならない。次いで、物体位置は、三角測量によって確立され得る。

十分な数の物体およびその位置が確立される場合、従来の表面位置合わせを実施することができる。

一部の状況では、一焦点画像センサユニットの使用が有益であるが、多くの他の状況では、３－Ｄカメラを画像センサユニットとして使用する（好ましいように）ことによって、位置合わせ方法を改善することができる。３－Ｄカメラでは、検出される表面を最初から三次元的に記録することが可能である。前述のような一焦点画像センサを含む画像センサユニットの場合に要求されるように、二次元画像データからの表面形態の再構成は、その後、過剰になる。既知の３－Ｄカメラは、測定される赤外線パルスの伝播時間によって、三次元表面形態を記録する。物体の表面上の個々の点は、画像センサユニットの赤外線光源から、またその赤外線画像センサから異なる距離を有するため、これは、光源と画像センサとの間の異なる長さのパルス伝播時間をもたらす。これらのパルス伝播時間（または位相シフト）は、画像センサユニットと物体の表面上のそれぞれの点との間の距離に関連する情報を含む。このタイプの記録はまた、ＴＯＦ（飛行時間）プロセスとして知られている。

画像センサユニットはまた、光学ステレオグラフィックカメラとして、または検出される物体の表面を三次元的に記録するための光学マルチカメラとして実装され得る。光学ステレオグラフィックカメラは、固定された既知の基準で取り付けられる２つ以上のカメラのカメラアセンブリによって実装され得る。画像センサユニットが２つ以上の入口瞳孔を含む場合、入口瞳孔は互いにキャリブレーションされることが好ましい。

表面のフォトグラム検出は、自然照明、すなわち原位置（ｉｎ ｓｉｔｕ）で存在する照明を使用して実施されることが好ましい。

しかしながら、一部の状況では、物体の表面の強化された画像記録を生成するための画像を捕捉しながら、物体の表面上にパターンを投影することが有益であり得る。

こうした状況では、位置合わせ方法は、好ましくは、画像を捕捉する一方で、画像センサユニットによって物体の表面上に検出可能であるパターンを投影するステップを含む。

物体上にパターンを投影するために、画像センサユニットは、位置合わせセットアップのパターンプロジェクタに接続（好ましくは、剛直な様式で）され得る。画像センサユニットとパターンプロジェクタとの間の相対位置、およびパターンプロジェクタの撮像特性は、事前に既知であることが好ましい。代替的に、パターンプロジェクタはまた、画像センサユニットとパターンプロジェクタとの間の相対位置が、パターンプロジェクタの動きセンサおよび／または位置センサによってそれぞれ提供される動きセンサ信号および／または位置値、ならびに画像センサユニットの動きセンサによって提供される動きセンサ信号から常に決定され得るように、動きセンサおよび／または位置センサに接続（好ましくは、剛直な様式で）され得る。次に、有利には、画像センサユニットが、それぞれの場合に、良好に評価可能なパターン歪みを有する特に有意義な個々の画像を記録することができるように、パターンプロジェクタを画像センサユニットから独立して移動させることができる。

パターンプロジェクタは、寸法が既知である人工構造（パターン、例えば、ストリップパターン）を、画像センサユニットの捕捉領域の標的表面上に投影するために使用され得る。表面上に投影されたパターンは、個々の画像が現れるように、画像センサユニットによって光学的に検出され得、これは、表面の形状によって引き起こされる歪みと一緒に、表面上に投影されたパターンを示している。三次元表面は、パターンの歪みに基づいて、各個々の画像内に確立され得る。オーバーラップ領域を使用して個々の画像の三次元部分表面を組み合わせることによって、全体表面を決定することができることが可能である。次に、この全体的な表面を従来の表面位置合わせとともに使用することができる。

パターンプロジェクタは、赤外線または紫外線光を使用してパターンを投影するように構成され得る。この場合、画像センサユニットは、赤外線感受性または紫外線感受性画像センサを備えることが好ましい。この実施形態の変形例は、投影パターンが外科医には見えず、したがって干渉することができないという点で有利である。

パターンプロジェクタの代わりに、またはパターンプロジェクタに加えて、自己接着型パターンフィルムのために提供を行うこともできる。このフィルムは、標的領域で固定される。フィルム上の既知のパターンの結果として、フィルムの形態、およびしたがって表面構造がまた検出され得る。

位置合わせ方法はまた、物体の表面上に複数の赤外線マーカーを配置するステップを含むことができる。

赤外線マーカーは、赤外線感受性画像センサを備える画像センサユニットによって検出され得る。物体の表面上に配置された赤外線マーカーを局在化することによって、表面トポグラフィーは、捕捉画像からの赤外線マーカーに基づいて、フォトグラムで生成され得る。これは、表面を検出するために可視光が不十分な場合でも、表面を検出し、物体の表面モデルをフォトグラムで生成することを可能にする。

位置合わせ方法は、タイムスタンプを捕捉された各画像に割り当てるステップをさらに含むことができる。例えば、画像センサユニットは、捕捉画像を、タイムスタンプと一緒に位置合わせセットアップの位置決定ユニットに送信するように構成され得る。

位置合わせ方法は、位置値をタイムスタンプと一緒に送達するステップをさらに含むことができる。このステップは、位置値をタイムスタンプと一緒に位置合わせセットアップの位置決定ユニットに送達するように構成されている、位置検出システムを用いて実装され得る。また、位置合わせセットアップの位置決定ユニットは、位置検出システムから位置値および／または動きセンサから動きセンサ信号を要求し、かつタイムスタンプを位置値および／または動きセンサ信号のうちのそれぞれの１つに取り付けるように構成されることが可能である。

動きセンサは、動きセンサ信号を、タイムスタンプと一緒に位置合わせセットアップの追跡ユニットに送達するように構成され得る。例えば、位置センサが物体上に配置され、物体が画像を捕捉しながら移動するかどうかを検出するように構成されている場合、好ましくは、位置センサによって提供される位置値、ならびに画像センサユニットで捕捉される画像は、タイムスタンプと一緒に位置決定ユニットに送達される。位置決定ユニットは、同じタイムスタンプを運ぶ画像に位置値を割り当てるように構成され得る。次に、画像が捕捉された捕捉位置は、捕捉位置、すなわち、物体に対する入口瞳孔の位置に対する補正値として、位置値によって表される検出された移動によって補正され得る。

追加的または代替的に、位置合わせ方法は、捕捉画像を表す画像データをストリーミングするステップをさらに含んでもよい。このステップは、捕捉画像を表す画像データを位置合わせセットアップの位置決定ユニットにストリーミングするように構成されている画像センサユニットと一緒に実装され得る。画像ストリームは、位置合わせセットアップのモニター上で視覚化され得る。

本発明による位置合わせ方法において、画像はまた、自動化トリガ上で捕捉され得る。自動化トリガは、画像センサユニットからの画像データのストリーミング分析に基づいてもよい。例えば、画像センサユニットは、ストリーミング画像データを分析することができ、物体が画像センサユニットに対して特定の位置で認識される場合、自動化トリガが与えられる。例えば、画像センサユニットは、物体に取り付けられた基準位置センサに対する画像センサユニットの決定された位置の分析に基づく、自動トリガ上の画像を捕捉することができる。例えば、画像センサユニットが基準位置センサに対して特定の位置にある場合、自動トリガを与えて、画像を捕捉することができる。

位置合わせ方法は、その画像センサユニットで画像を捕捉しながら移動する、異なる場所に位置する複数の位置センサまたは移動可能な位置センサをフォトグラムで検出することによって、交互電磁場の歪みを決定することをさらに含み得、ここで、位置検出システムの座標系内の位置センサ（複数可）または位置センサの位置および配向が、位置検出システムを介して直接的に決定可能である。

位置合わせ方法の前述の実施形態のすべてにおいて、位置検出システムの交互の電磁場の可能な歪みを決定することができるように、物体または身体部分の表面のフォトグラム検出中に移動される異なる場所での複数の位置センサまたは移動可能位置センサが使用され、その位置が同様にフォトグラムで検出される。次いで、交互電磁場の歪みは、移動可能位置センサまたは位置センサのそれぞれのフォトグラム検出場所から、および位置検出システムによってそれぞれの位置センサ自体によって決定される場所から確立され得る。次いで、すなわち、交互電磁場自体をフォトグラムで測定することが可能である。

位置合わせセットアップに関して、本発明の目的は、位置検出システムに関連して物体の位置および配向を決定するための位置合わせセットアップによって達成される。セットアップは、位置検出システム、少なくとも１つの画像センサユニット、追跡ユニット、位置決定ユニット、および座標変換ユニットを含む。

位置検出システムは、位置センサの位置および配向を決定するように構成されており、少なくとも１つの画像センサユニットは、少なくとも１つの動きセンサを含む。画像センサユニットは、物体の画像を捕捉し、かつ物体の表面モデルを少なくとも１つの捕捉画像からフォトグラムで生成するように構成されている。動きセンサは、経時的に位置検出システムに対する移動画像センサユニットの一連の位置を表す動きセンサ信号を提供するように構成されている。

追跡ユニットは、動きセンサによって提供される動きセンサ信号を処理することによって、画像センサユニットのその経路を記録するように構成されている。

位置決定ユニットは、位置検出システムの座標系内の座標にその決定された経路の少なくとも１つの点を関連付けることと、決定された経路および決定された経路およびその座標上の少なくとも１つの点の既知の空間関係に基づいて、画像センサユニットの捕捉位置を決定することと、キャリブレーションによって動きセンサおよび／または位置センサの座標系内の座標に生成表面モデルの少なくとも１つの点を関連付けることと、を行うように構成されている。

座標変換ユニットは、生成表面モデルを、位置検出システムの座標系に変換するように構成されている。

セットアップは、少なくとも１つの画像センサユニットに接続されているか、または少なくとも１つの画像センサユニットを含む、パターンプロジェクタをさらに含み得、ここで、パターンプロジェクタは、身体上にパターンを投影するように構成されている。

好ましくは、画像センサユニットは、ステレオカメラ、または複数のカメラ配置、または飛行時間カメラを含む。しかしながら、ある特定の実施形態では、画像センサユニットはまた、単一のカメラを含むことができる。

好ましくは、画像センサユニットは、位置決定ユニットに接続されている。好ましくは、動きセンサは、追跡ユニットに接続されている。位置決定ユニットはまた、位置検出システムに接続されている。位置決定ユニットは、座標変換ユニットに接続されている。構成要素間の接続の少なくとも一部は、ユニバーサルシリアルバス（ＵＳＢ）接続として実装され得る。しかしながら、構成要素間の接続の少なくとも一部はまた、無線、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続として実装されてもよい。

動きセンサは、例えば、３つの直線加速度および３つの角度速度といった、６自由度で動きパラメータを表す動きセンサ信号を伝達する、センサデバイスまたはジャイロスコープのアレイおよび加速度計であってもよい。

位置合わせセットアップの構成要素は、好ましくは、コンピュータまたは他のデータ処理システムの要素である。

任意選択で、セットアップは、画像センサユニットを所定の固定位置で再現可能に受け入れるように構成されている、形状適合アダプタを含む、画像センサユニットホルダをさらに含み得る。位置検出システムに対する画像センサユニットホルダの位置および配向は、好ましくは、位置検出システムによって事前に既知であるか、または決定可能である。

例えば、この位置検出器の位置および配向が位置検出システムによって検出され得るように、画像センサユニットホルダに取り付けられ得る、位置センサ。位置センサの決定された位置および配向から、画像センサユニットホルダの位置および配向が、計算され得る。画像センサユニットがホルダによって保持される場合、画像センサユニットの位置および配向がまた、位置検出システムに関連して計算され得る。有利なことに、位置センサを備えた画像センサユニットホルダは、位置検出システムの作業空間内に自由に位置付けられて、画像センサユニットを、例えば、動きセンサ信号などの処理によって記録され得る経路に沿って移動することができる位置検出システムの座標系内に既知の位置を提供するために使用されてもよい。それによって、画像が捕捉される捕捉位置が、決定され、位置検出システムに対する物体の位置および配向を決定するために使用され得る。

画像センサユニットホルダが位置センサを含まない場合、位置検出システムに対する画像センサユニットホルダの位置および配向は、位置検出システムに対して画像センサユニットホルダを固定することによって、事前に既知であることが好ましい。次に、画像センサユニットホルダは、位置検出システムに対して、または位置検出システムに直接的であっても、一定の相対距離および配向で固定される。次いで、位置検出システムに対する画像センサユニットホルダの位置および配向が既知であるように、位置検出システムに１回、画像センサユニットホルダをキャリブレーションするのが十分であり得る。

本明細書に記載される他の態様とは独立して実現することができ、したがって、それ自体で本発明を構成し得るさらなる態様によれば、本発明の目的は、電磁位置検出システムに関連して物体の位置および配向を決定するための代替的な位置合わせ方法によって達成される。この態様による方法は、
－電磁位置検出システムのフィールドジェネレータに強固に固定された画像センサユニットを提供するステップと、
－キャリブレーションによって、表面モデルの座標系と電磁位置検出システムの座標系との間の変換のための変換関数を決定するステップと、
－その画像センサユニットを用いて、物体の表面の画像を捕捉するステップと、
－捕捉画像から物体の表面モデルをフォトグラムで生成するステップと、
－フォトグラム生成表面モデルを、位置検出システムの座標系に変換するステップと、を含む。

この代替的な位置合わせ方法は、位置検出システムの座標系における捕捉位置の座標が、１つ以上の動きセンサおよび／または位置センサを使用して決定されることを要求しない。画像センサユニットは、固定セットアップでフィールドジェネレータと組み合わされるので、位置検出システムに関連して物体の位置および配向を決定するために、画像センサユニットをフィールドジェネレータにキャリブレーションすることのみが必要であり、それゆえ、画像センサユニットの座標系の座標を位置検出システムの座標系の座標に変換するための変換関数が必要である。しかしながら、任意選択で、画像センサユニットは、動きセンサおよび／または位置センサを含み得る。好ましくは、画像センサユニットは、光学ステレオグラフィックカメラ、または光学マルチカメラ、または飛行時間カメラを含む。

このさらなる態様による代替的な位置合わせ方法は、画像を捕捉する一方で、画像センサユニットによって物体の表面上に検出可能であるパターンを投影するステップを含み得る。

このさらなる態様による代替的な位置合わせ方法はまた、捕捉された各画像にタイムスタンプを割り当てることを含み得る。

代替的にまたは追加的に、このさらなる態様による代替的な位置合わせ方法は、捕捉画像を表す画像データを画像センサユニットから追跡ユニットにストリーミングすることを含み得る。

任意で、このさらなる態様による代替的な位置合わせ方法は、
－物体に対して位置付けられた物体上に配置された位置検出システムの座標系における位置および配向を検出するために、基準位置センサと一緒に物体の画像を捕捉するステップと、
－捕捉画像から基準位置センサと一緒に表面モデルをフォトグラムで生成し、その結果、フォトグラム生成表面モデルの座標系における基準位置センサの位置が決定される一方で、同時に、位置検出システムの座標系の座標に関して、位置情報を提供するステップと、を含み得る。

位置合わせセットアップに関して、本発明の目的はまた、前述の他の態様とは独立して実現することができ、したがってそれ自体で本発明を構成する、位置検出システムに関連して物体の位置および配向を決定するための代替の位置合わせセットアップによって解決され、
－交互電磁場を生成するためのフィールドジェネレータを含む、電磁位置検出システムと、
－フィールドジェネレータに強固に固定された画像センサユニットであって、画像センサユニットが、物体の画像を捕捉し、かつ物体の表面モデルを少なくとも１つの捕捉画像からフォトグラムで生成するように構成されている、画像センサユニットと、
－キャリブレーションによって、表面モデルの座標系と電磁位置検出システムの座標系との間の変換のための変換関数を決定するように構成されている、キャリブレーションユニットと、
－表面モデルの座標系内の表面モデルを表す座標を、位置検出システムの座標系に変換するための変換関数を用いるように構成されている、座標変換ユニットと、を含む。

典型的には、位置検出システムの座標系は、それぞれの位置検出システムのフィールドジェネレータまたは光源によってスパンされるか、またはそれに関連付けられる。

代替の位置合わせセットアップはまた、画像センサユニットに接続されているか、または画像センサユニットを含む、パターンプロジェクタを含み得、パターンプロジェクタは、身体上にパターンを投影するように構成されている。この代替的な位置合わせセットアップの画像センサユニットは、動きセンサおよび／または位置センサを含み得る。

以下において、本発明の好ましい実施形態が図を参照して説明される。図において：

位置検出システムに関連する物体の位置および配向を決定するための位置合わせ方法を表す流れ図を示している。 位置合わせセットアップの概略ブロック図を示している。 患者の頭部の画像を捕捉するための画像センサユニットを示しており、ここで、画像センサユニットは、動きセンサを含む。 患者の頭部の画像を捕捉するための画像センサユニットを示しており、ここで、画像センサユニットは、位置検出システムの座標系における位置および配向を検出するための動きセンサおよび位置センサを含む。 位置検出システムに対して強固に、または移動可能に固定された画像センサユニットホルダに取り付けられた画像センサユニットを示している。 位置検出システムに強固に取り付けられた画像センサユニットを示しており、ここで、画像センサユニットおよび位置検出システムの配置は、画像センサユニットホルダに取り付けられている。 代替的な実施形態による位置合わせ方法を表す流れ図を示している。 画像センサユニットが位置センサを含む場合、物体の位置および配向が、位置検出システムに関連してどのように決定することができるかを概略的に視覚化している。 画像センサユニットが動きセンサのみを含む場合、物体の位置および配向が、位置検出システムに関連してどのように決定することができるかを概略的に視覚化している。

図１には、本発明の概念による位置合わせ方法を表す流れ図が示されている。

位置合わせ方法は、
Ｉ１：少なくとも１つの動きセンサおよび／または少なくとも１つの位置センサを含む画像センサユニットを用いて、物体の表面の画像を捕捉するステップと、
Ｉ２：その動きセンサによって提供される動きセンサ信号および／またはその位置センサによって提供される位置信号を処理することによって、画像センサの捕捉位置を決定するステップと、
Ｉ３：捕捉画像から物体の表面モデルをフォトグラムで生成するステップと、
Ｉ４：フォトグラム生成表面モデルを、位置検出システムの座標系に変換するステップと、を含む。

ステップＩ１、Ｉ２およびＩ３は、異なる順序で実行され得る。例えば、一部の変形例では、捕捉位置は、画像を捕捉する前に決定されてもよく、または表面モデルは、捕捉位置を決定する前にフォトグラムで生成されてもよい。しかしながら、表面モデルは、表面モデルを、位置検出システムの座標系に変換する前に、フォトグラムで生成する必要がある。

好ましくは、画像センサユニットは、飛行時間カメラ、光学ステレオグラフィックカメラ、または光学マルチカメラを含み、位置検出システムに対する位置および配向が決定されなければならない、物体の表面を三次元的に記録する。

好ましい実施形態では、画像センサユニットを有する物体の表面の画像を捕捉するステップＩ１は、位置検出システムとは関係なく、経時的な直線加速度および／または回転速度を検出するための少なくとも１つの動きセンサを含む少なくとも１つの画像センサユニットを提供するサブステップ（Ｓ１）を含む。

動きセンサは、加速度計、またはジャイロスコープ、または磁気計を含む、慣性センサとすることができる。また、これらのセンサのうちのいくつかは、画像センサユニット内に構成されて、動きセンサ配置を形成することができる。画像センサが移動している間に、各動きセンサは、経時的に検出された直線加速度または回転速度を表す動きセンサ信号を提供する。

追加的にまたは代替的に、動きセンサに対して、画像センサユニットは、位置検出システムに対する画像センサユニットの位置および配向を決定するための位置センサを含み得る。

画像センサユニットの捕捉位置を決定するステップＩ２は、サブステップを含み得る。１つの好ましい実施形態では、画像センサユニットの捕捉位置を決定することは、
Ｓ２：位置検出システムに対する空間経路に沿って、画像センサユニットを移動させることと、
Ｓ３：動きセンサによって提供される動きセンサ信号を処理することによって、画像センサユニットのその経路を記録することと、
Ｓ４：その決定された経路の少なくとも１つの点を、位置検出システムの座標系内の座標に関連付けることと、
Ｓ５：決定された経路ならびに決定された経路およびその座標上の少なくとも１つの点の既知の空間関係に基づいて、画像センサユニットの捕捉位置を決定することと、によって達成され得る。

サブステップＳ２、Ｓ３、Ｓ４、およびＳ５は、位置検出システム座標系の座標に関して、画像センサユニットの位置を決定する役割を果たす。

例えば、その経路上の点と位置検出システムの座標系の座標との間の既知の空間関係は、位置検出システムの座標系で座標が既知である位置から、またはそこまで画像センサユニットを移動させることによって確立され得る。

ステップＩ２のいくつかの変形例では、追加的または代替的に、位置検出システムに対する画像センサユニットの位置および配向を決定するために動きセンサを使用するために、位置センサが使用され得る。こうした実施形態では、捕捉位置は、位置センサの位置および配向を検出することによって決定され得る。位置センサは、画像センサユニットによって構成される。

ステップＩ２の別の代替例では、捕捉位置はまた、物体に取り付けられるか、または物体に対して配置される基準位置センサと一緒に、物体の画像を捕捉することによって決定され得る。

さらに、捕捉位置を決定するための別の代替例（ステップＩ２）では、画像センサユニットは、位置検出システムの座標系で既知である所定の位置に固定され得る。こうした所定の位置は、位置検出システムにキャリブレーションされる、または位置検出システムに対する位置および配向を検出するための位置センサを含む、画像センサユニットホルダの位置であることができる。位置センサ、例えば、物体上に配置された位置センサが、物体と一緒に記録されている場合、位置センサは、物体の表面モデルの座標系でフォトグラムで生成される。それによって、位置センサの位置に関連付けられた位置検出システムの座標は、生成表面モデルの座標系の座標と空間的に直接相関することができる。

位置検出システムの座標系にフォトグラム生成表面モデルを変換するステップＩ４は、キャリブレーションによって、生成表面モデルの少なくとも１つの点を、動きセンサおよび／または位置センサの座標系における座標に関連付けるサブステップ（Ｓ６）を含み得る。

例えば、キャリブレーションによって、動きセンサおよび／または位置センサの座標系と画像センサユニットの座標系との間の座標の変換について、変換関数を決定することができる。これは、画像センサユニットの捕捉位置の座標が、動きおよび／または位置センサの座標系でそれぞれ決定されることを含み得る。したがって、決定された変換関数は、フォトグラム生成表面モデルを、位置検出システムの座標系に変換するために使用され得る。

サブステップＳ６は、センサの座標系における座標に表面モデルの点を割り当てる役割を果たす。

生成表面モデルを、位置検出システムの座標系に変換するステップは、例えば、前のサブステップの少なくとも一部よりも別の日に、かなり遅れて実行され得る。

位置決め方法の異なる実施形態では、画像センサユニットで物体の表面の画像を捕捉するステップＩ１、画像センサユニットの捕捉位置を決定するステップＩ２、およびフォトグラム生成表面モデルを位置検出システムの座標系に変換するステップＩ４の一部のみが、上で詳述したようなサブステップを含む。例えば、一実施形態では、画像センサユニットの捕捉位置を決定するステップＩ２のみが、上述のサブステップを含む。他の実施形態では、位置検出システムの座標系における捕捉位置の座標は、例えば、位置センサを使用して、動きセンサを使用することなく決定される。これらの実施形態では、位置検出システムの座標系にフォトグラム生成表面モデルを変換するステップＩ４は、前述したように、依然としてサブステップＳ６を含むことができる。

図２には、位置合わせセットアップ２００の好ましい実施形態の概略ブロック図が示されている。

位置合わせセットアップは、位置検出システム２０２と、少なくとも１つの動きセンサ２０６を含む画像センサユニット２０４と、追跡ユニット２０８と、位置決定ユニット２１０と、座標変換ユニット２１２と、を含む。

位置検出システム２０２は、位置センサ（図示せず）の位置および配向を決定するように構成されている。位置検出システム２０２は、光学、電磁、または超音波ベースの位置検出システムであってもよい。好ましくは、位置検出システム２０２は、交互電磁場を生成するためのフィールドジェネレータを含む、電磁位置検出システムである。位置検出システム２０２が、電磁位置検出システムである場合、位置検出システムの座標系内の位置および配向を検出するための位置センサは、少なくとも１つのコイルを含む。位置検出システム２０２は、さらなる処理のために、位置センサによって提供される位置値を表す位置信号を位置決定ユニットに送信するために、位置決定ユニット２１０に接続されている。

画像センサユニット２０４は、物体（図示せず）の画像を捕捉し、かつ物体の表面モデルを少なくとも１つの捕捉画像からフォトグラムで生成するように構成されている。画像センサユニット２０４は、一焦点画像センサを含み得る。位置検出システムに関連して物体の位置および配向を決定するために、一焦点画像センサを含む画像センサユニットは、検出される物体の表面にわたって位置合わせプロセス中に連続的に誘導されることが好ましい。一焦点画像センサを含む画像センサユニットを移動させる間に、異なる観察方向および観察位置から少なくとも２つの画像が捕捉される。次いで、物体位置は、三角測量の手段によって確立され得る。しかしながら、好ましくは、画像センサユニットは、検出される物体の表面を三次元的に記録するためのステレオカメラまたは複数のカメラ配置または飛行時間カメラを含む。光学ステレオグラフィックカメラは、例えば、固定された既知の基準で取り付けられる２つ以上のカメラのカメラアセンブリによって実装され得る。画像センサユニット２０４は、任意のパターンプロジェクタ２１４に接続されている。画像センサユニット２０４はまた、さらなる処理のためにフォトグラム生成表面モデルを提供するために位置決定ユニット２１０に接続されている。

動きセンサ２０６は、経時的な位置検出システム２０２に対する移動画像センサユニット２０４の一連の位置を表す動きセンサ信号を提供するように構成されている。動きセンサ２０６によって提供されるこうした動きセンサ信号を処理することによって、画像センサユニット２０４が位置合わせ中に移動する経路を記録することができる。画像センサユニット２０４は、位置検出システム２０２に対して画像センサユニット２０２が移動する間に、直線加速度および回転速度を検出するように構成されている、１つのみの動きセンサ２０６またはいくつかの動きセンサの配置を含むことができる。動きセンサ２０６は、画像センサユニット２０４が移動した経路を記録するために、動きセンサ信号を追跡ユニット２０８に送信するために追跡ユニット２０８に接続されている。

追跡ユニット２０８は、画像センサユニット２０２および位置決定ユニット２１０に接続されており、動きセンサによって提供される動きセンサ信号を処理することによって、位置検出システム２０２に対して画像センサユニット２０４が移動する経路を記録するように構成されている。追跡ユニット２０８は、画像センサユニット２０４によって構成される動きセンサ２０６に接続されている。

位置決定ユニット２１０は、決定された経路の少なくとも１つの点を、位置検出システム２０２の座標系内の座標に関連付けるように構成されている。さらに、位置決定ユニット２１０は、決定された経路ならびに決定された経路および位置検出システム２０２の座標系におけるその座標上の少なくとも１つの点の既知の空間関係に基づいて、物体の画像が捕捉される、画像センサユニット２０４の捕捉位置を決定するように構成されている。位置決定ユニット２１０はまた、キャリブレーションによって、生成表面モデルの少なくとも１つの点を、動きセンサの座標系内の座標に関連付けるように構成されている。位置決定ユニット２１０は、位置信号を受信するために位置検出システム２０２に接続されており、追跡ユニット２０８によって記録されるように、画像センサユニット２０４が移動した経路をさらに処理するために、追跡ユニット２０８にアクセスする。位置決定ユニット２１０はまた、生成表面モデルの位置と、動きセンサ２０６の決定された相対位置に対応する位置検出システムに対する画像センサユニット２０４の位置との間の空間関係についての情報を提供するために、座標変換ユニット２１２に接続されている。さらに、位置決定ユニット２１０は、画像センサユニット２０４によってフォトグラムで生成される表面モデルにアクセスするために、画像センサユニット２０４に接続されている。

座標変換ユニット２１２は、位置決定ユニット２１０に接続されており、生成表面モデルを位置検出システム２０２の座標系に変換するように構成されている。

セットアップ２００は、画像センサユニット２０２に接続された任意選択のパターンプロジェクタ２１４をさらに含む。パターンプロジェクタ２１４は、身体上にパターンを投影するように構成されている。

位置合わせセットアップ２００の構成要素間の接続の少なくとも一部は、ユニバーサルシリアルバス（ＵＳＢ）接続として実装され得る。位置合わせセットアップ２００の構成要素間の接続の少なくとも一部はまた、無線、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続として実装されてもよい。

図３には、動きセンサ１６’を含む画像センサユニット１６’が示されている。画像センサユニットは、患者の頭部１２の場合に画像を捕捉するように構成されている。頭部１２および画像センサユニット１６’は、位置検出システム１０に強固に固定される基準位置センサ１８の位置および配向を決定するように構成されている、位置検出システム１０に対して位置付けられている。基準位置センサ１８は、頭部の画像が画像センサユニット１６’を介して捕捉される場合、位置センサ１８もその画像内に見えるように、頭部１２に対して位置付けられている。物体の表面モデルが、例えば、画像センサユニット１６’によって、フォトグラムで生成される場合、基準位置センサも、表面モデルと一緒にフォトグラムで生成されることになる。基準位置センサ１８は、フォトグラム生成表面モデルの座標系で識別可能であり、したがって、位置検出システムの座標系における座標への参照を提供する。それによって、表面モデルの点群の点は、位置検出システムの座標系における座標に直接的にリンクされ、位置検出システムの座標系の対応する座標に割り当てられ得る。

しかしながら、この基準センサ１８を提供する必要はないが、任意である。実際には、位置検出システム１０に対する頭部の位置および配向を決定することがまた、基準位置センサ１８を提供することなく達成され得る。これは、動きセンサ１４’によって提供される動きセンサ信号を処理することによって、画像センサユニット１６’が移動する経路を記録することによって達成される。記録された経路は、経時的に動きセンサ１４’によって検出された、移動画像センサユニット１６’の一連の場所からなる。記録された経路上の少なくとも１つの点は、位置検出システムの座標系内の座標に対して既知の空間関係を有するため、記録された経路は、その座標系で決定され得る。それによって、画像センサユニット１６’によって画像が捕捉された捕捉位置は、位置検出システム１０の座標系で決定され得る。画像センサユニットの入口瞳孔の位置を、動きセンサ２０６の位置にキャリブレーションした後、表面モデルの座標系における画像センサユニット１６’によってフォトグラムで生成される表面モデルの座標を、位置検出システム１０の座標系に変換することができる。

図４では、位置検出システム１０の座標系における位置および配向を検出するための、動きセンサ１４’および追加の位置センサ１４’’を含む、画像センサユニット１６が示されている。さらなる任意選択の位置センサ１４は、位置検出システム１０に対する位置および配向が決定されなければならない、頭部１２に取り付けられる。頭部１２の画像が捕捉される場合、画像は、頭部と一緒にさらなる位置センサ１４を示すことになる。頭部１２の表面モデルをフォトグラムで生成すると、位置センサ１４は、表面モデルの座標系で識別され得、表面モデルの点を、位置検出システム１０の座標系にリンクする役割を果たし得る。

画像センサユニット１６が位置検出システム１０の作業空間内で移動する限り、位置検出システム１０の座標系内の位置および配向は、画像センサユニット１６に取り付けられた位置センサ１４’’の位置および配向を検出することによって直接的に決定され得る。しかしながら、画像センサユニット１６が、位置検出システム１０の作業空間の外側に移動する場合、位置検出システム１０に対する画像センサ１０の位置および配向は、位置センサ１４’’を検出することによってはもはや決定され得ない。

しかしながら、位置検出システム１０の作業空間を離れるときも、頭部１２の画像が捕捉される捕捉位置は、依然として動きセンサ１４’によって提供される動きセンサ信号を処理することによって決定され得る。それによって、画像センサユニット１６が移動する経路を記録することができる。位置検出システム１０の座標系における捕捉位置の座標を決定することができるように、少なくとも１つの点は、位置検出システム１０の座標系における座標と関連付けられなければならない。次に、捕捉位置、すなわち、物体に対する画像を捕捉するときの入口瞳孔の位置は、位置検出システム１０の座標系で決定され得る。キャリブレーションによって、頭部１２の画像からフォトグラムで生成されるような表面モデル上の点は、動きセンサおよび／または位置センサの座標系における座標に関連付けられ得る。例えば、位置検出システム１０の座標系に対する位置センサの座標系の位置および配向を決定した後、表面モデルの座標系は、位置検出システム１０の座標系に整列され得る。これは、画像センサユニットが、位置検出システム１０の作業空間内で移動するかどうかとは無関係に機能する。

図５では、位置検出システム１０に固定された画像センサユニットホルダ１１に取り付けられた画像センサユニット１６’’が示されている。図１～図４に関して説明される実施形態とは対照的に、画像センサユニット１６’’は、動きセンサまたは位置センサを備えていない。しかしながら、動きセンサまたは位置センサのうちの少なくとも１つは、画像センサユニット１６’’によって任意に構成され得る。これは、画像センサユニットホルダ１１が、位置検出システムに対して、例えば、捕捉位置が位置検出システムに対して固定されないように、ピボットアームのように、移動され得る場合、有利であり得る。

画像センサユニットホルダ１１が、位置検出システム１０、例えば、電磁位置検出システムのフィールドジェネレータに強固に固定される場合、位置検出システム１０の座標系で捕捉位置１０が既知であるように、画像センサユニット１０の捕捉位置を、位置検出システム１０に対して１回キャリブレーションするだけで十分であり得る。

画像センサユニット１６’’は、単一のカメラ、飛行時間センサ（ＴＯＦセンサ）、または固定された既知の基準での２つ以上のカメラのカメラアセンブリ、すなわち、立体カメラとすることができる。

画像センサユニット１６’’は、患者の頭部上にパターン２２を投影するためのパターンプロジェクタ（図示せず）を含む。パターン２２を頭部１２の表面上に投影することは、表面の強化された画像記録につながり得る。

さらに、位置センサ１４は、患者の頭部１２に取り付けられる。頭部の画像を捕捉する場合、この位置センサもその画像内で見ることができる。位置センサ１４は、頭部１２と一緒に画像からフォトグラムで生成されることになり、したがって、表面モデル上の点も位置検出システム１０の座標系にリンクさせることができる。

図６では、電磁位置検出システムのフィールドジェネレータ１０に強固に固定された画像センサユニット１６’’が示されている。画像センサユニット１６’’’およびフィールドジェネレータ１０の固定セットアップは、画像センサユニットホルダ１１’に取り付けられている。異なる実施形態（図示せず）では、画像センサユニットおよびフィールドジェネレータの固定セットアップは、画像センサユニットホルダに取り付けられないが、例えば、ユーザが手で自由に移動させることができる。

示される実施形態では、画像センサユニットホルダ１１’は、位置検出システム１０に対する位置および配向が決定されるべき頭部１２に対して位置付けられている。画像センサユニットホルダ１１’は、固定位置に取り付けられてもよく、または頭部１２に対して移動可能であってもよい。例えば、画像センサユニットホルダ１１’は、ピボットアームとして実装され得る。

有利なことに、フィールドジェネレータ１０および画像センサユニット１６’’’が、固定セットアップで組み合わされる場合、フィールドジェネレータ１０によってスパンされるような位置検出システムの座標系内の画像センサユニット１６’’’の位置および配向は、動きセンサおよび／または位置センサを使用せずに決定され得る。画像センサユニットがフィールドジェネレータに強固に固定されている場合、動きセンサおよび／または位置センサを使用することは、位置検出システムに対する物体の位置および配向を決定するために必要ではない。

特に、フォトグラム生成表面モデルの位置検出システムの座標系への変換を可能にするために、物体に対して位置センサを捕捉画像で見ることができるように配置する必要もない。

実際には、固定セットアップでは、フィールドジェネレータ１０自体は、画像センサユニット１６’’’をキャリブレーションすることができる一種の位置センサとみなすことができる。フィールドジェネレータ１０へのキャリブレーション後、位置検出システムに対する画像センサユニットの位置および配向（例えば、入口瞳孔の位置）が既知である。画像センサユニットとフィールドジェネレータとの間の既知の空間関係に基づいて、フォトグラム生成表面モデルを、位置検出システムの座標系に直接的に変換することができる。

例えば、画像センサユニット１６’’’（より正確には、画像センサユニット１６’’’のカメラの入口瞳孔）とフィールドジェネレータとの間の変換のための変換関数は、キャリブレーションによって決定され得る。これらの変換関数を使用して、画像センサユニット１６’’’のカメラの座標系に画定されるフォトグラム生成表面モデルの座標を、位置検出システムの座標系における表面モデルを表す座標に変換することができる。

画像センサユニット１６’’’は、好ましくは、３－Ｄカメラを含み、随意に動きセンサおよび／または位置センサを装備することができる。

頭部１２に取り付けられる場合、好ましくは、画像センサユニット１６’’’によって捕捉された頭部１２の画像内に見ることができる、任意の位置センサ１４が存在する。位置検出システムの座標系におけるこの位置センサの位置および配向を、フィールドジェネレータ１０によってスパンされるものとして決定することによって、位置センサ１４をさらに示す、捕捉画像からフォトグラムで生成される頭部１２の表面モデルの座標系における点が、位置検出システムの座標系における座標に割り当てられ得る。

図７には、代替的な実施形態による位置合わせ方法を表す流れ図が示されている。

電磁位置検出システムに関連して物体の位置および配向を決定するための代替的な位置合わせ方法であって、方法は、
Ａ１：電磁位置検出システムのフィールドジェネレータに強固に固定された画像センサユニットを提供するステップと、
Ａ２：キャリブレーションによって、表面モデルの座標系と電磁位置検出システムの座標系との間の変換のための変換関数を決定するステップと、
Ａ３：捕捉画像から物体の表面モデルをフォトグラムで生成するステップと、
Ａ４：その画像センサユニットを用いて、物体の表面の画像を捕捉するステップと、
Ａ５：フォトグラム生成表面モデルを、位置検出システムの座標系に変換するステップと、を含む。

図８は、画像センサユニット８０２が位置センサ８０４を含む場合、物体の位置および配向が、位置検出システム８００に関連してどのように決定することができるかを概略的に視覚化している。

捕捉位置（画像が捕捉される際の入口瞳孔の位置である）で、物体の画像が捕捉され、捕捉画像から、物体の表面モデル８０６がフォトグラムで生成される。

位置センサ８０４の位置および配向は、位置検出システム８００の座標系で既知である。

しかしながら、位置センサ８０４の座標系および画像センサユニット８０２の座標系は、オフセットを有する。画像センサユニット８０２の座標系は、好ましくは、座標系の原点が画像センサユニット８０２の入口瞳孔８０８の位置にあるように画定される。オフセットは、キャリブレーションによって決定され得る。これは、位置センサ８０４の座標系と画像センサユニット８０２との間の変換について、変換関数が決定されることを含むことができる。オフセットを考慮すると、物体８０６の位置および配向が位置検出システム８００に関連して決定され得るように、画像センサユニット８０２の座標系における座標は、位置検出システム８００の座標系に変換され得る。

図９は、画像センサユニット９０２が動きセンサ９０４のみを含み、かつ位置センサを含まない場合に、位置検出システム９００に関連して物体の位置および配向がどのように決定され得るかを概略的に視覚化している。

動きセンサ９０４の位置および配向は、位置検出システム９００によって決定することができない。しかしながら、動きセンサ９０４は、画像センサユニット９０２が捕捉位置から、または捕捉位置へと移動した経路を記録するために処理され得る、動きセンサ信号を提供することができる。位置検出システムの座標系における経路の位置および配向（したがって、物体９０６の画像が捕捉された捕捉位置）を決定するために、経路上の少なくとも１つの点と、位置検出システム９００の座標系において座標が既知である位置９０８との間の既知の空間関係を確立する必要がある。

これは、既知の位置９０８が経路の開始点または終了点のうちのいずれかとなるように、捕捉位置からこの既知の位置９０８まで、またはその逆に、画像センサユニット９０２を移動させることによって行われ得る。したがって、経路の開始点または終了点は、位置検出システムの座標系内に既知の座標を有する。結果として、動きセンサの座標系に最初に定義されるこの経路の座標は、経路の開始点または終了点の座標が動きセンサの座標系および位置検出システムの座標系の両方において既知であることを使用することによって、位置検出システム９００の座標に変換され得る。したがって、画像センサユニット９０２の座標系における捕捉位置の座標は、位置検出システムの座標系における座標に変換され得る。

動きセンサ９０４の座標系は、画像センサユニット９０２の座標系に対するオフセットを有し、その原点は、画像センサユニット９０２の入口瞳孔９１０の位置であることが好ましい。位置検出システム９００の座標系における画像センサユニットの座標系の原点の座標を決定するためには、このオフセットは、例えば、キャリブレーションによって決定されなければならない。キャリブレーションによって、変換関数は、動きセンサ９０４の座標系における画像センサユニット９０２の座標系における座標を変換するために決定され得る。この変換関数が決定される場合、画像センサユニット９０２の座標系における座標は、それゆえに決定された変換関数を考慮に入れて、位置検出システム９００の座標系に変換され得る。

Claims (33)

1. 位置検出システムに関連して物体の位置および配向を決定するための位置合わせ方法であって、前記方法が、
   －少なくとも１つの動きセンサおよび／または少なくとも１つの位置センサを含む画像センサユニットを用いて、物体の表面の画像を捕捉するステップと、
   －前記動きセンサによって提供される動きセンサ信号および／または前記位置センサによって提供される位置信号を処理することによって、前記画像センサユニットの捕捉位置を決定するステップと、
   －前記捕捉画像から前記物体の表面モデルをフォトグラムで生成するステップと、
   －前記フォトグラム生成表面モデルを、位置検出システムの座標系に変換するステップと、を含む、方法。
2. －前記位置検出システムとは無関係に、経時的な線形加速度および／または回転速度を検出するための少なくとも１つの動きセンサを含む、少なくとも１つの画像センサユニットを提供するステップを含む、請求項１に記載の方法。
3. 前記画像センサユニットの捕捉位置を決定する前記ステップが、
   －前記位置検出システムに対する空間経路に沿って、前記画像センサユニットを移動させるサブステップと、
   －動きセンサによって提供される動きセンサ信号を処理することによって、前記画像センサユニットの前記経路を記録するサブステップと、
   －前記決定された経路の少なくとも１つの点を、前記位置検出システムの前記座標系内の座標に関連付けるサブステップと、
   －前記決定された経路ならびに前記決定された経路および前記座標上の前記少なくとも１つの点の既知の空間関係に基づいて、前記画像センサユニットの捕捉位置を決定するサブステップと、を含む、請求項２に記載の方法。
4. 前記画像センサユニットが、前記位置検出システムの前記座標系の既知の位置から、または既知の位置まで前記経路に沿って移動して、前記位置検出システムの座標系内の前記既知の位置と前記決定された経路の少なくとも１つの点との間の空間関係を確立する、請求項３に記載の方法。
5. 前記フォトグラム生成表面モデルを、位置検出システムの前記座標系に変換する前記ステップが、
   －キャリブレーションによって、前記生成表面モデルの少なくとも１つの点を、前記動きセンサおよび／または位置センサの座標系内の座標に関連付けるサブステップを含む、請求項１～４のうちの少なくとも一項に記載の方法。
6. －キャリブレーションによって、前記動きセンサおよび／または位置センサの座標系と前記画像センサユニットの前記座標系との間の座標の変換について、変換関数が決定されることと、
   －前記画像センサユニットの前記捕捉位置の座標が、前記動きおよび／または前記位置センサの前記座標系でそれぞれ決定されることと、を含む、請求項５に記載の方法。
7. 前記決定された変換関数が、前記表面モデルの座標系内の前記フォトグラム生成表面モデルを表す座標を、前記位置検出システムの前記座標系内の前記表面モデルを表す座標に変換するために使用される、請求項６に記載の方法。
8. －前記画像センサユニットが移動する前記経路が、前記位置検出システムの前記座標系内の前記座標で開始し、前記捕捉位置で終了し、前記画像センサユニットが、前記画像が捕捉される前にこの経路に沿って移動し、
   －前記捕捉位置が、記録された経路および前記経路の前記開始点の少なくとも前記既知の空間関係および前記座標に基づいて、前記位置検出システムの前記座標系において決定される、請求項３または４に記載の方法。
9. －前記画像センサユニットが移動する前記経路が、前記捕捉位置で開始し、前記位置検出システムの前記座標系内の前記座標で終了し、前記画像センサユニットが、前記画像が捕捉された後にこの経路に沿って移動し、
   －前記捕捉位置が、前記記録された経路および前記経路の前記終了点の少なくとも前記既知の空間関係および前記座標に基づいて、前記位置検出システムの前記座標系において決定される、請求項３または４に記載の方法。
10. 前記物体の移動を検出する一方で、前記物体上に配置される前記位置検出システムの前記座標系における位置および配向を検出するための位置センサによって、画像を捕捉し、前記検出された移動をタイムスタンプと一緒に表す移動信号を提供することを含む、請求項１～９のうちの少なくとも一項に記載の方法。
11. 前記位置検出システムの前記座標系内の前記画像センサユニットによって構成される前記位置センサの位置および配向を検出することと、前記位置センサの前記決定された位置および配向から、前記位置検出システムの座標系における前記画像センサユニットの位置および配向を計算することと、を含む、請求項１～１０のうちの少なくとも一項に記載の方法。
12. 前記物体に対して位置付けられた前記物体上に配置された前記位置検出システムの前記座標系における位置および配向を検出するために、基準位置センサと一緒に前記物体の前記画像を捕捉することと、前記捕捉画像から前記基準位置センサと一緒に前記表面モデルをフォトグラムで生成し、その結果、前記フォトグラム生成表面モデルの座標系における前記基準位置センサの位置が決定される一方で、同時に、前記位置検出システムの座標系の座標に関して、位置情報を提供することと、を含む、請求項１～１１のうちの少なくとも一項に記載の方法。
13. 前記位置情報を使用して、前記位置検出システムの座標系に前記表面モデルを変換した後に、前記位置検出システムの前記座標系における前記基準位置センサの位置から、処理された動きセンサ信号および／または位置信号に基づいて前記決定された位置の偏差を計算することによって、処理された動きセンサ信号および／または位置信号に基づいて、前記位置検出システムの座標系における前記生成表面モデルの前記決定された位置を検証することを含む、請求項１２に記載の方法。
14. 前記画像センサユニットが、一焦点画像センサを含み、前記一焦点画像センサを移動させる一方で、前記物体の複数の画像が、前記経路上にある異なる捕捉位置で各々捕捉される、請求項１～１３のうちの少なくとも一項に記載の方法。
15. 前記画像センサユニットが、光学ステレオグラフィックカメラ、または光学マルチカメラ、または飛行時間カメラを含む、請求項１～１４のうちの少なくとも一項に記載の方法。
16. 前記画像を捕捉する一方で、前記画像センサユニットによって前記物体の表面上に検出可能であるパターンを投影することを含む、請求項１～１５のうちの少なくとも一項に記載の方法。
17. 前記パターンが、赤外線を使用して投影され、前記画像センサユニットが、前記パターンを検出するための赤外線感受性画像センサを含む、請求項１６に記載の方法。
18. 各捕捉画像にタイムスタンプを割り当てることを含む、請求項１～１７のうちの少なくとも一項に記載の方法。
19. 前記画像センサユニットから追跡ユニットまで、捕捉画像を表す画像データをストリーミングすることを含む、請求項１～１８のうちの少なくとも一項に記載の方法。
20. 前記画像センサユニットで画像を捕捉しながら移動する、異なる場所に位置する複数の位置センサまたは移動可能な位置センサをフォトグラムで検出することによって、交互電磁場の歪みが決定され、前記位置検出システムの前記座標系内の前記位置センサの位置および配向が、前記位置検出システムを介して直接的に決定可能である、請求項１～１９のうちの少なくとも一項に記載の方法。
21. 位置検出システムに関連して物体の位置および配向を決定するための位置合わせセットアップであって、
    －位置センサの位置および配向を決定するように構成されている、位置検出システムと、
    －少なくとも１つの動きセンサを含む、少なくとも１つの画像センサユニットであって、
    －前記画像センサユニットが、前記物体の画像を捕捉し、かつ前記物体の表面モデルを少なくとも１つの捕捉画像からフォトグラムで生成するように構成されており、
    －前記動きセンサが、経時的に前記位置検出システムに対する前記移動画像センサユニットの一連の位置を表す動きセンサ信号を提供するように構成されている、少なくとも１つの画像センサユニットと、
    －追跡ユニットであって、
    －動きセンサによって提供される動きセンサ信号を処理することによって、前記画像センサユニットの前記経路を記録するように構成されている、追跡ユニットと、
    －位置決定ユニットであって、
    －決定された経路ならびに決定された経路および座標上の少なくとも１つの点の既知の空間関係に基づいて、前記物体の画像が捕捉される、前記画像センサユニットの捕捉位置を決定することと、
    －前記決定された経路の少なくとも１つの点を、前記位置検出システムの前記座標系内の座標に関連付けることと、
    －キャリブレーションによって、前記生成表面モデルの位置を前記画像センサユニットの前記捕捉位置に関連付けることと、を行うように構成されている、位置決定ユニットと、
    －座標変換ユニットであって、
    －前記生成表面モデルを、前記位置検出システムの前記座標系に変換するように構成されている、座標変換ユニットと、を含む、位置合わせセットアップ。
22. 前記少なくとも１つの画像センサユニットに接続されているか、または前記少なくとも１つの画像センサユニットを含む、パターンプロジェクタを含み、前記パターンプロジェクタが、身体上にパターンを投影するように構成されている、請求項２１に記載のセットアップ。
23. 前記画像センサユニットを予め画定され固定された位置で再現可能に受容するように構成されている、形状適合アダプタを含む、画像センサユニットホルダを含み、前記位置検出システムに対する前記画像センサホルダの位置および配向が、
    －前記画像センサユニットホルダに取り付けられた位置センサの位置および配向を検出すること、
    または
    －前記位置検出システムに対して前記画像センサユニットホルダを固定すること、によって決定可能である、請求項２１または２２に記載のセットアップ。
24. 電磁位置検出システムに関連して物体の位置および配向を決定するための位置合わせ方法であって、前記方法が、
    －電磁位置検出システムのフィールドジェネレータに強固に固定された画像センサユニットを提供するステップと、
    －キャリブレーションによって、表面モデルの座標系と前記電磁位置検出システムの座標系との間の変換のための変換関数を決定するステップと、
    －前記画像センサユニットを用いて、物体の表面の画像を捕捉するステップと、
    －前記捕捉画像から前記物体の表面モデルをフォトグラムで生成するステップと、
    －前記フォトグラム生成表面モデルを、位置検出システムの前記座標系に変換するステップと、を含む、位置合わせ方法。
25. 前記画像センサユニットが、動きセンサおよび／または位置センサを含む、請求項２４に記載の位置合わせ方法。
26. 前記画像センサユニットが、光学ステレオグラフィックカメラ、または光学マルチカメラ、または飛行時間カメラを含む、請求項２４または２５に記載の方法。
27. 前記画像を捕捉する一方で、前記画像センサユニットによって前記物体の表面上に検出可能であるパターンを投影することを含む、請求項２４～２６のうちの少なくとも一項に記載の方法。
28. 各捕捉画像にタイムスタンプを割り当てることを含む、請求項２４～２７のうちの少なくとも一項に記載の方法。
29. 前記画像センサユニットから追跡ユニットまで、捕捉画像を表す画像データをストリーミングすることを含む、請求項２４～２８のうちの少なくとも一項に記載の方法。
30. 前記物体に対して位置付けられた前記物体上に配置された前記位置検出システムの前記座標系における位置および配向を検出するために、基準位置センサと一緒に前記物体の前記画像を捕捉することと、前記捕捉画像から前記基準位置センサと一緒に前記表面モデルをフォトグラムで生成し、その結果、前記フォトグラム生成表面モデルの座標系における前記基準位置センサの位置が決定される一方で、同時に、前記位置検出システムの座標系の座標に関して、位置情報を提供することと、を含む、請求項２４～２９のうちの少なくとも一項に記載の方法。
31. 位置検出システムに関連して物体の位置および配向を決定するための位置合わせセットアップであって、
    －交互電磁場を放射するためのフィールドジェネレータを含む、電磁位置検出システムと、
    －前記フィールドジェネレータに強固に固定された画像センサユニットであって、前記画像センサユニットが、前記物体の画像を捕捉し、かつ前記物体の表面モデルを少なくとも１つの捕捉画像からフォトグラムで生成するように構成されている、画像センサユニットと、
    －キャリブレーションによって、表面モデルの座標系と前記電磁位置検出システムの座標系との間の変換のための変換関数を決定するように構成されている、キャリブレーションユニットと、
    －前記表面モデルの座標系内の前記表面モデルを表す座標を、前記位置検出システムの前記座標系に変換するための変換関数を用いるように構成されている、座標変換ユニットと、を含む、位置合わせセットアップ。
32. 前記画像センサユニットに接続されているか、または前記画像センサユニットを含む、パターンプロジェクタを含み、前記パターンプロジェクタが、前記身体上にパターンを投影するように構成されている、請求項３１に記載のセットアップ。
33. 前記画像センサユニットが、動きセンサおよび／または位置センサを含む、請求項３１または３２に記載の位置合わせ方法。

Images