JP2016527996A - 外科ナビゲーションのための座標変換を決定するコンピュータ実施技術 - Google Patents

Abstract

患者画像データに対して外科装置（１５０）をナビゲーションするためのナビゲーション参照座標系（３０２）と、患者画像データにより患者の表面の形状が定められる画像座標系（３０４）との間の変換を決定する技術が提供される。この技術のコンピュータ実施方法は、患者の表面の異なる透視図から得られた複数のデータセットを受け取る工程を含む。画像データセットにおいて識別可能な複数の特徴（１７０）の特徴座標は、画像データセットからナビゲーション参照座標系（３０２）において決定される。これらの特徴座標から、ナビゲーション参照座標系（３０２）における患者の表面の形状モデルが決定される。次に、患者画像データによって定められた患者の表面の形状及び形状モデル間の表面マッチングを行い、ナビゲーション参照座標系（３０２）と画像座標系（３０４）との間の変換（Ｔ１）を決定する。【選択図】 図３

Description

本発明は、コンピュータ支援手術に関する。具体的には、ナビゲーション参照座標系と画像座標系との間の変換を決定する技術が提示される。本技術は、方法、コンピュータプログラム、装置、及びシステムとして実施することができる。

外科ナビゲーションシステムの支援下で行われる外科手術の件数は、ここ十年で非常に増加している。この増加は、外科ナビゲーションシステムの利用及び構築が簡易化してきているという事実に一部起因する。

外科ナビゲーションは、典型的に、手術前又は手術中に得られる患者画像データ（コンピュータ断層撮影（ＣＴスキャン）等）に基づいて行われる。画像ガイド手術のため、患者に対する外科装置の現在位置は、患者画像に重ねられて視覚化される。この重ね合わせは、画像座標系（患者画像データが与えられる座標）に対するナビゲーション参照座標系（外科装置と患者との間の相対的な動きが追跡される座標）の位置合わせ（ｒｅｇｉｓｔｅｒｉｎｇ）を必要とする。位置合わせは、数学的な透視図から、ナビゲーション参照座標系と画像座標系との間の変換を算出することを含む。

位置合わせの完了後、ナビゲーションされる外科装置と患者との間の相対的な動きを追跡し、視覚化することができる。追跡は、一つ以上の追跡装置をその視野内に検出するように構成された追跡カメラを用いて行われる。従来、患者と外科装置の両方は、それぞれ専用の追跡装置と関連付けられる。このようなナビゲーション方法は、例えば、シュトリュケル社に付与された米国特許第８，４５７，７１９号から公知である。

米国特許第８，４５７，７１９号には、発光ダイオード（ＬＥＤ）の形態をした、間隔を置いた複数の追跡点をそれぞれ含むツール追跡装置及び患者追跡装置が開示されている。患者追跡装置は、患者に貼られる側に接着層を有する可撓性パッチを含み、パッチの反対側に備えられた追跡点は、患者の表面と一致する。

患者追跡装置上の追跡点とツール追跡装置上の追跡点は、３板式荷結合素子（ＣＣＤ）カメラアレイからなる追跡カメラによって検出可能である。追跡カメラは、カート、手術室の壁、又は手術室の照明に取り付けられる。

位置合わせのため、患者追跡装置が付けられる患者表面のモデルが構築される。表面モデルの構築には、追跡カメラにより患者追跡装置上の追跡点をローカライズすることが必要とされる。これに関して、位置合わせルーチンは、十分な追跡点が追跡カメラの視野内に入るまで患者を動かすように外科医に指示する。容易に理解されるように、表面モデルの質は、正確に検出された追跡点の数に強く依存する。

検出された追跡点から信頼性のある表面モデルが構築されると、この表面モデルはＣＴスキャンの患者画像と位置合わせされる。この位置合わせは、表面マッチング技術を用いて行われる。スキャンされた患者画像及び形状モデルが予め設定された誤差範囲内で位置合わせできた場合、位置合わせルーチンは位置合わせ手続きの完了を確認する。位置合わせ手続きの完了は、表面モデルの質に強く影響される。表面モデルの質は、追跡カメラによって正確に検出された追跡点の数に依存する。

また、患者のみを追跡し、追跡カメラと外科装置に関する先験的知識を用いて患者追跡装置に対する外科装置の位置を計算するというナビゲーション方法も存在する。これに関して、アクティビューズ社に付与された米国特許出願公開第２００８／０２０８０４１号は、患者に貼られるように構成された実質的に平面状のパッチの形態をした患者追跡装置を備えた外科ナビゲーションシステムを開示している。このパッチは、光学的に識別可能な追跡点配列と、追跡点配列に対して既知の空間関係を有する、Ｘ線を通さない付加的な基準点配列とを含む。

手術前に撮影されたＣＴスキャン画像と患者間の位置合わせは、ＣＴスキャン画像において識別可能なＸ線を通さない基準点配列を、外科装置に取り付けられた追跡カメラによって検出された追跡点配列と照合することによって行われる。外科ナビゲーションの間、上記装置に取り付けられた追跡カメラは、追跡点配列を追跡し、外科装置の形状、追跡点配列の形状、及び追跡カメラの画像処理性能に関する知識に基づいて、追跡点配列に対する外科装置の位置を計算する。このため、別個のツール追跡装置は必要ない。

本発明は、位置合わせ性能の向上を目的とする。

一態様によると、患者画像データに対して外科装置をナビゲーションするためのナビゲーション参照座標系と、患者画像データにより患者の表面の形状が定められる画像座標系との間の変換を決定するコンピュータ実施方法が提供される。本方法は、患者の表面の異なる透視図から得られた複数の画像データセットを受け取る工程を含む。本方法は、画像データセットから、画像データセット中で識別可能な複数の特徴の特徴座標を、ナビゲーション参照座標系において決定する工程と、上記特徴座標から、患者の表面の形状モデルを、ナビゲーション参照座標系において決定する工程と、患者画像データによって定められた患者の表面の形状と形状モデルとの表面マッチングを用いて、ナビゲーション参照座標系と画像座標系との間の変換を決定する工程を更に含む。

本方法は、実際のナビゲーション手続きに先行する位置合わせ手続きの間に行うことができる。容易に理解されるように、位置合わせの結果は、アップデート又は検証され得るため、本明細書で提示される方法は、ナビゲーション手続きと並行して実行することもできる。

本明細書で提示される方法の工程は、コンピュータ装置によって実行されてもよい。コンピュータ装置は、コンピュータ支援手術用のシステムに含まれていてもよい。特に、本方法の工程は、ハードウェアコンポーネント及びソフトウェアコンポーネントのうち少なくとも一つによって実行されてもよい。一例として、上記の受け取り工程は、ハードウェアインターフェース及びソフトウェアインターフェースのうち少なくとも一つによって実行されてもよく、上記の決定工程は、（例えば、ソフトウェアの制御下で）インターフェースと連結された一つ以上のプロセッサによって実行されてもよい。

画像データセットは、第１のカメラから受け取ることができる。第１のカメラは、画像データセットを撮影する際に患者に対して可動的であってもよい。一つの変更例として、第１のカメラは、ビデオカメラであってもよい。この場合、画像データセットは、ビデオデータストリームの形式で（例えば、ビデオフレームとして）第１のカメラから受け取られてもよい。第１のカメラは、非立体カメラ（例えば、任意の時点で一つの透視図から一つの画像データセットを与えるもの）であってもよい。

第１のカメラは、手持ちカメラであってもよい。これに代わって、又はこれに加えて、第１のカメラは外科装置に取り付け可能なものであってもよい。外科装置は、手に持って操作可能な装置であってもよい。例えば、外科装置は、外科用ポインタ、外科用針（生体針等）、又は外科用電動工具等の手術器具とすることができる。

画像データセットにおいて識別可能な特徴をグループ化し、一つ以上の特徴グループを形成してもよい。各特徴グループに、位置及び方位のうち少なくとも一つが帰属してもよい。グループ化に関する先験的知識が存在してもよい（例えば、既知の特徴符号化方式によって特徴グループを規定してもよい）。尚、特徴グループは、それ自身が特定の特徴座標（例えば、特徴グループの中心の特徴座標）を有する一つの特徴として見なされ得る。

一実施例によると、特徴座標及び形状モデルのうち少なくとも一つは、３次元復元法（Ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−Ｍｏｔｉｏｎ；ＳｆＭ）、自己位置推定と地図作製を同時に行う方法（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ ｔｅｃｈｎｉｑｕｅ；ＳＬＡＭ）、及び姿勢推定法のうち一つ以上を用いて決定されてもよい。例えば、ＳＬＡＭを特徴グループに適用してもよい。別の例として、異なる透視図から得られる画像データセットにおいて識別可能な個別の特徴（特徴グループでなくてもよい）に関する特徴追跡をＳｆＭによって構築してもよい。異なる（カメラ）透視図に基づく三角測量を個別の特徴追跡に適用してもよい。三角測量は、特徴座標を３次元で（例えば、ナビゲーション参照座標系に）復元し、任意に最適化するのに役立つ。

形状モデルは、表面上に位置する、あるいは表面を画定する点群として決定されてもよい。点群は、２０以上（例えば３０以上）の点を含んでいてもよい。各点は、（特徴キーポイント又は特徴グループの中心等の）特徴の座標によって表すことができる。

ナビゲーション参照座標系は、通常、手術中に（例えば、画像座標系に対する位置合わせの完了後に）外科装置をナビゲーションするために使用される座標系である。例えば、ナビゲーション参照座標系は、外科装置のナビゲーションのために患者追跡装置を追跡する際に用いられる座標系であってもよい。一実施例では、外科装置は、更に専用のツール追跡装置によって、ナビゲーション参照座標系において追跡されてもよい。別の実施例では、ツール追跡装置を使用せずに、ナビゲーション参照座標系において外科装置又はその一部の位置を算出してもよい。

ナビゲーション参照座標系は、画像データセットにおいて識別された特徴のうちの少なくともいくつかの特徴に基づいて決定されてもよい。一つの変更例では、識別された特徴のうちのいくつかが（例えば、実行時間中に）選択され、ナビゲーション参照座標系を定める。別の変更例では、先験的知識が利用可能であり、画像データセットにおいて識別された特徴のうちのいくつかが、ナビゲーション参照座標系を定めるように、又ナビゲーション参照座標系に広がるように配列される。どちらの変更例においても、識別された特徴は、（例えば、適切な符号化により）互いに区別可能であってもよく、区別可能でなくてもよい。このようにして、決定の頑健性を増すことができる。

特徴座標は、外科ナビゲーション中に使用される患者追跡装置の一つ以上の追跡装置特徴に関して決定されてもよく、上記患者追跡装置は、画像データセットにおいて少なくとも部分的に識別可能であり、患者に対して一定の位置を有していてもよい。患者追跡装置は、ヘッドセット、患者の表面に貼り付け可能な剛性又は可撓性パッチ、骨に取り付け可能な装置等、様々な形態をとり得る。患者追跡装置は、追跡装置特徴配列を含んでいてもよい。本明細書に提示される方法を実行する際には、この追跡装置特徴配列の幾何学的特徴（個別の追跡装置特徴間の相対位置等）に関する先験的知識及び／又は上記配列内の個別の追跡装置特徴の特性（符号化特性等）に関する先験的知識を使用することができる。

追跡装置特徴は、ナビゲーション参照座標系を少なくとも部分的に定めてもよい。これに関して、追跡装置特徴によってナビゲーション参照座標系をどのように定めるかについての先験的知識を利用することができる。この先験的知識によって、識別された追跡装置特徴の空間的位置及び／又はそれらの特性（符号化特性等）からナビゲーション参照座標系を決定（例えば、構築）することが可能となり得る。ある実施例では、一つ以上の追跡装置特徴の代わりに、又はこれに加えて、画像データセットにおいて認識可能な一つ以上の別の特徴をナビゲーション参照座標系を定めるために用いることもできる。

これに加えて、又はこれに代わって、特徴座標は、画像データセットにおいて識別可能な一つ以上の患者の解剖学的特徴（肌の特徴を含む）に関して決定されてもよい。容易に理解されるように、一つ以上の患者の解剖学的特徴の特徴座標は、追跡装置特徴に加えて、又はこれに代わって識別されてもよい。画像データセットにおける一つ以上の患者の解剖学的特徴の識別は、解剖学的特徴に関する一般知識（例えば予想される広がり、位置、及び／又は形状等）を用いて行うことができる。

ナビゲーション参照座標系は、患者の解剖学的特徴から、少なくとも部分的に決定されてもよい。これに関して、識別された患者の解剖学的特徴のうち一つ以上は、ナビゲーション参照座標系に展開されるように用いられてもよい。ナビゲーション参照座標系は、患者の解剖学的特徴によってのみ展開されてもよく、患者の解剖学的特徴と画像データセットにおいて識別された別の特徴（例えば、一つ以上の識別装置特徴等）との組み合わせによって展開されてもよい。

一つの変更例において、形状モデルは、患者の解剖学的特徴から、少なくとも部分的に決定されてもよい。この場合、上記表面マッチングは、患者の画像データによって定められた患者の表面と、識別された患者の解剖学的特徴の相対位置によって定められた表面とのマッチングを含んでいてもよい。勿論、形状モデルは、画像データセットにおいて識別可能な別の特徴から、又はその特徴との組み合わせから決定されてもよい。

一つの実施例において、特徴座標は、画像データセットにおいて少なくとも部分的に識別可能な、患者に貼られる特徴パッチの一つ以上のパッチ特徴に関して決定される。この特徴パッチは、本質的に平面な外観を有する基材を含んでいてもよく、あるいは患者の表面に一致するように可撓性を有していてもよい。これに代わって、特徴パッチは、単に患者の肌に描かれたものでもよく、これによって患者の表面に一致させることもできる。形状モデルは、パッチ特徴から少なくとも部分的に決定されてもよい。また、形状モデルは、一つ以上のパッチ特徴と一つ以上の患者の解剖学的特徴との組み合わせから決定することもできる。

通常、特徴パッチは患者に付けられる肌マスクの形態をとる。肌マスクは、肌マスクが付けられる患者の解剖学的特徴の領域（額又は頬骨の領域等）に合うような形状（外輪郭）を有していてもよい。このようにして、表面マッチングに特に適した（例えば、特徴的な表面を有する）解剖学的領域に特徴を選択的に付けることができる。

また、ナビゲーション参照座標系は、パッチ特徴から、少なくとも部分的に決定することができる。例えば、ナビゲーション参照座標系は、パッチ特徴のみから決定することも可能であるし、一つ以上のパッチ特徴と、画像データセットにおいて識別可能な一つ以上の別の特徴（一つ以上の追跡装置特徴及び／又は一つ以上の患者の解剖学的特徴等）との組み合わせから決定することもできる。ナビゲーション参照座標系を決定するため、パッチ特徴の相対位置及び／又は（符号化）特性に関する先験的知識が存在してもよい。

ナビゲーション参照座標系の決定は倍率に基づいて行われてもよい。一つの実施例では、この倍率は表面マッチングから導き出される。例えば、表面マッチングで患者画像に与えられた縮尺情報を用いることで、ナビゲーション参照座標系の倍率を導き出すことができる。これに加えて、又はこれに代わって、ナビゲーション参照座標系の倍率を決定するために、画像データセットにおいて識別可能な縮尺基準の縮尺特徴を利用することができる。

本明細書で提示される技術は、ナビゲーション中に、ナビゲーション参照座標系を決定する際に用いた一つ以上の特徴に対する外科装置又はその一部の位置を追跡又は算出することを更に含んでいてもよい。これに関して、外科装置は、追跡カメラによって検出可能なツール追跡装置と関連付けられてもよい。これに代わって、外科装置に追跡カメラを取り付け、外科装置又はその一部の位置を（例えば、外科装置又はその部分とカメラとの幾何学的関係についての先験的知識に基づいて）算出してもよい。

追跡又は算出は、一つ以上の患者の解剖学的特徴及び患者追跡装置の一つ以上の（人工的な）追跡装置特徴のうち少なくとも一つに基づいて行ってもよい。即ち、この目的のため、少なくとも４つの特徴を用いることができる。追跡装置特徴に関して、患者追跡装置は、患者に貼られる特徴パッチ、特に可撓性の基材を有する特徴パッチとは異なるものであってもよい。

外科装置、又はその一部を、患者画像に対して視覚化してもよい。このような視覚化は、ナビゲーション参照座標系を決定する際に用いた一つ以上の特徴に対する外科装置の位置の追跡又は算出（推定を含む）に従って調整することができる。これらの特徴の座標は、ナビゲーション参照座標系において既知である。

通常、画像データセットは第１のカメラから受け取られてもよく、追跡又は算出は、ナビゲーション中に第１のカメラとは異なる第２のカメラによって提供される画像情報に基づいて行われてもよい。第１のカメラは、画像データセットを撮影する際に、手術室内で患者に対して（例えば、自由に）動かすことができるように構成されてもよい。第２のカメラは、手術の間、手術室内の一定の位置に本質的に固定されてもよい。例えば、第２のカメラは、手術室の壁、手術室の照明、又は本質的に固定されたカートに取り付けられてもよい。

代替の実施例では、ナビゲーション参照座標系と画像座標系との間の変換を決定する画像データセットは、第１のカメラから受け取られ、追跡及び算出も、ナビゲーション中に第１のカメラから受け取られる画像データセットに基づいて行われる。

画像データセットにおいて識別可能な特徴は、様々な形態をとり得る。例えば、これらの特徴は、３次元体であってもよく、２次元体であってもよい。識別された特徴は、互いに区別可能であってもよく、区別できなくてもよい。前者の場合、画像データセットにおいて識別可能な２つ以上の特徴は、予め定義された符号化方式に従って、画像データセットにおいて互いに異なるものとなるように符号化されてもよく、あるいは特徴付けられてもよい。符号化方式としては、配色や、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード方式等のより高度な方式を挙げることができる。後者の場合は、特に、複数の特徴が重なり合っていてもよい。

これらの特徴は、画像データセットが得られた透視図から独立して、（例えば、ナビゲーション参照座標系内の座標として）ある空間の一点に関連付けられるように、又は一点に帰するように構成されることが好ましい。この目的のため、キーポイントの推定が行われてもよい。特徴座標は、特徴キーポイントの座標として表されてもよく、あるいは（例えば、特徴グループの場合には）複数の特徴キーポイントから導き出されてもよい。

（例えば、先験的知識に基づいて）画像データセット中の一つ以上の特徴を識別（位置決め等）するために、パターン認識技術を用いることができる。パターン認識技術によって、識別された複数の特徴を互いに区別することが可能となる。ここでも先験的知識を用いてもよい。

一つの実施例において、本明細書で提示される方法は、画像化された患者の画像データを受け取ることを更に含む。患者画像データは２次元又は３次元で提供されてもよい。３次元の患者画像は、画像ボリュームとも呼ばれる。画像データは、画像座標系に与えられることが好ましい。

本方法は、画像データから患者の表面の形状を抽出する工程を更に含んでいてもよい。これに関して、画像データに含まれる予め決められた又は任意の患者の部分を形状抽出に用いてもよい。形状抽出により、患者の表面を定める点群を得てもよい。

画像データは、様々な形態をとり得る。例えば、画像データは、超音波データあるいは核磁気共鳴断層法（ＭＲＴ）やポジトロン断層法（ＰＥＴ）等のＣＴスキャンのデータとして与えられてもよい。画像データは、画像座標系を定めることもできる。

患者画像データは、（Ｘ線を通さない基準点等の）位置合わせマーカーを表示しなくてもよい。すなわち、いくつかの変更例では、データ取得前に位置合わせマーカーと患者とを関連付ける必要性を除外するために、表面マッチングが用いられる。患者画像データは、手術前に生成されてもよい。これに代わって、又はこれに加えて、手術中に得られた画像データを用いることもできる。

位置合わせの変換は、ナビゲーション前に決定されてもよい。これに加えて、上記変換は、ナビゲーション中に一回以上、（ナビゲーション前に決定された変換を検証又は修正するために）新たに決定又は調整されてもよい。このようにして、位置合わせを一回以上繰り返すことによって、ナビゲーションの精度を上げることができる。一つの実施例において、変換は、ナビゲーション中に受け取られた各画像データセットに基づいて新たに決定されてもよい。これに関して、フィルタリングを実施してもよい。例えば、変換は、ナビゲーション中に受け取られた新たな画像データセットを常に含む予め決められた数の画像データセットから決定されてもよい。

更に、コンピューター装置で実施されたときに、本明細書に記載された方法及び方法の態様のいずれかの工程を実行するプログラムコードの部分を含むコンピュータプログラム製品が提供される。本コンピュータプログラム製品は、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ、又は半導体メモリ等のコンピューター可読記録媒体に保存されてもよい。また、本コンピュータプログラム製品は、ネットワーク接続を介してダウンロードすることで提供されてもよい。

更なる態様によると、患者画像データに対して外科装置をナビゲーションするためのナビゲーション参照座標系と患者画像データにより患者の表面の形状が定められる画像座標系との間の変換を決定するための装置が提供される。本装置は、患者の表面の異なる透視図から得られた複数の画像データセットを受け取るように適合されたインターフェースを備える。本装置は、画像データセットから、画像データセット中で識別可能な複数の特徴の特徴座標を、ナビゲーション参照座標系において決定し、上記特徴座標から、患者の表面の形状モデルを、ナビゲーション参照座標系において決定し、患者画像データによって定められた患者の表面の形状と形状モデルとの表面マッチングを用いて、ナビゲーション参照座標系と画像座標系との間の変換を決定するように適合されたプロセッサを更に備える。

更に、コンピュータ支援手術用のシステムが提供される。このシステムは、本明細書で提示された装置とカメラを含む。上記カメラは、患者に対して可動的であり、画像データセットを提供するように構成され得る。

本発明の更なる態様、詳細及び利点は、添付された図面と共に、例示的な実施態様の以下の記述から明らかになる。
ナビゲーション参照座標系と画像座標系との間の変換を決定することができるコンピュータ支援手術用のシステムの実施態様の概略図である。 図１Ａのシステムの実施態様で使用可能な様々な特徴の実施態様を説明する樹形図である。 本明細書で提示される方法の実施態様を説明するフロー図である。 図１Ａのシステムの実施態様を利用した位置合わせ及びナビゲーションシナリオを説明する概略図である。 図３のシナリオと関連して用いられる患者追跡装置の表面及び特徴パッチを説明する概略図である。 特徴キーポイントと追跡可能な特徴グループの概念を説明する概略図である。 図１Ａのシステムの実施態様を利用した位置合わせ及びナビゲーションシナリオを更に説明する概略図である。

以下の例示的な実施態様の記述において、限定ではなく説明を目的として、本明細書で提示される技術の完全な理解を提供するために、特定の方法、機能、及び手順等の具体的詳細が説明される。本技術が、それらの具体的詳細とは別の実施態様で実行され得ることは当業者にとって明らかである。例えば、下記の実施態様は、主にＥＮＴ（耳、鼻、喉）外科及び神経外科と関連する位置合わせ及びナビゲーションシナリオに基づいて説明されるが、本明細書で提示される技術を、脊髄外科等、患者の体の別の部位に対しても実施できることは容易に分かるであろう。

また、当業者であれば、本明細書で説明される方法、機能、及び工程が、プログラムされたマイクロプロセッサ、特定用途集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）又は汎用目的のコンピューターと組み合わせて動作するソフトウェアを用いて実行されることを理解するであろう。以下の実施態様が主に方法、システム、及び装置に関して記述される一方で、本発明が、コンピュータ装置、又は、一つ以上のプロセッサ及び記憶装置として機能する一つ以上のメモリ（この一つ以上のメモリには、一つ以上のプロセッサが本明細書で開示される方法、機能、及び工程を実行するように制御するための一つ以上のコンピュータプログラムが記憶されている）を含む分散型コンピューターシステム上で動作するように読み込ませることができるコンピュータープログラム製品に具現化されることもまた理解されよう。

図１Ａは、コンピュータ支援手術用のシステム１００の実施態様を説明している。図１Ａに示されるように、システム１００は、（パーソナルコンピュータ、タブレット、ノートパソコン等の）コンピュータ装置１１０と、（タッチスクリーン、コンピュータモニタ等の）ディスプレイ装置１２０と、（データベースやデータシステムを備えたハードディスク又は半導体メモリ等の）外部記憶装置１３０とを含む。システム１００は、２次元又は３次元で患者領域の画像データを得るように構成された画像取得装置１４０を更に含む。通常、画像取得装置１４０は、器具を用いずに操作可能な装置、機械ガイド付きの装置、又は完全に固定された装置とすることができる。例えば、画像取得装置１４０は、ＣＴ装置、ＭＲＴ装置、ＰＥＴ装置、又は超音波装置であってもよい。画像取得装置１４０は、Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）、又は別の患者画像の書式に従って、患者画像を（ＣＤ−ＲＯＭや無線、又は有線接続等を介して）コンピュータ装置１１０に提供するように構成される。これに代わって、コンピュータ装置１１０又は上記とは異なるコンピュータ装置が、任意の患者画像の書式に従って、画像取得装置１４０によって得られた患者画像データをフォーマットするように構成されてもよい。

システム１００は、ユーザーインタラクション信号を生成するため（又は生成を誘発するため）、一つ以上のボタン、キーボード、マウス、又はトラックボール等のうち少なくとも一つのユーザー操作可能な入力装置（不図示）を更に含んでいてもよい。ユーザーインタラクション信号は、システム１００の操作を制御してもよい。入力装置及びディスプレイ装置１２０は、タッチスクリーンに統合されてもよい。タッチスクリーンは、タブレットコンピュータの一部であってもよい。

システム１００は、外科処置で用いられる（外科用具等の）外科装置１５０を更に含んでいてもよい。本明細書において理解されるように、患者の診断や治療等も外科処置に含まれると見なされる。外科装置１５０は、（例えば、一つ以上のボタンの形態をした）入力装置を含んでいてもよい。

外科装置１５０は、器具を用いずに操作可能な装置又は機械ガイド付きの装置であってもよい。後者の場合、外科装置１５０は、（例えば、完全自動型又は半自動型）外科ロボットによって操作されてもよい。別の変更例では、外科医による外科装置１５０の動きを制御する機械ガイドが存在してもよい。以下の実施態様のうちのいくつかでは、外科装置１５０は、生体針又は内視鏡として構成される。

ディスプレイ装置１２０は、患者画像データを視覚化するように構成される。患者画像データは、外科処置の前、又は外科処置の間に画像取得装置１４０によって取得される。ディスプレイ装置１２０は、患者に対して外科装置１５０をナビゲーションするためのコンピュータ支援ガイドを視覚化するように更に構成される。このような視覚化は、外科装置１５０又はその一部の現在位置（方位を任意に含む）を画像データから得られた患者画像に重ね合わせることを含んでもよい。これに加えて、又はこれに代わって、上記ガイドは、聴覚又は触覚的なフィードバックを介して与えられてもよい。

図１Ａに示されるように、システム１００は、更に、少なくとも一つのカメラ１６０と、特徴セット１７０を定める複数の特徴を含む。カメラ１６０は、特徴セット１７０の特徴のうち少なくともいくつかをそれぞれ含む２つ以上の異なる透視図から患者の画像データセットを取得するように構成される。カメラ１６０は、画像データセットを撮影する際に患者に対して自由に動くことができるように構成された手持ちカメラであってもよい。例えば、カメラ１６０は、連続的なビデオデータストリーム（例えば、ビデオフレーム）の形式で画像データセットを提供することが可能なビデオカメラとして実現されてもよい。

一つの変更例において、カメラ１６０は、カメラ１６０が外科装置１５０と一緒に動くことができるように、外科装置１５０に装着されてもよい。別の変更例では、カメラ１６０は、外科装置１５０と別々に操作可能であってもよい。このような変更例では、カメラ１６０は、スマートフォン、タブレットコンピュータ、又は別の任意のユーザー携帯機器に組み込まれていてもよい。

少なくとも一つの別のカメラ１６０Ａが任意に設けられてもよい。一つの実施例では、別のカメラ１６０Ａは外科装置１５０に装着され、外科ナビゲーション中の追跡に用いられ、もう一方のカメラ１６０は、本明細書で説明されたように、座標系変換が決定される位置合わせ手続きに関連して、外科装置１５０から独立して操作される（米国特許出願公開第２００８／０２０８０４１号参照）。別の実施例では、カメラ１６０が外科装置１５０に装着され、位置合わせ及びナビゲーション（即ち、追跡）の両方の目的に使用される。更に別の実施例では、カメラ１６０、１６０Ａの両方が、外科装置１５０に取り付けられ、カメラ１６０は位置合わせのために使用され、カメラ１６０Ａはナビゲーションをガイドするために用いられる。また、更に別の実施例では、カメラ１６０Ａは外科ナビゲーション中の追跡に用いられ、手術室の壁、手術室の照明、又はカート（図１Ａには不図示）に取り付けられる。カートは少なくともコンピュータ装置１１０とディスプレイ装置１２０を移動するように構成されてもよい。

外科装置１５０に取り付けた場合、カメラ１６０、１６０Ａは、外科装置１５０の対象となる患者表面を含む視野を有し得る。例えば、外科装置１５０が、使用中に患者に向けられる長手軸を有する場合、上記の視野は外科装置１５０の長手軸に沿って延び得る。

特徴セット１７０は、カメラ１６０（また、任意にカメラ１６０Ａ）によって取得された画像データセットにおいて少なくとも識別可能な複数の特徴を含む。このような識別のために、コンピュータ装置１１０によりパターン認識機能が提供されてもよい。これに関して、システム１００は、検出される特徴の配列、符号、又はその他の特性に関する先験的知識を有していてもよく、有していなくてもよい。一つ以上の特徴は、（カメラ１６０によって検出される放射線等の）能動的標識であってもよい。これに加えて、又はこれに代わって、一つ以上の特徴は、受動的標識であってもよい。受動的標識は、反射又は非反射特性を有していてもよい。受動的標識は、本明細書で提示された患者追跡装置及びツール追跡装置等の任意の剛性基材（平面基材等）又は可撓性基材上に（例えば印刷によって）実現されてもよく、あるいは患者の肌に描かれてもよい。一つ以上の特徴は、付加的な標識を含む患者特有の解剖学的特徴として実現されてもよく、また付加的な標識を含まなくてもよい。

図１Ｂには、実現され得る特徴の例が樹形図で示される。図に示されるように、これらの特徴は、人工的特徴又は解剖学的特徴のいずれであってもよい。システム１００は、人工的特徴の先験的知識（いわゆる校正情報等）を有していてもよく、有していなくてもよい。先験的知識は、特徴符号化方式及び特徴間の相対位置のうち一つ以上に関するものであってもよい。先験的に既知である人工的特徴は、例えば、基材上に捺された又は印刷された受動的標識であってもよく、あるいは能動的標識であってもよい（図１Ｂには不図示）。先験的に既知でない人工的特徴は、患者の肌にランダムに描かれたものであってもよい。

解剖学的特徴については、システム１００は、通常、専用の先験的知識を有さないが、この特徴を識別するための汎用モデルを使用することができる。解剖学的特徴の例としては、そばかす、痣、毛穴等の（典型的に２次元の）肌の特徴を挙げることができる。別の（典型的に３次元の）解剖学的特徴の例としては、患者の目、鼻頭等を挙げることができる。

図１Ａを再度参照すると、コンピュータ装置１１０は、少なくとも一つのデータインターフェース１１２、中央演算装置（ＣＰＵ）等の少なくとも一つのプロセッサ１１４、並びにデータ及びプログラムコードを保存するための半導体メモリやハードディスク等の内部記憶装置１１６を含む。データインターフェース１１２は、一つの変更例において、入力／出力インターフェースとして構成される。通常、データインターフェース１１２は、コンピュータ装置１１０と、ディスプレイ装置１２０、外部記憶装置１３０、画像取得装置１４０、カメラ１６０、１６０Ａ、及び（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）及び／又はインターネット等の）コンピュータネットワーク１８０のうち一つ以上との間の有線又は無線通信を確立するために使用される。データインターフェース１１２は、一つ以上のハードウェアコンポーネント、一つ以上のソフトウェアコンポーネント、又はそれらの組み合わせとして実現される。例えば、データインターフェースは、一つ以上のＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インターフェースを含むように実現されてもよい。これに代わって、又はこれに加えて、データインターフェース１１２は、（ＣＤ−ＲＯＭやＳＤカード等の）データ担体を読み取る装置として実現されてもよい。

内部記憶装置１１６、外部記憶装置１３０、又はその両方は、画像取得装置１４０によって取得された患者画像の画像データを記憶するように構成されてもよい。これに代わって、又はこれに加えて、このような画像データはコンピュータネットワーク１８０を介して（例えばダウンロードによって）受け取られてもよい。外部記憶装置１３０は、例えば、画像取得装置１４０内に少なくとも部分的に実現されて、コンピュータ装置１１０によって読み取られてもよい。

また、内部記憶装置１１６、外部記憶装置１３０、又はその両方は、校正データの様々な項目を記憶するように構成されてもよい。このような校正データは、システム１００の先験的知識を構成する。校正データの例は、後でより詳細に説明される。容易に理解されるように、システム１００の先験的知識は、これに代わって、又はこれに加えて、別の情報の項目を含んでいてもよい。

更に、内部記憶装置１１６、外部記憶装置１３０、又はその両方は、カメラ１６０から、またカメラ１６０Ａが存在する場合にはカメラ１６０Ａからも、受け取られた画像データセットを記憶するように構成され得る。上述のように、これらの画像データセットは、ビデオデータストリームの形式で受け取られてもよく、このビデオデータストリームは、プロセッサ１１４によって処理されるため、少なくとも一時的に記憶される。このような処理は、例えば、受け取られた画像データセット中の一つ以上の特徴を識別（例えば、位置決め、また任意にデコード）するためのパターン認識を含む。

以下、図１Ａに示されるようなシステム１００の操作の例示的様式について、残りの図を参照してより詳細に説明する。尚、本明細書に記載される操作様式は、図１Ａに示されるシステムと異なる構成を有するものにおいても実行可能である。同様の参照番号は、同様又は類似の構成要素を示すために用いられる。

図１Ａのシステム１００は、通常、外科処置の間、コンピュータ補助を提供するように動作する。コンピュータ補助は、画像取得装置１４０によって得られディスプレイ装置１２０上に視覚化された患者画像データに対して、外科装置１５０又はその一部をナビゲーションするためのコンピュータ補助ガイドを含んでもよい。上述のように、このようなナビゲーションは、典型的に、先行する位置合わせ工程を必要とし、この位置合わせ工程では、ナビゲーション参照座標系と画像座標系との間の変換が決定される。ナビゲーション参照座標系は、通常、患者の体の座標系又は患者に対して一定の位置を有する患者追跡装置の追跡装置座標系である。患者追跡装置は、例えば、患者に装着される追跡装置配列の形態をとる。画像座標系は、典型的に、画像取得装置１４０によって与えられる画像データセット中に固有に定められる。

図２には、外科装置１５０をナビゲーションするための参照座標系と画像取得装置１４０によって得られた患者画像データが与えられる画像座標系との間の変換を決定するコンピュータ実施方法の実施態様を表すフロー図２００が示される。

フロー図２００に示されるように、本方法の実施態様は、図１Ａに示されるコンピュータ装置１１０が、インターフェース１１２を介して、カメラ１６０及びカメラ１６０Ａのうちの一つから得られた複数の画像データセットを受け取る第１の工程２０２を含む。このようにして受け取られた画像データセットは、プロセッサ１１４によって処理されるため、少なくとも一時的に内部記憶装置１１６に記憶される。上述したように、画像データセットは、連続的又は非連続的なビデオデータストリームの形式で受け取られてもよく、このときカメラ１６０、１６０Ａのいずれか又は両方は、対象の患者の表面に対して動かされる。即ち、記憶装置１１６に記憶される画像データセットは、患者表面の２つ以上の異なる透視図から取得されたものである。

次の工程２０４において、プロセッサ１１４は、記憶装置１１６内の画像データセットを処理する。プロセッサ１１４は、パターン認識技術を用いて、画像データセット内の複数の特徴をまず識別（例えば、位置決め）し、それらの座標を（例えば、キーポイント座標として）ナビゲーション参照座標系において決定する。これに関して、プロセッサ１１４は、複数の識別された特徴に基づいて、ナビゲーション参照座標系を決定してもよい。プロセッサ１１４は、ナビゲーション参照座標系に展開される画像データセット内の特定の特徴に関する先験的知識を有していてもよく、あるいは、ナビゲーション参照座標系に展開されるように、識別された特徴のうち適切なものを単に指定又は選択してもよい。

次の工程２０６において、プロセッサ１１４は、特徴座標から、患者の表面の形状モデルをナビゲーション参照座標系において決定する。形状モデルは、患者の肌上に存在すると仮定される特徴の特徴座標によって規定された点群によって表されてもよい。形状モデルを規定する点群は、典型的には３０を越える点を含み、ある実施例においては、数百の点を含む。

次に、工程２０８において、プロセッサ１１４は、ナビゲーション参照座標系と画像座標系との間の変換（即ち、変換パラメータのセット）を決定する。この変換は、工程２０６で決定された形状モデル（例えば表面点群）と、画像取得装置１４０によって得られた患者画像データによって定められた患者の表面形状との表面マッチング法を用いて決定される。この目的のため、プロセッサ１１４は、図２に示されない先行する又は並行する工程において、例えば、内部記憶装置１１６及び外部記憶装置１３０のいずれかから患者画像データを検索した後、その患者画像データから患者の表面形状を抽出してもよい。工程２０８で座標系変換が決定されると、この変換によって、ナビゲーション参照座標系に対する患者画像データの適切な位置合わせがなされ、ナビゲーション参照座標系において患者及び外科装置１５０のいずれか又は両方が追跡され、外科装置１５０をナビゲーションするための画像ガイド補助が外科医に提供される。

図３には、工程２０８で得られた変換Ｔ１が図示される。図３に示されるように、変換Ｔ１は、ナビゲーション参照座標系３０２（患者座標系又は追跡装置座標系とも称される）と画像座標系３０４との間のリンクを確立する。画像座標系３０４は、この場合、手術前に得られた患者の頭部の画像データ又は画像ボリュームが与えられる３次元座標系である。

また、図３には、関連付けられたカメラ座標系３０６を有する、完全可動式の位置合わせ用手持ちカメラ１６０と、関連付けられた装置座標系３０８を有する、完全可動式の外科装置１５０が示される。図３に示されるように、関連付けられたカメラ座標系３１０を有する追跡カメラ１６０Ａは、外科装置１５０に装着されている。代替の実施態様において、追跡カメラ１６０Ａは、手術室内に本質的に固定されるように取り付けられてもよい。このような実施態様では、別個のツール追跡装置（不図示）が外科装置１５０に装着されてもよい。

図２を参照して上述した位置合わせ工程２０２〜２０８は、位置合わせカメラ１６０によって得られる画像データセットに基づいて行われる。一方、（最初の）位置合わせ手続き後のナビゲーション手続きは、追跡カメラ１６０Ａから受け取られた画像データセットに基づいて行われる。上述したように、代替の実施態様では、位置合わせカメラ１６０を、追跡カメラ１６０Ａと一緒に、又はその代わりに外科装置１５０に取り付けることもできる。後者の場合、位置合わせカメラ１６０はナビゲーション（即ち追跡）のために用いられてもよい。

更に、図３に示されるように、追跡カメラ１０６Ａ（代替の実施態様ではカメラ１６０）と外科装置１５０（例えばその先端）の位置関係は、装置座標系３０８とカメラ座標系３１０との間の第２の変換Ｔ２の変換パラメータによって決められる。この変換パラメータは、生産時の校正工程で（例えば、外科装置１５０及びカメラ１６０／１６０Ａのいずれか又は両方の工場校正工程で）既に求められたものであってもよいし、外科処置の直前に（例えば、任意の外科装置１５０に対する一般的適合のための現地校正によって）得られてもよい。

第２の変換Ｔ２の変換パラメータは、ナビゲーション中に用いられる校正データとして、（例えば、図１Ａに示されるコンピュータ装置１１０の内部記憶装置１１６又はカメラ１６０、１６０Ａそれぞれの内部記憶装置に）記憶されてもよい。このような校正データは、カメラ１６０とその関連付けられた座標系との間の変換、及びカメラ１６０Ａとその関連付けられた座標系との間の変換の変換パラメータを更に含んでいてもよい。この変換パラメータは、上記と同様に内部記憶装置１１６に記憶されてもよく、カメラ１６０、１６０Ａそれぞれの投影モデルを規定してもよい。投影モデルは、カメラ１６０、１６０Ａによって提供された画像データセットにおいて認識された一つ以上の特徴に対するカメラ１６０、１６０Ａそれぞれの位置を決定するために使用することができる（これに関しては米国特許出願公開第２００８／０２０８０４１号参照）。この投影モデルは、例えば、位置合わせのため、図２に示される工程２０４と組み合わせて、また、追跡カメラ１６０Ａによって提供された画像データセットに基づく外科装置１５０のナビゲーションと任意に組み合わせて使用することができる。

特定の投影モデルの変換パラメータは、それぞれのカメラの製造業者によって又はシステム１００の販売業者によって提供されてもよい。また、これらのパラメータは、現地校正備品によって計算されてもよく、特定のカメラの型に規格化されてもよい。ある実施例では、変換パラメータは、適切なインターフェースを介して、（例えば、現在選択されているズームレベルで、リアルタイム依存で）それぞれのカメラ１６０、１６０Ａ自身によって提供される。

また、例えば、図３に示される特徴セット１７０に関する情報が、校正データとして図１Ａのコンピュータ装置１１０の内部記憶装置１１６に提供される。このような情報としては、特徴の相対位置及び／又は適用された特徴符号化方式等が挙げられる。既知の特徴の相対位置と、カメラ１６０、１６０Ａのうちのいずれかによって撮影された画像中の（即ち、関連付けられたカメラ座標系における）（投影された）特徴の相対位置に基づき、対応する画像座標系から、ナビゲーション参照座標系３０２等の特徴座標が与えられる任意の参照座標系への透視図の背景映写によって、更なる変換の変換パラメータを（例えば、リアルタイムで）決定することができる。これは、図３において、カメラ１６０及び１６０Ａそれぞれに関する第３の変換Ｔ３及びＴ３Ａによって表される。

カメラ１６０に関する第３の変換Ｔ３の変換パラメータは、個別の特徴ｊに対して、以下の計算式によって算出される。
Ｍ_{ｊ，１６０}＝Ｔ４・Ｔ３^−１・Ｍ_{ｊ，ｃａｌ}
（式中、Ｍ_{ｊ，１６０}は、カメラ１６０の画像データセット（例えばビデオフレーム）の画像中の、画像座標系に対する座標を有する特徴ｊを表す。Ｍ_{ｊ，ｃａｌ}は、校正データとして与えられ、ナビゲーション参照座標系３０２に対する座標を有する特徴ｊ（のキーポイント等）を示す。第４の変換Ｔ４は、カメラ１６０とそれに関連付けられた画像座標系との間の変換パラメータを示す。）

同様に、追跡カメラ１６０Ａに関する変換Ｔ３Ａの変換パラメータも算出することができる。尚、上述の透視図の背景映写は、しばしばカメラ姿勢推定（ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）にも適用され、あるいはカメラ姿勢推定と組み合わせて行われる。

図３に示される例示的なシナリオにおいて、特徴セット１７０は２つの特徴サブセットとして与えられ、このうち第１の特徴サブセットは、患者追跡装置３２０と関連付けられ、第２の特徴サブセットは、特徴パッチ３３０と関連付けられる。第２の特徴サブセットは、これに加えて、又はこれに代わって、患者の解剖学的特徴として与えられてもよい。図３において、個別の特徴は、黒い点によって記号化されている。勿論、特徴パッチ３３０は、患者の肌に任意の又は明確なパターンを描くことで一般化することもできる。

図４Ａには、複数の符号化された特徴をその表面に含む、複数部品からなる肌マスクの形態をした図３の特徴パッチ３３０の実施態様が示される。図４Ｂには、図３の患者追跡装置３２０の２次元表面（即ち、平面）が示される。

図４Ａを参照すると、特徴パッチ３３０である肌マスクは、患者に面する側に接着剤を有し、頑健で光学的に可視な特徴を印刷面に有する可撓性基材を含む。各特徴は、２次元的な広がりを有する。本実施態様では、この特徴は、広がりを持つ固有のＱＲ型コードを含む（ＱＲ型コードは個別の特徴に重なってもよい）。

図４Ａにおいて、広がりを持つ個別の特徴は、白い円の中に位置するよう図示される。この円の中心は、特徴キーポイントを示す。通常、広がりを持つ各特徴は、その特徴の位置又は座標を示す特定のキーポイント又は中心を定めることができる。コンピュータビジョンでは、特徴は、キーポイントを囲む部分（即ち、特徴の外延）とも称される。

図４Ｃは、円の例示的な形態をした広がりを持つ特徴のキーポイントの概念を概略的に示す。図４Ａの特徴にもこのキーポイントの概念が適用されることは容易に理解される。

尚、図４Ａの白い円は、図示のために用いられているだけであり、実際の特徴パッチ３３０に存在するわけではない。代替的な実施態様では、個別の特徴は、別の方法で定義され、符号化されることは容易に理解されるであろう。例えば、色分けされた円又はドットを用いることができる。

上述のように、図４Ａに示される特徴パッチ３３０の基材は、接着層を介して特徴パッチ３３０が貼られた患者の表面に一致するように曲げることができてもよい。ある実施例において、特徴パッチ３３０上の個別の特徴は、曲げても影響を受けず、平らな表面（即ち平面）を形成すると仮定される小さな領域内でグループ化される。

個別の特徴の相対位置及び（個別の特徴を区別することを可能とする）その符号化方式は、校正データとして記憶されていてもよい（即ち、先験的に既知であってもよい）。また、患者の肌に対する個別の特徴（又は特徴キーポイント）の距離（即ち、特徴パッチ３３０の厚さ）が、校正データとして記憶されていてもよい。

図４Ｂは、図３の患者追跡装置３２０の２次元表面（即ち、平面）を示す。本実施態様において、患者追跡装置３２０は、患者の鼻に付けられるヘッドセットとして構成される。患者追跡装置３２０は、患者と一緒に移動するように、患者に装着される。これにより、患者追跡装置３２０は、患者の動きを検出することができる。これは、特に、ナビゲーション中に、患者に対する外科装置１５０又は位置合わせカメラ１６０の位置をナビゲーション参照座標系３０２において追跡又は算出（推定を含む）するために必要とされる。

本実施態様において、ナビゲーション参照座標系３０２は、図４Ｂの患者追跡装置の２次元表面に与えられた（黒い領域と白い領域の組み合わせの形態をとる）特徴によって定められる、又は展開される。これは、患者追跡装置３２０の表面上に定められた追跡装置特徴がカメラ１６０、１６０Ａのいずれか一つから受け取られた画像データセットにおいて一旦識別され、また任意にデコードされると、ナビゲーション参照座標系３０２を、座標系３０２内のこれらの特徴の座標と共に決定することができることを意味する。特徴パッチ３３０の特徴がナビゲーション参照座標系３０２において既知のものであった場合、それらの特徴もまたこの算出のために用いることができる。

通常、図４Ａに示される特徴パッチ３３０の特徴に関する上記の記載は、図４Ｂの患者追跡装置３２０の特徴にも同様に適用される。例えば、図１Ａのシステム１００は、典型的に、患者追跡装置３２０上に与えられた特徴の相対位置及び符号に関する先験的知識（校正データ）を有する。

以下、ナビゲーション参照座標系３０２と画像座標系３０４との間の変換を決定するための更なる実施態様について説明する。これらの実施態様は、図３に示される一般的なシナリオに、以下で述べられる修正を加えたものである。以下で示されるように、画像取得装置１４０によって画像データを取得する際、患者に付けられるＸ線を通さない基準点又はその他任意の標識がなくても、座標系変換Ｔ１を決定することができる。

以下の実施態様に備えて、特徴グループ（本明細書では「ミニトラッカー」とも呼ばれる）の概念、並びに姿勢推定、ＳＬＡＭ、ＳｆＭなどのコンピュータビジョンの概念について説明する。

図４Ｄは、ミニトラッカーの概念を概略的に説明する。ミニトラッカーは、典型的に、４つ又は実質的にそれ以上の特徴のグループによって定義され、それ自身が個別の特徴を構成するとみなされ得る（即ち、３次元の特徴座標の固有のセットと関連付けることができる）。図４Ｄには、４つの特徴が描かれている。各特徴は一定の（円で示される）広がりと、（特定の線の種類で示される）符号を有する。この符号により、４つの特徴を互いに区別することが可能となる。図４Ｄに示される概略的なミニトラッカーの概念が、図４ＡのＱＲ型コード又は図４Ｂのエリアコードを用いて実施されることは容易に理解されよう。

ミニトラッカーを定める特徴グループにより、位置（また、任意に方位）が規定された点とミニトラッカーを関連付けることが可能となる。これは、図４Ｄの座標系によって示される。この座標系（ミニトラッカー座標系）の起点は、上記の規定された点を示し、軸は方位を示す。特徴グループが既知の形状を有する表面上に配列される場合、座標系の起点は、その表面上の既知の点と関連付けることができる。特徴グループの特徴（即ち、それらの特徴キーポイント）は、ミニトラッカー座標系内に表される。また別の方法では、特徴グループを構成する特徴のキーポイント座標から、ミニトラッカー座標系を導き出すことができる。これらのキーポイント座標は、図３を参照して説明したように、姿勢推定法（透視図背景映写）を用いて決定してもよい。尚、ミニトラッカーの方位及びミニトラッカー座標系は、全ての実施態様で決定する必要はない。多くの実施態様では、ミニトラッカーを空間的に定義された点と関連付けるだけで十分である。

図４Ａに示される特徴パッチの例に関して、各特徴グループは、特徴パッチ３３０が患者の表面に一致した際に、局所的な平面に配列されると考えられる（このとき、各特徴は互いに密接して配列される必要があると考えられる）。このため、各ミニトラッカーは、既知の表面点（例えば、ミニトラッカー座標系の起点）を示すと解釈でき、また、図４Ｅに示されるように、複数のミニトラッカー又は表面点の変換を決定することができる。通常、複数の表面点の間での変換は、その表面点の相対位置又は座標を規定し（図２の工程２０４参照）、これにより所望する表面モデルを描く点群を規定する（図２の工程２０６参照）。

図４Ｅにおいて、２つの例示的な表面点の間の３次元変換は、Ｔ１１^−１・Ｔ１０によって示される。構成要素である変換Ｔ１０及びＴ１１は、それぞれのミニトラッカー座標系とカメラ座標系（図３における参照番号３０６）を関連付ける。一つの実現例では、複数のミニトラッカーに関するこのような変換を、一つの透視図から位置合わせカメラ１６０によって得られた一つの画像データセット（例えば、ビデオフレーム）から算出することができる。実際は、表面点間の変換（Ｔ１１^−１・Ｔ１０等）は、（複数の透視図から得られた）複数の画像データセットから複数回導き出され、算出の頑健性を上げるために平均化される。

カメラ座標系３０６（図３参照）に対する表面点の変換Ｔ１１及びＴ１０は、一つの実施態様では、姿勢推定を含むＳＬＡＭ技術を用いて算出される。上述のように、姿勢推定は、（図３を参照して説明したように）背景映写法を用いて２次元画像から位置及び（任意に）方位を決定するものである。ＳＬＡＭによって自己位置推定（即ち、カメラ位置の決定）と地図作製（即ち、患者表面を表面モデルとして再現すること）を同時に行うことができる。

この実現例では、ＳＬＡＭによって患者表面の形状がモデル化され、（ミニトラッカーによって定められた）局所的な平面領域で再現される。このため、平面姿勢推定を用いて患者表面を局所的に再現することができる。姿勢は、ある実施態様では、図４Ｂの患者追跡装置３２０等の患者追跡装置に対して（即ち、図３のナビゲーション参照座標系３０２において）算出、例えば推定される。得られた形状モデルは、点群として表される。容易に理解されるように、点群の各点は、個別のミニトラッカーの特徴座標（例えば、関連付けられたミニトラッカー座標系の起点）を示す。

形状モデルに関する特徴座標を得るために、ＳＬＡＭに代わって、姿勢推定とＳｆＭ技術の組み合わせを用いてもよい（図２の工程２０４及び２０６）。これに関して、個別の特徴（例えば、特徴キーポイント。ミニトラッカー等の特徴グループである必要はない）は、異なる透視図から位置合わせカメラ１６０によって得られた複数の画像データセットそれぞれにおいて、二次元で識別される。特徴は、ある実施態様では、図４Ａの特徴パッチ３３０によって与えられてもよい。各画像データセットに関して、それぞれのカメラの姿勢が、例えば図４Ｂの患者追跡装置３２０に対して算出される。このため、患者追跡装置３２０上の特徴と特徴パッチ３３０上の特徴を区別する必要がある。

次に、３次元特徴座標を導くために（即ち、患者の表面を再現して形状モデルを生成するために）ＳｆＭが適用される。ＳｆＭは、位置合わせカメラ１６０が患者に対して動く際に、個別の特徴に関する２次元の特徴追跡を構築する。この特徴追跡から、ナビゲーション参照座標系における（例えば、患者追跡装置３２０の座標系３０２における）特徴座標が導かれる。これに関して、患者追跡装置３２０に対する位置合わせカメラ１６０の姿勢を、特徴追跡が構築される画像データセットに利用してもよい。これにより、特徴追跡は、３次元特徴座標の再現に使用される。

三角測量、また任意にバンドル法を３次元特徴座標再現及び形状モデル生成に適用することができる。一つの変更例において、三角測量は、各特徴追跡に関して、（例えば、患者追跡装置３２０に対する）カメラ姿勢において最大の角距離を有する２つのデータセット（ビデオフレーム等）を決定する。これらの２つのデータセットから２次元での特徴情報が導かれ、ナビゲーション参照座標系における特徴座標の初期の３次元再現が得られる。その後、特徴追跡のための初期再現は、多く又は全ての関連付けられた画像データセット（と関連付けられたカメラ姿勢）と一緒に、バンドル法を行うために用いられる。バンドル法は、再投影誤差を減らすための最適化手順である。またこの場合、得られた形状モデルは３次元特徴座標の点群によって表される。

患者追跡装置に対する明確なカメラ姿勢推定がなくても、ＳｆＭを実行できることは容易に理解されよう。このような場合、それぞれのカメラ姿勢は推定され、繰り返し最適化される。これに関連する手順はＫｌｅｉｎ ｅｔ ａｌ．，２００７年１２月，Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ ｆｏｒ Ｓｍａｌｌ ＡＲ Ｗｏｒｋｓｐａｃｅｓ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００７ ６ｔｈ ＩＥＥＥ ａｎｄ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙの１〜１０、１３〜１６頁に記載されている。

トラッカーの概念、姿勢推定、ＳＬＡＭ、及びＳｆＭに関する上記の説明に基づき、図５Ａ〜８Ｂに図示されるような、より詳細な実施態様について説明する。

図５Ａ〜５Ｃに示される実施態様では、図３に示されるものと同様の構成が用いられる。これは、位置合わせのために、患者表面の異なる透視図から画像データセットを提供するように、手持ちカメラ１６０が患者に対して動かされることを意味する。また、図４Ａの（複数部品からなる）特徴パッチ３３０と、図４Ｂに示される特徴パターンを有する患者追跡装置３２０の両方が患者に使用される。このため、患者追跡装置３２０の特徴と特徴パッチ３３０の特徴の両方を、位置合わせカメラ１６０によって提供された画像データセットにおいて識別することができる。

図５Ｂは、図５Ａの構成に基づいた方法の実施態様のフロー図５００を示す。この方法の実施態様は、図４Ｃ〜４Ｄに示される特徴グループ（又はミニトラッカー）の概念、姿勢推定を用いるが、ＳＬＡＭを適用する必要はない。

最初の工程５０２では、手術前又は手術中に、対象となる患者の領域（即ち、外科処置の対象）をスキャンする。上述のように、患者体に特定の基準点やその他任意の標識を付ける必要はない。得られた患者画像データ（一般にボリュームデータセット）は、図１Ａのコンピュータ装置１１０にインポートされる。このインポートは、ＤＩＣＯＭ等の標準プロトコルによって実行することができる。

次の工程５０４では、対象となる患者表面の形状を画像データから抽出する。抽出された形状表現は、対象となる患者の解剖学的領域の肌の表面を表していてもよい。図５Ａに示される例示的な実施態様では、前額部及び顔の表面が抽出される。この抽出は、光線追跡法又は３次元画像分割などの任意の他の技術を用いて、コンピュータ装置１１０又は代替的なコンピュータ装置によって実行することができる。

工程５０２及び５０４は、手術の数日前又は数週間前に行うことができることが理解されよう。ある場合においては、両工程は、外科処置中に（即ち、外科処置に並行して）行うこともできる。

外科処置の直前に、符号化された特徴を有する肌マスク型の特徴パッチ３３０が患者の肌表面に取り付けられる（工程５０６）。上述のように、符号化された特徴はグループ化され、（同様に符号化された）ミニトラッカーが形成される。特徴パッチ３３０の患者に面する側に存在する接着剤により、取り付けられた特徴パッチ３３０は患者表面に一致する。

同時に、患者追跡装置３２０が患者に取り付けられる（工程５０８）。患者追跡装置は、位置合わせ及びナビゲーションの間、患者体から動かされないように装着される。図５Ａに示される実施態様では、表面に追跡装置特徴が印刷された平面基材を備えるヘッドセット（図４Ｂ参照）が用いられる。別の実施態様では、ヘッドバンドやヘッドフレームを用いてもよく、患者の肌に貼り付けられる患者追跡装置を用いることもできる。

実際の位置合わせ手続きは、位置合わせカメラ１６０を患者に対して動かしながら、当該カメラから受け取られたビデオデータストリームを図１Ａのコンピュータ装置１１０の内部記憶装置１１６に記録する工程５１０から開始される。このビデオデータストリームは、患者表面の異なる透視図から得られた連続した画像データセットを含む。この画像データセットにより、位置合わせカメラ１６０の視野内にある追跡装置３２０上の特徴及び特徴パッチ３３０上の特徴の両方を識別することが可能となる。

次に、工程５１２において、患者追跡装置３２０の少なくとも４つの頑健な特徴が識別（例えば検出）可能な各画像データセットに関して、その画像データセットにおいて同様に識別可能な特徴パッチ３３０上の各ミニトラッカーの位置を、患者追跡装置３２０に対して、（例えば、図３を参照して説明した姿勢推定を用いて）ナビゲーション参照座標系３０２中で３次元的に決定する。この場合、ナビゲーション参照座標系３０２は、患者追跡装置３２０上で認識された特徴配列によって先験的に定められ、工程５１２において決定される。

このため、工程５１２は、（図３を参照して説明したのと同様の方法で）位置合わせカメラの座標系３０６に対して、患者追跡装置３２０の位置及び方位（即ち、姿勢）、並びに、ミニトラッカーの位置を推定することを含む。座標変換によって、ナビゲーション参照座標系３０２におけるミニトラッカーの位置が算出される。

結果として、位置合わせカメラ１６０から受け取られたビデオデータストリームを処理することで、患者追跡装置３２０に対する（即ち、ナビゲーション参照座標系３０２における）複数のミニトラッカーの（即ち、図４Ｅに示されるような関連付けられた表面点の）特徴座標を収集し、また任意にフィルタリングすることができる。フィルタリングは、複数の画像データセットから導かれた（即ち、異なる透視図から得られた）一つのミニトラッカーについて算出された複数の位置の平均値を算出することを含んでもよい。結果として、ナビゲーション参照座標系３２０において、特徴パッチ３３０上のミニトラッカーの位置を表す点群（即ち、特徴座標）が得られる。この点群は、特徴パッチが付けられた患者表面の形状モデルを表す。

上記の算出のうち一回以上は、ビデオデータストリームを記録しながら、また、視覚的な又はその他のフィードバックを位置合わせカメラ１６０を操作するユーザーに提供しながら行うことができる。このようなフィードバックは、位置合わせカメラ１６０より得られたビデオデータストリームのディスプレイ装置１２０上でのレンダリング、画像データセットにおいて患者追跡装置３２０を識別可能か否かに関する情報、及び特徴パッチ３３０の個別の特徴の状態に関する情報（例えば、検出状況、特徴の推定位置に関する品質情報のうち一つ以上）のうち一つ以上を含み得る。

工程５１２で特徴パッチ３３０に関する特徴座標を表す点群を決定した後、本方法は工程５１４に進む。工程５１４では、工程５１２で得られたナビゲーション参照座標系３０２における特徴座標の点群を、工程５０４で画像データから抽出された画像座標系３０４における患者表面と照合させるための表面マッチングが行われる。表面マッチングは、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔｓ）又はその他任意の技術を用いて行うことができる。工程５１４におけるマッチングの結果、ナビゲーション参照座標系３０２（本実施態様では、患者追跡装置の座標系と一致）から画像座標系３０４への、又はその逆の変換Ｔ１のための位置合わせ変換マトリクス（即ち、変換パラメータ）が得られる（図３参照）。

次の工程５１６では、位置合わせ変換マトリクスに基づき、ナビゲーションカメラ１６０Ａがナビゲーション参照座標系３０２において既知の少なくとも４つの特徴（例えば、患者追跡装置３２０の特徴）を識別可能である場合に、追跡カメラ１６０Ａが取り付けられた外科装置１５０を患者画像データボリュームデータセットにおいてナビゲーションすることができ、また、姿勢推定法を用いて患者追跡装置３２０に対する追跡カメラ１６０Ａの姿勢を算出することができる。

図５Ｃは、図５Ａに示される構成に基づき、図３の座標系変換Ｔ１を決定する別の方法のフロー図５５０を示す。工程５５２〜５６６は、本質的に、図５Ｂを参照して説明した工程５０２〜５１６に相当するため、工程５６２に関する大きな違いについてのみ、詳しく説明する。この違いは、ミニトラッカーの概念が実施されないという事実に関係する。代わりに、姿勢推定を伴うＳｆＭ技術が用いられる。従って、特徴パッチ３３０上の（符号化された）個別の特徴のみが、識別及び処理される必要がある。

工程５６２において、ＳｆＭ技術は、特徴パッチ３３０の特徴の特徴座標を決定するために用いられる。上述のように、ＳｆＭは、一連の２次元画像データセットから３次元構造を推定する方法である。これにより、位置合わせカメラによって撮影された動画映像の（投影された）２次元モーションフィールドから３次元表面を復元することができる。これに関して、特徴パッチ３３０の個別の特徴は、一連の画像データセットにおいて、（例えば、オプティカルフローアルゴリズムによって）画像データセットから画像データセットへと追跡される。各画像データセットに関して、患者追跡装置３２０に対する（例えば、推定された）カメラ姿勢を知り、ＳｆＭを適用することによって、ナビゲーション参照座標系３０２（即ち、患者追跡装置の座標系）において識別された特徴の３次元座標を算出することができる。これらの算出の結果、ナビゲーション参照座標系３０２における特徴パッチ３３０の特徴の座標の点群が得られる。

図６Ａには、専用の患者追跡装置が省略された代替的な構成が示される。患者に予め取り付けられる専用の患者追跡装置（図５Ｂの工程５０８、図５Ｃの工程５５８参照）の代わりに、コンピュータシステム１１０が、位置合わせ手続きの間のみ、特徴パッチ３３０の識別された特徴から患者追跡装置を生成する。

対応する工程は、図６Ｂのフロー図６００に示される。工程６０２、６０４、６０６、６１６、及び６１８は、大部分が、図５Ｂを参照して説明した工程５０２、５０４、５０６、５１４、及び５１６にそれぞれ相当するため、詳しくは説明しない。即ち、図６Ｂの方法の実施態様もまた、ミニトラッカーの概念を利用している。

専用の患者追跡装置が患者に取り付けられないため、工程６０８で記録されるビデオデータストリームは、特徴パッチ３３０の特徴のみを示す。

工程６１０では、各画像データセットに関して、特徴パッチ３３０の識別された各ミニトラッカーの姿勢（即ち、位置及び方位）がカメラ座標系３０６（図３参照）に対して推定される。図４Ｄを参照して説明したように、特定のミニトラッカーの既知の位置及び方位は、局所的なミニトラッカーの座標系を定める。このため、一つの識別されたミニトラッカーの座標系から別の識別されたミニトラッカーの座標系への変換を（例えば、任意のミニトラッカーの座標系において）算出することができる。この方法については、図４Ｅを参照して説明した通りである。

工程６１２では、多様な特徴の組み合わせに関して工程６１０で算出された変換を（例えば、異なる透視図から算出された各ミニトラッカーに関する変換の平均値をとることで）収集、また任意にフィルタリングする。

次に、工程６１４では、識別されたミニトラッカーに関して導き出された位置（即ち、座標）及び／又は変換から任意の座標系を構築する。任意の「特徴パッチ」の座標系において識別された個別のミニトラッカーの特徴座標は、（その座標系において）特徴パッチ３３０が付けられた患者表面の表面モデルを表す点群を再び生成する。これに加えて、外科ナビゲーションの間、後の追跡のために（追跡カメラ１６０Ａを介して）集合的な一つの識別されたミニトラッカーを指定することができる。このため、任意の特徴パッチ座標系は、図５Ａ〜５Ｃに示される方法の実施態様と同じ目的のために利用される患者追跡装置座標系と置換されるナビゲーション参照座標系３０２を構成するように定められる。

従って、ミニトラッカーは、工程６１８において、患者（及び外科装置）に対するナビゲーションカメラの位置を決定するために、ナビゲーション中の追跡にも用いられる。これが、ミニ「トラッカー」と呼ばれる所以である。専用の患者追跡装置を用いる別の実施態様（図５Ｂ等参照）では、ミニトラッカーをナビゲーション中に実際の追跡目的で用いる必要がないことは容易に理解されよう。

図７Ａは、図６Ａに示される構成と類似しているが、ＳｆＭ技術を利用する更なる構成を示す。従って、ナビゲーション参照座標系は、ミニトラッカーからは決定されない。また、図７Ａには補足的な縮尺基準１９０が示される。ミニトラッカーが用いられる別の実施態様では、縮尺のためにミニトラッカーの位置に関する先験的知識を用いてもよい。

図７Ａの縮尺基準１９０は、既知の相対距離を有する縮尺特徴を含む。例えば、縮尺基準１９０は、縮尺特徴を定める規則的又は不規則なパターンを有する平面基材の形態をとってもよい。縮尺特徴もまた、位置合わせカメラ１６０によって提供された画像データセットにおいて識別可能であり、患者表面の形状モデルに関する倍率を決定することを可能とする。代替的な実施態様では、このような倍率は、マッチング装置１４０によって得られた患者画像データに関連付けられた既知の倍率から、表面マッチング手続きの間に求めることができる。

これに関連する、図７Ｂのフロー図７００に示される方法の実施態様は、図６Ｂを参照して説明された方法の実施態様に大部分相当する。一つの違いとして、視覚的に検出可能かつ区別可能な少なくとも２つの剛健な光学的縮尺特徴を有する（剛性）縮尺基準１９０（及び先験的に既知な互いに対する相対位置）が、工程７０８で記録されるビデオデータストリームに含まれる。尚、必要であれば、特徴パッチ３３０に縮尺基準１９０を含めることもできる。また、縮尺基準１９０は患者に付けられる必要はないが、位置合わせのため、ビデオデータストリームを取得する間、患者に対して一定の位置を有するべきである。

主に姿勢推定に基づいて行われる工程６１０とは対照的に、工程７１０では、識別された（即ち、検出、また任意にデコードされた）個別の特徴（特徴グループでなくてもよい）の点群を算出するためにＳｆＭが用いられる。点群は、工程７１２において、縮尺特徴の相対的空間位置に関する先験的知識に従って、画像データセット中で識別された縮尺基準特徴の拡大・縮小をすることから決定された倍率によって拡大・縮小される。容易に理解されるように、このような拡大・縮小は、工程６１０で利用される姿勢推定技術には必要ない。工程７１４では、患者追跡装置及び関連付けられた座標系が、特徴パッチ３３０の少なくとも４つの（個別の）特徴から構築される。その後、これらの少なくとも４つの特徴は、工程７１８におけるナビゲーション目的で、カメラ姿勢を推定するために用いられる。

図８Ａは、図３の患者追跡装置３２０と特徴パッチ３３０を省略した更なる構成を示す。一方で、任意の縮尺基準１９０が再度設けられる。これに対応する、図８Ｂのフロー図に示される方法の実施態様は、図７Ｂの方法の実施態様に一部相当する。従って、工程７０２、７０４、７１２、７１４、７１６、及び７１８にそれぞれ対応する工程８０２、８０４、８１４、８１６、８１８、及び８２０の説明は省略する。

工程８０６において、縮尺基準１９０は、位置合わせカメラ１６０の視点方向（即ち視野）に配置される。次に、工程８０８において、対象とする患者領域（ここでは患者の顔）のビデオデータストリームを位置合わせカメラ１６０によって複数の透視図又は視点角度から、縮尺基準１９０も視認されるように記録する。次の工程８１０では、患者の解剖学的特徴が識別、また任意に分類され、検出された特徴に基づきビデオデータストリーム内で追跡される。３次元点群の算出には、上述のように、ＳｆＭを適用する。

工程８１０と関連して（即ち、並行して）、工程８１２でパターン認識を行い、患者の解剖学的特徴があると予想される画像領域を定めるために用いられる付加的な患者の解剖学的特徴（いわゆる目印）を識別する。この工程は、患者表面上にない特徴が検出されるのを防ぐために役立つ。容易に理解されるように、上記の患者の解剖学的特徴は、工程８２０における外科ナビゲーションのため、患者追跡装置を定めるためにも利用される。このため、専用の特徴パッチと専用の患者追跡装置のどちらも図８Ａ及び図８Ｂに示される実施態様には必要ない。

図８Ａの実施例において、工程８１０で用いられる患者の解剖学的特徴は、個人の肌の特徴である。このような肌の特徴は、位置合わせカメラ１６０によって得られた画像データセットにおいて（パターン認識を介して）検出可能な毛穴、そばかす、及び痣のうち一つ以上を含む。別の実施例では、患者の肌に描かれたパターンが同様の目的で肌特徴として用いられることは容易に理解されよう。通常、上記の実施態様のいずれにおいても、このような描かれたパターンを基材付き特徴パッチ３３０の代わりに使用することができる。

尚、図８Ａに示される構成において、縮尺基準１９０は省略可能である。代替案として、患者画像データに初めから含まれる縮尺情報に基づき、表面マッチングを用いて、拡大・縮小を行うこともできる。

上記の実施態様から明らかになったように、本発明は、革新的な位置合わせ方法を伴う外科ナビゲーション技術を提供する。最も簡素な変更例では一つのカメラ（例えば、インターフェースを介してコンピュータ装置と連結されたウェブカメラ）で十分であるため、ナビゲーションシステムを低コストで提供することができる。位置合わせ手続きは、容易かつ直観的であり、外科ナビゲーションのための患者画像データの獲得には患者への特別な処置は必要ない。

上記の原理、実施態様及び本明細書で提示される技術を実施する多様な様式は例として記述されている。本発明は、本明細書で述べられた特定の原理、実施態様及び様式に限定されないものとして解釈されるべきである。むしろ、当業者によって多様な変更及び修正が後述の請求項において定義されるような本発明から逸脱しない範囲でなされ得ることが理解されよう。

更に、図３に示されるように、追跡カメラ１６０Ａ（代替の実施態様ではカメラ１６０）と外科装置１５０（例えばその先端）の位置関係は、装置座標系３０８とカメラ座標系３１０との間の第２の変換Ｔ２の変換パラメータによって決められる。この変換パラメータは、生産時の校正工程で（例えば、外科装置１５０及びカメラ１６０／１６０Ａのいずれか又は両方の工場校正工程で）既に求められたものであってもよいし、外科処置の直前に（例えば、任意の外科装置１５０に対する一般的適合のための現地校正によって）得られてもよい。

結果として、位置合わせカメラ１６０から受け取られたビデオデータストリームを処理することで、患者追跡装置３２０に対する（即ち、ナビゲーション参照座標系３０２における）複数のミニトラッカーの（即ち、図４Ｅに示されるような関連付けられた表面点の）特徴座標を収集し、また任意にフィルタリングすることができる。フィルタリングは、複数の画像データセットから導かれた（即ち、異なる透視図から得られた）一つのミニトラッカーについて算出された複数の位置の平均値を算出することを含んでもよい。結果として、ナビゲーション参照座標系３０２において、特徴パッチ３３０上のミニトラッカーの位置を表す点群（即ち、特徴座標）が得られる。この点群は、特徴パッチが付けられた患者表面の形状モデルを表す。

Claims (37)

1. コンピュータによって実施される、患者画像データに対して外科装置（１５０）をナビゲーションするためのナビゲーション参照座標系（３０２）と画像座標系（３０４）との間の変換（Ｔ１）を決定する方法であって、前記患者画像データは患者の表面の形状を前記画像座標系において定め、前記方法は、
   前記患者の表面の異なる透視図から得られた複数の画像データセットを受け取る工程（２０２）と、
   前記画像データセットから、前記画像データセット中で識別可能な複数の特徴（１７０）の特徴座標を、前記ナビゲーション参照座標系（３０２）において決定する工程（２０４）と、
   前記特徴座標から、前記患者の表面の形状モデルを、前記ナビゲーション参照座標系（３０２）において決定する工程（２０６）と、
   前記患者画像データによって定められた前記患者の表面の前記形状と前記形状モデルとの表面マッチングを用いて、前記ナビゲーション参照座標系（３０２）と前記画像座標系（３０４）との間の変換（Ｔ１）を決定する工程（２０８）を含むことを特徴とする方法。
2. 前記画像データセットは、前記画像データセットを撮影する際に前記患者に対して可動的な第１のカメラ（１６０）から受け取られることを特徴とする請求項１に記載の方法。
3. 前記第１のカメラ（１６０）は、ビデオカメラであり、前記画像データセットは、ビデオデータストリームの形式で前記第１のカメラ（１６０）から受け取られることを特徴とする請求項２に記載の方法。
4. 前記第１のカメラ（１６０）は、手持ちカメラか、前記外科装置（１５０）に取り付け可能なカメラのうち少なくとも一つであることを特徴とする請求項２又は請求項３に記載の方法。
5. 少なくとも一つの画像データセットにおいて識別可能な前記特徴のうちのいくつかは、特徴グループとしてグループ化され、位置及び方位のうち少なくとも一つは各特徴グループに帰属することを特徴とする請求項１から請求項４のいずれか１項に記載の方法。
6. 前記特徴座標及び前記形状モデルのうち少なくとも一つは、３次元復元法（Ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−Ｍｏｔｉｏｎ；ＳｆＭ）、自己位置推定と地図作製を同時に行う方法（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ ｔｅｃｈｎｉｑｕｅ；ＳＬＡＭ）、及び姿勢推定法のうち一つ以上を用いて決定されることを特徴とする請求項１から請求項５のいずれか１項に記載の方法。
7. ＳＬＡＭを前記特徴グループに適用することを特徴とする請求項５又は請求項６に記載の方法。
8. 異なる透視図からの前記画像データセットにおいて識別可能な個別の特徴に関して、ＳｆＭが特徴追跡を構築し、異なる透視図に基づく三角測量が個別の特徴追跡に適用されることを特徴とする請求項６に記載の方法。
9. 前記形状モデルは、点群によって表されることを特徴とする請求項１から請求項８のいずれか１項に記載の方法。
10. 更に、前記画像データセットにおいて識別された前記特徴（１７０）のうちの少なくともいくつかの特徴に基づいて、前記ナビゲーション参照座標系（３０２）を決定することを含む請求項１から請求項９のいずれか１項に記載の方法。
11. 前記特徴座標は、外科ナビゲーション中に使用される患者追跡装置（３２０）の一つ以上の追跡装置特徴に関して決定され、前記患者追跡装置（３２０）は、前記画像データセットにおいて少なくとも部分的に識別可能であり、前記患者に対して一定の位置を有することを特徴とする請求項１から請求項１０のいずれか１項に記載の方法。
12. 前記追跡装置特徴は、前記ナビゲーション参照座標系（３０２）を少なくとも部分的に定めることを特徴とする請求項１０又は請求項１１に記載の方法。
13. 前記特徴座標は、前記画像データセットにおいて識別可能な一つ以上の患者の解剖学的特徴に関して決定されることを特徴とする請求項１から請求項１２のいずれか１項に記載の方法。
14. 更に、解剖学的特徴に関する一般知識を用いて、前記画像データセットにおける前記一つ以上の患者の解剖学的特徴を識別することを含む請求項１３に記載の方法。
15. 前記ナビゲーション参照座標系（３０２）は、前記患者の解剖学的特徴から、少なくとも部分的に決定されることを特徴とする請求項７と請求項１３又は請求項１４の組み合わせの方法。
16. 前記形状モデルは、前記患者の解剖学的特徴から、少なくとも部分的に決定されることを特徴とする請求項１３から請求項１５のいずれか１項に記載の方法。
17. 前記特徴座標は、前記画像データセットにおいて少なくとも部分的に識別可能な、前記患者に貼られる特徴パッチ（３３０）の一つ以上のパッチ特徴に関して決定されることを特徴とする請求項１から請求項１６のいずれか１項に記載の方法。
18. 前記ナビゲーション参照座標系（３０２）は、前記パッチ特徴から、少なくとも部分的に決定されることを特徴とする請求項１０と請求項１７の組み合わせの方法。
19. 前記特徴パッチ（３３０）は、前記患者の表面に一致しており、前記形状モデルは、前記パッチ特徴から、少なくとも部分的に決定されることを特徴とする請求項１７又は請求項１８に記載の方法。
20. 更に、前記表面マッチングから倍率を導きだし、前記倍率からも、前記ナビゲーション参照座標系（３０２）を決定することを含む請求項１から請求項１９のいずれか１項に記載の方法。
21. 前記画像データセットにおいて、縮尺基準（１９０）の縮尺特徴が識別可能であり、前記ナビゲーション参照座標系（３０２）は、前記縮尺特徴から導き出される倍率からも決定されることを特徴とする請求項１から請求項２０のいずれか１項に記載の方法。
22. 更に、ナビゲーション中に、前記特徴のうち一つ以上から決定された前記ナビゲーション参照座標系（３０２）に対する前記外科装置（１５０）又はその一部の位置を追跡又は算出することを含む請求項１から請求項２１のいずれか１項に記載の方法。
23. 前記追跡又は算出は、一つ以上の患者の特徴及び前記患者追跡装置（３２０）の一つ以上の追跡装置特徴に基づいて行われ、前記患者追跡装置（３２０）は、前記患者に貼られる特徴パッチ（３３０）とは異なることを特徴とする請求項２２に記載の方法。
24. 更に、前記追跡又は算出に従って、前記外科装置（１５０）又はその一部を、前記患者画像に対して視覚化することを含む請求項２２又は請求項２３に記載の方法。
25. 前記画像データセットは、第１のカメラ（１６０）から受け取られ、前記追跡又は算出は、前記第１のカメラ（１６０）とは異なる第２のカメラ（１６０Ａ）によって提供される画像情報に基づいて行われることを特徴とする請求項２２から請求項２４のいずれか１項に記載の方法。
26. 前記第２のカメラ（１６０Ａ）は、手術の間、手術室内の一定の位置に本質的に固定されることを特徴とする請求項２５に記載の方法。
27. 前記画像データセットは、第１のカメラ（１６０）から受け取られ、前記追跡又は算出は、前記第１のカメラ（１６０）から受け取られた前記画像データセットにも基づいて行われることを特徴とする請求項２２から請求項２４のいずれか１項に記載の方法。
28. 前記画像データセットにおいて識別可能な前記特徴のうち２つ以上は、予め定義された符号化方式に従って、前記画像データセットにおいて互いに異なるものとなるように符号化されることを特徴とする請求項１から請求項２７のいずれか１項に記載の方法。
29. 更に、前記画像データセットにおける前記特徴のうち一つ以上をパターン認識に基づいて識別することを含む請求項１から請求項２８のいずれか１項に記載の方法。
30. 更に、前記画像座標系（３０４）に与えられる前記患者画像データを受け取ることと、前記患者画像データから前記患者の表面の形状を抽出することを含む請求項１から請求項２９のいずれか１項に記載の方法。
31. 前記患者画像データは、位置合わせマーカーを表示しないことを特徴とする請求項３０に記載の方法。
32. 前記患者画像データは、手術前に生成されることを特徴とする請求項３０又は請求項３１に記載の方法。
33. 前記変換（Ｔ１）は、ナビゲーション前に加えて、ナビゲーション中に１回以上決定され、前記ナビゲーション前に決定された変換を検証又は修正することを特徴とする請求項１から請求項３２のいずれか１項に記載の方法。
34. 前記変換（Ｔ１）は、ナビゲーション中に受け取られた各画像データセットに基づいて新たに決定されることを特徴とする請求項３３に記載の方法。
35. コンピューター装置で実施されたときに、請求項１から請求項３４のいずれか１項に記載の工程を実行するプログラムコードの部分を含むコンピュータプログラム製品。
36. 患者画像データに対して外科装置（１５０）をナビゲーションするためのナビゲーション参照座標系（３０２）と画像座標系（３０４）との間の変換（Ｔ１）を決定するための装置（１１０）であって、前記患者画像データは患者の表面の形状を前記画像座標系において定め、前記装置（１１０）は、
    前記患者の表面の異なる透視図から得られた複数の画像データセットを受け取るように適合されたインターフェース（１１２）と、
    前記画像データセットから、前記画像データセット中で識別可能な複数の特徴（１７０）の特徴座標を、前記ナビゲーション参照座標系（３０２）において決定し、前記特徴座標から、前記患者の表面の形状モデルを、前記ナビゲーション参照座標系（３０２）において決定し、前記患者画像データによって定められた前記患者の表面の前記形状と前記形状モデルとの表面マッチングを用いて、前記ナビゲーション参照座標系（３０２）と前記画像座標系（３０４）との間の変換（Ｔ１）を決定するように適合されたプロセッサ（１１４）とを備えるものであることを特徴とする装置。
37. 請求項３６に記載の装置（１１０）と、前記患者に対して可動的であり、前記画像データセットを提供するように構成されたカメラ（１６０）とを含むシステム（１００）。

Images