JP2023179543A - 手術ナビゲーションのための障害物回避技法 - Google Patents

Abstract

【課題】ローカライザが第１のオブジェクトの位置を検出するように構成され、視覚デバイスが第１のオブジェクトの近くの表面の深度マップを生成するように構成されるシステム及び方法を提供する。【解決手段】第１のオブジェクトに対応する仮想モデルにアクセスされ、ローカライザと視覚デバイスとの共通座標系における位置関係が特定される。次に、検出された第１のオブジェクトの位置、仮想モデル、及び位置関係に基づいて、視覚デバイスの予想深度マップが生成される。実深度マップのうちの予想深度マップと一致しない部分が特定され、特定された部分に基づいて第２のオブジェクトが認識される。【選択図】図１

Description

関連出願の相互参照
本出願は、２０１９年７月３日に出願された米国仮特許出願第６２／８７０，２８４号
に対する優先権及びこの仮出願の全ての利益を主張するものであり、この仮出願の内容を
全体として参照により本明細書に組み込む。

本開示は、一般に手術ナビゲーションシステムに関する。

手術ナビゲーションシステムは、治療のために患者の組織の標的体積に対する手術器具
の位置を特定することを支援するものである。外科処置中に、治療対象の標的体積が、避
けるべき傷つきやすい解剖構造や手術具にしばしば隣接して位置することがある。これら
の隣接した解剖構造の、取り付けられたトラッカを用いての追跡は、構造の柔軟性のため
に難しいことが多い。さらに、標的体積に隣接した各オブジェクトにトラッカを取り付け
ると、手術作業空間が混雑し、手術ナビゲーションシステムのコスト及び複雑さが増大す
る。

第１の態様では、第１のオブジェクトを検出するように構成されたローカライザと、第
１のオブジェクトの近傍の表面の実深度マップを生成するように構成された視覚デバイス
と、ローカライザ及び視覚デバイスに結合されたコントローラであって、コントローラが
、第１のオブジェクトに対応する仮想モデルにアクセスすることと、共通座標系でローカ
ライザと視覚デバイスとの位置関係を特定することと、第１のオブジェクトの検出位置、
仮想モデル、及び位置関係に基づいて、視覚デバイスの予想深度マップを生成することと
、予想深度マップと一致しない実深度マップの部分を特定することと、特定された部分に
基づいて第２のオブジェクトを認識することとを行うように構成される、コントローラと
、を備えるナビゲーションシステムが提供される。

第２の態様では、ロボットマニピュレータが第１の態様のナビゲーションシステムとと
もに利用され、ロボットマニピュレータは、手術具を支持し、複数のリンクと、リンクを
動かして手術具を動かすように構成された複数のアクチュエータとを備え、ロボットマニ
ピュレータは、第２のオブジェクトを回避するように制御される。

第３の態様では、ナビゲーションシステムを動作させる方法が提供され、ナビゲーショ
ンは、第１のオブジェクトの位置を検出するように構成されたローカライザと、第１のオ
ブジェクトの近傍の表面の実深度マップを生成するように構成された視覚デバイスと、ロ
ーカライザ及び視覚デバイスに結合されたコントローラとを含み、本方法は、第１のオブ
ジェクトに対応する仮想モデルにアクセスすることと、共通座標系でローカライザと視覚
デバイスとの位置関係を特定することと、第１のオブジェクトの検出位置、仮想モデル、
及び位置関係に基づいて、視覚デバイスの予想深度マップを生成することと、予想深度マ
ップと一致しない実深度マップの部分を特定することと、特定された部分に基づいて第２
のオブジェクトを認識することとを含む。

第４の態様では、１つ以上のプロセッサによって実行されるとき、第３の態様の方法を
実施するように構成された命令が格納された非一時的なコンピュータ可読媒体を含む、コ
ンピュータプログラム製品が提供される。

上記の態様のいずれかに関する一実施態様によれば、ローカライザは、第１のオブジェ
クトに関連する光学的特徴を検出するように構成された光学ローカライザ、第１のオブジ
ェクトに関連する電磁的特徴を検出するように構成された電磁ローカライザ、任意のトラ
ッカを有するか又は有しない第１のオブジェクトを検出するように構成された超音波ロー
カライザ、第１のオブジェクトに関連する慣性特徴を検出するように構成された慣性ロー
カライザ、又は前述の任意の組合せであるように構成される。

上記の態様のいずれかに関する一実施態様によれば、第１のオブジェクトは、患者の解
剖学的構造又は骨、ロボットマニピュレータ、手持ち器具、ロボットマニピュレータに取
り付けられたエンドエフェクタ又はツール、外科用テーブル、移動カート、患者が載せら
れ得る手術台、イメージングシステム、開創器、又は前述の任意の組み合わせなどの手術
室内の機器のいずれかであってもよく、これらに限定されない。

上記の態様のいずれかに関する一実施態様によれば、視覚デバイスは、ローカライザ、
ローカライザとは別のユニット、ナビゲーションシステムのカメラユニット、調整可能な
アーム、ロボットマニピュレータ、エンドエフェクタ、手持ちツール、天井に取り付けら
れたブームなどの手術用ブームシステム、肢保持装置、又は前述の任意の組み合わせのい
ずれかと結合されている。

上記の態様のいずれかに関する一実施態様によれば、第１のオブジェクトの近くの表面
は、第１のオブジェクトに隣接する表面、第１のオブジェクトからある距離だけ離れた表
面、第１のオブジェクトに触れる表面、第１のオブジェクトの上に直接ある表面、第１の
オブジェクトの近くの環境にある表面、第１のオブジェクトの後ろ又は周囲の環境にある
表面、第１のオブジェクトの閾値距離内、ローカライザの視野内、又は前述の任意の組合
せであり得る。

上記の態様のいずれかに関する一実施態様によれば、第２のオブジェクトは、周囲の軟
組織などの患者の解剖学的構造の第２の部分、ロボットマニピュレータ、ロボットマニピ
ュレータの１つ以上のアーム、第２のロボットマニピュレータ、手持ち器具、ロボットマ
ニピュレータ又は手持ち器具に取り付けられたエンドエフェクタ又はツール、外科用テー
ブル、移動カート、患者が載せられ得る手術台、イメージングシステム、開創器、追跡デ
バイス本体などの手術室内の機器（ただし、これらに限定されない）、手術室にいる人間
の身体部分、又は前述の任意の組み合わせ、のいずれかを含む、障害物を形成し得るオブ
ジェクトであり得る。

上記の態様のいずれかに係る一実施態様によれば、コントローラは、１つ以上のコント
ローラ又は制御システムであり得る。一実施態様によれば、コントローラは、共通座標系
における第１のオブジェクトに対する第２のオブジェクトの位置を特定するように構成さ
れる。一実施態様によれば、コントローラは、第１のオブジェクトの検出された位置、実
深度マップにおける第２のオブジェクトの場所、及び位置関係に基づいて、そのように特
定する。

一実施態様によれば、第１のオブジェクトは、手術計画に従って治療すべき患者組織の
標的体積を画定する。一実施態様によれば、コントローラは、共通座標系における標的体
積に対する第２のオブジェクトの位置と手術計画とに基づいて、第２のオブジェクトが、
手術計画に従って標的体積を治療することに対する障害物であるかどうかを判定するよう
に構成される。一実施態様によれば、第２のオブジェクトが手術計画にとっての障害物で
あると判定することに応答して、コントローラは、手術計画を修正すること、及び／又は
通知をトリガすること、及び／又は手術ナビゲーションを停止することを行うように構成
される。

一実施態様によれば、トラッカは、第１のオブジェクトに結合される。一実施態様によ
れば、コントローラは、ローカライザを介して、ローカライザに特定的な第１の座標系で
トラッカの位置を検出するように構成される。一実施態様によれば、コントローラは、第
１の座標系におけるトラッカの検出位置、及び第１の座標系におけるトラッカと第１のオ
ブジェクトとの位置関係に基づいて、第１の座標系における仮想モデルの位置を特定する
ことができる。一実施態様によれば、コントローラは、第１の座標系での仮想モデルの位
置と、第２の座標系でのローカライザと視覚デバイスとの位置関係とに基づいて、第１の
座標系における仮想モデルの位置を、視覚デバイスに特定的な第２の座標系における仮想
モデルの位置に変換する。一実施態様によれば、コントローラは、第２の座標系での仮想
モデルの位置に基づいて、予想深度マップを生成することができる。

一実施態様によれば、コントローラは、実深度マップと予想深度マップとを比較するよ
うに構成されることにより、予想深度マップに一致しない実深度マップの部分を特定する
ように構成される。いくつかの実施態様では、コントローラは、実深度マップと予想深度
マップとの差分を計算する。一実施態様によれば、コントローラは、差分の第１のセクシ
ョンが閾値深度よりも大きい絶対深度を示すかどうかを判定する。一実施態様によれば、
コントローラは、差分の第１のセクションが閾値深度よりも大きい絶対深度を示すと判定
することに応答して、差分の第１のセクションに対応する実深度マップの第２のセクショ
ンを部分として特定する。一実施態様によれば、閾値深度はゼロではない。

一実施態様によれば、コントローラは、予想深度マップと一致しない実深度マップの部
分を特定するように構成される。いくつかの実施態様では、コントローラは、第１のセク
ションのサイズが最小サイズ閾値よりも大きいかどうかを判定するように構成されること
によって、これを行う。いくつかの実施態様では、コントローラは、第１のセクションの
サイズが最小サイズ閾値よりも大きいと判定することに応答して、第２のセクションを部
分として特定する。

一実施態様によれば、コントローラは、特定された部分を第２のオブジェクトに対応す
る所定のプロファイルと一致させるように構成されることにより、特定された部分に基づ
いて第２のオブジェクトを認識するように構成される。

一実施態様によれば、実深度マップの部分は、第２のオブジェクトに対応し、実深度マ
ップの第１の位置に配置された特徴の配列を含む。一実施態様によれば、コントローラは
、特徴の配列が、第１の位置とは異なる第２の位置に移動するかどうかを監視することに
より、第２のオブジェクトの移動を追跡するように構成される。一実施態様によれば、コ
ントローラは、視覚デバイスによって続いて生成される追加の実深度マップにおいて、そ
のようなものを監視する。

一実施態様によれば、コントローラは、共通座標系の第２のオブジェクトに対応する仮
想境界を生成するように構成される。一実施態様によれば、仮想境界は、制約を提供する
。いくつかの実施例では、制約は、手術具、ロボットマニピュレータ、ロボット手持ち手
術装置の作業端、イメージングデバイス、又は手術室内の他の任意の可動装置などのオブ
ジェクトの動きに関するものである。いくつかの実施例では、制約は、キープアウト境界
又はキープイン境界である。

一実施態様によれば、コントローラは、仮想モデル、第１のオブジェクトの検出位置、
及び共通座標系でのローカライザと視覚デバイスとの位置関係に基づいて、実深度マップ
を関心領域にトリミングするように構成される。いくつかの実施態様では、コントローラ
は、トリミングされた実深度マップを比較するように構成されることにより、実深度マッ
プを比較するように構成される。

一実施態様によれば、コントローラは、視覚デバイスの視界内にあり、任意選択でロー
カライザの視界内にもある表面上にパターンを投影するように構成されることにより、共
通座標系におけるローカライザと視覚デバイスとの位置関係を特定するように構成される
。いくつかの実施態様では、コントローラは、ローカライザに特定的な第１の座標系にお
けるパターンの位置を示すローカライザを用いて位置特定データを生成する。いくつかの
実施態様では、コントローラは、視覚デバイスによって生成された投影パターンを示す較
正深度マップを受け取る。いくつかの実施態様では、コントローラは、較正深度マップに
基づいて、視覚デバイスに特定的な第２の座標系における投影パターンの位置を特定する
。いくつかの実施態様では、コントローラは、第１の座標系におけるパターンの位置と第
２の座標系におけるパターンの位置とに基づいて、共通座標系におけるローカライザと視
覚デバイスとの位置関係を特定する。いくつかの実施態様では、コントローラは、第１の
スペクトル帯で動作して、第１のオブジェクトの位置を検出するように構成されており、
視覚デバイスは、第２のスペクトル帯で動作して、第１のオブジェクトの近傍の表面の実
深度マップを生成するように構成されており、第１のスペクトル帯は第２のスペクトル帯
とは異なる。

上記の態様のいずれかを完全に又は部分的に組み合わせることができる。上記の態様の
いずれかを完全に又は部分的に組み合わせることができる。

上記の概要は、本明細書で論じられる本発明の特定の態様に関する基本的な理解を与え
るために、本発明のいくつかの態様を簡単に概説したものである場合がある。本概要は、
本発明の広範囲に及ぶ全体像を提供することを意図したものではなく、全ての重要要素も
しくは決定的要素を明らかにすること、又は本発明の範囲を明確化することを意図したも
のでもない。本概要の唯一の目的は、以下に示す詳細な説明の導入として、いくつかの概
念を単純化した形で提示することにある。

ローカライザ及び視覚デバイスを含む手術ナビゲーションシステムの斜視図である。 図１の手術ナビゲーションシステムを制御するための制御システムの概略図である。 図１の手術ナビゲーションシステムで使用される座標系の斜視図である。 トラッカをベースにした位置特定及び機械視覚を用いて標的部位の一例をナビゲートする方法のフローチャートである。 標的部位、例えば、外科処置中に治療される解剖学的構造の一例の説明図である。 図５の標的部位内のオブジェクトに対応する仮想モデルの位置の説明図である。 図６の仮想モデルに基づく予想深度マップの説明図である。 図１の視覚デバイスで取り込まれた実深度マップの説明図である。 関心領域にトリミングされた図８の実深度マップの説明図である。 図７の予想深度マップと図９の実深度マップとの差分の説明図である。 図９の実深度マップ内で特定された外科用開創器に対応する仮想モデルの説明図である。 図９の実深度マップ内で特定された靭帯に対応する仮想モデルの説明図である。 図９の実深度マップ内で特定された表皮組織に対応する仮想モデルの説明図である。 共通座標系における図６及び図１１～図１３の仮想モデルの説明図である。 図１の視覚デバイスで後に取り込まれた実深度マップの説明図である。 図１５の実深度マップに基づいて位置決めを更新した図１４の仮想モデルの説明図である。

図１は、患者を治療するための手術システム１０を示す。手術システム１０は、医療施
設の手術室などの外科的環境に設置され得る。手術システム１０は、手術ナビゲーション
システム１２及びロボットマニピュレータ１４を含むことができる。ロボットマニピュレ
ータ１４は、手術器具１６に結合され得、患者組織の標的体積を治療するために、外科医
及び／又は手術ナビゲーションシステム１２の指示などで手術器具１６を操作するように
構成され得る。例えば、手術ナビゲーションシステム１２により、ロボットマニピュレー
タ１４が、他の医療用具及び隣接した解剖構造など、標的体積に隣接する他のオブジェク
トを避けながら患者組織の標的体積を切除するように、手術器具１６を操作することがで
きる。あるいは、外科医が、手術ナビゲーションシステム１２からの誘導を受けながら、
手術器具１６を手動で保持し、操作することができる。いくつかの非限定的な実施例とし
て、手術器具１６は、バーリング器具、電気手術器具、超音波器具、リーマ、インパクタ
、又は矢状面鋸であってもよい。

外科処置中に、手術ナビゲーションシステム１２は、トラッカをベースにした位置特定
と機械視覚との組み合わせを使用して、手術作業空間内の着目したオブジェクトの位置（
場所及び向き）を追跡することができる。外科処置のための手術作業空間は、治療される
患者組織の標的体積と、治療に対する障害物が存在する可能性がある治療される標的体積
のすぐ周囲の領域とを含むものと考えられ得る。被追跡オブジェクトには、患者の解剖構
造、治療すべき解剖構造の標的体積、手術器具１６などの手術器具、及び外科医の手又は
指などの外科的身体の解剖構造が含まれ得るが、これらに限定されない。追跡される患者
の解剖構造及び標的体積には、靭帯、筋肉、及び皮膚などの軟組織が含まれ得、骨などの
硬組織が含まれ得る。追跡される手術器具には、外科処置中に使用される開創器、切断工
具、及び廃棄物処理デバイスが含まれ得る。

手術作業空間内の着目したオブジェクトにトラッカを固定することで、手術ナビゲーシ
ョンシステム１２が手術作業空間内のそのようなオブジェクトの位置を判定するための正
確かつ効率的な機構を提供することができる。処置中に、トラッカは、特定の非可視光帯
域（例えば、赤外線、紫外線）などで既知の信号パターンを生成し得る。手術ナビゲーシ
ョンシステム１２は、特定の非可視光帯域内の信号を検出することに特化し、この帯域外
の光信号を無視するローカライザを含むことができる。ローカライザが、所与のトラッカ
に関連した信号パターンを検出することに応答して、手術ナビゲーションシステム１２は
、パターンが検出された角度に基づいて、ローカライザに対するトラッカの位置を判定す
ることができる。そして、手術ナビゲーションシステム１２は、判定されたトラッカの位
置と、オブジェクトとトラッカとの一定の位置関係とに基づいて、トラッカが取り付けら
れているオブジェクトの位置を割り出すことができる。

上記のトラッカは、手術ナビゲーションシステム１２が、手術作業空間内の骨及び手術
器具などの硬組織オブジェクトを正確かつ効率的に追跡することを可能にし得るが、これ
らのトラッカは、一般に、皮膚及び靭帯などの軟組織オブジェクトの追跡には適していな
い。具体的には、軟組織オブジェクトの柔軟な性質のために、外科処置の過程で軟組織オ
ブジェクト全体とトラッカとの位置関係を一定に保つことが難しい。さらに、外科処置に
関わるいくつかの患者組織及び器具のそれぞれにトラッカを取り付けると、手術作業空間
が混雑してナビゲーションが困難となり、手術ナビゲーションシステム１２のコスト及び
複雑さが増大する。そのために、トラッカをベースにした位置特定に加えて、手術ナビゲ
ーションシステム１２は、外科処置中に手術作業空間内のオブジェクトを追跡するために
、機械視覚を実装することもできる。

具体的には、ローカライザ及び取り付けられたトラッカを使用して手術作業空間内のオ
ブジェクトの位置を検出することに加えて、手術ナビゲーションシステム１２は、作業空
間（本明細書では標的部位とも呼ばれる）内の表面の深度マップを生成するように構成さ
れた視覚デバイスを含んでもよい。標的部位は、様々な異なるオブジェクト又は部位であ
る可能性がある。一実施例では、標的部位は、治療又は組織切除を必要とする解剖学的構
造の一部（例えば、骨）などの手術部位である。他の実施例では、標的部位は、ロボット
マニピュレータ、ロボットマニピュレータに取り付けられたエンドエフェクタもしくはツ
ール、外科用テーブル、移動カート、患者を載せることができる手術台、イメージングシ
ステム、又はこれらに類するものなど、手術室内の機器であることが可能である。

手術ナビゲーションシステム１２はまた、共通座標系でのローカライザと視覚デバイス
との位置関係を特定するように構成され得、ローカライザ、オブジェクトに対応する仮想
モデル、及び位置関係を使用して、標的部位内のオブジェクトの検出位置に基づいて、視
覚デバイスの予想深度マップを生成するように構成され得る。その後、手術ナビゲーショ
ンシステム１２は、予想深度マップを視覚デバイスによって生成された実深度マップと比
較し、その比較に基づいて、推定深度マップに一致しない実深度マップの部分を特定する
ように構成されてもよい。次に、手術ナビゲーションシステム１２は、特定された部分に
基づいて標的部位にあるオブジェクトを特定し、そのオブジェクトが現在の手術計画にと
って障害物であるかどうかを判定するように構成されてもよい。

手術ナビゲーションシステム１２は、外科医を支援するために、外科処置中に追跡され
るオブジェクトの相対位置を表示してもよい。手術ナビゲーションシステム１２は、ロボ
ットマニピュレータ１４及び／又は手術器具１６の動きを、被追跡オブジェクトに関連す
る仮想境界に対し制御及び／又は制約することもできる。例えば、手術ナビゲーションシ
ステム１２は、被追跡オブジェクトに基づいて、治療すべき患者組織の標的体積と手術作
業空間内の潜在的障害物とを特定してもよい。その結果、手術ナビゲーションシステム１
２は、手術具（例えば、手術器具１６のエンドエフェクタＥＡ）が、治療すべき患者組織
の標的体積を越えて何かに接触することを制限し、患者の安全性及び手術の正確性を向上
させることができる。手術ナビゲーションシステム１２はまた、他のオブジェクトとの意
図的でない接触によって生じ、その結果、標的部位に望ましくない破片がもたらされる可
能性もある、手術器具への損傷を無くすことができる。

図１に示されるように、手術ナビゲーションシステム１２は、ローカライザ１８及びナ
ビゲーションカート組立体２０を含むことができる。ナビゲーションカート組立体２０は
、本明細書に記載される手術ナビゲーションシステム１２の機能、特徴、及び処理を実施
するように構成されたナビゲーションコントローラ２２を収容することができる。具体的
には、ナビゲーションコントローラ２２は、本明細書に記載されるナビゲーションコント
ローラ２２及び手術ナビゲーションシステム１２の機能、特徴、及び処理を実施するよう
にプログラムされたプロセッサ２３を含むことが可能である。例えば、プロセッサ２３は
、ローカライザ１８から受け取った光学ベース信号を、手術作業空間内のトラッカに取り
付けられたオブジェクトの位置を示すローカライザデータに変換するようにプログラムさ
れてもよい。

ナビゲーションコントローラ２２は、手術ナビゲーションシステム１２のユーザインタ
ーフェース２４と作動的に通信し得る。ユーザインターフェース２４は、手術ナビゲーシ
ョンシステム１２及びナビゲーションコントローラ２２とのユーザインタラクションを促
進し得る。例えば、ユーザインターフェース２４は、ナビゲーションコントローラ２２な
どからの情報をユーザに提供する１つ以上の出力デバイスを含むことができる。出力デバ
イスには、手術作業空間を含む滅菌野の外側に位置しているように適合させたディスプレ
イ２５が含まれ得、滅菌野の内側に位置しているように適合させたディスプレイ２６が含
まれ得る。ディスプレイ２５、２６は、ナビゲーションカート組立体２０に調節可能であ
るように取り付けられてもよい。ユーザインターフェース２４はまた、手術ナビゲーショ
ンシステム１２へのユーザ入力を可能にする１つ以上の入力デバイスを含むことができる
。入力デバイスには、ユーザによってインタラクトされて、手術パラメータを入力し、ナ
ビゲーションコントローラ２２の態様を制御することができるキーボード、マウス、及び
／又はタッチスクリーン２８が含まれ得る。入力デバイスには、音声認識技術によるユー
ザ入力を可能にするマイクロフォンが含まれることもある。

ローカライザ１８は、オブジェクトに取り付けられたトラッカの位置などを検出するこ
とにより、手術作業空間内のトラッカに取り付けられた１つ以上のオブジェクトの位置を
検出するように構成され得る。具体的には、ローカライザ１８は、手術ナビゲーションシ
ステム１２のナビゲーションコントローラ２２に結合され得、手術作業空間内の１つ以上
のトラッカの位置を示す光学ベース信号を生成し、これをナビゲーションコントローラ２
２に伝達してもよい。その場合、ナビゲーションコントローラ２２は、光学ベース信号と
、オブジェクトとトラッカとの一定の位置関係とに基づいて、手術作業空間内のトラッカ
に取り付けられたオブジェクトの位置を示すローカライザデータを生成するように構成さ
れてもよい。ローカライザ１８で追跡される標的部位内のオブジェクトを、本明細書では
「局所オブジェクト」と称することがある。

ローカライザ１８は、少なくとも２つの光学センサ３２を収容するアウタケーシング３
０を有し得る。光学センサ３２のそれぞれは、赤外線又は紫外線など、トラッカに固有の
特定の非可視光帯域の信号を検出するように適合させることができる。図１は、複数の光
学センサ３２を備えた単一のユニットとしてローカライザ１８を図示しているが、代替の
実施例では、ローカライザ１８は手術作業空間の周りに配置された別個のユニットを含み
、それぞれが別個のアウタケーシング及び１つ以上の光学センサ３２を備えてもよい。

光学センサ３２は、１次元又は２次元の電荷結合デバイス（ＣＣＤ）であってもよい。
例えば、アウタケーシング３０は、手術作業場のトラッカの位置を三角法で測定するため
の２つの２次元ＣＣＤを収容してもよく、又は手術作業場のトラッカの位置を三角法で測
定するための３つの１次元ＣＣＤを収容してもよい。追加又は代替として、ローカライザ
１８は、相補型金属酸化膜半導体（ＣＭＯＳ）アクティブピクセルなどの他の光センシン
グ技術を採用してもよい。

いくつかの実施態様では、ナビゲーションシステム及び／又はローカライザ１８は、電
磁気（ＥＭ）をベースにしている。例えば、ナビゲーションシステムは、ナビゲーション
コントローラ２２、及び／又は別のコンピューティングデバイス、コントローラなどに結
合されたＥＭトランシーバを含むことができる。ここで、トラッカは、それに取り付けら
れるＥＭ構成要素（例えば、各種磁気トラッカ、電磁トラッカ、誘導トラッカなど）を含
むことができ、これはパッシブなものであってもよく、又は能動的に通電されるものであ
ってもよい。ＥＭトランシーバはＥＭ場を生成し、ＥＭ構成要素は、被追跡状態がナビゲ
ーションコントローラ２２に伝達される（又は読み取られる）ように、ＥＭ信号に応答す
る。ナビゲーションコントローラ２２は、受信したＥＭ信号を分析して、関係のある状態
をそれに関連付けることができる。ここでも、ＥＭをベースにしたナビゲーションシステ
ムの実施形態は、本明細書で説明されるアクティブなマーカベースのナビゲーションシス
テムとは異なる構造的構成を有し得ることが理解されよう。

他の実施態様では、ナビゲーションシステム及び／又はローカライザ１８は、それに関
連する場所データを判定するために、必ずしもトラッカをオブジェクトに固定する必要が
ない、１つ以上のタイプのイメージングシステムに基づくことが可能である。例えば、被
追跡状態（例えば、位置、向きなど）が超音波画像に基づいてナビゲーションコントロー
ラ２２に伝達される（又は読み取られる）ような、超音波画像（例えば、被追跡オブジェ
クトの特定の既知の構造的特徴、被追跡オブジェクトに固定されたマーカ又はステッカな
ど）の取得を容易にする、超音波ベースのイメージングシステムを提供することが可能で
ある。超音波画像は、２Ｄ、３Ｄ、又はそれらの組み合わせであってもよい。ナビゲーシ
ョンコントローラ２２は、超音波画像をほぼリアルタイムで処理して、被追跡状態を判定
することができる。超音波イメージングデバイスは、任意の好適な構成を有することがで
き、図１に示すカメラユニットとは異なるものであってもよい。さらなる実施例として、
被追跡状態がＸ線像に基づいてナビゲーションコントローラ２２に伝達される（又は読み
取られる）ような、放射線不透過性マーカ（例えば、被追跡オブジェクトに取り付けられ
る既知の構造的特徴を有するステッカ、タグなど）のＸ線像の取得を容易にする、蛍光透
視法ベースのイメージングシステムを提供することが可能である。ナビゲーションコント
ローラ２２は、Ｘ線像をほぼリアルタイムで処理して、被追跡状態を判定することができ
る。同様に、被追跡状態がデジタル画像に基づいてナビゲーションコントローラ２２に伝
達される（又は読み取られる）ような、特定の既知のオブジェクトのデジタル画像、ビデ
オなどを（例えば、被追跡オブジェクト又はその構造的な構成要素もしくは特徴の仮想表
現との比較に基づいて）取得すること、及び／又はマーカ（例えば、被追跡オブジェクト
に取り付けられるステッカ、タグなど）のデジタル画像、ビデオなどを取得することを容
易にする、他のタイプの光学ベースのイメージングシステムを提供することが可能である
。ナビゲーションコントローラ２２は、デジタル画像をほぼリアルタイムで処理して、被
追跡状態を判定することができる。

したがって、同一又は異なるタイプの複数のイメージングシステムを含む様々なタイプ
のイメージングシステムが、本開示の範囲から逸脱することなく、ナビゲーションシステ
ムの一部を形成し得ることが理解されよう。当業者であれば、ナビゲーションシステム及
び／又はローカライザ１８は、本明細書に具体的に記載されていない他の任意の好適な構
成要素又は構造を有し得ることを理解するであろう。例えば、ナビゲーションシステムは
、慣性追跡を単独で、又は追跡技法の任意の組み合わせを利用することができる。さらに
、図１に示されるナビゲーションシステムに関連する技法、方法、及び／又は構成要素の
いずれも、様々な方法で実装することができ、本開示によって他の構成が企図される。

ローカライザ１８は、理想的には障害物がない手術作業空間及び標的体積を視野に入れ
た光学センサ３２を選択的に配置するために、調節可能なアームに取り付けられてもよい
。ローカライザ１８は、回転ジョイントを中心に回転することにより、少なくとも１つの
自由度で調節可能であってもよく、２つ以上の自由度について調節可能であってもよい。

上記のとおり、ローカライザ１８は、本明細書でトラッカとも呼ばれる複数の追跡デバ
イスと連携して、トラッカが取り付けられた手術作業空間内のオブジェクトの位置を判定
することができる。一般に、各トラッカが取り付けられるオブジェクトは、固く柔軟性が
ないために、オブジェクトの動きにより、オブジェクトとトラッカとの位置関係が変化す
ることはあり得ず、又は変化しにくい可能性がある。言い換えれば、手術作業空間内のオ
ブジェクトの位置変化にかかわらず、手術作業空間内のトラッカとトラッカが取り付けら
れているオブジェクトとの関係は固定されたままであり得る。例えば、トラッカは、患者
の骨、ならびに開創器及び手術器具１６などの手術器具に、しっかりと取り付けることが
可能である。このようにして、ローカライザ１８を使用して手術作業空間におけるトラッ
カの位置を判定することに応答して、ナビゲーションコントローラ２２は、トラッカの判
定された位置に基づいて、トラッカが取り付けられているオブジェクトの位置を割り出す
ことができる。

例えば、治療すべき標的体積が患者の膝部分に位置するときは、トラッカ３４を患者の
大腿骨Ｆにしっかりと取り付けることができ、トラッカ３６を患者の脛骨Ｔにしっかりと
取り付けることができ、トラッカ３８を手術器具１６にしっかりと取り付けることができ
る。トラッカ３４、３６は、参照により本明細書に組み込まれる米国特許第７，７２５，
１６２号に示されるようにして、大腿骨Ｆ及び脛骨Ｔに取り付けてもよい。トラッカ３４
、３６はまた、参照により本明細書に組み込まれる「Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅ
ｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｉｎｄｉｃａｔｉｎｇ ａｎｄ Ｒｅｄｕｃｉ
ｎｇ Ｌｉｎｅ－ｏｆ－Ｓｉｇｈｔ Ｅｒｒｏｒｓ」と題する、２０１４年１月１６日に
出願された米国特許出願公開第２０１４／０２００６２１号に示されるもののように搭載
することもできる。トラッカ３８は、製造時に手術器具１６に組み込んでもよく、又は外
科処置の準備として手術器具１６に別途取り付けてもよい。

手術システム１０を使用する外科処置の開始より前に、手術器具１６によって治療すべ
き患者組織の標的体積を画定する解剖構造、及び／又はその標的体積に隣接する解剖構造
など、目的とする解剖学的構造に対して術前画像が生成されてもよい。例えば、治療すべ
き患者組織の標的体積が患者の膝部分のときは、患者の大腿骨Ｆ及び脛骨Ｔの術前画像を
撮影してもよい。これらの画像は、患者の解剖学的構造のＭＲＩスキャン、放射線スキャ
ン、又はコンピュータ断層撮影（ＣＴ）スキャンに基づく場合があり、解剖構造の仮想モ
デルを構築するために使用される場合がある。解剖構造の各仮想モデルは、解剖構造の全
体又は少なくとも一部を表すデータ、及び／又は治療すべき解剖構造の標的体積を表すデ
ータを含む３次元モデル（例えば、点群、メッシュ、ＣＡＤ）を含むことができる。これ
らの仮想モデルは、外科処置に先立って、ナビゲーションコントローラ２２に提供され、
保存されてもよい。

術前画像の撮影に加えて、又はその撮影の代わりに、運動学的研究、骨トレース及び他
の方法から手術室で治療の計画を立てることができる。このような同じ方法を使用して、
上記の仮想モデルを生成することもできる。

外科処置より前に、対象となっている患者の解剖構造に対応する仮想モデルに加えて、
ナビゲーションコントローラ２２は、手術作業空間に存在する可能性がある手術器具及び
その他のオブジェクト（例えば、外科医の手及び／又は指）など、外科処置にとって関心
がある他の被追跡オブジェクトの仮想モデルを受け取り、保存することができる。ナビゲ
ーションコントローラ２２はまた、トラッカとトラッカに固定されたオブジェクトとの位
置関係、ローカライザ１８と視覚デバイスとの位置関係、及び手術計画など、外科処置に
特有の手術データを受け取り、保存することもできる。手術計画により、外科処置に関与
する患者の解剖構造を特定することができ、外科処置で使われている器具を特定すること
ができ、外科処置中の器具の計画された軌道及び患者組織の計画された移動を規定するこ
とができる。

外科処置の間に、ローカライザ１８の光学センサ３２は、トラッカ３４、３６、３８か
ら非可視光帯域（例えば、赤外線又は紫外線）などの光信号を検出することができ、検出
された光信号に基づいてローカライザ１８に対するトラッカ３４、３６、３８の位置を示
す光学ベース信号をナビゲーションコントローラ２２へ出力することができる。そしてナ
ビゲーションコントローラ２２は、判定されたトラッカ３４、３６、３８の位置と、トラ
ッカ３４、３６、３８とオブジェクトとの既知の位置関係とに基づいて、ローカライザ１
８に対するトラッカ３４、３６、３８に固定されたオブジェクトの位置を示すローカライ
ザデータを生成することができる。

ローカライザ１８によって提供されるトラッカベースのオブジェクト追跡を補完するた
めに、手術ナビゲーションシステム１２は、視覚デバイス４０を含むこともできる。視覚
デバイス４０は、手術作業空間部位の３次元画像をリアルタイムで生成可能であってもよ
い。トラッカ３４、３６、３８から伝送される非可視光信号の位置を検出して特定するこ
とに限定され得るローカライザ１８とは異なり、視覚デバイス４０は、深度マップの形式
などで、視覚デバイス４０の視野内にある標的体積の内部及び周囲の表面の３次元画像を
生成するように構成されてもよい。視覚デバイス４０は、１つ以上の画像センサ４２と光
源４４とを含むことができる。画像センサ４２のそれぞれは、ＣＭＯＳセンサであっても
よい。

例えば、視覚デバイス４０は、赤外線光又は紫外線光などの非可視光で手術作業空間内
の露出表面を照らすことにより、手術作業空間の深度マップを生成することができる。そ
の場合、表面は非可視光を反射し返し、非可視光は視覚デバイス４０の１つ以上の画像セ
ンサ４２によって検出され得る。非可視光の伝送から視覚デバイス４０による検出までの
飛行時間に基づいて、視覚デバイス４０は、視覚デバイス４０と手術作業空間の露出表面
の上のいくつかの点との間の距離を判定することができる。その結果、視覚デバイス４０
は、視覚デバイス４０と各表面点との間の距離及び角度を示す深度マップを生成してもよ
い。あるいは視覚デバイス４０は、例えば構造化光投影、レーザ測距、又は立体視などで
あり、限定されるものではない、他のモダリティを利用して、深度マップを生成してもよ
い。

ローカライザ１８と同様に、外科処置より前に、視覚デバイス４０は、好ましくは障害
物のない手術作業空間を視野に入れて配置され得る。視覚デバイス４０は、図１に示され
るように、ローカライザ１８と一体にされてもよい。あるいは、視覚デバイス４０を別個
の調節可能なアームに取り付けて、視覚デバイス４０をローカライザ１８とは別に配置し
てもよい。視覚デバイス４０は、例えば、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ
ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ ａｎｄ Ｔｒａｃｋｉｎｇ Ｐｈｙｓｉｃａｌ Ｏｂ
ｊｅｃｔｓ Ｄｕｒｉｎｇ ａ Ｒｏｂｏｔｉｃ Ｓｕｒｇｉｃａｌ Ｐｒｏｃｅｄｕｒ
ｅ」と題する米国特許１０，５３１，９２６（この米国特許の内容を全体として参照によ
り本明細書に組み込む）などに記載されているように、ロボットマニピュレータ１４に直
接取り付けることもできる。視覚デバイス４０はまた、ナビゲーションコントローラ２２
と作動的に通信し得る。

上記のように、ナビゲーションコントローラ２２は、ローカライザ１８を用いて生成さ
れたトラッカベースの位置特定データ、及び視覚デバイス４０によって生成された深度マ
ップに基づいて、手術作業空間内のオブジェクトを追跡し障害物を特定するように構成さ
れ得る。具体的には、視覚デバイス４０が手術作業空間の深度マップを生成するのと同時
に、ローカライザ１８は、ローカライザ１８に対する手術作業空間のトラッカに固定され
たオブジェクトの位置を示すローカライザデータを生成するのに用いられる光学ベースの
データを生成してもよい。したがって、視覚デバイス４０によって生成された深度マップ
と、ローカライザ１８で生成されたローカライザデータとは、時間的にインターリーブさ
れてもよい。言い換えれば、ローカライザ１８で生成されたローカライザデータの各イン
スタンスは、視覚デバイス４０によって生成された異なる深度マップに時間的に関連付け
られ得、その結果、ローカライザデータに示されたオブジェクトの位置と、関連付けられ
た深度マップにおけるそれらのオブジェクトの位置とは、外科処置の間中の同じ瞬間に対
応する。

ローカライザデータを判定することに応答して、ナビゲーションコントローラ２２は、
視覚デバイス４０によって取り込まれ、位置特定データに関連付けられることになる予想
深度マップを生成するように構成されてもよい。予想深度マップとは、トラッカに固定さ
れたオブジェクトのみが手術作業空間に存在すると仮定して、ローカライザデータと時間
的に関連付けられた、視覚デバイス４０によって生成されると予想される深度マップであ
り得る。ナビゲーションコントローラ２２は、ローカライザデータに示される手術作業空
間内のトラッカに固定されたオブジェクトの検出位置、オブジェクトに対応する仮想モデ
ル、及びローカライザ１８と視覚デバイス４０との位置関係に基づいて予想深度マップを
判定するように構成されてもよい。

その後、ナビゲーションコントローラ２２は、ローカライザデータと時間的に関連付け
られた、視覚デバイス４０によって生成された実深度マップを取得することができ、予想
深度マップに一致しない実深度マップの部分を特定することができる。次いでナビゲーシ
ョンコントローラ２２は、特定された部分に基づいて、治療すべき患者組織の標的体積に
隣接するトラッカに固定されたオブジェクト以外のオブジェクトなど、手術作業空間内の
オブジェクトを特定することができ、そのようないずれかのオブジェクトが現在の手術の
軌道に障害をもたらすかどうかを判定することができる。

手術器具１６は、ロボットマニピュレータ１４のエンドエフェクタの一部を形成しても
よい。ロボットマニピュレータ１４は、ベース４６と、ベース４６から延在するいくつか
のリンク４８と、ベース４６に対して手術器具１６を移動させるためのいくつかの能動ジ
ョイントとを含み得る。リンク４８は、図１に示すシリアルアーム構造、パラレルアーム
構造（例えば図３に示す）、又は他の好適な構造を形成してもよい。ロボットマニピュレ
ータ１４は、ユーザがロボットマニピュレータ１４のエンドエフェクタを把持して（例え
ば、直接、又はロボットマニピュレータ１４のアクティブ駆動を引き起こす力／トルクセ
ンサ測定を介して）手術器具１６の移動を起こさせる手動モードで動作する能力を含むこ
とができる。ロボットマニピュレータ１４はまた、手術器具１６が、予め定められたツー
ル経路に沿ってロボットマニピュレータ１４によって動かされる半自律モードを含むこと
ができる（例えば、ロボットマニピュレータ１４の能動ジョイントは、ユーザからエンド
エフェクタへの力／トルクを必要とせずに手術器具１６を移動させるように動作される）
。半自律モードでの動作の例が、参照により本明細書に援用される、Ｂｏｗｌｉｎｇ，ｅ
ｔ ａｌに対する米国特許第９，１１９，６５５号に記載されている。ローカライザ１８
によるベース４６の移動を追跡するために、ロボットマニピュレータ１４のベース４６に
別個のトラッカを取り付けてもよい。

手術ナビゲーションシステム１２と同様に、ロボットマニピュレータ１４は、本明細書
に記載されるロボットマニピュレータ１４の処理、より詳細にはマニピュレータコントロ
ーラ５０の処理を実施するようにプログラムされたプロセッサ５２を含むマニピュレータ
コントローラ５０を収容し得る。例えば、プロセッサ５２は、手術ナビゲーションシステ
ム１２の指示などで、リンク４８の移動によって手術器具１６の動作及び移動を制御する
ようにプログラムされてもよい。

外科処置中に、マニピュレータコントローラ５０は、ナビゲーションコントローラ２２
から受け取ったナビゲーションデータなどに基づいて、手術器具１６が移動されるべき所
望の場所を判定するように構成され得る。この判定と、手術器具１６の現在の位置に関す
る情報とに基づいて、マニピュレータコントローラ５０は、手術器具１６を現在の位置か
ら所望の位置に再配置するためにリンク４８のそれぞれが動かされる必要がある範囲を判
定するように構成されてもよい。リンク４８がどこに再配置されるべきかを示すデータは
、ロボットマニピュレータ１４の能動ジョイントを制御するジョイントモータコントロー
ラ（例えば、各モータを制御するためのもの）に転送され得る。そのようなデータを受け
取ることに応答して、ジョイントモータコントローラは、データに従ってリンク４８を動
かし、その結果として手術器具１６を所望の位置に動かすように構成され得る。

ここで図２を参照すると、ローカライザ１８及び視覚デバイス４０は、それぞれローカ
ライザコントローラ６２及び視覚コントローラ６４を含むことができる。ローカライザコ
ントローラ６２は、ローカライザ１８の光学センサ３２と、かつナビゲーションコントロ
ーラ２２と通信可能に結合され得る。外科処置中に、ローカライザコントローラ６２は、
光学センサ３２を動作させて、光学センサ３２にトラッカ３４、３６、３８から受信した
光信号を示す光学ベースのデータを生成させるように構成され得る。

トラッカ３４、３６、３８は、光信号を光学センサ３２に送信するための少なくとも３
つのアクティブマーカをそれぞれが有するアクティブトラッカであってもよい。トラッカ
３４、３６、３８は、内蔵電池によって電力を供給されてもよく、又はナビゲーションコ
ントローラ２２を介して電力を受け取るためにリード線を有していてもよい。各トラッカ
３４、３６、３８のアクティブマーカは、赤外線又は紫外線などの光を送出する発光ダイ
オード（ＬＥＤ）６５であってもよい。トラッカ３４、３６、３８のそれぞれは、トラッ
カ３４、３６、３８のＬＥＤ６５とナビゲーションコントローラ２２とに接続されたトラ
ッカコントローラ６６を含むこともできる。トラッカコントローラ６６は、ナビゲーショ
ンコントローラ２２などの指示で、トラッカ３４、３６、３８のＬＥＤ６５が発光するレ
ート及び順序を制御するように構成されてもよい。例えば、トラッカ３４、３６、３８の
トラッカコントローラ６６は、ナビゲーションコントローラ２２によるトラッカ３４、３
６、３８の区別を容易にするために、各トラッカ３４、３６、３８のＬＥＤ６５を異なる
レート及び／又は時間で発光させることができる。

光学センサ３２のサンプリングレートは、光学センサ３２が、順次発光するＬＥＤ６５
から光信号を受信するレートである。光学センサ３２は、１００Ｈｚ以上、又はより好ま
しくは３００Ｈｚ以上、又は最も好ましくは５００Ｈｚ以上のサンプリングレートを有す
ることができる。例えば、光学センサ３２は、８０００Ｈｚのサンプリングレートを有し
てもよい。

トラッカ３４、３６、３８は、アクティブトラッカではなく、ローカライザ１８から発
せられた光（例えば、光源４４（図１）から発せられた光）を反射する反射物などのパッ
シブマーカ（図示せず）を含むパッシブトラッカであってもよい。そして、その反射光を
光学センサ３２によって受光してもよい。

光学センサ３２がトラッカ３４、３６、３８から光信号を受信することに応答して、光
学センサ３２は、トラッカ３４、３６、３８のローカライザ１８に対する位置を示すとと
もに、それに対応して、トラッカ３４、３６、３８にしっかりと取り付けられたオブジェ
クトのローカライザ１８に対する位置を示す光学ベースのデータを、ローカライザコント
ローラ６２に出力し得る。具体的には、各光学センサ３２は、トラッカ３４、３６、３８
からの光信号を検出し、それに応じて各光信号が検出されたセンサ領域内の位置を示す１
次元又は２次元のセンサ領域を含み得る。所与のセンサ領域内の各光信号の検出位置は、
センサ領域を含む光学センサ３２により光信号が受信される角度に基づくことができ、同
様に、手術作業空間における光信号の発生源の位置に対応することができる。

したがって、トラッカ３４、３６、３８からの光信号の受信に応答して、各光学センサ
３２は、光信号が検出された光学センサ３２のセンサ領域内の位置を示す光学ベースのデ
ータを生成することができる。光学センサ３２は、そのような光学ベースのデータをロー
カライザコントローラ６２に伝えることができ、次いでローカライザコントローラ６２は
、その光学ベースのデータをナビゲーションコントローラ２２に伝えることができる。次
に、ナビゲーションコントローラ２２は、光学ベースのデータに基づいて、ローカライザ
１８に対するトラッカ３４、３６、３８の位置を示すトラッカ位置データを生成し得る。
例えば、ナビゲーションコントローラ２２は、光学ベースのデータに基づいて、ローカラ
イザ１８に対するＬＥＤ６５の位置を三角法で測定してもよく、トラッカ３４、３６、３
８とマーカとの間の保存された位置関係を適用して、測定されたＬＥＤ６５のローカライ
ザ１８に対する位置を判定し、ローカライザ１８に対するトラッカ３４、３６、３８の位
置を判定してもよい。

その後、ナビゲーションコントローラ２２は、トラッカ位置データに基づいて、トラッ
カ３４、３６、３８にしっかりと取り付けられたオブジェクトのローカライザ１８に対す
る位置を示すローカライザデータを生成することができる。具体的には、ナビゲーション
コントローラ２２は、トラッカ３４、３６、３８とトラッカ３４、３６、３８が取り付け
られているオブジェクトとの保存された位置関係を取得することができ、これらの位置関
係をトラッカ位置データに適用して、トラッカ３４、３６、３８に固定されているオブジ
ェクトのローカライザ１８に対する位置を判定することができる。あるいは、ローカライ
ザコントローラ６２は、受信した光学ベースのデータに基づいて、トラッカ位置データ及
び／又はローカライザデータを判定するように構成することができ、トラッカ位置データ
及び／又はローカライザデータをナビゲーションコントローラ２２に伝送して、さらに処
理してもよい。

視覚コントローラ６４は、視覚デバイス４０の光源４４及び１つ以上の画像センサ４２
と、かつナビゲーションコントローラ２２と通信可能に結合され得る。ローカライザコン
トローラ６２によりローカライザ１８が、手術作業空間におけるトラッカ３４、３６、３
８の位置を示す光学ベースのデータを生成するのと同時に、視覚コントローラ６４により
視覚デバイス４０が、手術作業空間の露出表面の深度マップを生成することができる。具
体的には、視覚コントローラ６４が、画像センサ４２に深度マップの基礎となる画像デー
タを生成させることができ、その画像データに基づいて深度マップを生成することができ
る。その後、視覚コントローラ６４は、さらなる処理のために、深度マップをナビゲーシ
ョンコントローラ２２に転送し得る。あるいは、視覚コントローラ６４は、画像データを
ナビゲーションコントローラ２２に伝えることができ、次いでナビゲーションコントロー
ラ２２は、受け取った画像データに基づいて深度マップを生成してもよい。

一般に、視覚デバイス４０によって生成された深度マップは、視覚デバイス４０と視覚
デバイス４０の視野内にある表面との間の距離を示し得る。言い換えれば、深度マップは
、視覚デバイス４０の視点からの手術作業空間内の表面のトポグラフィを示すことができ
る。視覚デバイス４０によって生成された各深度マップは、視覚デバイス４０の画像フレ
ームを形成する複数の画像構成要素を含み得る。画像構成要素のそれぞれは、深度マップ
のピクセルに類似したものであってもよく、視覚デバイス４０の中心から視覚デバイスの
視野内にある表面上の点までのベクトルを定め得る。例えば、視覚デバイス４０の画像フ
レーム内の画像構成要素の場所は、画像構成要素によって定められたベクトルの水平成分
及び垂直成分に対応してもよく、画像構成要素の色は、画像構成要素によって定められた
ベクトルの深度成分に対応してもよい。一実施例を挙げると、視覚デバイス４０により近
い手術作業空間内の表面点を表す画像構成要素は、視覚デバイス４０からより遠い表面点
を表す画像構成要素よりも明るい色を有し得る。

視覚デバイス４０は、１つ以上の深度センサ６８を含む深度カメラであってもよい。深
度センサ６８は、深度センサ６８の視野内の表面に反射される非可視光などの光を検出す
るように適合されてもよい。外科処置中に、視覚コントローラ６４により光源４４は、赤
外線光又は紫外線光などの非可視光で標的部位を照らすようにしてもよい。その場合、深
度センサ６８は、標的部位の表面からの非可視光の反射を検出することができ、これによ
り視覚コントローラ６４は深度マップを生成することが可能になり得る。

例えば、視覚コントローラ６４は、視覚デバイス４０と種々の点との間の距離に対応し
得る、光源４４から送出された光が標的部位内の露出表面上の点に反射する時間に基づい
て深度マップを生成してもよい（すなわち、飛行時間法）。次に、視覚コントローラ６４
は、これらの判定された距離を利用して、深度マップを生成することができる。代替の実
施例として、光源４４は、既知の構造化非可視光パターンを手術部位の露出表面に投射し
てもよい。その後、深度センサ６８は、標的部位内の表面のトポグラフィに基づいて歪ん
でいる可能性がある既知のパターンの反射を検出し得る。したがって、視覚コントローラ
６４は、既知のパターンと、深度センサ６８によって検出された歪んだパターンのバージ
ョンとの比較に基づいて、標的部位の深度マップを生成するように構成されてもよい。

あるいは、視覚デバイス４０は、１つ以上のＲＧＢセンサ７０を含むＲＧＢカメラであ
ってもよい。ＲＧＢセンサ７０は、標的部位における露出表面のカラー画像を生成するよ
うに構成され得、視覚コントローラ６４は、そのカラー画像に基づいて深度マップを生成
するように構成されてもよい。

例えば、上記の構造化光方法論と同様に、視覚コントローラ６４は、光源４４に、標的
部位における色から外れた色などで、既知の構造化光パターンを標的部位に投影させるよ
うに構成されてもよい。次に、ＲＧＢセンサ７０は、標的部位のＲＧＢ画像を生成するこ
とができ、この画像は、標的部位の表面トポグラフィに基づいて、既知の構造化光パター
ンの歪んだバージョンを表し得る。視覚コントローラ６４は、パターン認識、エッジ検出
、及び色認識などを用いて、ＲＧＢ画像から既知の構造化光パターンの歪んだバージョン
を抽出することができ、既知の構造化光パターンと抽出された歪んだバージョンとの比較
に基づいて、深度マップを判定してもよい。

さらなる代替として、視覚デバイス４０は、立体視の原理を用いて標的部位の深度マッ
プを生成するように構成されてもよい。より詳細には、複数の深度センサ６８又はＲＧＢ
センサ７０などの複数の画像センサ４２が、異なる角度からの標的部位の視野を有するよ
うに配置され得る。視覚コントローラ６４は、各画像センサ４２に、異なる角度からの標
的部位の画像を同時に生成させるように構成され得る。例えば、画像センサ４２が深度セ
ンサ６８である場合、視覚コントローラ６４は、光源４４に、非可視光のパターンで標的
部位の露出表面を照らさせるように構成され得、深度センサ６８のそれぞれが、露出表面
に反射された非可視光のパターンを異なる角度から撮像してもよい。次に、視覚コントロ
ーラ６４は、各画像における表面点の位置と画像センサ４２間の既知の位置関係とに基づ
いて、標的部位における表面上の点の視覚デバイス４０に対する３次元位置を判定しても
よい。その後、視覚コントローラ６４は、判定された３次元位置に基づいて深度マップを
生成することができる。

外科手術中にローカライザ１８と視覚デバイス４０との間の干渉を減らすために、ロー
カライザ１８と視覚デバイス４０とは、異なるスペクトル帯で動作して標的部位内のオブ
ジェクトの位置を検出するように構成されてもよい。追加又は代替として、視覚デバイス
４０が非可視光帯域で動作するときなど、視覚デバイス４０が光源４４を使用して標的部
位における露出表面を照らすとき、ローカライザ１８は、視覚デバイス４０の光源４４が
ローカライザ１８から見えないように、十分に短い時間的露光レートで動作するように構
成されてもよい。

上記のとおり、ナビゲーションコントローラ２２は、ローカライザ１８を使用して生成
されたローカライザデータに基づいて予想深度マップを計算すること、及び予想深度マッ
プを視覚デバイス４０によって生成された実深度マップと比較することにより、手術部位
内の治療すべき患者組織の標的体積に隣接するオブジェクトを判定することなど、本明細
書に記載されたナビゲーションコントローラ２２の機能、特徴、及び処理を行うようにプ
ログラムされたプロセッサ２３を含むことができる。プロセッサ２３に加えて、ナビゲー
ションコントローラ２２は、それぞれプロセッサ２３に動作可能なように結合されたメモ
リ７２及び不揮発性ストレージ７４を含むことができる。

プロセッサ２３は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセ
ッサ、マイクロコンピュータ、中央処理装置、フィールドプログラマブルゲートアレイ、
プログラマブル論理デバイス、ステートマシン、論理回路、アナログ回路、デジタル回路
、又はメモリ７２に保存された動作命令に基づいて信号（アナログ又はデジタル）を操作
する他の任意のデバイスから選択された１つ以上のデバイスを含んでもよい。メモリ７２
は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、揮発性メモ
リ、不揮発性メモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミック
ランダムアクセスメモリ（ＤＲＡＭ）、フラッシュメモリ、キャッシュメモリ、又は情報
を保存できる他の任意のデバイスを含むが、これらに限定されない、単一のメモリデバイ
ス又は複数のメモリデバイスを含んでもよい。不揮発性ストレージ７４は、ハードドライ
ブ、光学ドライブ、テープドライブ、不揮発性ソリッドステートデバイス、又は情報を永
続的に保存できる他の任意のデバイスなどの１つ以上の永続的データストレージデバイス
を含んでもよい。

不揮発性ストレージ７４は、位置特定エンジン７６、変換エンジン７８、視覚エンジン
８０、及び手術ナビゲータ８１などのソフトウェアを保存することができる。ソフトウェ
アは、Ｊａｖａ、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｆｏｒｔｒａｎ、Ｐａｓ
ｃａｌ、Ｊａｖａ Ｓｃｒｉｐｔ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、及びＰＬ／ＳＱＬを、単独
で又は組み合わせて含むが、これらに限定されない、様々なプログラミング言語及び／又
は技術からコンパイル又は解釈されるコンピュータ実行可能命令によって具現化され得る
。

プロセッサ２３は、不揮発性ストレージ７４に保存されたソフトウェアの制御下で動作
することができる。具体的には、プロセッサ２３は、メモリ７２に読み込んでソフトウェ
アのコンピュータ実行可能命令を実行することにより、アクティブな実行プロセスとして
ソフトウェアを実行するように構成され得る。プロセッサ２３によって実行されると、コ
ンピュータ実行可能命令は、プロセッサ２３に、本明細書に記載されたナビゲーションコ
ントローラ２２の構成された機能、特徴、及び処理を実施させるように構成され得る。し
たがって、本ソフトウェアは、プロセッサ２３の実行時に、本明細書に記載されたナビゲ
ーションコントローラ２２の処理をナビゲーションコントローラ２２のプロセッサ２３に
実施させるようにソフトウェアのコンピュータ実行可能命令が構成されることにより、本
明細書に記載されたナビゲーションコントローラ２２の機能、特徴、及び処理をナビゲー
ションコントローラ２２に実施させるように構成され得る。

ナビゲーションコントローラ２２の不揮発性ストレージ７４は、ナビゲーションコント
ローラ２２の動作を容易にするデータを保存することもできる。具体的には、ナビゲーシ
ョンコントローラ２２のソフトウェアは、不揮発性ストレージ７４に保存されたデータに
アクセスし、そのデータに基づいて本明細書で説明されるナビゲーションコントローラ２
２の機能、特徴、及び処理を実施するように構成され得る。

例えば、限定するものではないが、不揮発性ストレージ７４に保存されるデータには、
モデルデータ８２、変換データ８３、及び手術計画８４が含まれ得る。モデルデータ８２
は、上記のように、外科医の手又は指などの潜在的障害物の仮想モデル、及び外科処置で
使用されている手術器具の仮想モデルを含む、外科処置にとって関心がある解剖構造の仮
想モデルを含み得る。変換データ８３は、本明細書における位置関係を含むことができ、
これにより、トラッカ３４、３６、３８、又はローカライザ１８、又は視覚デバイス４０
など、あるデバイスに対する手術作業空間内のオブジェクトの位置を、別のデバイスに対
するオブジェクトの位置へ変換することが可能になり得る。例えば、変換データ８３は、
トラッカ３４、３６、３８とトラッカ３４、３６、３８にしっかりと取り付けられたオブ
ジェクトとの一定の位置関係、及びローカライザ１８と視覚デバイス４０との位置関係を
定めてもよい。手術計画８４により、外科処置に関与する患者の解剖構造の標的体積を特
定することができ、外科処置で使われている器具を特定することができ、外科処置中の器
具の計画された軌道及び患者組織の計画された移動を規定することができる。

ナビゲーションコントローラ２２上で動作するソフトウェアを再び参照すると、位置特
定エンジン７６は、ローカライザ１８の光学センサ３２によって生成された光学ベースの
データなどに基づいて、トラッカ３４、３６、３８にしっかりと取り付けられたオブジェ
クトのローカライザ１８に対する位置を示す位置特定データを生成するように構成され得
る。変換エンジン７８は、変換データ８３によって表される位置関係などに基づいて、手
術システム１０の１つのデバイスに対するオブジェクトの位置を、手術システム１０の別
のデバイスに対するオブジェクトの位置に変換するように構成され得る。視覚エンジン８
０は、位置特定エンジン７６によって生成された位置特定データと変換データ８３とに基
づいて予想深度マップを生成し、この予想深度マップを視覚デバイス４０によって生成さ
れた実深度マップと比較して、手術作業空間内のオブジェクトを特定し追跡するように構
成され得る。手術ナビゲータ８１は、視覚エンジン８０によって判定された特定及び追跡
に基づいて手術ガイダンスを提供するように構成され得る。これらのソフトウェア構成要
素の機能の詳細については、後ほど詳しく説明する。

図示していないが、マニピュレータコントローラ５０、ローカライザコントローラ６２
、及び視覚コントローラ６４のそれぞれは、そのコンピュータ実行可能命令の実行時に、
本明細書に記載されたコントローラの機能、特徴、及び処理を実施するように構成された
データ及びソフトウェアを含むプロセッサ、メモリ、及び不揮発性ストレージを含むこと
もできる。

手術システム１０の実施例を図１に示し、さらに詳細を図２に示しているが、本実施例
は限定することを意図していない。実際には、手術システム１０は、より多くの構成要素
又はより少ない構成要素を有していてもよく、代替の構成要素及び／又は実施態様を使用
してもよい。例えば、ローカライザエンジン７６の全て又は一部は、ローカライザコント
ローラ６２によって実施されてもよい。一実施例を挙げると、ローカライザコントローラ
６２は、モデルデータ８２に基づいて、トラッカ３４、３６、３８にしっかりと取り付け
られたオブジェクトの位置を示すローカライザデータを生成するように構成されてもよい
。

図３は、手術システム１０と共に使用される様々なオブジェクト及びデバイスの座標系
を示す。ナビゲーションコントローラ２２は、変換エンジン７８などを介して、ナビゲー
ションコントローラ２２に保存された変換データ８３において定められる位置関係などに
基づいて、ある座標系におけるオブジェクトの位置を別の座標系におけるオブジェクトの
位置に変換するように構成されてもよい。そのような変換は、ナビゲーションコントロー
ラ２２が共通座標系に対して手術システム１０内のオブジェクトを追跡することを可能に
し得る。さらに、この変換は、視覚エンジン８０などを介して、ナビゲーションコントロ
ーラ２２が、位置特定エンジン７６によって生成された位置特定データに基づいて視覚デ
バイス４０によって生成されることになる予想深度マップを計算し、視覚デバイス４０に
よって生成された実深度マップと予想深度マップとの比較に基づいてオブジェクトを特定
し追跡することを可能にし得る。非限定的な一実施例として、変換データ８３によって定
められ、座標系間の変換を可能にする位置関係のそれぞれは、変換データ８３によって定
められる変換行列によって表されてもよい。

ナビゲーションコントローラ２２は、ローカライザ座標系ＬＣＬＺを基準にして、トラ
ッカ３４、３６、３８に取り付けられた標的部位内のオブジェクトなど、標的部位内のオ
ブジェクトを追跡するように構成され得る。ローカライザ座標系ＬＣＬＺは、原点及び向
きを含むことができ、これらは手術作業空間に対するｘ軸、ｙ軸、及びｚ軸の位置によっ
て定められ得る。ローカライザ座標系ＬＣＬＺは、ローカライザ１８に固定され、ローカ
ライザ１８を中心とすることができる。具体的には、ローカライザ１８の中心点が、ロー
カライザ座標系ＬＣＬＺの原点を定めてもよい。ローカライザデータは、上記のように、
ローカライザ１８を用いて判定されたローカライザ１８に対するオブジェクトの位置を示
すことができ、ローカライザ座標系ＬＣＬＺにおけるそのようなオブジェクトの位置を同
様に示すことができる。

この処置を通して、ローカライザ座標系ＬＣＬＺを既知の位置に保持することが１つの
目標である。ローカライザ１８が手術要員によって不注意でぶつけられたときに起こり得
るような、ローカライザ座標系ＬＣＬＺの突然の又は予期せぬ移動を検出するために、加
速度計がローカライザ１８に取り付けられてもよい。ローカライザ座標ＬＣＬＺの検出さ
れた移動に応答して、ナビゲーションコントローラ２２は、手術ナビゲータ８１などを介
して、ユーザインターフェース２４によって外科医に対して警告を提示すること、手術ナ
ビゲーションを停止すること、及び／又は手術システム１０が較正し直されるまで、マニ
ピュレータコントローラ５０に手術器具１６の移動を停止させる信号をマニピュレータコ
ントローラ５０へ伝達するように構成されてもよい。

手術システム１０によって追跡される各オブジェクトは、オブジェクトに固定されオブ
ジェクトを中心とする、ローカライザ座標系ＬＣＬＺとは別の独自の座標系を有すること
もできる。例えば、トラッカ３４、３６、３８は、それぞれ骨トラッカ座標系ＢＴＲＫ１
、骨トラッカ座標系ＢＴＲＫ２、及び器具トラッカ座標系ＴＬＴＲ内に固定され、その中
心に置かれてもよい。患者の大腿骨Ｆは、大腿骨座標系ＦＢＯＮＥ内に固定され、その中
心に置かれてもよく、患者の脛骨Ｔは、脛骨座標系ＴＢＯＮＥ内に固定され、中心が定め
られてもよい。外科処置より前に、大腿骨Ｆ、脛骨Ｔ、及び手術器具１６などの各被追跡
オブジェクトの術前画像及び／又は仮想モデルは、オブジェクトの座標系における定位置
に従って、例えばオブジェクトの座標系にマッピングされ、その座標系内に固定されるな
どにより、オブジェクトにマッピングされてもよい。

外科処置の初期段階を通して、トラッカ３４、３６は、それぞれ患者の大腿骨Ｆ及び脛
骨Ｔにしっかりと取り付けられ得る。そして、座標系ＦＢＯＮＥ及びＴＢＯＮＥの位置を
、それぞれ座標系ＢＴＲＫ１及びＢＴＲＫ２にマッピングすることができる。例えば、参
照により本明細書に組み込まれるＭａｌａｃｋｏｗｓｋｉ ｅｔ ａｌ．に対する米国特
許第７，７２５，１６２号などに開示されている、独自のトラッカＰＴを有するポインタ
器具Ｐ（図１）を使用して、大腿骨座標系ＦＢＯＮＥ及び脛骨座標系ＴＢＯＮＥを、それ
ぞれ骨トラッカ座標系ＢＴＲＫ１及びＢＴＲＫ２へ位置合わせをしてもよい。大腿骨座標
系ＦＢＯＮＥと骨トラッカ座標系ＢＴＲＫ１との一定の位置関係、及び脛骨座標系ＴＢＯ
ＮＥと骨トラッカ座標系ＢＴＲＫ２との一定の位置関係を、変換データ８３としてナビゲ
ーションコントローラ２２に保存することができる。

大腿骨Ｆ及び脛骨Ｔとそれらのトラッカ３４、３６との一定の空間的関係が与えられる
と、変換エンジン７８などを介して、ナビゲーションコントローラ２２は、大腿骨座標系
ＦＢＯＮＥにおける大腿骨Ｆの位置を、骨トラッカ座標系ＢＴＲＫ１における大腿骨Ｆの
位置に変換することができ、脛骨座標系ＴＢＯＮＥにおける脛骨Ｔの位置を、骨トラッカ
座標系ＢＴＲＫ２における脛骨Ｔの位置に変換することができる。このようにして、ロー
カライザ１８を用いて位置特定座標系ＬＣＬＺにおけるトラッカ３４、３６の位置を判定
することにより、ナビゲーションコントローラ２２は、それぞれ位置特定座標系ＬＣＬＺ
における大腿骨座標系ＦＢＯＮＥの位置及び脛骨座標系ＴＢＯＮＥの位置を判定すること
ができ、それに対応して、それぞれ位置特定座標系ＬＣＬＺにおける大腿骨Ｆ及び脛骨Ｔ
の位置を判定することができる。

同様に、手術器具１６の治療端は、その座標系ＥＡＰＰ内に固定され、その中心に置か
れ得る。座標系ＥＡＰＰの原点は、例えば、外科用切削バーの重心に固定されてもよい。
座標系ＥＡＰＰの位置と、それに対応して手術器具１６の治療端の位置とは、処置が開始
する前に、トラッカ３８の器具トラッカ座標系ＴＬＴＲ内に固定されてもよい。座標系Ｅ
ＡＰＰと器具トラッカ座標系ＴＬＴＲとの一定の位置関係はまた、変換データ８３として
ナビゲーションコントローラ２２に保存されてもよい。このようにして、ローカライザ１
８を用いて位置特定座標系ＬＣＬＺにおける器具トラッカ座標系ＴＬＴＲの位置を判定す
ることにより、変換エンジン７８などを介して、ナビゲーションコントローラ２２は、器
具トラッカ座標系ＴＬＴＲと座標系ＥＡＡＰとの位置関係に基づいて位置特定座標系ＬＣ
ＬＺにおける座標系ＥＡＰＰの位置を判定することができ、それに対応して、位置特定座
標系ＬＣＬＺにおける手術器具１６の治療端の位置を判定することができる。

視覚デバイス４０は、同様に、視覚座標系ＶＩＳ内に固定され、その中心に置かれ得る
。視覚座標系ＶＩＳの原点は、視覚デバイス４０の重心に相当してもよい。視覚デバイス
４０によって生成された各実深度マップは、上記のように、視覚デバイス４０に対する標
的部位内の露出表面の位置を示すことができ、座標系ＶＩＳにおける露出表面の位置を同
様に示すことができる。

図１などに示されるように、視覚デバイス４０がローカライザ１８と一体化されている
ときには、視覚座標系ＶＩＳとローカライザ座標系ＬＣＬＺとは等価であるとみなされ得
る。言い換えれば、ローカライザ座標系ＬＣＬＺ内のオブジェクト又は座標系の位置が、
視覚座標系ＶＩＳ内のオブジェクト又は座標系の位置に非常に近いか又は等しいので、変
換は必要ない。あるいは、視覚座標系ＶＩＳは、視覚デバイス４０がローカライザ１８と
一体化されているときには、ローカライザ座標系ＬＣＬＺ内に固定され得、逆の場合も同
様であるので、視覚座標系ＶＩＳとローカライザ座標系ＬＣＬＺとの位置関係、及びそれ
に対応して視覚デバイス４０とローカライザ１８との位置関係は、手術システム１０の製
造中に決定され得、変換データ８３としてナビゲーションコントローラ２２内に工場で記
憶されてもよい。

視覚デバイス４０がローカライザ１８から分離しているとき、視覚デバイス４０は、視
覚座標系ＶＩＳとローカライザ座標系ＬＣＬＺとの位置関係、及びそれに対応して、視覚
デバイス４０とローカライザ１８との位置関係を確立するために、視覚デバイス４０のハ
ウジングに堅固に取り付けられたトラッカ（図示せず）を含むことができる。ナビゲーシ
ョンコントローラ２２には、トラッカの座標系と視覚座標系ＶＩＳとの位置関係が変換デ
ータ８３として予め登録されていてもよい。このようにして、ローカライザ１８を用いて
位置特定座標系ＬＣＬＺにおけるトラッカの座標系の位置を判定することにより、ナビゲ
ーションコントローラ２２は、トラッカの座標系と視覚座標系ＶＩＳとの保存されている
位置関係に基づいて、位置特定座標系ＬＣＬＺにおける視覚座標系ＶＩＳの位置を判定す
ることができ、それに対応して、ローカライザ座標系ＬＣＬＺにおける視覚デバイス４０
の位置を判定することができる。さらに、それに対応して、ナビゲーションコントローラ
２２は、ローカライザ座標系ＬＣＬＺ及び視覚座標系ＶＩＳにおけるローカライザ１８に
対する視覚デバイス４０の位置を判定することができる。

あるいは、ナビゲーションコントローラ２２は、標的部位に挿入され、ローカライザ１
８及び視覚デバイス４０の両方によって検出可能な共通の光パターンに基づいて、ローカ
ライザ共通座標系ＬＣＬＺと視覚座標系ＶＩＳとの位置関係を特定するように構成されて
もよい。例えば、ローカライザ１８及び視覚デバイス４０が標的部位を視野に入れて配置
された後に、非可視光などの光のパターンが標的部位に投影されてもよく、その標的部位
が、その光のパターンをローカライザ１８及び視覚デバイス４０へ反射し返してもよい。
ナビゲーションコントローラ２２は、視覚デバイス４０の光源４４に、この光パターンを
標的部位に投影させてもよく、又は別の光プロジェクタ（図示せず）を使用して光パター
ンを投影させてもよい。さらなる実施例として、ローカライザ１８及び視覚デバイス４０
によって検出可能な光のパターンを送出するように構成されたマーカを有する、トラッカ
、又はポインタＰＴ（図１）などの他の物理デバイスを、標的部位内に、かつローカライ
ザ１８及び視覚デバイス４０の視野内に配置してもよい。

ナビゲーションコントローラ２２は、ローカライザエンジン７６などを介して、ローカ
ライザ１８を用いて、ローカライザ１８に特化したローカライザ座標系ＬＣＬＺにおける
光パターンの位置を示す位置特定データを生成するように構成され得る。ナビゲーション
コントローラ２２はまた、視覚デバイス４０から光パターンを示す較正深度マップを受け
取ることができ、変換エンジン７８などを介して、視覚座標系ＶＩＳにおける光パターン
の位置を較正深度マップに基づいて特定するように構成されてもよい。そして、ナビゲー
ションコントローラ２２は、変換エンジン７８などを介して、回帰アルゴリズムなどを用
いて、位置特定座標系ＬＣＬＺ及び視覚座標系ＬＣＬＺにおける投影パターンの判定され
た位置に基づいて、位置特定座標系ＬＣＬＺと視覚座標系ＬＣＬＺとの位置関係を判定す
るように構成されてもよい。

図４は、トラッカをベースにした位置特定と機械視覚とを用いて、手術作業空間内のオ
ブジェクトを追跡し、オブジェクトが手術計画を妨害するかどうかを判定するための方法
１００を示す。方法１００は、手術ナビゲーションシステム１２によって、より詳細には
、ナビゲーションコントローラ２２によって実行され得る。

ブロック１０２では、共通座標系におけるローカライザ１８と視覚デバイス４０との位
置関係を特定することができる。具体的には、変換エンジン７８などを介して、ナビゲー
ションコントローラ２２は、上記の方法のいずれかを用いて、ローカライザ１８と視覚デ
バイス４０との位置関係を特定し、それに対応してローカライザ座標系ＬＣＬＺと視覚座
標系ＶＩＳとの位置関係を特定するように構成してもよい。例えば、視覚デバイス４０に
トラッカを固定してもよく、又はローカライザ１８及び視覚デバイス４０の両方によって
検出可能な標的部位に光パターンを配置してもよい。あるいは、製造時にローカライザ１
８が視覚デバイス４０と一体化されるか、又は別の方法で視覚デバイス４０に対して固定
されるときには、製造時に位置関係を決定し、ナビゲーションコントローラ２２に変換デ
ータ８３として予め記憶してもよい。

ブロック１０４では、変換データ８３などに基づいて、標的部位内の１つ以上のオブジ
ェクトに対応する仮想モデルにアクセスすることができる。変換データ８３は、トラッカ
３４、３６、３８などのトラッカが取り付けられる標的部位内のオブジェクトを示すこと
ができる。ナビゲーションコントローラ２２は、トラッカに取り付けられたオブジェクト
のそれぞれについて仮想モデルを取得するように構成してもよい。いくつかの例では、こ
れらの取得された仮想モデルの１つ以上が、外科処置中に処理されることになる標的体積
を画定することもできる。

図５は、膝関節置換術を受けている患者の標的部位２００を示す。標的部位２００は、
手術器具（例えば、手術器具１６）で除去すべき骨組織の標的体積２０２を含み得る、患
者の大腿骨Ｆの一部を含むことができる。標的部位２００は、靭帯２０４及び表皮組織２
０６など、標的体積２０２に隣接する軟組織をさらに含むことができる。標的部位２００
は、表皮組織２０６を引き込み、患者の大腿骨Ｆへのアクセスを提供するように配置され
た開創器２０８などの手術具を含むこともできる。標的部位２００は、さらに、患者の大
腿骨Ｆにしっかりと取り付けられたトラッカ２０９を含んでもよい。したがって、ナビゲ
ーションコントローラ２２は、モデルデータ８２から大腿骨Ｆに対応する仮想モデルを取
得することができ、その例が図６に示されている。

再び図４を参照すると、ブロック１０６では、標的部位内のトラッカに取り付けられた
オブジェクトの位置を、ローカライザ１８を使用して検出することができる。具体的には
、ローカライザ１８を、上記のように、ローカライザ座標系ＬＣＬＺにおける各トラッカ
座標系の位置を示し、それに対応して各トラッカの位置を示す光学ベースのデータを生成
するように構成してもよい。そして、ナビゲーションコントローラ２２は、位置特定エン
ジン７６などを介して、例えばトラッカ及びそれらの座標系の検出位置、ならびに変換デ
ータ８３に示されるトラッカとオブジェクトとの位置関係などに基づいて、ローカライザ
座標系ＬＣＬＺにおける、トラッカに取り付けられたオブジェクトの座標系の位置を特定
し、それに対応してオブジェクトの位置を特定するように構成してもよい。トラッカに取
り付けられた各オブジェクトの仮想モデルは、変換データ８３内のオブジェクトの座標系
にマッピングすることができるので、ナビゲーションコントローラ２２は、同様に、オブ
ジェクトが取り付けられたトラッカの検出位置、及びトラッカとオブジェクトとの位置関
係に基づいて、トラッカに取り付けられた各オブジェクトの仮想モデルのローカライザ座
標系ＬＣＬＺにおける位置を特定することができる。

図６は、図５の標的部位２００の続きを示し、標的部位２００内でトラッカ２０９に取
り付けられ得る、患者の大腿骨Ｆに対応し得る仮想モデル２１０を示す。仮想モデル２１
０は、ローカライザ１８で決定されたローカライザ座標系ＬＣＬＺにおけるトラッカ２０
９及び大腿骨Ｆの位置に応じて、ローカライザ座標系ＬＣＬＺ内に配置されてもよい。仮
想モデル２１０は、治療中に大腿骨Ｆから切除されることになる仮想標的体積２１２を画
定することができ、これは図５に示す標的体積２０２に対応し得る。

ブロック１０８では、例えば、アクセスされた仮想モデル、ローカライザ座標系ＬＣＬ
Ｚにおける仮想モデルに対応するオブジェクトの検出位置、及び共通座標系におけるロー
カライザ１８と視覚デバイス４０との位置関係などに基づいて、予想深度マップを生成す
る。上記のとおり、ローカライザ座標系ＬＣＬＺにおける仮想モデルの位置は、ローカラ
イザ１８を用いて決定されたローカライザ座標系ＬＣＬＺにおけるオブジェクトの位置に
対応することができる。ナビゲーションコントローラ２２は、視覚エンジン８０などを介
して、共通座標系におけるローカライザ１８と視覚デバイス４０との位置関係、及びそれ
に対応してローカライザ座標系ＬＣＬＺと視覚座標系ＶＩＳとの位置関係に基づいて、ロ
ーカライザ座標系ＬＣＬＺにおける仮想モデルの位置を視覚座標系ＶＩＳにおける仮想モ
デルの位置へ変換するように構成してもよい。

その後、ナビゲーションコントローラ２２は、視覚座標系ＶＩＳにおける仮想モデルの
位置に基づいて、予想深度マップを生成することができる。上記のように、視覚デバイス
４０によって生成された深度マップは、標的部位内のブ露出したオジェクト表面の視覚デ
バイス４０に対する位置（例えば、深度及び場所）を示し得る。視覚座標系ＶＩＳにおけ
る仮想モデルの位置は、仮想モデルによって表されるオブジェクト表面の視覚デバイス４
０に対する位置を直ちに示すことができ、視覚座標系ＶＩＳ内に固定することができる。
したがって、ナビゲーションコントローラ２２は、標的部位に他のオブジェクトが全く無
いと仮定して、視覚エンジン８０などを介して、視覚座標系ＶＩＳにおける仮想モデルの
判定された位置に基づいて、標的部位を視野に入れた視覚デバイス４０が生成されると予
想される深度マップをシミュレートするように構成されてもよい。

図７は、図６の仮想モデル２１０に基づいて生成され得る予想深度マップを示す。図７
の予想深度マップは、靭帯２０４、表皮組織２０６、開創器２０８、及びトラッカ２０９
などの他のオブジェクトが標的部位に存在しないと仮定して、視覚座標系ＶＩＳにおける
仮想モデル２１０の変換された位置に従って、患者の大腿骨Ｆの視覚デバイス４０によっ
て生成されると予想される深度マップをシミュレートすることができる。図７の予想深度
マップはまた、より詳細に後述するが、関心領域にトリミングされている場合がある。

ブロック１１０では、視覚デバイス４０によって取り込まれた実深度マップを受け取る
ことができる。具体的には、ブロック１０６において、ローカライザ１８が、標的部位内
のトラッカに取り付けられたオブジェクトの位置を示すローカライザデータを生成するの
と同時に、視覚デバイス４０が上記のように標的部位の深度マップを生成し得る。このよ
うにして、深度マップは、位置特定データと時間的にインターリーブされてもよく、位置
特定データに基づいて生成された推定深度マップとも時間的にインターリーブされてもよ
い。言い換えれば、実深度マップ及び予想深度マップは両方とも、外科処置中の実質的に
同一時点における標的部位を表すことができる。

図８は、図５に描かれた標的部位２００を視野に入れた視覚デバイス４０によって生成
され得る深度マップを示しており、分かりやすくするためにトラッカ２０９が除去されて
いる。深度マップは、ピクセルに類似して、マトリクス状に配列され、深度マップの画像
フレームを形成する、いくつかの画像構成要素を含むことができる。ボックス２１４は、
画像構成要素の１つの例を強調するために、図示された深度マップ上に人為的に配置され
たものである。深度マップ画像フレームにおける各画像構成要素の場所は、視覚デバイス
４０の中心視点からの水平距離及び垂直距離を表し得、各画像構成要素の輝度は、画像構
成要素によって表されるオブジェクト表面点の視覚デバイス４０からの距離に対応し得る
。図示の例では、明るい画像構成要素は、視覚デバイス４０に近い標的部位の表面点を表
し、暗い画像構成要素は、視覚デバイス４０から遠い標的部位の表面点を表す。

ブロック１１２では、実深度マップは、ブロック１０４においてアクセスされた仮想モ
デル、ローカライザ座標系ＬＣＬＺにおける仮想モデルに対応するオブジェクトの検出位
置、及び共通座標系におけるローカライザ１８と視覚デバイス４０との位置関係などに基
づいて、外科処置のための関心領域（ＲＯＩ）にトリミングすることができる。以下にさ
らに詳細に説明するように、実深度マップを予想深度マップと比較して、標的部位内のオ
ブジェクトを特定し、そのようないずれかのオブジェクトが標的部位内の標的体積の治療
を妨害する可能性があるかどうかを判定することができる。比較される実深度マップ及び
予想深度マップの寸法が大きいほど、比較に必要とされる計算量が多くなる。したがって
、ナビゲーションコントローラ２２は、視覚エンジン８０などを介して、比較された深度
画像の寸法を減らすために、視覚座標系ＶＩＳにおける仮想モデルの位置に基づいて、実
深度マップをＲＯＩにトリミングするように構成されてもよい。上記のように、視覚座標
系ＶＩＳにおける仮想モデルの位置は、決定されたオブジェクトローカライザ座標系ＬＣ
ＬＺの位置と、共通座標系におけるローカライザ１８と視覚デバイス４０との位置関係と
に基づいて決定されてもよい。

例えば、ブロック１０４においてアクセスされた仮想モデルは、外科処置の間に治療す
べき標的体積を画定し得る。したがって、視覚座標系ＶＩＳにおける仮想モデルの位置は
、視覚座標系ＶＩＳにおける標的体積の位置を示すことができ、それに対応して、視覚デ
バイス４０によって生成された実深度マップにおける標的体積の位置を示すことができる
。ナビゲーションコントローラ２２は、視覚エンジン８０などを介して、実深度マップを
トリミングして、視覚座標系ＶＩＳにおける標的体積の位置から閾値距離よりも大きい任
意の領域を除去するように構成してもよい。追加又は代替として、視覚エンジン８０など
を介して、ナビゲーションコントローラ２２は、ユーザが選択した形状又は処置に特定的
な形状を実深度マップ内の標的体積の位置の中心に合わせ、実深度マップの形状外の領域
を除去するように構成してもよい。ナビゲーションコントローラ２２は、予想深度マップ
の計算中又は計算後などに、予想深度マップの寸法及び形状を、トリミングされた実深度
マップの寸法及び形状に収めるように構成してもよい。

図９は、図６の大腿骨Ｆに対応する仮想モデル２１０に基づいてＲＯＩにトリミングさ
れた図８の実深度マップを示す。仮想モデル２１０は、外科処置中に治療すべき標的体積
２０２に対応する仮想標的体積２１２を画定し得る。ナビゲーションコントローラ２２は
、実深度マップでの標的体積の位置を示し得る、視覚座標系ＶＩＳにおける標的体積の決
定された位置に基づいて、例えば、深度マップにおける標的体積の中心に選択された形状
を置き、その形状の外側の深度マップの領域を除去することなどにより、図８の実深度マ
ップをトリミングすることができる。図７の予想深度マップも同様に、トリミングされた
実深度マップの寸法及び形状に収められる。

ブロック１１４及びブロック１１６では、予想深度マップに一致しない深度マップの部
分を特定する。具体的には、ブロック１１４では、実深度マップと予想深度マップとの差
分を計算することなどにより、実深度マップを予想深度マップと比較することができる。
ナビゲーションコントローラ２２は、視覚エンジン８０などを介して、予想深度マップ及
び実深度マップ内の各対応する画像構成要素のペアでの深度の差分を計算することにより
、予想深度マップと実際の深度との差分を計算するように構成してもよい。予想深度マッ
プ及び実深度マップ内の対応する画像構成要素のペアは、各深度マップの画像構成要素を
同じ水平方向の場所及び垂直方向の場所に含むことができる。ブロック１１２において実
深度マップがＲＯＩにトリミングされたと仮定すれば、ブロック１１４で比較される深度
マップはトリミングされた深度マップであってもよい。

実深度マップと推定深度との差分は、例えば、取り付けられたトラッカを使用して適切
に追跡されていないか、又は追跡できないオブジェクト（例えば、軟組織、外科医の手）
など、標的部位内に、まだ特定されておらず、追跡されていないオブジェクトがあること
を示している可能性がある。この差分は、差分深度マップによって表すことができ、差分
深度マップの各画像構成要素は、差分深度マップ内の画像構成要素と同じ水平位置及び垂
直位置で実深度マップ及び予想深度マップ内に位置する対応する画像構成要素について計
算された深度の差を示す。図１０は、図９の実深度マップと図７の予想深度マップとの間
で計算された差分深度マップを示す図である。

同じ深度を示す実深度マップ及び予想深度マップからの対応する画像構成要素は、深度
差がゼロとなり、トラッカ及びローカライザ１８などを使用して以前に特定され追跡され
たオブジェクトに対応する可能性がある。ゼロ深度差は、差分の深度マップでは、最大輝
度を有する、又はゼロ深度に特有の色及び／又は色相を有する、画像構成要素によって表
され得る。図１０の差分深度マップでは、領域２１６、２１８、及び２２０は、ゼロの深
度差を有する実深度マップ及び予想深度マップからの対応する画像構成要素を表す。

同じ深度を示さない実深度マップ及び予想深度マップの対応する画像構成要素は、ゼロ
でない深度差となり、トラッカ及びローカライザ１８などを使用して以前に特定されてお
らず追跡されていないオブジェクトに対応する可能性がある。ゼロでない深度差は、差分
の深度マップでは、最大輝度よりも小さい輝度の画像構成要素、又はゼロ深度に特有の色
及び／又は色相とは異なる色の画像構成要素を用いて表され得る。図１０の差分深度マッ
プでは、領域２１６、２１８、及び２１０に隣接するより暗い領域は、深度差がゼロでな
い実深度マップ及び予想深度マップの対応する画像構成要素を表す。

ブロック１１６では、計算した差分を、１つ以上のオブジェクト閾値に基づいてフィル
タ処理することができる。オブジェクト閾値は、ノイズ又は無視できる較正の不正確さに
起因するゼロでない差分と、標的部位内の追加オブジェクトの存在に起因するゼロでない
差分とを区別するように設計することができる。オブジェクト閾値は、限定されないが、
閾値深度及び／又は最小サイズ閾値を含み得、これらのそれぞれは非ゼロであり得る。

一実施例を挙げると、差分深度マップの１つ以上の非ゼロセクションのそれぞれについ
て、ナビゲーションコントローラ２２は、非ゼロセクションが深度閾値よりも大きい絶対
深度を示すかどうかを判定するように構成してもよい。具体的には、差分深度マップは、
１つ以上の非ゼロセクションを含み、非ゼロセクションのそれぞれは、それぞれが非ゼロ
の深度差を示す連続した画像構成要素の集合を含み得る。差分深度マップの非ゼロセクシ
ョンは、非ゼロセクションの各画像構成要素によって示される非ゼロ深度差の大きさ（符
号は参照しない）が深度閾値よりも大きい場合、深度閾値よりも大きい絶対深度を有する
と見なされ得る。差分の非ゼロセクションが閾値深度よりも大きい絶対深度を示すと判定
することに応答して、ナビゲーションコントローラ２２は、例えば、実深度マップのセク
ションが、差分深度マップでの非ゼロセクションと実深度マップにおいて同じ水平位置及
び垂直位置にあることなどにより、推定深度マップに一致しない実深度マップの部分とし
て、差分の非ゼロセクションに対応する実深度マップのセクションを特定するように構成
してもよい。

さらなる実施例として、差分の各非ゼロセクションについて、ナビゲーションコントロ
ーラ２２は、非ゼロセクションのサイズ（例えば、面積）が最小サイズ閾値よりも大きい
かどうかを判定するように構成してもよい。非ゼロセクションのサイズが最小サイズ閾値
よりも大きいと判定することに応答して、ナビゲーションコントローラ２２は、視覚エン
ジン８０などを介して、例えば、実深度マップのセクションが、差分深度マップでの非ゼ
ロセクションと実深度マップにおいて同じ水平位置及び垂直位置にあることなどにより、
予想深度マップに一致しない実深度マップの部分として、差分の非ゼロセクションに対応
する実深度マップのセクションを特定するように構成してもよい。

別の実施例では、ナビゲーションコントローラ２２は、非ゼロセクションのサイズが最
小サイズ閾値よりも大きく、非ゼロセクションが閾値深度よりも大きい絶対深度を示すと
判定することに応答して、推定深度マップに一致しない実深度マップの部分として、差分
の非ゼロセクションに対応する実深度マップのセクションを特定するように構成してもよ
い。

ブロック１１８では、フィルタ処理された差分に基づいて、標的部位にオブジェクトが
存在するかどうかの判定を行うことができる。具体的には、視覚エンジン８０などを介し
て、ナビゲーションコントローラ２２は、予想深度マップと一致しない実深度マップの部
分が特定されたかどうかを判定するように構成してもよい。特定されていない場合（ブロ
ック１１８の「Ｎｏ」分岐）、方法１００はブロック１０６に戻って、ローカライザ１８
を使用して、トラッカが取り付けられたオブジェクトの位置を再び検出することができる
。特定されたならば（ブロック１１８の「Ｙｅｓ」分岐）、方法１００はブロック１２０
に進み、予想深度マップに一致しない実深度マップの部分に機械視覚技法を適用すること
により、標的部位内のオブジェクトを認識することができる。

ブロック１２０では、視覚エンジン８０などを介して、ナビゲーションコントローラ２
２は、機械視覚技法を、予想深度マップに一致しない実深度マップの特定された部分に適
用して、特定された部分から標的部位内のオブジェクトを認識するように構成してもよい
。例えば、限定するものではないが、ナビゲーションコントローラ２２は、パターン認識
、エッジ検出、色認識、波長分析、画像構成要素強度分析（例えば、ピクセル又はボクセ
ル強度分析）、深度分析、及び機械学習を通じて生成された測定基準を利用して、実深度
マップの特定された部分で表されるオブジェクトの間をセグメント化するように構成して
もよい。いくつかの実施例として、エッジによって分けられた特定部分の領域、異なる規
則的なパターンを有する領域、異なるカラーパレットを有する領域、及び／又は異なる深
度範囲を示す領域は、異なるオブジェクトに対応し得る。さらなる実施例として、標的部
位内の異なるオブジェクト（例えば、異なる組織）の表面は、視覚デバイス４０によって
反射されて検出される信号において、異なる波長及び／又は異なる強度を生じさせる可能
性がある。視覚デバイス４０は、実深度マップの画像構成要素ごとにそのような情報を出
力するように構成してもよく、この情報に基づいて、ナビゲーションコントローラ２２は
、実深度マップの特定された部分にわたって生じる様々な波長及び／又は信号強度に基づ
いて、特定された部分における異なるオブジェクトをセグメント化するように構成しても
よい。ナビゲーションコントローラ２２が、機械視覚を用いて特定された部分に複数のオ
ブジェクトを発見できない場合には、ナビゲーションコントローラ２２は、特定された部
分全体を標的部位内の単一のオブジェクトと見なすように構成してもよい。

加えて又は代わりに、ナビゲーションコントローラ２２は、視覚エンジン８０などを介
して、ナビゲーションコントローラ２２に保存されたモデルデータ８２などに基づいて、
実際の深度の特定された部分におけるオブジェクトを特定するように構成してもよい。特
定は、例えば、オブジェクトを靭帯、開創器、表皮組織などと特定することなど、オブジ
ェクトの種類を記述する実深度マップで表される各オブジェクトのラベルを特定すること
ができるという点で、特定はセグメント化とは異なり得る。標的部位における各オブジェ
クトを特定すると、視覚エンジン８０などを介して、ナビゲーションコントローラ２２が
、オブジェクトの表面だけとは対照的にオブジェクト全体をモデル化し、外科処置中のオ
ブジェクトの動き及び他の反応をより良く予測することが可能になる可能性があり、これ
により、ナビゲーションコントローラ２２の手術ナビゲータ８１が、ますます情報に基づ
いたナビゲーション決定を行うことができるようになる可能性がある。

上記のように、ナビゲーションコントローラ２２に保存されたモデルデータ８２は、標
的部位に潜在的に存在するオブジェクトに対応する３次元モデルを定義することができる
。モデルデータ８２はまた、標的部位に潜在的に存在する様々なオブジェクトに対する所
定のプロファイルを定義することもでき、各プロファイルは、実深度マップからオブジェ
クトを特定する際にナビゲーションコントローラ２２を支援する、オブジェクトに特定的
な１つ以上の特徴を定めるものである。例えば、所与のオブジェクトのプロファイルは、
限定されるものではないが、カラーパレット、波長範囲、信号強度範囲、距離又は深度範
囲、面積、体積、形状、偏光、及びオブジェクトに対応する学習又は統計モデルからのデ
ィープメトリック出力の１つ以上を含んでもよい。所与のオブジェクトのプロファイルは
また、上記の患者スキャンから生成されたものなど、オブジェクトの３次元モデルを含ん
でいてもよい。

したがって、ナビゲーションコントローラ２２は、実深度マップの特定された部分に基
づいて、特定された部分の少なくとも一部を、予め定義されたプロファイルの１つ、すな
わちオブジェクトに対応する予め定義されたプロファイルと一致させることにより、推定
深度マップに一致しないオブジェクトを特定するように構成してもよい。そして、ナビゲ
ーションコントローラ２２は、プロファイルに対応する特定のオブジェクトとして、実深
度マップの特定された部分の少なくとも一部にラベルを付けるように構成してもよく、そ
の結果、これはローカライザオブジェクトに隣接すると見なされ得る。

代替実施例では、ユーザは、ナビゲーションコントローラ２２によってセグメント化さ
れた特定された部分のオブジェクトを手動で選択するために、及び／又は選択されたオブ
ジェクトに対する予め定義されたプロファイルを選択するために、ユーザインターフェー
ス２４とインタラクトすることができる。ユーザはまた、ユーザインターフェース２４と
インタラクトして、特定された部分などにおける実深度マップによって表されるオブジェ
クトを手動でトレースすること、及び／又はトレースされたオブジェクトのための予め定
義されたプロファイルを選択することができる。その後、ナビゲーションコントローラ２
２は、選択された、セグメント化されたオブジェクト、又はトレースされたオブジェクト
に、選択された予め定義されたプロファイルに対応するラベルを付け、それに応じて、選
択されたオブジェクト、又はトレースされたオブジェクトを追跡するように構成してもよ
い。

ブロック１２２では、実深度マップから認識された各オブジェクトの位置を、視覚座標
系ＶＩＳ又はローカライザ座標系ＬＣＬＺなど、局所オブジェクトと共通の座標系で判定
することができる。例えば、視覚エンジン８０などを介して、ナビゲーションコントロー
ラ２２は、深度マップから認識された各オブジェクトの位置と、局所オブジェクトによっ
て定義され得る標的体積に対する共通座標系における各局所オブジェクトの位置とを判定
するように構成することができ、ナビゲーションコントローラ２２が、認識オブジェクト
及び／又は局所オブジェクトのいずれかが、標的体積を治療するための障害となるかどう
かを判定することができるようにする。

ナビゲーションコントローラ２２は、ローカライザ１８を用いたローカライザ座標系Ｌ
ＣＬＺにおける局所オブジェクトの検出された場所、実深度マップにおける認識オブジェ
クトの場所、及びナビゲーションコントローラ２２に保存されている変換データ８３によ
って定義され得る、共通座標系におけるローカライザ１８と視覚デバイス４０との位置関
係に基づいて、局所オブジェクトに対する各認識オブジェクトの位置を判定するように構
成してもよい。上記のとおり、実深度マップにおける認識オブジェクトの位置は、視覚座
標系ＶＩＳにおける認識オブジェクトの位置を示すことができる。例えば、認識オブジェ
クトを形成する実深度マップの各画像構成要素は、視覚デバイス４０の中心視点から視覚
座標系ＶＩＳにおける位置までのベクトルを表し得る。実深度マップの画像フレームにお
ける各画像構成要素の位置は、ベクトルの水平成分及び垂直成分を示してもよく、各画像
構成要素によって示される深度は、ベクトルの深度成分を表してもよい。

したがって、ナビゲーションコントローラ２２は、実深度マップにおけるオブジェクト
の位置に基づいて、視覚座標系ＶＩＳにおける各認識オブジェクトの位置を判定してもよ
く、次に、ローカライザ１８と視覚デバイス４０との位置関係、視覚座標系ＶＩＳにおけ
る各認識オブジェクトの位置、及び／又はローカライザ座標系ＬＣＬＺにおける各局所オ
ブジェクトの位置を使用して、共通座標系における局所オブジェクトに対しての各認識オ
ブジェクトの位置を判定するように構成してもよい。

ブロック１２４では、実深度マップから認識されたオブジェクト、及びローカライザ１
８で局所化されたオブジェクトを含む各被追跡オブジェクトに対して、共通座標系におけ
るオブジェクトの判定された位置などに基づいて、共通座標系において、オブジェクトに
対応する仮想境界を生成することができる。具体的には、視覚エンジン８０などを介して
、ナビゲーションコントローラ２２は、共通座標系において仮想境界を生成して、手術器
具１６などの手術具の動きに対して制約を与えるように構成してもよい。この目的のため
に、ナビゲーションコントローラ２２はまた、ローカライザ１８などを用いて、共通座標
系における手術器具１６の移動を追跡するように構成してもよい。ナビゲーションコント
ローラ２２によって生成される仮想境界は、傷つきやすい解剖構造及び他の手術具を含む
他のオブジェクトによって空間が占められる可能性があるため、手術器具１６が中に又は
近くに移動すべきではない共通座標系の領域を画定することができる。

例えば、ナビゲーションコントローラ２２は、共通座標系における局所オブジェクトの
判定された位置に従って、局所オブジェクトごとに記憶された３次元仮想モデルを共通座
標系に挿入するように構成してもよい。ナビゲーションコントローラ２２に保存されたモ
デルデータ８２が、実深度マップの特定された部分から認識された所与のオブジェクトに
対する３次元仮想モデルを定義するとき、ナビゲーションコントローラ２２は、共通座標
系における所与の認識オブジェクトの判定された位置に従って、３次元仮想モデルを共通
座標系に挿入するように構成してもよい。追加又は代替として、モデルデータ８２は、実
深度マップの特定された部分から認識された所与のオブジェクトに対する１つ以上の基本
幾何学的形状（例えば、球、円筒、ボックス）を示してもよい。この場合、ナビゲーショ
ンコントローラ２２は、実深度マップによって示されるオブジェクトの表面トポグラフィ
に基づいて、示された基本幾何学的形状をサイズ調整及び／又は配置し、サイズ調整及び
／又は配置された基本幾何学的形状を、共通座標系における所与のオブジェクトの判定さ
れた位置に従って、共通座標系に挿入するように構成してもよい。追加又は代替として、
例えば、実深度マップの特定された部分から認識された所与のオブジェクトに対して仮想
モデル又は基本幾何学的形状が示されていないときなどでは、ナビゲーションコントロー
ラ２２は、実深度マップに示されたオブジェクトの表面トポグラフィに基づいてメッシュ
境界を構築し、共通座標系における所与のオブジェクトの判定された位置に従って、メッ
シュ境界を共通座標系に挿入するように構成してもよい。

さらなる実施例として、上記の技法の１つ以上に加えて、又はその代わりに、ナビゲー
ションコントローラ２２は、共通座標系における所与のオブジェクトの判定された位置に
従って、共通座標系に力粒子を挿入することにより、共通座標系における所与のオブジェ
クトの境界を近似するように構成してもよい。具体的には、ナビゲーションコントローラ
２２は、認識オブジェクトの表面上の様々な点を選択し、共通座標系における様々な点の
判定された位置で、共通座標系に力粒子を配置するように構成してもよい。力粒子のそれ
ぞれは、共通座標系で力粒子の近傍を移動する他のオブジェクトが、所定の距離内に入る
ことなどによって、反発するように構成してもよい。したがって、共通座標系における手
術器具１６の追跡移動の間、力粒子は手術器具１６を反発させ、それによって手術器具１
６が、力粒子によって構成されるオブジェクトに衝突することを防止することができる。
認識オブジェクトの表面全体を表す仮想境界ではなく、認識オブジェクトの表面上の様々
な点に対応する力粒子を共通座標系に挿入することで、比較的少ない処理帯域幅と少ない
データ量とを使用して、オブジェクトの仮想境界を生成することをもたらし得る。

例として、図１１～図１３は、図１０に示される差分に基づいて図７の予想深度マップ
に一致しない図９の実深度マップの特定された部分から認識された標的部位２００（図５
）内のオブジェクトに対応する共通座標系内の仮想境界を示す。具体的には、図１１は、
標的部位２００の開創器２０８に対応し、実深度マップに描かれた開創器仮想モデルを共
通座標系で示した図、図１２は、標的部位２００の靭帯２０４に対応し、実深度マップに
描かれた靭帯仮想モデルを共通座標系で示した図、図１３は、標的部位２００の表皮組織
２０６に対応し、実深度マップに描かれた表皮組織仮想モデルを共通座標系で示した図で
ある。代替実施例として、標的部位２００における靭帯２０４の仮想境界は、共通座標系
における靭帯２０４の判定された位置に従って共通座標系に挿入される円柱などの基本幾
何学的オブジェクトの形態であってもよく、標的部位２００における表皮組織２０６の仮
想境界は、共通座標系における表皮組織２０６の判定された位置で共通座標系に挿入され
るメッシュ面又は力粒子の形態であってもよい。

図１４は、実深度マップから認識されたオブジェクトと、ローカライザ１８で局所化さ
れた患者の大腿骨Ｆとの相対位置を共通座標系で示す。具体的には、図は、図１１～図１
３の仮想モデルと、図６に例示された患者の大腿骨Ｆの仮想モデル２１０とを含むもので
ある。外科処置の間、ナビゲーションコントローラ２２は、例えば手術ナビゲータ８１な
どを介して、共通座標系における手術器具１６の現在の位置に、手術器具１６に対する画
像又は仮想モデルと共に図１４のイラストを表示し、ローカライザ１８で追跡されるなど
、手術器具１６を標的体積２０２に導く際に外科医を支援するように構成され得る。

ブロック１２６では、被追跡オブジェクト及び／又は手術計画８４に基づいて、潜在的
障害物が標的部位に存在するかどうかの判定を行うことができる。具体的には、手術ナビ
ゲータ８１などを介して、ナビゲーションコントローラ２２は、実深度マップを形成する
認識されたオブジェクトなどの被追跡オブジェクトの１つが、共通座標系における標的体
積に対するオブジェクトの位置及び手術計画８４に基づいて、手術計画８４にとって障害
となるかどうかを判定するように構成してもよい。例えば、手術計画８４は、標的体積を
治療するための共通座標系を通る手術器具１６の計画された軌道を定義することができる
。計画された軌道が被追跡オブジェクトのための仮想境界の１つとの衝突を引き起こす場
合、ナビゲーションコントローラ２２は、障害物が存在すると判定するように構成されて
もよい。

障害物が存在すると判定することに応答して（ブロック１２６の「Ｙｅｓ」分岐）、ブ
ロック１２８において、改善措置がトリガされることがある。手術ナビゲータ８１などを
介して、ナビゲーションコントローラ２２は、いくつかの利用可能なアクションのうちの
１つ以上を実行することにより、改善措置をトリガするように構成されてもよい。一実施
例を挙げると、オブジェクトが手術計画８４にとって障害物であると判定することに応答
して、ナビゲーションコントローラ２２は、障害物を回避するために手術計画８４を変更
するように構成されてもよい。例えば、ナビゲーションコントローラ２２は、障害物を回
避するために手術器具１６の軌道を変更し、変更された手術計画８４をマニピュレータコ
ントローラ５０に伝送して実施するように構成されてもよい。別の実施例として、ナビゲ
ーションコントローラ２２は、障害物が取り除かれたことが、ナビゲーションコントロー
ラ２２によって検出されるまで、手術ナビゲーションシステム１２によって提供される手
術ガイダンス及びロボットマニピュレータ１４の移動を停止するように構成され得る。ナ
ビゲーションコントローラ２２は、手術ナビゲーションシステム１２のユーザインターフ
ェース２４を介して、障害物のアラーム及び／又は通知をトリガするように構成してもよ
い。さらなる実施例として、障害の原因となるオブジェクトが軟組織と特定されたとき、
ナビゲーションコントローラ２２は、ユーザインターフェース２４を介して軟組織ガイダ
ンスを提供するように構成してもよい。例えば、ナビゲーションコントローラ２２は、障
害を引き起こしている軟組織オブジェクトの、標的部位における他のオブジェクトに対す
る位置を図示し、障害物を取り除くために軟組織を移動させるための提案を提供するよう
に構成してもよい。ナビゲーションコントローラ２２は、軟組織ガイダンスを提供しなが
ら、共通座標系における軟組織の位置を監視し続け、障害物の脅威が取り除かれたときに
ユーザに通知を行うように構成されてもよい。

改善措置のトリガ及び／又は克服（ブロック１２８）に続いて、又は障害物が識別され
ないことに応答して（ブロック１２６の「Ｎｏ」分岐）、ブロック１３０では、実深度か
ら認識されたオブジェクトの移動が視覚デバイス４０を用いて追跡されてもよい。具体的
には、視覚エンジン８０などを介して、ナビゲーションコントローラ２２は、視覚デバイ
ス４０によってその後生成される追加の実深度マップにおいて認識されたオブジェクトに
対応する実深度マップの部分の状態を監視するように構成されることにより、各認識オブ
ジェクトの動きを追跡するように構成してもよい。続いて生成された実深度マップごとに
予想深度マップを生成すること、予想深度マップと続く実深度マップとの差分を計算する
こと、及び保存されたプロファイルを差分に一致させることをするのではなく、続いて生
成された深度マップで、以前に認識されたオブジェクトに対応すると判定された実深度マ
ップの部分に対する変化に焦点を当てることにより、ナビゲーションコントローラ２２は
、認識されたオブジェクトの移動を、ゆくゆくはスピードを上げて監視できる可能性があ
る。

より詳細には、認識されたオブジェクトに対応する実深度マップの各部分は、オブジェ
クトに特有の特徴の配列を示し、実深度マップの特定の位置に配置され得る。例えば、限
定はしないが、特徴の配列は、オブジェクトに特有の幾何学的関係を有する頂点の配列、
オブジェクトに特有の幾何学的関係を有するエッジ又はラインの配列、あるいはオブジェ
クトに特有の相対的及び幾何学的関係を有する深度の配列であり得る。さらに、オブジェ
クトの特徴の配列と、オブジェクトの他の部分との空間的関係が固定されていてもよい。

したがって、ナビゲーションコントローラ２２は、実深度におけるオブジェクトに特有
の特徴の配列が、実深度マップにおける配置の位置と異なる追加の深度マップにおける位
置に移動するかどうかを監視することにより、実深度マップから認識されるオブジェクト
の移動を監視するように構成してもよい。移動する場合、ナビゲーションコントローラ２
２は、追加深度マップにおけるオブジェクトに対応する特徴の配列の新しい位置に基づい
て、共通座標系におけるオブジェクトの新しい位置を決定し、それに応じて共通座標系に
おけるオブジェクトに関連する仮想境界を更新するように構成してもよい。所与のオブジ
ェクトの動きを監視するための特徴の配列は、オブジェクトのモデルデータ８２に示され
ていてもよく、又はユーザインターフェース２４を用いて実深度マップのオブジェクトに
対応する部分の点を選択することにより、ユーザが手動で設定してもよい。

例えば、図１５は、図９に例示された実深度マップが生成された後に、視覚デバイス４
０によって続いて生成される追加の実深度マップを例示する。図１５の追加深度マップの
開創器２０８（図５）を表す部分の位置は、図９の深度マップのこの部分の位置と異なっ
ており、開創器２０８が移動したことを示す。ナビゲーションコントローラ２２は、開創
器２０８を表す部分にあり、開創器２０８の残りの部分に対して位置的に固定されている
特定の特徴の配列の、以前の実深度マップに対する追加の深度マップにおける変化した位
置を監視することにより、開創器２０８の係る動きを追跡するように構成してもよい。例
えば、ナビゲーションコントローラ２２は、開創器２０８のヘッドとボディとの間の頂点
２２２の配列の位置の変化について、追加の深度マップを監視してもよい。

頂点２２２の配列の位置の変化を判定することに応答して、ナビゲーションコントロー
ラ２２は、図１５の追加の深度マップにおける頂点２２２の配列の更新された位置と、頂
点２２２の配列と残りの開創器２０８との一定の位置関係とに基づいて、共通座標系にお
ける開創器２０８の更新された位置を判定するように構成してもよい。その後、ナビゲー
ションコントローラ２２は、更新された位置に基づいて、共通座標系における開創器２０
８に関連する仮想境界を調節するように構成され得る。図１６は、図１５の追加の深度マ
ップに描かれた頂点２２２の配列の新しい位置に応じて、共通座標系における開創器２０
８の仮想境界、すなわち開創器２０８に対応する仮想モデルの位置を更新した図である。

本明細書では、機械視覚とトラッカベースの位置特定との組み合わせを使用して、手術
作業空間内のオブジェクトを追跡するためのシステム及び方法を開示する。筋肉、皮膚、
及び靭帯などの軟組織は柔軟な性質を持つため、通常、トラッカをベースにした位置特定
は軟組織の追跡に適しているとは言えない。したがって、手術ナビゲーションシステムは
、トラッカをベースにした位置特定を使用して手術作業空間内の剛性のオブジェクトの位
置を検出することに加えて、手術作業空間内の露出表面の深度マップを生成するように構
成された視覚デバイスを含むことができる。本手術ナビゲーションシステムは、位置特定
を用いた標的部位におけるオブジェクトの検出位置、オブジェクトに対応する仮想モデル
、及び共通座標系におけるローカライザと視覚デバイスとの位置関係に基づいて、視覚デ
バイスの予想深度マップを生成するようにさらに構成され得る。次に、本手術ナビゲーシ
ョンシステムは、推定深度マップに一致しない実深度マップの部分を特定し、特定された
部分に基づいて、標的部位の軟組織を含むオブジェクトを認識するように構成されてもよ
い。そして、本手術ナビゲーションシステムは、オブジェクトが現在の手術計画の障害と
なるかどうかを判定するように構成することができる。

一般に、本発明の実施形態を実施するために実行されるルーチンは、オペレーティング
システムの一部として実装されるか、特定のアプリケーション、コンポーネント、プログ
ラム、オブジェクト、モジュール、又は命令のシーケンスとして実装されるか、あるいは
そのサブセットであるかにかかわらず、本明細書では「コンピュータプログラムコード」
、又は単に「プログラムコード」と呼ぶことがある。プログラムコードは、典型的には、
コンピュータ内の様々なメモリ及び記憶装置に様々なタイミングで常駐し、コンピュータ
内の１つ以上のプロセッサによって読み出され実行されるとき、そのコンピュータに、本
発明の実施形態の様々な態様を具現化する動作及び／又は要素を実行するために必要な動
作を実行させるコンピュータ可読命令を含む。本発明の実施形態の動作を実行するための
コンピュータ可読プログラム命令は、例えば、アセンブリ言語、又は１つ以上のプログラ
ミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードであっ
てもよい。

本明細書に記載された様々なプログラムコードは、本発明の特定の実施形態においてそ
れが実装される範囲内で、アプリケーションに基づいて識別され得る。しかし、以下に示
す特定のプログラム命名法は、単に便宜のために使用されるものであり、したがって、本
発明は、そのような命名法によって特定され、及び／又は暗示される任意の特定の用途に
おける使用のみに限定されるべきではないことを理解されたい。さらに、コンピュータプ
ログラムをルーチン、手順、方法、モジュール、オブジェクトなどに編成することができ
る概して無限数の方法、ならびに典型的なコンピュータ内に常駐する様々なソフトウェア
層（例えば、オペレーティングシステム、ライブラリ、ＡＰＩ、アプリケーション、アプ
レットなど）の間でプログラム機能を割り当てることができる様々な方法を前提とすれば
、本発明の実施形態は、本明細書に記載されるプログラム機能の特定の編成及び割り当て
に限定されないことが理解されよう。

本書に記載されたいずれかのアプリケーション／モジュールに具現化されたプログラム
コードは、個別に又は集合的に、様々な異なる形態のプログラム製品として配布すること
が可能である。特に、プログラムコードは、プロセッサに本発明の実施形態の態様を実行
させるためのコンピュータ可読プログラム命令をその媒体上に有するコンピュータ可読記
憶媒体を用いて配布してもよい。

本質的に非一時的であるコンピュータ可読記憶媒体は、コンピュータ可読命令、データ
構造、プログラムモジュール、又は他のデータなどの情報を記憶するための任意の方法又
は技術で実装された揮発性及び不揮発性、ならびに取り外し可能及び不可能な有形媒体を
含むことができる。コンピュータ可読記憶媒体は、さらに、ＲＡＭ、ＲＯＭ、消去可能プ
ログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出
し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他の固体メモリ技術、ポータブル
コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、又は他の光学ストレージ、磁
気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気ストレージデバイス、又
は所望の情報を記憶するために使用することができ、かつコンピュータによって読み出す
ことができる任意の他の媒体を含むことができる。コンピュータ可読記憶媒体は、一過性
の信号（例えば、電波もしくは他の伝搬電磁波、導波管などの伝送媒体を通って伝搬する
電磁波、又はワイヤを通って伝送される電気信号）そのものとして解釈されるべきではな
い。コンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からコンピュータ、
別の種類のプログラム可能なデータ処理装置、もしくは別の装置にダウンロードされても
よく、又はネットワークを介して外部のコンピュータもしくは外部の記憶装置にダウンロ
ードされてもよい。

コンピュータ可読媒体に記憶されたコンピュータ可読プログラム命令は、コンピュータ
、他のタイプのプログラム可能なデータ処理装置、又は他の装置が特定の方法で機能する
ように指示するために使用され、コンピュータ可読媒体に記憶された命令が、フローチャ
ート、シーケンス図、及び／又はブロック図に指定された機能、行為、及び／又は動作を
実施する命令を含む製造品を製造するようにしてもよい。コンピュータプログラム命令は
、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置の１
つ以上のプロセッサに提供され、１つ以上のプロセッサを介して実行される命令が、フロ
ーチャート、シーケンス図、及び／又はブロック図に指定された機能、行為、及び／又は
動作を実行するために一連の計算を行わせるように、機械を製造することができる。

特定の代替実施形態では、フローチャート、シーケンス図、及び／又はブロック図に指
定された機能、行為、及び／又は動作は、本発明の実施形態と一致して、並べ替えられ、
連続的に処理され、及び／又は同時に処理されてもよい。さらに、フローチャート、シー
ケンス図、及び／又はブロック図のいずれもが、本発明の実施形態と一致する図示された
ブロックよりも多いブロック、又は少ないブロックを含むことができる。

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、
本発明の実施形態を限定することを意図するものではない。本明細書で使用するとき、単
数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈上明らかに他を示す場合を除き、複数
形も含むことを意図している。本明細書で使用する場合、用語「備える（ｃｏｍｐｒｉｓ
ｅｓ）」及び／又は「備えている（ｃｏｍｐｒｉｓｉｎｇ）」は、記載された機能、整数
、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の機能
、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加
を排除するものではないことが更に理解されよう。さらに、詳細な説明又は特許請求の範
囲のいずれかに、用語「含む（ｉｎｃｌｕｄｅｓ）」、「有している（ｈａｖｉｎｇ）」
、「有する（ｈａｓ）」、「備える（ｗｉｔｈ）」、「からなる（ｃｏｍｐｒｉｓｅｄ
ｏｆ）」、又はその変形が使用されている限り、そのような用語は、用語「含んでいる（
ｃｏｍｐｒｉｓｉｎｇ）」と同様に包括的であることを意図している。

本発明の全ては、様々な実施形態の説明によって示されており、これらの実施形態は、
かなり詳細に説明されてきたが、添付の特許請求の範囲の範囲を、そのような詳細に制限
すること、又はいかなる方法によっても制限することは、本出願人の意図ではない。さら
なる利点及び変更は、当業者には容易に理解されるであろう。したがって、本発明のより
広い態様は、具体的な詳細、代表的な装置及び方法、ならびに図示及び説明された例示的
な実施例に限定されない。したがって、本出願人の一般的な発明概念の趣旨又は範囲から
逸脱することなく、そのような詳細から逸脱することができる。

本発明の全ては、様々な実施形態の説明によって示されており、これらの実施形態は、かなり詳細に説明されてきたが、添付の特許請求の範囲の範囲を、そのような詳細に制限すること、又はいかなる方法によっても制限することは、本出願人の意図ではない。さらなる利点及び変更は、当業者には容易に理解されるであろう。したがって、本発明のより広い態様は、具体的な詳細、代表的な装置及び方法、ならびに図示及び説明された例示的な実施例に限定されない。したがって、本出願人の一般的な発明概念の趣旨又は範囲から逸脱することなく、そのような詳細から逸脱することができる。
なお、上記の実施形態から把握し得る技術的思想について、その態様を以下に記載する。
［態様１］
第１のオブジェクトの位置を検出するように構成されたローカライザと、
前記第１のオブジェクトの近傍の表面の実深度マップを生成するように構成された視覚デバイスと、
前記ローカライザ及び前記視覚デバイスに結合されたコントローラであって、前記コントローラが、
前記第１のオブジェクトに対応する仮想モデルにアクセスすることと、
共通座標系で前記ローカライザと前記視覚デバイスとの位置関係を特定することと、
前記第１のオブジェクトの前記検出位置、前記仮想モデル、及び前記位置関係に基づいて、前記視覚デバイスの予想深度マップを生成することと、
前記予想深度マップと一致しない前記実深度マップの部分を特定することと、
前記特定された部分に基づいて第２のオブジェクトを認識することと
を行うように構成される、前記コントローラと
を備える、ナビゲーションシステム。
［態様２］
前記コントローラは、前記第１のオブジェクトの前記検出位置、前記実深度マップにおける前記第２のオブジェクトの場所、及び前記位置関係に基づいて、前記共通座標系における前記第１のオブジェクトに対する前記第２のオブジェクトの位置を特定するように構成される、態様１に記載のナビゲーションシステム。
［態様３］
前記第１のオブジェクトは、手術計画に従って治療すべき患者組織の標的体積を画定しており、前記コントローラは、
前記共通座標系における前記標的体積に対する前記第２のオブジェクトの前記位置と前記手術計画と、に基づいて、前記第２のオブジェクトが、前記手術計画に従って前記標的体積を治療することに対する障害物であるかどうかを判定することと、
前記第２のオブジェクトが前記手術計画にとっての障害物であると判定することに応答して、前記手術計画を修正すること、及び／又は通知をトリガすること、及び／又は手術ナビゲーションを停止することと、
を行うように構成される、態様２に記載のナビゲーションシステム。
［態様４］
前記第１のオブジェクトにトラッカが堅固に結合されており、前記コントローラは、
前記ローカライザを介して、前記ローカライザに特定的な第１の座標系で前記トラッカの位置を検出することと、
前記第１の座標系における前記トラッカの前記検出位置、及び前記第１の座標系における前記トラッカと前記第１のオブジェクトとの位置関係に基づいて、前記第１の座標系における前記仮想モデルの位置を特定することと、
前記第１の座標系での前記仮想モデルの前記位置と、第２の座標系での前記ローカライザと前記視覚デバイスとの位置関係とに基づいて、前記第１の座標系における前記仮想モデルの前記位置を、前記視覚デバイスに特定的な前記第２の座標系における前記仮想モデルの位置に変換することと、
前記第２の座標系での前記仮想モデルの前記位置に基づいて、前記予想深度マップを生成することと、
を行うように構成される、態様１～３のいずれか１項に記載のナビゲーションシステム。
［態様５］
前記コントローラは、
前記実深度マップと前記予想深度マップとの差分を計算することと、
前記差分の第１のセクションが閾値深度よりも大きい絶対深度を示すかどうかを判定することと、
前記差分の前記第１のセクションが閾値深度よりも大きい絶対深度を示すと判定することに応答して、前記差分の前記第１のセクションに対応する前記実深度マップの第２のセクションを前記部分として特定することと、
を行うように構成されることにより、前記予想深度マップと一致しない前記実深度マップの部分を特定するように構成される、態様１～４のいずれか１項に記載のナビゲーションシステム。
［態様６］
前記閾値深度はゼロではない、態様５に記載のナビゲーションシステム。
［態様７］
前記コントローラは、
前記第１のセクションのサイズが最小サイズ閾値よりも大きいかどうかを判定することと、
前記第１のセクションの前記サイズが前記最小サイズ閾値よりも大きいと前記判定することに応答して、前記第２のセクションを前記部分として特定することと、
を行うように構成されることにより、前記予想深度マップと一致しない前記実深度マップの前記部分を特定するように構成される、態様５又は態様６に記載のナビゲーションシステム。
［態様８］
前記コントローラは、前記特定された部分を前記第２のオブジェクトに対応する所定のプロファイルと一致させるように構成されることにより、前記特定された部分に基づいて前記第２のオブジェクトを認識するように構成される、態様１～７のいずれか１項に記載のナビゲーションシステム。
［態様９］
前記実深度マップの前記部分は、前記第２のオブジェクトに対応し、前記実深度マップの第１の位置に配置された特徴の配列を含み、前記コントローラは、前記特徴の配列が、前記視覚デバイスによって後で生成される追加の実深度マップでの前記第１の位置とは異なる第２の位置に移動するかどうかを監視することにより、前記第２のオブジェクトの移動を追跡するように構成される、態様１～８のいずれか１項に記載のナビゲーションシステム。
［態様１０］
前記コントローラは、前記共通座標系の前記第２のオブジェクトに対応する仮想境界を生成するように構成され、前記仮想境界は手術具の動きに対して制約を与える、態様１～９のいずれか１項に記載のナビゲーションシステム。
［態様１１］
前記コントローラは、前記仮想モデル、前記第１のオブジェクトの前記検出位置、及び共通座標系での前記ローカライザと前記視覚デバイスとの前記位置関係に基づいて、前記実深度マップを関心領域にトリミングするように構成され、前記コントローラは、前記トリミングされた実深度マップを比較するように構成されることにより、前記実深度マップを比較するように構成される、態様１～１０のいずれか１項に記載のナビゲーションシステム。
［態様１２］
前記コントローラは、
前記ローカライザ及び前記視覚デバイスの視界内の表面にパターンを投影することと、
前記ローカライザに特定的な第１の座標系における前記パターンの位置を示す前記ローカライザを用いて位置特定データを生成することと、
前記視覚デバイスによって生成された前記投影パターンを示す較正深度マップを受け取ることと、
前記較正深度マップに基づいて、前記視覚デバイスに特定的な第２の座標系における前記投影パターンの位置を特定することと、
前記第１の座標系における前記パターンの前記位置と前記第２の座標系における前記パターンの前記位置とに基づいて、前記共通座標系における前記ローカライザと前記視覚デバイスとの前記位置関係を特定することと、
を行うように構成されることにより、前記共通座標系における前記ローカライザと前記視覚デバイスとの前記位置関係を特定するように構成される、態様１～１１のいずれか１項に記載のナビゲーションシステム。
［態様１３］
前記ローカライザは、第１のスペクトル帯で動作して、前記第１のオブジェクトの前記位置を検出するように構成されており、前記視覚デバイスは、第２のスペクトル帯で動作して、前記第１のオブジェクトの近傍の前記表面の前記実深度マップを生成するように構成されており、前記第１のスペクトル帯は前記第２のスペクトル帯とは異なる、態様１～１２のいずれか１項に記載のナビゲーションシステム。
［態様１４］
態様１～１３のいずれか１項に記載のナビゲーションシステムで利用されるロボットマニピュレータであって、前記ロボットマニピュレータは、手術具を支持し、複数のリンクと、前記リンクを動かして前記手術具を動かすように構成された複数のアクチュエータとを備え、前記ロボットマニピュレータは、前記第２のオブジェクトを回避するように制御される、前記ロボットマニピュレータ。
［態様１５］
第１のオブジェクトの位置を検出するように構成されたローカライザと、前記第１のオブジェクトの近傍の表面の実深度マップを生成するように構成された視覚デバイスと、前記ローカライザ及び前記視覚デバイスに結合されたコントローラとを含むナビゲーションシステムを動作させる方法であって、前記方法は、
前記第１のオブジェクトに対応する仮想モデルにアクセスすることと、
共通座標系で前記ローカライザと前記視覚デバイスとの位置関係を特定することと、
前記第１のオブジェクトの前記検出位置、前記仮想モデル、及び前記位置関係に基づいて、前記視覚デバイスの予想深度マップを生成することと、
前記予想深度マップと一致しない前記実深度マップの部分を特定することと、
前記特定された部分に基づいて第２のオブジェクトを認識することと
を含む、前記方法。
［態様１６］
前記第１のオブジェクトの前記検出位置、前記実深度マップにおける前記第２のオブジェクトの場所、及び前記位置関係に基づいて、前記共通座標系における前記第１のオブジェクトに対する前記第２のオブジェクトの位置を特定することをさらに含む、態様１５に記載の方法。
［態様１７］
前記第１のオブジェクトは、手術計画に従って治療すべき患者組織の標的体積を画定しており、
前記共通座標系における前記標的体積に対する前記第２のオブジェクトの前記位置と前記手術計画とに基づいて、前記第２のオブジェクトが、前記手術計画に従って前記標的体積を治療することに対する障害物であるかどうかを判定することと、
前記第２のオブジェクトが前記手術計画にとっての障害物であると判定することに応答して、前記手術計画を修正すること、及び／又は通知をトリガすること、及び／又は手術ナビゲーションを停止することと、
をさらに含む、態様１６に記載の方法。
［態様１８］
前記第１のオブジェクトにトラッカが堅固に結合されており、
前記ローカライザを介して、前記ローカライザに特定的な第１の座標系で前記トラッカの位置を検出することと、
前記第１の座標系における前記トラッカの前記検出位置、及び前記第１の座標系における前記トラッカと前記第１のオブジェクトとの位置関係に基づいて、前記第１の座標系における前記仮想モデルの位置を特定することと、
前記第１の座標系での前記仮想モデルの前記位置と、第２の座標系での前記ローカライザと前記視覚デバイスとの位置関係とに基づいて、前記第１の座標系における前記仮想モデルの前記位置を、前記視覚デバイスに特定的な前記第２の座標系における前記仮想モデルの位置に変換することと、
前記第２の座標系での前記仮想モデルの前記位置に基づいて、前記予想深度マップを生成することと、
をさらに含む、態様１５～１７のいずれか１項に記載の方法。
［態様１９］
前記予想深度マップと一致しない前記実深度マップの部分を特定することは、
前記実深度マップと前記予想深度マップとの差分を計算することと、
前記差分の第１のセクションが閾値深度よりも大きい絶対深度を示すかどうかを判定することと、
前記差分の前記第１のセクションが閾値深度よりも大きい絶対深度を示すと判定することに応答して、前記差分の前記第１のセクションに対応する前記実深度マップの第２のセクションを前記部分として特定することと
を含む、態様１５～１８のいずれか１項に記載の方法。
［態様２０］
前記閾値深度はゼロではない、態様１９に記載の方法。
［態様２１］
前記予想深度マップと一致しない前記実深度マップの部分を特定することは、
前記第１のセクションのサイズが最小サイズ閾値よりも大きいかどうかを判定することと、
前記第１のセクションの前記サイズが前記最小サイズ閾値よりも大きいと前記判定することに応答して、前記第２のセクションを前記部分として特定することと
を含む、態様１９又は態様２０に記載の方法。
［態様２２］
前記特定された部分に基づいて前記第２のオブジェクトを認識することは、前記特定された部分を前記第２のオブジェクトに対応する所定のプロファイルと一致させることを含む、態様１５～２１のいずれか１項に記載の方法。
［態様２３］
前記実深度マップの前記部分は、前記第２のオブジェクトに対応し、前記実深度マップの第１の位置に配置された特徴の配列を含み、前記コントローラは、前記特徴の配列が、前記視覚デバイスによって後で生成される追加の実深度マップでの前記第１の位置とは異なる第２の位置に移動するかどうかを監視することにより、前記第２のオブジェクトの移動を追跡するように構成される、態様１５～２２のいずれか１項に記載の方法。
［態様２４］
前記共通座標系の前記第２のオブジェクトに対応する仮想境界を生成することをさらに含み、前記仮想境界は手術具の動きに対して制約を与える、態様１５～２３のいずれか１項に記載の方法。
［態様２５］
前記仮想モデル、前記第１のオブジェクトの前記検出位置、及び共通座標系での前記ローカライザと前記視覚デバイスとの前記位置関係に基づいて、前記実深度マップを関心領域にトリミングすることをさらに含み、前記実深度マップを比較することは、前記トリミングされた実深度マップを比較することを含む、態様１５～２４のいずれか１項に記載の方法。
［態様２６］
前記共通座標で前記ローカライザと前記視覚デバイスとの前記位置関係を特定することは、
前記ローカライザ及び前記視覚デバイスの視界内の表面にパターンを投影することと、
前記ローカライザに特定的な第１の座標系における前記パターンの位置を示す前記ローカライザを用いて位置特定データを生成することと、
前記視覚デバイスによって生成された前記投影パターンに対応する較正深度マップを受け取ることと、
前記較正深度マップに基づいて、前記視覚デバイスに特定的な第２の座標系における前記投影パターンの位置を特定することと、
前記第１の座標系における前記パターンの前記位置と前記第２の座標系における前記パターンの前記位置とに基づいて、前記共通座標系における前記ローカライザと前記視覚デバイスとの前記位置関係を特定することと
を含む、態様１５～２５のいずれか１項に記載の方法。
［態様２７］
前記ローカライザを第１のスペクトル帯で動作させて、前記第１のオブジェクトの前記位置を検出することと、
前記視覚デバイスを第２のスペクトル帯で動作させて、前記第１のオブジェクトの近傍の前記表面の前記実深度マップを生成することであって、前記第２のスペクトル帯は、前記第１のスペクトル帯とは異なる、前記生成することと、
をさらに含む、態様１５～２６のいずれか１項に記載の方法。
［態様２８］
１つ以上のプロセッサによって実行されるとき、態様１５～２７のいずれか１項に記載の方法を実施するように構成された命令が格納された非一時的なコンピュータ可読媒体を含む、コンピュータプログラム製品。

Claims (28)

1. 第１のオブジェクトの位置を検出するように構成されたローカライザと、
   前記第１のオブジェクトの近傍の表面の実深度マップを生成するように構成された視覚
   デバイスと、
   前記ローカライザ及び前記視覚デバイスに結合されたコントローラであって、前記コン
   トローラが、
   前記第１のオブジェクトに対応する仮想モデルにアクセスすることと、
   共通座標系で前記ローカライザと前記視覚デバイスとの位置関係を特定することと、
   前記第１のオブジェクトの前記検出位置、前記仮想モデル、及び前記位置関係に基づ
   いて、前記視覚デバイスの予想深度マップを生成することと、
   前記予想深度マップと一致しない前記実深度マップの部分を特定することと、
   前記特定された部分に基づいて第２のオブジェクトを認識することと
   を行うように構成される、前記コントローラと
   を備える、ナビゲーションシステム。
2. 前記コントローラは、前記第１のオブジェクトの前記検出位置、前記実深度マップにお
   ける前記第２のオブジェクトの場所、及び前記位置関係に基づいて、前記共通座標系にお
   ける前記第１のオブジェクトに対する前記第２のオブジェクトの位置を特定するように構
   成される、請求項１に記載のナビゲーションシステム。
3. 前記第１のオブジェクトは、手術計画に従って治療すべき患者組織の標的体積を画定し
   ており、前記コントローラは、
   前記共通座標系における前記標的体積に対する前記第２のオブジェクトの前記位置と前
   記手術計画と、に基づいて、前記第２のオブジェクトが、前記手術計画に従って前記標的
   体積を治療することに対する障害物であるかどうかを判定することと、
   前記第２のオブジェクトが前記手術計画にとっての障害物であると判定することに応答
   して、前記手術計画を修正すること、及び／又は通知をトリガすること、及び／又は手術
   ナビゲーションを停止することと、
   を行うように構成される、請求項２に記載のナビゲーションシステム。
4. 前記第１のオブジェクトにトラッカが堅固に結合されており、前記コントローラは、
   前記ローカライザを介して、前記ローカライザに特定的な第１の座標系で前記トラッカ
   の位置を検出することと、
   前記第１の座標系における前記トラッカの前記検出位置、及び前記第１の座標系におけ
   る前記トラッカと前記第１のオブジェクトとの位置関係に基づいて、前記第１の座標系に
   おける前記仮想モデルの位置を特定することと、
   前記第１の座標系での前記仮想モデルの前記位置と、第２の座標系での前記ローカライ
   ザと前記視覚デバイスとの位置関係とに基づいて、前記第１の座標系における前記仮想モ
   デルの前記位置を、前記視覚デバイスに特定的な前記第２の座標系における前記仮想モデ
   ルの位置に変換することと、
   前記第２の座標系での前記仮想モデルの前記位置に基づいて、前記予想深度マップを生
   成することと、
   を行うように構成される、請求項１～３のいずれか１項に記載のナビゲーションシステム
   。
5. 前記コントローラは、
   前記実深度マップと前記予想深度マップとの差分を計算することと、
   前記差分の第１のセクションが閾値深度よりも大きい絶対深度を示すかどうかを判定す
   ることと、
   前記差分の前記第１のセクションが閾値深度よりも大きい絶対深度を示すと判定するこ
   とに応答して、前記差分の前記第１のセクションに対応する前記実深度マップの第２のセ
   クションを前記部分として特定することと、
   を行うように構成されることにより、前記予想深度マップと一致しない前記実深度マップ
   の部分を特定するように構成される、請求項１～４のいずれか１項に記載のナビゲーショ
   ンシステム。
6. 前記閾値深度はゼロではない、請求項５に記載のナビゲーションシステム。
7. 前記コントローラは、
   前記第１のセクションのサイズが最小サイズ閾値よりも大きいかどうかを判定すること
   と、
   前記第１のセクションの前記サイズが前記最小サイズ閾値よりも大きいと前記判定する
   ことに応答して、前記第２のセクションを前記部分として特定することと、
   を行うように構成されることにより、前記予想深度マップと一致しない前記実深度マップ
   の前記部分を特定するように構成される、請求項５又は請求項６に記載のナビゲーション
   システム。
8. 前記コントローラは、前記特定された部分を前記第２のオブジェクトに対応する所定の
   プロファイルと一致させるように構成されることにより、前記特定された部分に基づいて
   前記第２のオブジェクトを認識するように構成される、請求項１～７のいずれか１項に記
   載のナビゲーションシステム。
9. 前記実深度マップの前記部分は、前記第２のオブジェクトに対応し、前記実深度マップ
   の第１の位置に配置された特徴の配列を含み、前記コントローラは、前記特徴の配列が、
   前記視覚デバイスによって後で生成される追加の実深度マップでの前記第１の位置とは異
   なる第２の位置に移動するかどうかを監視することにより、前記第２のオブジェクトの移
   動を追跡するように構成される、請求項１～８のいずれか１項に記載のナビゲーションシ
   ステム。
10. 前記コントローラは、前記共通座標系の前記第２のオブジェクトに対応する仮想境界を
    生成するように構成され、前記仮想境界は手術具の動きに対して制約を与える、請求項１
    ～９のいずれか１項に記載のナビゲーションシステム。
11. 前記コントローラは、前記仮想モデル、前記第１のオブジェクトの前記検出位置、及び
    共通座標系での前記ローカライザと前記視覚デバイスとの前記位置関係に基づいて、前記
    実深度マップを関心領域にトリミングするように構成され、前記コントローラは、前記ト
    リミングされた実深度マップを比較するように構成されることにより、前記実深度マップ
    を比較するように構成される、請求項１～１０のいずれか１項に記載のナビゲーションシ
    ステム。
12. 前記コントローラは、
    前記ローカライザ及び前記視覚デバイスの視界内の表面にパターンを投影することと、
    前記ローカライザに特定的な第１の座標系における前記パターンの位置を示す前記ロー
    カライザを用いて位置特定データを生成することと、
    前記視覚デバイスによって生成された前記投影パターンを示す較正深度マップを受け取
    ることと、
    前記較正深度マップに基づいて、前記視覚デバイスに特定的な第２の座標系における前
    記投影パターンの位置を特定することと、
    前記第１の座標系における前記パターンの前記位置と前記第２の座標系における前記パ
    ターンの前記位置とに基づいて、前記共通座標系における前記ローカライザと前記視覚デ
    バイスとの前記位置関係を特定することと、
    を行うように構成されることにより、前記共通座標系における前記ローカライザと前記視
    覚デバイスとの前記位置関係を特定するように構成される、請求項１～１１のいずれか１
    項に記載のナビゲーションシステム。
13. 前記ローカライザは、第１のスペクトル帯で動作して、前記第１のオブジェクトの前記
    位置を検出するように構成されており、前記視覚デバイスは、第２のスペクトル帯で動作
    して、前記第１のオブジェクトの近傍の前記表面の前記実深度マップを生成するように構
    成されており、前記第１のスペクトル帯は前記第２のスペクトル帯とは異なる、請求項１
    ～１２のいずれか１項に記載のナビゲーションシステム。
14. 請求項１～１３のいずれか１項に記載のナビゲーションシステムで利用されるロボット
    マニピュレータであって、前記ロボットマニピュレータは、手術具を支持し、複数のリン
    クと、前記リンクを動かして前記手術具を動かすように構成された複数のアクチュエータ
    とを備え、前記ロボットマニピュレータは、前記第２のオブジェクトを回避するように制
    御される、前記ロボットマニピュレータ。
15. 第１のオブジェクトの位置を検出するように構成されたローカライザと、前記第１のオ
    ブジェクトの近傍の表面の実深度マップを生成するように構成された視覚デバイスと、前
    記ローカライザ及び前記視覚デバイスに結合されたコントローラとを含むナビゲーション
    システムを動作させる方法であって、前記方法は、
    前記第１のオブジェクトに対応する仮想モデルにアクセスすることと、
    共通座標系で前記ローカライザと前記視覚デバイスとの位置関係を特定することと、
    前記第１のオブジェクトの前記検出位置、前記仮想モデル、及び前記位置関係に基づい
    て、前記視覚デバイスの予想深度マップを生成することと、
    前記予想深度マップと一致しない前記実深度マップの部分を特定することと、
    前記特定された部分に基づいて第２のオブジェクトを認識することと
    を含む、前記方法。
16. 前記第１のオブジェクトの前記検出位置、前記実深度マップにおける前記第２のオブジ
    ェクトの場所、及び前記位置関係に基づいて、前記共通座標系における前記第１のオブジ
    ェクトに対する前記第２のオブジェクトの位置を特定することをさらに含む、請求項１５
    に記載の方法。
17. 前記第１のオブジェクトは、手術計画に従って治療すべき患者組織の標的体積を画定し
    ており、
    前記共通座標系における前記標的体積に対する前記第２のオブジェクトの前記位置と前
    記手術計画とに基づいて、前記第２のオブジェクトが、前記手術計画に従って前記標的体
    積を治療することに対する障害物であるかどうかを判定することと、
    前記第２のオブジェクトが前記手術計画にとっての障害物であると判定することに応答
    して、前記手術計画を修正すること、及び／又は通知をトリガすること、及び／又は手術
    ナビゲーションを停止することと、
    をさらに含む、請求項１６に記載の方法。
18. 前記第１のオブジェクトにトラッカが堅固に結合されており、
    前記ローカライザを介して、前記ローカライザに特定的な第１の座標系で前記トラッカ
    の位置を検出することと、
    前記第１の座標系における前記トラッカの前記検出位置、及び前記第１の座標系におけ
    る前記トラッカと前記第１のオブジェクトとの位置関係に基づいて、前記第１の座標系に
    おける前記仮想モデルの位置を特定することと、
    前記第１の座標系での前記仮想モデルの前記位置と、第２の座標系での前記ローカライ
    ザと前記視覚デバイスとの位置関係とに基づいて、前記第１の座標系における前記仮想モ
    デルの前記位置を、前記視覚デバイスに特定的な前記第２の座標系における前記仮想モデ
    ルの位置に変換することと、
    前記第２の座標系での前記仮想モデルの前記位置に基づいて、前記予想深度マップを生
    成することと、
    をさらに含む、請求項１５～１７のいずれか１項に記載の方法。
19. 前記予想深度マップと一致しない前記実深度マップの部分を特定することは、
    前記実深度マップと前記予想深度マップとの差分を計算することと、
    前記差分の第１のセクションが閾値深度よりも大きい絶対深度を示すかどうかを判定す
    ることと、
    前記差分の前記第１のセクションが閾値深度よりも大きい絶対深度を示すと判定するこ
    とに応答して、前記差分の前記第１のセクションに対応する前記実深度マップの第２のセ
    クションを前記部分として特定することと
    を含む、請求項１５～１８のいずれか１項に記載の方法。
20. 前記閾値深度はゼロではない、請求項１９に記載の方法。
21. 前記予想深度マップと一致しない前記実深度マップの部分を特定することは、
    前記第１のセクションのサイズが最小サイズ閾値よりも大きいかどうかを判定すること
    と、
    前記第１のセクションの前記サイズが前記最小サイズ閾値よりも大きいと前記判定する
    ことに応答して、前記第２のセクションを前記部分として特定することと
    を含む、請求項１９又は請求項２０に記載の方法。
22. 前記特定された部分に基づいて前記第２のオブジェクトを認識することは、前記特定さ
    れた部分を前記第２のオブジェクトに対応する所定のプロファイルと一致させることを含
    む、請求項１５～２１のいずれか１項に記載の方法。
23. 前記実深度マップの前記部分は、前記第２のオブジェクトに対応し、前記実深度マップ
    の第１の位置に配置された特徴の配列を含み、前記コントローラは、前記特徴の配列が、
    前記視覚デバイスによって後で生成される追加の実深度マップでの前記第１の位置とは異
    なる第２の位置に移動するかどうかを監視することにより、前記第２のオブジェクトの移
    動を追跡するように構成される、請求項１５～２２のいずれか１項に記載の方法。
24. 前記共通座標系の前記第２のオブジェクトに対応する仮想境界を生成することをさらに
    含み、前記仮想境界は手術具の動きに対して制約を与える、請求項１５～２３のいずれか
    １項に記載の方法。
25. 前記仮想モデル、前記第１のオブジェクトの前記検出位置、及び共通座標系での前記ロ
    ーカライザと前記視覚デバイスとの前記位置関係に基づいて、前記実深度マップを関心領
    域にトリミングすることをさらに含み、前記実深度マップを比較することは、前記トリミ
    ングされた実深度マップを比較することを含む、請求項１５～２４のいずれか１項に記載
    の方法。
26. 前記共通座標で前記ローカライザと前記視覚デバイスとの前記位置関係を特定すること
    は、
    前記ローカライザ及び前記視覚デバイスの視界内の表面にパターンを投影することと、
    前記ローカライザに特定的な第１の座標系における前記パターンの位置を示す前記ロー
    カライザを用いて位置特定データを生成することと、
    前記視覚デバイスによって生成された前記投影パターンに対応する較正深度マップを受
    け取ることと、
    前記較正深度マップに基づいて、前記視覚デバイスに特定的な第２の座標系における前
    記投影パターンの位置を特定することと、
    前記第１の座標系における前記パターンの前記位置と前記第２の座標系における前記パ
    ターンの前記位置とに基づいて、前記共通座標系における前記ローカライザと前記視覚デ
    バイスとの前記位置関係を特定することと
    を含む、請求項１５～２５のいずれか１項に記載の方法。
27. 前記ローカライザを第１のスペクトル帯で動作させて、前記第１のオブジェクトの前記
    位置を検出することと、
    前記視覚デバイスを第２のスペクトル帯で動作させて、前記第１のオブジェクトの近傍
    の前記表面の前記実深度マップを生成することであって、前記第２のスペクトル帯は、前
    記第１のスペクトル帯とは異なる、前記生成することと、
    をさらに含む、請求項１５～２６のいずれか１項に記載の方法。
28. １つ以上のプロセッサによって実行されるとき、請求項１５～２７のいずれか１項に記
    載の方法を実施するように構成された命令が格納された非一時的なコンピュータ可読媒体
    を含む、コンピュータプログラム製品。