JP2022538666A - 手術ナビゲーションのための障害物回避技法 - Google Patents

Abstract

本明細書では、ローカライザが第１のオブジェクトの位置を検出するように構成され、視覚デバイスが第１のオブジェクトの近くの表面の深度マップを生成するように構成されるシステム及び方法が説明される。第１のオブジェクトに対応する仮想モデルにアクセスされ、ローカライザと視覚デバイスとの共通座標系における位置関係が特定される。次に、検出された第１のオブジェクトの位置、仮想モデル、及び位置関係に基づいて、視覚デバイスの予想深度マップが生成される。実深度マップのうちの予想深度マップと一致しない部分が特定され、特定された部分に基づいて第２のオブジェクトが認識される。【選択図】図１

Description

関連出願の相互参照
本出願は、２０１９年７月３日に出願された米国仮特許出願第６２／８７０，２８４号に対する優先権及びこの仮出願の全ての利益を主張するものであり、この仮出願の内容を全体として参照により本明細書に組み込む。

本開示は、一般に手術ナビゲーションシステムに関する。

手術ナビゲーションシステムは、治療のために患者の組織の標的体積に対する手術器具の位置を特定することを支援するものである。外科処置中に、治療対象の標的体積が、避けるべき傷つきやすい解剖構造や手術具にしばしば隣接して位置することがある。これらの隣接した解剖構造の、取り付けられたトラッカを用いての追跡は、構造の柔軟性のために難しいことが多い。さらに、標的体積に隣接した各オブジェクトにトラッカを取り付けると、手術作業空間が混雑し、手術ナビゲーションシステムのコスト及び複雑さが増大する。

第１の態様では、第１のオブジェクトを検出するように構成されたローカライザと、第１のオブジェクトの近傍の表面の実深度マップを生成するように構成された視覚デバイスと、ローカライザ及び視覚デバイスに結合されたコントローラであって、コントローラが、第１のオブジェクトに対応する仮想モデルにアクセスすることと、共通座標系でローカライザと視覚デバイスとの位置関係を特定することと、第１のオブジェクトの検出位置、仮想モデル、及び位置関係に基づいて、視覚デバイスの予想深度マップを生成することと、予想深度マップと一致しない実深度マップの部分を特定することと、特定された部分に基づいて第２のオブジェクトを認識することとを行うように構成される、コントローラと、を備えるナビゲーションシステムが提供される。

第２の態様では、ロボットマニピュレータが第１の態様のナビゲーションシステムとともに利用され、ロボットマニピュレータは、手術具を支持し、複数のリンクと、リンクを動かして手術具を動かすように構成された複数のアクチュエータとを備え、ロボットマニピュレータは、第２のオブジェクトを回避するように制御される。

第３の態様では、ナビゲーションシステムを動作させる方法が提供され、ナビゲーションは、第１のオブジェクトの位置を検出するように構成されたローカライザと、第１のオブジェクトの近傍の表面の実深度マップを生成するように構成された視覚デバイスと、ローカライザ及び視覚デバイスに結合されたコントローラとを含み、本方法は、第１のオブジェクトに対応する仮想モデルにアクセスすることと、共通座標系でローカライザと視覚デバイスとの位置関係を特定することと、第１のオブジェクトの検出位置、仮想モデル、及び位置関係に基づいて、視覚デバイスの予想深度マップを生成することと、予想深度マップと一致しない実深度マップの部分を特定することと、特定された部分に基づいて第２のオブジェクトを認識することとを含む。

第４の態様では、１つ以上のプロセッサによって実行されるとき、第３の態様の方法を実施するように構成された命令が格納された非一時的なコンピュータ可読媒体を含む、コンピュータプログラム製品が提供される。

上記の態様のいずれかに関する一実施態様によれば、ローカライザは、第１のオブジェクトに関連する光学的特徴を検出するように構成された光学ローカライザ、第１のオブジェクトに関連する電磁的特徴を検出するように構成された電磁ローカライザ、任意のトラッカを有するか又は有しない第１のオブジェクトを検出するように構成された超音波ローカライザ、第１のオブジェクトに関連する慣性特徴を検出するように構成された慣性ローカライザ、又は前述の任意の組合せであるように構成される。

上記の態様のいずれかに関する一実施態様によれば、第１のオブジェクトは、患者の解剖学的構造又は骨、ロボットマニピュレータ、手持ち器具、ロボットマニピュレータに取り付けられたエンドエフェクタ又はツール、外科用テーブル、移動カート、患者が載せられ得る手術台、イメージングシステム、開創器、又は前述の任意の組み合わせなどの手術室内の機器のいずれかであってもよく、これらに限定されない。

上記の態様のいずれかに関する一実施態様によれば、視覚デバイスは、ローカライザ、ローカライザとは別のユニット、ナビゲーションシステムのカメラユニット、調整可能なアーム、ロボットマニピュレータ、エンドエフェクタ、手持ちツール、天井に取り付けられたブームなどの手術用ブームシステム、肢保持装置、又は前述の任意の組み合わせのいずれかと結合されている。

上記の態様のいずれかに関する一実施態様によれば、第１のオブジェクトの近くの表面は、第１のオブジェクトに隣接する表面、第１のオブジェクトからある距離だけ離れた表面、第１のオブジェクトに触れる表面、第１のオブジェクトの上に直接ある表面、第１のオブジェクトの近くの環境にある表面、第１のオブジェクトの後ろ又は周囲の環境にある表面、第１のオブジェクトの閾値距離内、ローカライザの視野内、又は前述の任意の組合せであり得る。

上記の態様のいずれかに関する一実施態様によれば、第２のオブジェクトは、周囲の軟組織などの患者の解剖学的構造の第２の部分、ロボットマニピュレータ、ロボットマニピュレータの１つ以上のアーム、第２のロボットマニピュレータ、手持ち器具、ロボットマニピュレータ又は手持ち器具に取り付けられたエンドエフェクタ又はツール、外科用テーブル、移動カート、患者が載せられ得る手術台、イメージングシステム、開創器、追跡デバイス本体などの手術室内の機器（ただし、これらに限定されない）、手術室にいる人間の身体部分、又は前述の任意の組み合わせ、のいずれかを含む、障害物を形成し得るオブジェクトであり得る。

上記の態様のいずれかに係る一実施態様によれば、コントローラは、１つ以上のコントローラ又は制御システムであり得る。一実施態様によれば、コントローラは、共通座標系における第１のオブジェクトに対する第２のオブジェクトの位置を特定するように構成される。一実施態様によれば、コントローラは、第１のオブジェクトの検出された位置、実深度マップにおける第２のオブジェクトの場所、及び位置関係に基づいて、そのように特定する。

一実施態様によれば、第１のオブジェクトは、手術計画に従って治療すべき患者組織の標的体積を画定する。一実施態様によれば、コントローラは、共通座標系における標的体積に対する第２のオブジェクトの位置と手術計画とに基づいて、第２のオブジェクトが、手術計画に従って標的体積を治療することに対する障害物であるかどうかを判定するように構成される。一実施態様によれば、第２のオブジェクトが手術計画にとっての障害物であると判定することに応答して、コントローラは、手術計画を修正すること、及び／又は通知をトリガすること、及び／又は手術ナビゲーションを停止することを行うように構成される。

一実施態様によれば、トラッカは、第１のオブジェクトに結合される。一実施態様によれば、コントローラは、ローカライザを介して、ローカライザに特定的な第１の座標系でトラッカの位置を検出するように構成される。一実施態様によれば、コントローラは、第１の座標系におけるトラッカの検出位置、及び第１の座標系におけるトラッカと第１のオブジェクトとの位置関係に基づいて、第１の座標系における仮想モデルの位置を特定することができる。一実施態様によれば、コントローラは、第１の座標系での仮想モデルの位置と、第２の座標系でのローカライザと視覚デバイスとの位置関係とに基づいて、第１の座標系における仮想モデルの位置を、視覚デバイスに特定的な第２の座標系における仮想モデルの位置に変換する。一実施態様によれば、コントローラは、第２の座標系での仮想モデルの位置に基づいて、予想深度マップを生成することができる。

一実施態様によれば、コントローラは、実深度マップと予想深度マップとを比較するように構成されることにより、予想深度マップに一致しない実深度マップの部分を特定するように構成される。いくつかの実施態様では、コントローラは、実深度マップと予想深度マップとの差分を計算する。一実施態様によれば、コントローラは、差分の第１のセクションが閾値深度よりも大きい絶対深度を示すかどうかを判定する。一実施態様によれば、コントローラは、差分の第１のセクションが閾値深度よりも大きい絶対深度を示すと判定することに応答して、差分の第１のセクションに対応する実深度マップの第２のセクションを部分として特定する。一実施態様によれば、閾値深度はゼロではない。

一実施態様によれば、コントローラは、予想深度マップと一致しない実深度マップの部分を特定するように構成される。いくつかの実施態様では、コントローラは、第１のセクションのサイズが最小サイズ閾値よりも大きいかどうかを判定するように構成されることによって、これを行う。いくつかの実施態様では、コントローラは、第１のセクションのサイズが最小サイズ閾値よりも大きいと判定することに応答して、第２のセクションを部分として特定する。

一実施態様によれば、コントローラは、特定された部分を第２のオブジェクトに対応する所定のプロファイルと一致させるように構成されることにより、特定された部分に基づいて第２のオブジェクトを認識するように構成される。

一実施態様によれば、実深度マップの部分は、第２のオブジェクトに対応し、実深度マップの第１の位置に配置された特徴の配列を含む。一実施態様によれば、コントローラは、特徴の配列が、第１の位置とは異なる第２の位置に移動するかどうかを監視することにより、第２のオブジェクトの移動を追跡するように構成される。一実施態様によれば、コントローラは、視覚デバイスによって続いて生成される追加の実深度マップにおいて、そのようなものを監視する。

一実施態様によれば、コントローラは、共通座標系の第２のオブジェクトに対応する仮想境界を生成するように構成される。一実施態様によれば、仮想境界は、制約を提供する。いくつかの実施例では、制約は、手術具、ロボットマニピュレータ、ロボット手持ち手術装置の作業端、イメージングデバイス、又は手術室内の他の任意の可動装置などのオブジェクトの動きに関するものである。いくつかの実施例では、制約は、キープアウト境界又はキープイン境界である。

一実施態様によれば、コントローラは、仮想モデル、第１のオブジェクトの検出位置、及び共通座標系でのローカライザと視覚デバイスとの位置関係に基づいて、実深度マップを関心領域にトリミングするように構成される。いくつかの実施態様では、コントローラは、トリミングされた実深度マップを比較するように構成されることにより、実深度マップを比較するように構成される。

一実施態様によれば、コントローラは、視覚デバイスの視界内にあり、任意選択でローカライザの視界内にもある表面上にパターンを投影するように構成されることにより、共通座標系におけるローカライザと視覚デバイスとの位置関係を特定するように構成される。いくつかの実施態様では、コントローラは、ローカライザに特定的な第１の座標系におけるパターンの位置を示すローカライザを用いて位置特定データを生成する。いくつかの実施態様では、コントローラは、視覚デバイスによって生成された投影パターンを示す較正深度マップを受け取る。いくつかの実施態様では、コントローラは、較正深度マップに基づいて、視覚デバイスに特定的な第２の座標系における投影パターンの位置を特定する。いくつかの実施態様では、コントローラは、第１の座標系におけるパターンの位置と第２の座標系におけるパターンの位置とに基づいて、共通座標系におけるローカライザと視覚デバイスとの位置関係を特定する。いくつかの実施態様では、コントローラは、第１のスペクトル帯で動作して、第１のオブジェクトの位置を検出するように構成されており、視覚デバイスは、第２のスペクトル帯で動作して、第１のオブジェクトの近傍の表面の実深度マップを生成するように構成されており、第１のスペクトル帯は第２のスペクトル帯とは異なる。

上記の態様のいずれかを完全に又は部分的に組み合わせることができる。上記の態様のいずれかを完全に又は部分的に組み合わせることができる。

上記の概要は、本明細書で論じられる本発明の特定の態様に関する基本的な理解を与えるために、本発明のいくつかの態様を簡単に概説したものである場合がある。本概要は、本発明の広範囲に及ぶ全体像を提供することを意図したものではなく、全ての重要要素もしくは決定的要素を明らかにすること、又は本発明の範囲を明確化することを意図したものでもない。本概要の唯一の目的は、以下に示す詳細な説明の導入として、いくつかの概念を単純化した形で提示することにある。

ローカライザ及び視覚デバイスを含む手術ナビゲーションシステムの斜視図である。 図１の手術ナビゲーションシステムを制御するための制御システムの概略図である。 図１の手術ナビゲーションシステムで使用される座標系の斜視図である。 トラッカをベースにした位置特定及び機械視覚を用いて標的部位の一例をナビゲートする方法のフローチャートである。 標的部位、例えば、外科処置中に治療される解剖学的構造の一例の説明図である。 図５の標的部位内のオブジェクトに対応する仮想モデルの位置の説明図である。 図６の仮想モデルに基づく予想深度マップの説明図である。 図１の視覚デバイスで取り込まれた実深度マップの説明図である。 関心領域にトリミングされた図８の実深度マップの説明図である。 図７の予想深度マップと図９の実深度マップとの差分の説明図である。 図９の実深度マップ内で特定された外科用開創器に対応する仮想モデルの説明図である。 図９の実深度マップ内で特定された靭帯に対応する仮想モデルの説明図である。 図９の実深度マップ内で特定された表皮組織に対応する仮想モデルの説明図である。 共通座標系における図６及び図１１～図１３の仮想モデルの説明図である。 図１の視覚デバイスで後に取り込まれた実深度マップの説明図である。 図１５の実深度マップに基づいて位置決めを更新した図１４の仮想モデルの説明図である。

図１は、患者を治療するための手術システム１０を示す。手術システム１０は、医療施設の手術室などの外科的環境に設置され得る。手術システム１０は、手術ナビゲーションシステム１２及びロボットマニピュレータ１４を含むことができる。ロボットマニピュレータ１４は、手術器具１６に結合され得、患者組織の標的体積を治療するために、外科医及び／又は手術ナビゲーションシステム１２の指示などで手術器具１６を操作するように構成され得る。例えば、手術ナビゲーションシステム１２により、ロボットマニピュレータ１４が、他の医療用具及び隣接した解剖構造など、標的体積に隣接する他のオブジェクトを避けながら患者組織の標的体積を切除するように、手術器具１６を操作することができる。あるいは、外科医が、手術ナビゲーションシステム１２からの誘導を受けながら、手術器具１６を手動で保持し、操作することができる。いくつかの非限定的な実施例として、手術器具１６は、バーリング器具、電気手術器具、超音波器具、リーマ、インパクタ、又は矢状面鋸であってもよい。

外科処置中に、手術ナビゲーションシステム１２は、トラッカをベースにした位置特定と機械視覚との組み合わせを使用して、手術作業空間内の着目したオブジェクトの位置（場所及び向き）を追跡することができる。外科処置のための手術作業空間は、治療される患者組織の標的体積と、治療に対する障害物が存在する可能性がある治療される標的体積のすぐ周囲の領域とを含むものと考えられ得る。被追跡オブジェクトには、患者の解剖構造、治療すべき解剖構造の標的体積、手術器具１６などの手術器具、及び外科医の手又は指などの外科的身体の解剖構造が含まれ得るが、これらに限定されない。追跡される患者の解剖構造及び標的体積には、靭帯、筋肉、及び皮膚などの軟組織が含まれ得、骨などの硬組織が含まれ得る。追跡される手術器具には、外科処置中に使用される開創器、切断工具、及び廃棄物処理デバイスが含まれ得る。

手術作業空間内の着目したオブジェクトにトラッカを固定することで、手術ナビゲーションシステム１２が手術作業空間内のそのようなオブジェクトの位置を判定するための正確かつ効率的な機構を提供することができる。処置中に、トラッカは、特定の非可視光帯域（例えば、赤外線、紫外線）などで既知の信号パターンを生成し得る。手術ナビゲーションシステム１２は、特定の非可視光帯域内の信号を検出することに特化し、この帯域外の光信号を無視するローカライザを含むことができる。ローカライザが、所与のトラッカに関連した信号パターンを検出することに応答して、手術ナビゲーションシステム１２は、パターンが検出された角度に基づいて、ローカライザに対するトラッカの位置を判定することができる。そして、手術ナビゲーションシステム１２は、判定されたトラッカの位置と、オブジェクトとトラッカとの一定の位置関係とに基づいて、トラッカが取り付けられているオブジェクトの位置を割り出すことができる。

上記のトラッカは、手術ナビゲーションシステム１２が、手術作業空間内の骨及び手術器具などの硬組織オブジェクトを正確かつ効率的に追跡することを可能にし得るが、これらのトラッカは、一般に、皮膚及び靭帯などの軟組織オブジェクトの追跡には適していない。具体的には、軟組織オブジェクトの柔軟な性質のために、外科処置の過程で軟組織オブジェクト全体とトラッカとの位置関係を一定に保つことが難しい。さらに、外科処置に関わるいくつかの患者組織及び器具のそれぞれにトラッカを取り付けると、手術作業空間が混雑してナビゲーションが困難となり、手術ナビゲーションシステム１２のコスト及び複雑さが増大する。そのために、トラッカをベースにした位置特定に加えて、手術ナビゲーションシステム１２は、外科処置中に手術作業空間内のオブジェクトを追跡するために、機械視覚を実装することもできる。

具体的には、ローカライザ及び取り付けられたトラッカを使用して手術作業空間内のオブジェクトの位置を検出することに加えて、手術ナビゲーションシステム１２は、作業空間（本明細書では標的部位とも呼ばれる）内の表面の深度マップを生成するように構成された視覚デバイスを含んでもよい。標的部位は、様々な異なるオブジェクト又は部位である可能性がある。一実施例では、標的部位は、治療又は組織切除を必要とする解剖学的構造の一部（例えば、骨）などの手術部位である。他の実施例では、標的部位は、ロボットマニピュレータ、ロボットマニピュレータに取り付けられたエンドエフェクタもしくはツール、外科用テーブル、移動カート、患者を載せることができる手術台、イメージングシステム、又はこれらに類するものなど、手術室内の機器であることが可能である。

手術ナビゲーションシステム１２はまた、共通座標系でのローカライザと視覚デバイスとの位置関係を特定するように構成され得、ローカライザ、オブジェクトに対応する仮想モデル、及び位置関係を使用して、標的部位内のオブジェクトの検出位置に基づいて、視覚デバイスの予想深度マップを生成するように構成され得る。その後、手術ナビゲーションシステム１２は、予想深度マップを視覚デバイスによって生成された実深度マップと比較し、その比較に基づいて、推定深度マップに一致しない実深度マップの部分を特定するように構成されてもよい。次に、手術ナビゲーションシステム１２は、特定された部分に基づいて標的部位にあるオブジェクトを特定し、そのオブジェクトが現在の手術計画にとって障害物であるかどうかを判定するように構成されてもよい。

手術ナビゲーションシステム１２は、外科医を支援するために、外科処置中に追跡されるオブジェクトの相対位置を表示してもよい。手術ナビゲーションシステム１２は、ロボットマニピュレータ１４及び／又は手術器具１６の動きを、被追跡オブジェクトに関連する仮想境界に対し制御及び／又は制約することもできる。例えば、手術ナビゲーションシステム１２は、被追跡オブジェクトに基づいて、治療すべき患者組織の標的体積と手術作業空間内の潜在的障害物とを特定してもよい。その結果、手術ナビゲーションシステム１２は、手術具（例えば、手術器具１６のエンドエフェクタＥＡ）が、治療すべき患者組織の標的体積を越えて何かに接触することを制限し、患者の安全性及び手術の正確性を向上させることができる。手術ナビゲーションシステム１２はまた、他のオブジェクトとの意図的でない接触によって生じ、その結果、標的部位に望ましくない破片がもたらされる可能性もある、手術器具への損傷を無くすことができる。

図１に示されるように、手術ナビゲーションシステム１２は、ローカライザ１８及びナビゲーションカート組立体２０を含むことができる。ナビゲーションカート組立体２０は、本明細書に記載される手術ナビゲーションシステム１２の機能、特徴、及び処理を実施するように構成されたナビゲーションコントローラ２２を収容することができる。具体的には、ナビゲーションコントローラ２２は、本明細書に記載されるナビゲーションコントローラ２２及び手術ナビゲーションシステム１２の機能、特徴、及び処理を実施するようにプログラムされたプロセッサ２３を含むことが可能である。例えば、プロセッサ２３は、ローカライザ１８から受け取った光学ベース信号を、手術作業空間内のトラッカに取り付けられたオブジェクトの位置を示すローカライザデータに変換するようにプログラムされてもよい。

ナビゲーションコントローラ２２は、手術ナビゲーションシステム１２のユーザインターフェース２４と作動的に通信し得る。ユーザインターフェース２４は、手術ナビゲーションシステム１２及びナビゲーションコントローラ２２とのユーザインタラクションを促進し得る。例えば、ユーザインターフェース２４は、ナビゲーションコントローラ２２などからの情報をユーザに提供する１つ以上の出力デバイスを含むことができる。出力デバイスには、手術作業空間を含む滅菌野の外側に位置しているように適合させたディスプレイ２５が含まれ得、滅菌野の内側に位置しているように適合させたディスプレイ２６が含まれ得る。ディスプレイ２５、２６は、ナビゲーションカート組立体２０に調節可能であるように取り付けられてもよい。ユーザインターフェース２４はまた、手術ナビゲーションシステム１２へのユーザ入力を可能にする１つ以上の入力デバイスを含むことができる。入力デバイスには、ユーザによってインタラクトされて、手術パラメータを入力し、ナビゲーションコントローラ２２の態様を制御することができるキーボード、マウス、及び／又はタッチスクリーン２８が含まれ得る。入力デバイスには、音声認識技術によるユーザ入力を可能にするマイクロフォンが含まれることもある。

ローカライザ１８は、オブジェクトに取り付けられたトラッカの位置などを検出することにより、手術作業空間内のトラッカに取り付けられた１つ以上のオブジェクトの位置を検出するように構成され得る。具体的には、ローカライザ１８は、手術ナビゲーションシステム１２のナビゲーションコントローラ２２に結合され得、手術作業空間内の１つ以上のトラッカの位置を示す光学ベース信号を生成し、これをナビゲーションコントローラ２２に伝達してもよい。その場合、ナビゲーションコントローラ２２は、光学ベース信号と、オブジェクトとトラッカとの一定の位置関係とに基づいて、手術作業空間内のトラッカに取り付けられたオブジェクトの位置を示すローカライザデータを生成するように構成されてもよい。ローカライザ１８で追跡される標的部位内のオブジェクトを、本明細書では「局所オブジェクト」と称することがある。

ローカライザ１８は、少なくとも２つの光学センサ３２を収容するアウタケーシング３０を有し得る。光学センサ３２のそれぞれは、赤外線又は紫外線など、トラッカに固有の特定の非可視光帯域の信号を検出するように適合させることができる。図１は、複数の光学センサ３２を備えた単一のユニットとしてローカライザ１８を図示しているが、代替の実施例では、ローカライザ１８は手術作業空間の周りに配置された別個のユニットを含み、それぞれが別個のアウタケーシング及び１つ以上の光学センサ３２を備えてもよい。

光学センサ３２は、１次元又は２次元の電荷結合デバイス（ＣＣＤ）であってもよい。例えば、アウタケーシング３０は、手術作業場のトラッカの位置を三角法で測定するための２つの２次元ＣＣＤを収容してもよく、又は手術作業場のトラッカの位置を三角法で測定するための３つの１次元ＣＣＤを収容してもよい。追加又は代替として、ローカライザ１８は、相補型金属酸化膜半導体（ＣＭＯＳ）アクティブピクセルなどの他の光センシング技術を採用してもよい。

いくつかの実施態様では、ナビゲーションシステム及び／又はローカライザ１８は、電磁気（ＥＭ）をベースにしている。例えば、ナビゲーションシステムは、ナビゲーションコントローラ２２、及び／又は別のコンピューティングデバイス、コントローラなどに結合されたＥＭトランシーバを含むことができる。ここで、トラッカは、それに取り付けられるＥＭ構成要素（例えば、各種磁気トラッカ、電磁トラッカ、誘導トラッカなど）を含むことができ、これはパッシブなものであってもよく、又は能動的に通電されるものであってもよい。ＥＭトランシーバはＥＭ場を生成し、ＥＭ構成要素は、被追跡状態がナビゲーションコントローラ２２に伝達される（又は読み取られる）ように、ＥＭ信号に応答する。ナビゲーションコントローラ２２は、受信したＥＭ信号を分析して、関係のある状態をそれに関連付けることができる。ここでも、ＥＭをベースにしたナビゲーションシステムの実施形態は、本明細書で説明されるアクティブなマーカベースのナビゲーションシステムとは異なる構造的構成を有し得ることが理解されよう。

他の実施態様では、ナビゲーションシステム及び／又はローカライザ１８は、それに関連する場所データを判定するために、必ずしもトラッカをオブジェクトに固定する必要がない、１つ以上のタイプのイメージングシステムに基づくことが可能である。例えば、被追跡状態（例えば、位置、向きなど）が超音波画像に基づいてナビゲーションコントローラ２２に伝達される（又は読み取られる）ような、超音波画像（例えば、被追跡オブジェクトの特定の既知の構造的特徴、被追跡オブジェクトに固定されたマーカ又はステッカなど）の取得を容易にする、超音波ベースのイメージングシステムを提供することが可能である。超音波画像は、２Ｄ、３Ｄ、又はそれらの組み合わせであってもよい。ナビゲーションコントローラ２２は、超音波画像をほぼリアルタイムで処理して、被追跡状態を判定することができる。超音波イメージングデバイスは、任意の好適な構成を有することができ、図１に示すカメラユニットとは異なるものであってもよい。さらなる実施例として、被追跡状態がＸ線像に基づいてナビゲーションコントローラ２２に伝達される（又は読み取られる）ような、放射線不透過性マーカ（例えば、被追跡オブジェクトに取り付けられる既知の構造的特徴を有するステッカ、タグなど）のＸ線像の取得を容易にする、蛍光透視法ベースのイメージングシステムを提供することが可能である。ナビゲーションコントローラ２２は、Ｘ線像をほぼリアルタイムで処理して、被追跡状態を判定することができる。同様に、被追跡状態がデジタル画像に基づいてナビゲーションコントローラ２２に伝達される（又は読み取られる）ような、特定の既知のオブジェクトのデジタル画像、ビデオなどを（例えば、被追跡オブジェクト又はその構造的な構成要素もしくは特徴の仮想表現との比較に基づいて）取得すること、及び／又はマーカ（例えば、被追跡オブジェクトに取り付けられるステッカ、タグなど）のデジタル画像、ビデオなどを取得することを容易にする、他のタイプの光学ベースのイメージングシステムを提供することが可能である。ナビゲーションコントローラ２２は、デジタル画像をほぼリアルタイムで処理して、被追跡状態を判定することができる。

したがって、同一又は異なるタイプの複数のイメージングシステムを含む様々なタイプのイメージングシステムが、本開示の範囲から逸脱することなく、ナビゲーションシステムの一部を形成し得ることが理解されよう。当業者であれば、ナビゲーションシステム及び／又はローカライザ１８は、本明細書に具体的に記載されていない他の任意の好適な構成要素又は構造を有し得ることを理解するであろう。例えば、ナビゲーションシステムは、慣性追跡を単独で、又は追跡技法の任意の組み合わせを利用することができる。さらに、図１に示されるナビゲーションシステムに関連する技法、方法、及び／又は構成要素のいずれも、様々な方法で実装することができ、本開示によって他の構成が企図される。

ローカライザ１８は、理想的には障害物がない手術作業空間及び標的体積を視野に入れた光学センサ３２を選択的に配置するために、調節可能なアームに取り付けられてもよい。ローカライザ１８は、回転ジョイントを中心に回転することにより、少なくとも１つの自由度で調節可能であってもよく、２つ以上の自由度について調節可能であってもよい。

上記のとおり、ローカライザ１８は、本明細書でトラッカとも呼ばれる複数の追跡デバイスと連携して、トラッカが取り付けられた手術作業空間内のオブジェクトの位置を判定することができる。一般に、各トラッカが取り付けられるオブジェクトは、固く柔軟性がないために、オブジェクトの動きにより、オブジェクトとトラッカとの位置関係が変化することはあり得ず、又は変化しにくい可能性がある。言い換えれば、手術作業空間内のオブジェクトの位置変化にかかわらず、手術作業空間内のトラッカとトラッカが取り付けられているオブジェクトとの関係は固定されたままであり得る。例えば、トラッカは、患者の骨、ならびに開創器及び手術器具１６などの手術器具に、しっかりと取り付けることが可能である。このようにして、ローカライザ１８を使用して手術作業空間におけるトラッカの位置を判定することに応答して、ナビゲーションコントローラ２２は、トラッカの判定された位置に基づいて、トラッカが取り付けられているオブジェクトの位置を割り出すことができる。

例えば、治療すべき標的体積が患者の膝部分に位置するときは、トラッカ３４を患者の大腿骨Ｆにしっかりと取り付けることができ、トラッカ３６を患者の脛骨Ｔにしっかりと取り付けることができ、トラッカ３８を手術器具１６にしっかりと取り付けることができる。トラッカ３４、３６は、参照により本明細書に組み込まれる米国特許第７，７２５，１６２号に示されるようにして、大腿骨Ｆ及び脛骨Ｔに取り付けてもよい。トラッカ３４、３６はまた、参照により本明細書に組み込まれる「Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｉｎｄｉｃａｔｉｎｇ ａｎｄ Ｒｅｄｕｃｉｎｇ Ｌｉｎｅ－ｏｆ－Ｓｉｇｈｔ Ｅｒｒｏｒｓ」と題する、２０１４年１月１６日に出願された米国特許出願公開第２０１４／０２００６２１号に示されるもののように搭載することもできる。トラッカ３８は、製造時に手術器具１６に組み込んでもよく、又は外科処置の準備として手術器具１６に別途取り付けてもよい。

手術システム１０を使用する外科処置の開始より前に、手術器具１６によって治療すべき患者組織の標的体積を画定する解剖構造、及び／又はその標的体積に隣接する解剖構造など、目的とする解剖学的構造に対して術前画像が生成されてもよい。例えば、治療すべき患者組織の標的体積が患者の膝部分のときは、患者の大腿骨Ｆ及び脛骨Ｔの術前画像を撮影してもよい。これらの画像は、患者の解剖学的構造のＭＲＩスキャン、放射線スキャン、又はコンピュータ断層撮影（ＣＴ）スキャンに基づく場合があり、解剖構造の仮想モデルを構築するために使用される場合がある。解剖構造の各仮想モデルは、解剖構造の全体又は少なくとも一部を表すデータ、及び／又は治療すべき解剖構造の標的体積を表すデータを含む３次元モデル（例えば、点群、メッシュ、ＣＡＤ）を含むことができる。これらの仮想モデルは、外科処置に先立って、ナビゲーションコントローラ２２に提供され、保存されてもよい。

術前画像の撮影に加えて、又はその撮影の代わりに、運動学的研究、骨トレース及び他の方法から手術室で治療の計画を立てることができる。このような同じ方法を使用して、上記の仮想モデルを生成することもできる。

外科処置より前に、対象となっている患者の解剖構造に対応する仮想モデルに加えて、ナビゲーションコントローラ２２は、手術作業空間に存在する可能性がある手術器具及びその他のオブジェクト（例えば、外科医の手及び／又は指）など、外科処置にとって関心がある他の被追跡オブジェクトの仮想モデルを受け取り、保存することができる。ナビゲーションコントローラ２２はまた、トラッカとトラッカに固定されたオブジェクトとの位置関係、ローカライザ１８と視覚デバイスとの位置関係、及び手術計画など、外科処置に特有の手術データを受け取り、保存することもできる。手術計画により、外科処置に関与する患者の解剖構造を特定することができ、外科処置で使われている器具を特定することができ、外科処置中の器具の計画された軌道及び患者組織の計画された移動を規定することができる。

外科処置の間に、ローカライザ１８の光学センサ３２は、トラッカ３４、３６、３８から非可視光帯域（例えば、赤外線又は紫外線）などの光信号を検出することができ、検出された光信号に基づいてローカライザ１８に対するトラッカ３４、３６、３８の位置を示す光学ベース信号をナビゲーションコントローラ２２へ出力することができる。そしてナビゲーションコントローラ２２は、判定されたトラッカ３４、３６、３８の位置と、トラッカ３４、３６、３８とオブジェクトとの既知の位置関係とに基づいて、ローカライザ１８に対するトラッカ３４、３６、３８に固定されたオブジェクトの位置を示すローカライザデータを生成することができる。

ローカライザ１８によって提供されるトラッカベースのオブジェクト追跡を補完するために、手術ナビゲーションシステム１２は、視覚デバイス４０を含むこともできる。視覚デバイス４０は、手術作業空間部位の３次元画像をリアルタイムで生成可能であってもよい。トラッカ３４、３６、３８から伝送される非可視光信号の位置を検出して特定することに限定され得るローカライザ１８とは異なり、視覚デバイス４０は、深度マップの形式などで、視覚デバイス４０の視野内にある標的体積の内部及び周囲の表面の３次元画像を生成するように構成されてもよい。視覚デバイス４０は、１つ以上の画像センサ４２と光源４４とを含むことができる。画像センサ４２のそれぞれは、ＣＭＯＳセンサであってもよい。

例えば、視覚デバイス４０は、赤外線光又は紫外線光などの非可視光で手術作業空間内の露出表面を照らすことにより、手術作業空間の深度マップを生成することができる。その場合、表面は非可視光を反射し返し、非可視光は視覚デバイス４０の１つ以上の画像センサ４２によって検出され得る。非可視光の伝送から視覚デバイス４０による検出までの飛行時間に基づいて、視覚デバイス４０は、視覚デバイス４０と手術作業空間の露出表面の上のいくつかの点との間の距離を判定することができる。その結果、視覚デバイス４０は、視覚デバイス４０と各表面点との間の距離及び角度を示す深度マップを生成してもよい。あるいは視覚デバイス４０は、例えば構造化光投影、レーザ測距、又は立体視などであり、限定されるものではない、他のモダリティを利用して、深度マップを生成してもよい。

ローカライザ１８と同様に、外科処置より前に、視覚デバイス４０は、好ましくは障害物のない手術作業空間を視野に入れて配置され得る。視覚デバイス４０は、図１に示されるように、ローカライザ１８と一体にされてもよい。あるいは、視覚デバイス４０を別個の調節可能なアームに取り付けて、視覚デバイス４０をローカライザ１８とは別に配置してもよい。視覚デバイス４０は、例えば、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ ａｎｄ Ｔｒａｃｋｉｎｇ Ｐｈｙｓｉｃａｌ Ｏｂｊｅｃｔｓ Ｄｕｒｉｎｇ ａ Ｒｏｂｏｔｉｃ Ｓｕｒｇｉｃａｌ Ｐｒｏｃｅｄｕｒｅ」と題する米国特許１０，５３１，９２６（この米国特許の内容を全体として参照により本明細書に組み込む）などに記載されているように、ロボットマニピュレータ１４に直接取り付けることもできる。視覚デバイス４０はまた、ナビゲーションコントローラ２２と作動的に通信し得る。

上記のように、ナビゲーションコントローラ２２は、ローカライザ１８を用いて生成されたトラッカベースの位置特定データ、及び視覚デバイス４０によって生成された深度マップに基づいて、手術作業空間内のオブジェクトを追跡し障害物を特定するように構成され得る。具体的には、視覚デバイス４０が手術作業空間の深度マップを生成するのと同時に、ローカライザ１８は、ローカライザ１８に対する手術作業空間のトラッカに固定されたオブジェクトの位置を示すローカライザデータを生成するのに用いられる光学ベースのデータを生成してもよい。したがって、視覚デバイス４０によって生成された深度マップと、ローカライザ１８で生成されたローカライザデータとは、時間的にインターリーブされてもよい。言い換えれば、ローカライザ１８で生成されたローカライザデータの各インスタンスは、視覚デバイス４０によって生成された異なる深度マップに時間的に関連付けられ得、その結果、ローカライザデータに示されたオブジェクトの位置と、関連付けられた深度マップにおけるそれらのオブジェクトの位置とは、外科処置の間中の同じ瞬間に対応する。

ローカライザデータを判定することに応答して、ナビゲーションコントローラ２２は、視覚デバイス４０によって取り込まれ、位置特定データに関連付けられることになる予想深度マップを生成するように構成されてもよい。予想深度マップとは、トラッカに固定されたオブジェクトのみが手術作業空間に存在すると仮定して、ローカライザデータと時間的に関連付けられた、視覚デバイス４０によって生成されると予想される深度マップであり得る。ナビゲーションコントローラ２２は、ローカライザデータに示される手術作業空間内のトラッカに固定されたオブジェクトの検出位置、オブジェクトに対応する仮想モデル、及びローカライザ１８と視覚デバイス４０との位置関係に基づいて予想深度マップを判定するように構成されてもよい。

その後、ナビゲーションコントローラ２２は、ローカライザデータと時間的に関連付けられた、視覚デバイス４０によって生成された実深度マップを取得することができ、予想深度マップに一致しない実深度マップの部分を特定することができる。次いでナビゲーションコントローラ２２は、特定された部分に基づいて、治療すべき患者組織の標的体積に隣接するトラッカに固定されたオブジェクト以外のオブジェクトなど、手術作業空間内のオブジェクトを特定することができ、そのようないずれかのオブジェクトが現在の手術の軌道に障害をもたらすかどうかを判定することができる。

手術器具１６は、ロボットマニピュレータ１４のエンドエフェクタの一部を形成してもよい。ロボットマニピュレータ１４は、ベース４６と、ベース４６から延在するいくつかのリンク４８と、ベース４６に対して手術器具１６を移動させるためのいくつかの能動ジョイントとを含み得る。リンク４８は、図１に示すシリアルアーム構造、パラレルアーム構造（例えば図３に示す）、又は他の好適な構造を形成してもよい。ロボットマニピュレータ１４は、ユーザがロボットマニピュレータ１４のエンドエフェクタを把持して（例えば、直接、又はロボットマニピュレータ１４のアクティブ駆動を引き起こす力／トルクセンサ測定を介して）手術器具１６の移動を起こさせる手動モードで動作する能力を含むことができる。ロボットマニピュレータ１４はまた、手術器具１６が、予め定められたツール経路に沿ってロボットマニピュレータ１４によって動かされる半自律モードを含むことができる（例えば、ロボットマニピュレータ１４の能動ジョイントは、ユーザからエンドエフェクタへの力／トルクを必要とせずに手術器具１６を移動させるように動作される）。半自律モードでの動作の例が、参照により本明細書に援用される、Ｂｏｗｌｉｎｇ，ｅｔ ａｌに対する米国特許第９，１１９，６５５号に記載されている。ローカライザ１８によるベース４６の移動を追跡するために、ロボットマニピュレータ１４のベース４６に別個のトラッカを取り付けてもよい。

手術ナビゲーションシステム１２と同様に、ロボットマニピュレータ１４は、本明細書に記載されるロボットマニピュレータ１４の処理、より詳細にはマニピュレータコントローラ５０の処理を実施するようにプログラムされたプロセッサ５２を含むマニピュレータコントローラ５０を収容し得る。例えば、プロセッサ５２は、手術ナビゲーションシステム１２の指示などで、リンク４８の移動によって手術器具１６の動作及び移動を制御するようにプログラムされてもよい。

外科処置中に、マニピュレータコントローラ５０は、ナビゲーションコントローラ２２から受け取ったナビゲーションデータなどに基づいて、手術器具１６が移動されるべき所望の場所を判定するように構成され得る。この判定と、手術器具１６の現在の位置に関する情報とに基づいて、マニピュレータコントローラ５０は、手術器具１６を現在の位置から所望の位置に再配置するためにリンク４８のそれぞれが動かされる必要がある範囲を判定するように構成されてもよい。リンク４８がどこに再配置されるべきかを示すデータは、ロボットマニピュレータ１４の能動ジョイントを制御するジョイントモータコントローラ（例えば、各モータを制御するためのもの）に転送され得る。そのようなデータを受け取ることに応答して、ジョイントモータコントローラは、データに従ってリンク４８を動かし、その結果として手術器具１６を所望の位置に動かすように構成され得る。

ここで図２を参照すると、ローカライザ１８及び視覚デバイス４０は、それぞれローカライザコントローラ６２及び視覚コントローラ６４を含むことができる。ローカライザコントローラ６２は、ローカライザ１８の光学センサ３２と、かつナビゲーションコントローラ２２と通信可能に結合され得る。外科処置中に、ローカライザコントローラ６２は、光学センサ３２を動作させて、光学センサ３２にトラッカ３４、３６、３８から受信した光信号を示す光学ベースのデータを生成させるように構成され得る。

トラッカ３４、３６、３８は、光信号を光学センサ３２に送信するための少なくとも３つのアクティブマーカをそれぞれが有するアクティブトラッカであってもよい。トラッカ３４、３６、３８は、内蔵電池によって電力を供給されてもよく、又はナビゲーションコントローラ２２を介して電力を受け取るためにリード線を有していてもよい。各トラッカ３４、３６、３８のアクティブマーカは、赤外線又は紫外線などの光を送出する発光ダイオード（ＬＥＤ）６５であってもよい。トラッカ３４、３６、３８のそれぞれは、トラッカ３４、３６、３８のＬＥＤ６５とナビゲーションコントローラ２２とに接続されたトラッカコントローラ６６を含むこともできる。トラッカコントローラ６６は、ナビゲーションコントローラ２２などの指示で、トラッカ３４、３６、３８のＬＥＤ６５が発光するレート及び順序を制御するように構成されてもよい。例えば、トラッカ３４、３６、３８のトラッカコントローラ６６は、ナビゲーションコントローラ２２によるトラッカ３４、３６、３８の区別を容易にするために、各トラッカ３４、３６、３８のＬＥＤ６５を異なるレート及び／又は時間で発光させることができる。

光学センサ３２のサンプリングレートは、光学センサ３２が、順次発光するＬＥＤ６５から光信号を受信するレートである。光学センサ３２は、１００Ｈｚ以上、又はより好ましくは３００Ｈｚ以上、又は最も好ましくは５００Ｈｚ以上のサンプリングレートを有することができる。例えば、光学センサ３２は、８０００Ｈｚのサンプリングレートを有してもよい。

トラッカ３４、３６、３８は、アクティブトラッカではなく、ローカライザ１８から発せられた光（例えば、光源４４（図１）から発せられた光）を反射する反射物などのパッシブマーカ（図示せず）を含むパッシブトラッカであってもよい。そして、その反射光を光学センサ３２によって受光してもよい。

光学センサ３２がトラッカ３４、３６、３８から光信号を受信することに応答して、光学センサ３２は、トラッカ３４、３６、３８のローカライザ１８に対する位置を示すとともに、それに対応して、トラッカ３４、３６、３８にしっかりと取り付けられたオブジェクトのローカライザ１８に対する位置を示す光学ベースのデータを、ローカライザコントローラ６２に出力し得る。具体的には、各光学センサ３２は、トラッカ３４、３６、３８からの光信号を検出し、それに応じて各光信号が検出されたセンサ領域内の位置を示す１次元又は２次元のセンサ領域を含み得る。所与のセンサ領域内の各光信号の検出位置は、センサ領域を含む光学センサ３２により光信号が受信される角度に基づくことができ、同様に、手術作業空間における光信号の発生源の位置に対応することができる。

したがって、トラッカ３４、３６、３８からの光信号の受信に応答して、各光学センサ３２は、光信号が検出された光学センサ３２のセンサ領域内の位置を示す光学ベースのデータを生成することができる。光学センサ３２は、そのような光学ベースのデータをローカライザコントローラ６２に伝えることができ、次いでローカライザコントローラ６２は、その光学ベースのデータをナビゲーションコントローラ２２に伝えることができる。次に、ナビゲーションコントローラ２２は、光学ベースのデータに基づいて、ローカライザ１８に対するトラッカ３４、３６、３８の位置を示すトラッカ位置データを生成し得る。例えば、ナビゲーションコントローラ２２は、光学ベースのデータに基づいて、ローカライザ１８に対するＬＥＤ６５の位置を三角法で測定してもよく、トラッカ３４、３６、３８とマーカとの間の保存された位置関係を適用して、測定されたＬＥＤ６５のローカライザ１８に対する位置を判定し、ローカライザ１８に対するトラッカ３４、３６、３８の位置を判定してもよい。

その後、ナビゲーションコントローラ２２は、トラッカ位置データに基づいて、トラッカ３４、３６、３８にしっかりと取り付けられたオブジェクトのローカライザ１８に対する位置を示すローカライザデータを生成することができる。具体的には、ナビゲーションコントローラ２２は、トラッカ３４、３６、３８とトラッカ３４、３６、３８が取り付けられているオブジェクトとの保存された位置関係を取得することができ、これらの位置関係をトラッカ位置データに適用して、トラッカ３４、３６、３８に固定されているオブジェクトのローカライザ１８に対する位置を判定することができる。あるいは、ローカライザコントローラ６２は、受信した光学ベースのデータに基づいて、トラッカ位置データ及び／又はローカライザデータを判定するように構成することができ、トラッカ位置データ及び／又はローカライザデータをナビゲーションコントローラ２２に伝送して、さらに処理してもよい。

視覚コントローラ６４は、視覚デバイス４０の光源４４及び１つ以上の画像センサ４２と、かつナビゲーションコントローラ２２と通信可能に結合され得る。ローカライザコントローラ６２によりローカライザ１８が、手術作業空間におけるトラッカ３４、３６、３８の位置を示す光学ベースのデータを生成するのと同時に、視覚コントローラ６４により視覚デバイス４０が、手術作業空間の露出表面の深度マップを生成することができる。具体的には、視覚コントローラ６４が、画像センサ４２に深度マップの基礎となる画像データを生成させることができ、その画像データに基づいて深度マップを生成することができる。その後、視覚コントローラ６４は、さらなる処理のために、深度マップをナビゲーションコントローラ２２に転送し得る。あるいは、視覚コントローラ６４は、画像データをナビゲーションコントローラ２２に伝えることができ、次いでナビゲーションコントローラ２２は、受け取った画像データに基づいて深度マップを生成してもよい。

一般に、視覚デバイス４０によって生成された深度マップは、視覚デバイス４０と視覚デバイス４０の視野内にある表面との間の距離を示し得る。言い換えれば、深度マップは、視覚デバイス４０の視点からの手術作業空間内の表面のトポグラフィを示すことができる。視覚デバイス４０によって生成された各深度マップは、視覚デバイス４０の画像フレームを形成する複数の画像構成要素を含み得る。画像構成要素のそれぞれは、深度マップのピクセルに類似したものであってもよく、視覚デバイス４０の中心から視覚デバイスの視野内にある表面上の点までのベクトルを定め得る。例えば、視覚デバイス４０の画像フレーム内の画像構成要素の場所は、画像構成要素によって定められたベクトルの水平成分及び垂直成分に対応してもよく、画像構成要素の色は、画像構成要素によって定められたベクトルの深度成分に対応してもよい。一実施例を挙げると、視覚デバイス４０により近い手術作業空間内の表面点を表す画像構成要素は、視覚デバイス４０からより遠い表面点を表す画像構成要素よりも明るい色を有し得る。

視覚デバイス４０は、１つ以上の深度センサ６８を含む深度カメラであってもよい。深度センサ６８は、深度センサ６８の視野内の表面に反射される非可視光などの光を検出するように適合されてもよい。外科処置中に、視覚コントローラ６４により光源４４は、赤外線光又は紫外線光などの非可視光で標的部位を照らすようにしてもよい。その場合、深度センサ６８は、標的部位の表面からの非可視光の反射を検出することができ、これにより視覚コントローラ６４は深度マップを生成することが可能になり得る。

例えば、視覚コントローラ６４は、視覚デバイス４０と種々の点との間の距離に対応し得る、光源４４から送出された光が標的部位内の露出表面上の点に反射する時間に基づいて深度マップを生成してもよい（すなわち、飛行時間法）。次に、視覚コントローラ６４は、これらの判定された距離を利用して、深度マップを生成することができる。代替の実施例として、光源４４は、既知の構造化非可視光パターンを手術部位の露出表面に投射してもよい。その後、深度センサ６８は、標的部位内の表面のトポグラフィに基づいて歪んでいる可能性がある既知のパターンの反射を検出し得る。したがって、視覚コントローラ６４は、既知のパターンと、深度センサ６８によって検出された歪んだパターンのバージョンとの比較に基づいて、標的部位の深度マップを生成するように構成されてもよい。

あるいは、視覚デバイス４０は、１つ以上のＲＧＢセンサ７０を含むＲＧＢカメラであってもよい。ＲＧＢセンサ７０は、標的部位における露出表面のカラー画像を生成するように構成され得、視覚コントローラ６４は、そのカラー画像に基づいて深度マップを生成するように構成されてもよい。

例えば、上記の構造化光方法論と同様に、視覚コントローラ６４は、光源４４に、標的部位における色から外れた色などで、既知の構造化光パターンを標的部位に投影させるように構成されてもよい。次に、ＲＧＢセンサ７０は、標的部位のＲＧＢ画像を生成することができ、この画像は、標的部位の表面トポグラフィに基づいて、既知の構造化光パターンの歪んだバージョンを表し得る。視覚コントローラ６４は、パターン認識、エッジ検出、及び色認識などを用いて、ＲＧＢ画像から既知の構造化光パターンの歪んだバージョンを抽出することができ、既知の構造化光パターンと抽出された歪んだバージョンとの比較に基づいて、深度マップを判定してもよい。

さらなる代替として、視覚デバイス４０は、立体視の原理を用いて標的部位の深度マップを生成するように構成されてもよい。より詳細には、複数の深度センサ６８又はＲＧＢセンサ７０などの複数の画像センサ４２が、異なる角度からの標的部位の視野を有するように配置され得る。視覚コントローラ６４は、各画像センサ４２に、異なる角度からの標的部位の画像を同時に生成させるように構成され得る。例えば、画像センサ４２が深度センサ６８である場合、視覚コントローラ６４は、光源４４に、非可視光のパターンで標的部位の露出表面を照らさせるように構成され得、深度センサ６８のそれぞれが、露出表面に反射された非可視光のパターンを異なる角度から撮像してもよい。次に、視覚コントローラ６４は、各画像における表面点の位置と画像センサ４２間の既知の位置関係とに基づいて、標的部位における表面上の点の視覚デバイス４０に対する３次元位置を判定してもよい。その後、視覚コントローラ６４は、判定された３次元位置に基づいて深度マップを生成することができる。

外科手術中にローカライザ１８と視覚デバイス４０との間の干渉を減らすために、ローカライザ１８と視覚デバイス４０とは、異なるスペクトル帯で動作して標的部位内のオブジェクトの位置を検出するように構成されてもよい。追加又は代替として、視覚デバイス４０が非可視光帯域で動作するときなど、視覚デバイス４０が光源４４を使用して標的部位における露出表面を照らすとき、ローカライザ１８は、視覚デバイス４０の光源４４がローカライザ１８から見えないように、十分に短い時間的露光レートで動作するように構成されてもよい。

上記のとおり、ナビゲーションコントローラ２２は、ローカライザ１８を使用して生成されたローカライザデータに基づいて予想深度マップを計算すること、及び予想深度マップを視覚デバイス４０によって生成された実深度マップと比較することにより、手術部位内の治療すべき患者組織の標的体積に隣接するオブジェクトを判定することなど、本明細書に記載されたナビゲーションコントローラ２２の機能、特徴、及び処理を行うようにプログラムされたプロセッサ２３を含むことができる。プロセッサ２３に加えて、ナビゲーションコントローラ２２は、それぞれプロセッサ２３に動作可能なように結合されたメモリ７２及び不揮発性ストレージ７４を含むことができる。

プロセッサ２３は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理装置、フィールドプログラマブルゲートアレイ、プログラマブル論理デバイス、ステートマシン、論理回路、アナログ回路、デジタル回路、又はメモリ７２に保存された動作命令に基づいて信号（アナログ又はデジタル）を操作する他の任意のデバイスから選択された１つ以上のデバイスを含んでもよい。メモリ７２は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、揮発性メモリ、不揮発性メモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、フラッシュメモリ、キャッシュメモリ、又は情報を保存できる他の任意のデバイスを含むが、これらに限定されない、単一のメモリデバイス又は複数のメモリデバイスを含んでもよい。不揮発性ストレージ７４は、ハードドライブ、光学ドライブ、テープドライブ、不揮発性ソリッドステートデバイス、又は情報を永続的に保存できる他の任意のデバイスなどの１つ以上の永続的データストレージデバイスを含んでもよい。

不揮発性ストレージ７４は、位置特定エンジン７６、変換エンジン７８、視覚エンジン８０、及び手術ナビゲータ８１などのソフトウェアを保存することができる。ソフトウェアは、Ｊａｖａ、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｆｏｒｔｒａｎ、Ｐａｓｃａｌ、Ｊａｖａ Ｓｃｒｉｐｔ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、及びＰＬ／ＳＱＬを、単独で又は組み合わせて含むが、これらに限定されない、様々なプログラミング言語及び／又は技術からコンパイル又は解釈されるコンピュータ実行可能命令によって具現化され得る。

プロセッサ２３は、不揮発性ストレージ７４に保存されたソフトウェアの制御下で動作することができる。具体的には、プロセッサ２３は、メモリ７２に読み込んでソフトウェアのコンピュータ実行可能命令を実行することにより、アクティブな実行プロセスとしてソフトウェアを実行するように構成され得る。プロセッサ２３によって実行されると、コンピュータ実行可能命令は、プロセッサ２３に、本明細書に記載されたナビゲーションコントローラ２２の構成された機能、特徴、及び処理を実施させるように構成され得る。したがって、本ソフトウェアは、プロセッサ２３の実行時に、本明細書に記載されたナビゲーションコントローラ２２の処理をナビゲーションコントローラ２２のプロセッサ２３に実施させるようにソフトウェアのコンピュータ実行可能命令が構成されることにより、本明細書に記載されたナビゲーションコントローラ２２の機能、特徴、及び処理をナビゲーションコントローラ２２に実施させるように構成され得る。

ナビゲーションコントローラ２２の不揮発性ストレージ７４は、ナビゲーションコントローラ２２の動作を容易にするデータを保存することもできる。具体的には、ナビゲーションコントローラ２２のソフトウェアは、不揮発性ストレージ７４に保存されたデータにアクセスし、そのデータに基づいて本明細書で説明されるナビゲーションコントローラ２２の機能、特徴、及び処理を実施するように構成され得る。

例えば、限定するものではないが、不揮発性ストレージ７４に保存されるデータには、モデルデータ８２、変換データ８３、及び手術計画８４が含まれ得る。モデルデータ８２は、上記のように、外科医の手又は指などの潜在的障害物の仮想モデル、及び外科処置で使用されている手術器具の仮想モデルを含む、外科処置にとって関心がある解剖構造の仮想モデルを含み得る。変換データ８３は、本明細書における位置関係を含むことができ、これにより、トラッカ３４、３６、３８、又はローカライザ１８、又は視覚デバイス４０など、あるデバイスに対する手術作業空間内のオブジェクトの位置を、別のデバイスに対するオブジェクトの位置へ変換することが可能になり得る。例えば、変換データ８３は、トラッカ３４、３６、３８とトラッカ３４、３６、３８にしっかりと取り付けられたオブジェクトとの一定の位置関係、及びローカライザ１８と視覚デバイス４０との位置関係を定めてもよい。手術計画８４により、外科処置に関与する患者の解剖構造の標的体積を特定することができ、外科処置で使われている器具を特定することができ、外科処置中の器具の計画された軌道及び患者組織の計画された移動を規定することができる。

ナビゲーションコントローラ２２上で動作するソフトウェアを再び参照すると、位置特定エンジン７６は、ローカライザ１８の光学センサ３２によって生成された光学ベースのデータなどに基づいて、トラッカ３４、３６、３８にしっかりと取り付けられたオブジェクトのローカライザ１８に対する位置を示す位置特定データを生成するように構成され得る。変換エンジン７８は、変換データ８３によって表される位置関係などに基づいて、手術システム１０の１つのデバイスに対するオブジェクトの位置を、手術システム１０の別のデバイスに対するオブジェクトの位置に変換するように構成され得る。視覚エンジン８０は、位置特定エンジン７６によって生成された位置特定データと変換データ８３とに基づいて予想深度マップを生成し、この予想深度マップを視覚デバイス４０によって生成された実深度マップと比較して、手術作業空間内のオブジェクトを特定し追跡するように構成され得る。手術ナビゲータ８１は、視覚エンジン８０によって判定された特定及び追跡に基づいて手術ガイダンスを提供するように構成され得る。これらのソフトウェア構成要素の機能の詳細については、後ほど詳しく説明する。

図示していないが、マニピュレータコントローラ５０、ローカライザコントローラ６２、及び視覚コントローラ６４のそれぞれは、そのコンピュータ実行可能命令の実行時に、本明細書に記載されたコントローラの機能、特徴、及び処理を実施するように構成されたデータ及びソフトウェアを含むプロセッサ、メモリ、及び不揮発性ストレージを含むこともできる。

手術システム１０の実施例を図１に示し、さらに詳細を図２に示しているが、本実施例は限定することを意図していない。実際には、手術システム１０は、より多くの構成要素又はより少ない構成要素を有していてもよく、代替の構成要素及び／又は実施態様を使用してもよい。例えば、ローカライザエンジン７６の全て又は一部は、ローカライザコントローラ６２によって実施されてもよい。一実施例を挙げると、ローカライザコントローラ６２は、モデルデータ８２に基づいて、トラッカ３４、３６、３８にしっかりと取り付けられたオブジェクトの位置を示すローカライザデータを生成するように構成されてもよい。

図３は、手術システム１０と共に使用される様々なオブジェクト及びデバイスの座標系を示す。ナビゲーションコントローラ２２は、変換エンジン７８などを介して、ナビゲーションコントローラ２２に保存された変換データ８３において定められる位置関係などに基づいて、ある座標系におけるオブジェクトの位置を別の座標系におけるオブジェクトの位置に変換するように構成されてもよい。そのような変換は、ナビゲーションコントローラ２２が共通座標系に対して手術システム１０内のオブジェクトを追跡することを可能にし得る。さらに、この変換は、視覚エンジン８０などを介して、ナビゲーションコントローラ２２が、位置特定エンジン７６によって生成された位置特定データに基づいて視覚デバイス４０によって生成されることになる予想深度マップを計算し、視覚デバイス４０によって生成された実深度マップと予想深度マップとの比較に基づいてオブジェクトを特定し追跡することを可能にし得る。非限定的な一実施例として、変換データ８３によって定められ、座標系間の変換を可能にする位置関係のそれぞれは、変換データ８３によって定められる変換行列によって表されてもよい。

ナビゲーションコントローラ２２は、ローカライザ座標系ＬＣＬＺを基準にして、トラッカ３４、３６、３８に取り付けられた標的部位内のオブジェクトなど、標的部位内のオブジェクトを追跡するように構成され得る。ローカライザ座標系ＬＣＬＺは、原点及び向きを含むことができ、これらは手術作業空間に対するｘ軸、ｙ軸、及びｚ軸の位置によって定められ得る。ローカライザ座標系ＬＣＬＺは、ローカライザ１８に固定され、ローカライザ１８を中心とすることができる。具体的には、ローカライザ１８の中心点が、ローカライザ座標系ＬＣＬＺの原点を定めてもよい。ローカライザデータは、上記のように、ローカライザ１８を用いて判定されたローカライザ１８に対するオブジェクトの位置を示すことができ、ローカライザ座標系ＬＣＬＺにおけるそのようなオブジェクトの位置を同様に示すことができる。

この処置を通して、ローカライザ座標系ＬＣＬＺを既知の位置に保持することが１つの目標である。ローカライザ１８が手術要員によって不注意でぶつけられたときに起こり得るような、ローカライザ座標系ＬＣＬＺの突然の又は予期せぬ移動を検出するために、加速度計がローカライザ１８に取り付けられてもよい。ローカライザ座標ＬＣＬＺの検出された移動に応答して、ナビゲーションコントローラ２２は、手術ナビゲータ８１などを介して、ユーザインターフェース２４によって外科医に対して警告を提示すること、手術ナビゲーションを停止すること、及び／又は手術システム１０が較正し直されるまで、マニピュレータコントローラ５０に手術器具１６の移動を停止させる信号をマニピュレータコントローラ５０へ伝達するように構成されてもよい。

手術システム１０によって追跡される各オブジェクトは、オブジェクトに固定されオブジェクトを中心とする、ローカライザ座標系ＬＣＬＺとは別の独自の座標系を有することもできる。例えば、トラッカ３４、３６、３８は、それぞれ骨トラッカ座標系ＢＴＲＫ１、骨トラッカ座標系ＢＴＲＫ２、及び器具トラッカ座標系ＴＬＴＲ内に固定され、その中心に置かれてもよい。患者の大腿骨Ｆは、大腿骨座標系ＦＢＯＮＥ内に固定され、その中心に置かれてもよく、患者の脛骨Ｔは、脛骨座標系ＴＢＯＮＥ内に固定され、中心が定められてもよい。外科処置より前に、大腿骨Ｆ、脛骨Ｔ、及び手術器具１６などの各被追跡オブジェクトの術前画像及び／又は仮想モデルは、オブジェクトの座標系における定位置に従って、例えばオブジェクトの座標系にマッピングされ、その座標系内に固定されるなどにより、オブジェクトにマッピングされてもよい。

外科処置の初期段階を通して、トラッカ３４、３６は、それぞれ患者の大腿骨Ｆ及び脛骨Ｔにしっかりと取り付けられ得る。そして、座標系ＦＢＯＮＥ及びＴＢＯＮＥの位置を、それぞれ座標系ＢＴＲＫ１及びＢＴＲＫ２にマッピングすることができる。例えば、参照により本明細書に組み込まれるＭａｌａｃｋｏｗｓｋｉ ｅｔ ａｌ．に対する米国特許第７，７２５，１６２号などに開示されている、独自のトラッカＰＴを有するポインタ器具Ｐ（図１）を使用して、大腿骨座標系ＦＢＯＮＥ及び脛骨座標系ＴＢＯＮＥを、それぞれ骨トラッカ座標系ＢＴＲＫ１及びＢＴＲＫ２へ位置合わせをしてもよい。大腿骨座標系ＦＢＯＮＥと骨トラッカ座標系ＢＴＲＫ１との一定の位置関係、及び脛骨座標系ＴＢＯＮＥと骨トラッカ座標系ＢＴＲＫ２との一定の位置関係を、変換データ８３としてナビゲーションコントローラ２２に保存することができる。

大腿骨Ｆ及び脛骨Ｔとそれらのトラッカ３４、３６との一定の空間的関係が与えられると、変換エンジン７８などを介して、ナビゲーションコントローラ２２は、大腿骨座標系ＦＢＯＮＥにおける大腿骨Ｆの位置を、骨トラッカ座標系ＢＴＲＫ１における大腿骨Ｆの位置に変換することができ、脛骨座標系ＴＢＯＮＥにおける脛骨Ｔの位置を、骨トラッカ座標系ＢＴＲＫ２における脛骨Ｔの位置に変換することができる。このようにして、ローカライザ１８を用いて位置特定座標系ＬＣＬＺにおけるトラッカ３４、３６の位置を判定することにより、ナビゲーションコントローラ２２は、それぞれ位置特定座標系ＬＣＬＺにおける大腿骨座標系ＦＢＯＮＥの位置及び脛骨座標系ＴＢＯＮＥの位置を判定することができ、それに対応して、それぞれ位置特定座標系ＬＣＬＺにおける大腿骨Ｆ及び脛骨Ｔの位置を判定することができる。

同様に、手術器具１６の治療端は、その座標系ＥＡＰＰ内に固定され、その中心に置かれ得る。座標系ＥＡＰＰの原点は、例えば、外科用切削バーの重心に固定されてもよい。座標系ＥＡＰＰの位置と、それに対応して手術器具１６の治療端の位置とは、処置が開始する前に、トラッカ３８の器具トラッカ座標系ＴＬＴＲ内に固定されてもよい。座標系ＥＡＰＰと器具トラッカ座標系ＴＬＴＲとの一定の位置関係はまた、変換データ８３としてナビゲーションコントローラ２２に保存されてもよい。このようにして、ローカライザ１８を用いて位置特定座標系ＬＣＬＺにおける器具トラッカ座標系ＴＬＴＲの位置を判定することにより、変換エンジン７８などを介して、ナビゲーションコントローラ２２は、器具トラッカ座標系ＴＬＴＲと座標系ＥＡＡＰとの位置関係に基づいて位置特定座標系ＬＣＬＺにおける座標系ＥＡＰＰの位置を判定することができ、それに対応して、位置特定座標系ＬＣＬＺにおける手術器具１６の治療端の位置を判定することができる。

視覚デバイス４０は、同様に、視覚座標系ＶＩＳ内に固定され、その中心に置かれ得る。視覚座標系ＶＩＳの原点は、視覚デバイス４０の重心に相当してもよい。視覚デバイス４０によって生成された各実深度マップは、上記のように、視覚デバイス４０に対する標的部位内の露出表面の位置を示すことができ、座標系ＶＩＳにおける露出表面の位置を同様に示すことができる。

図１などに示されるように、視覚デバイス４０がローカライザ１８と一体化されているときには、視覚座標系ＶＩＳとローカライザ座標系ＬＣＬＺとは等価であるとみなされ得る。言い換えれば、ローカライザ座標系ＬＣＬＺ内のオブジェクト又は座標系の位置が、視覚座標系ＶＩＳ内のオブジェクト又は座標系の位置に非常に近いか又は等しいので、変換は必要ない。あるいは、視覚座標系ＶＩＳは、視覚デバイス４０がローカライザ１８と一体化されているときには、ローカライザ座標系ＬＣＬＺ内に固定され得、逆の場合も同様であるので、視覚座標系ＶＩＳとローカライザ座標系ＬＣＬＺとの位置関係、及びそれに対応して視覚デバイス４０とローカライザ１８との位置関係は、手術システム１０の製造中に決定され得、変換データ８３としてナビゲーションコントローラ２２内に工場で記憶されてもよい。

視覚デバイス４０がローカライザ１８から分離しているとき、視覚デバイス４０は、視覚座標系ＶＩＳとローカライザ座標系ＬＣＬＺとの位置関係、及びそれに対応して、視覚デバイス４０とローカライザ１８との位置関係を確立するために、視覚デバイス４０のハウジングに堅固に取り付けられたトラッカ（図示せず）を含むことができる。ナビゲーションコントローラ２２には、トラッカの座標系と視覚座標系ＶＩＳとの位置関係が変換データ８３として予め登録されていてもよい。このようにして、ローカライザ１８を用いて位置特定座標系ＬＣＬＺにおけるトラッカの座標系の位置を判定することにより、ナビゲーションコントローラ２２は、トラッカの座標系と視覚座標系ＶＩＳとの保存されている位置関係に基づいて、位置特定座標系ＬＣＬＺにおける視覚座標系ＶＩＳの位置を判定することができ、それに対応して、ローカライザ座標系ＬＣＬＺにおける視覚デバイス４０の位置を判定することができる。さらに、それに対応して、ナビゲーションコントローラ２２は、ローカライザ座標系ＬＣＬＺ及び視覚座標系ＶＩＳにおけるローカライザ１８に対する視覚デバイス４０の位置を判定することができる。

あるいは、ナビゲーションコントローラ２２は、標的部位に挿入され、ローカライザ１８及び視覚デバイス４０の両方によって検出可能な共通の光パターンに基づいて、ローカライザ共通座標系ＬＣＬＺと視覚座標系ＶＩＳとの位置関係を特定するように構成されてもよい。例えば、ローカライザ１８及び視覚デバイス４０が標的部位を視野に入れて配置された後に、非可視光などの光のパターンが標的部位に投影されてもよく、その標的部位が、その光のパターンをローカライザ１８及び視覚デバイス４０へ反射し返してもよい。ナビゲーションコントローラ２２は、視覚デバイス４０の光源４４に、この光パターンを標的部位に投影させてもよく、又は別の光プロジェクタ（図示せず）を使用して光パターンを投影させてもよい。さらなる実施例として、ローカライザ１８及び視覚デバイス４０によって検出可能な光のパターンを送出するように構成されたマーカを有する、トラッカ、又はポインタＰＴ（図１）などの他の物理デバイスを、標的部位内に、かつローカライザ１８及び視覚デバイス４０の視野内に配置してもよい。

ナビゲーションコントローラ２２は、ローカライザエンジン７６などを介して、ローカライザ１８を用いて、ローカライザ１８に特化したローカライザ座標系ＬＣＬＺにおける光パターンの位置を示す位置特定データを生成するように構成され得る。ナビゲーションコントローラ２２はまた、視覚デバイス４０から光パターンを示す較正深度マップを受け取ることができ、変換エンジン７８などを介して、視覚座標系ＶＩＳにおける光パターンの位置を較正深度マップに基づいて特定するように構成されてもよい。そして、ナビゲーションコントローラ２２は、変換エンジン７８などを介して、回帰アルゴリズムなどを用いて、位置特定座標系ＬＣＬＺ及び視覚座標系ＬＣＬＺにおける投影パターンの判定された位置に基づいて、位置特定座標系ＬＣＬＺと視覚座標系ＬＣＬＺとの位置関係を判定するように構成されてもよい。

図４は、トラッカをベースにした位置特定と機械視覚とを用いて、手術作業空間内のオブジェクトを追跡し、オブジェクトが手術計画を妨害するかどうかを判定するための方法１００を示す。方法１００は、手術ナビゲーションシステム１２によって、より詳細には、ナビゲーションコントローラ２２によって実行され得る。

ブロック１０２では、共通座標系におけるローカライザ１８と視覚デバイス４０との位置関係を特定することができる。具体的には、変換エンジン７８などを介して、ナビゲーションコントローラ２２は、上記の方法のいずれかを用いて、ローカライザ１８と視覚デバイス４０との位置関係を特定し、それに対応してローカライザ座標系ＬＣＬＺと視覚座標系ＶＩＳとの位置関係を特定するように構成してもよい。例えば、視覚デバイス４０にトラッカを固定してもよく、又はローカライザ１８及び視覚デバイス４０の両方によって検出可能な標的部位に光パターンを配置してもよい。あるいは、製造時にローカライザ１８が視覚デバイス４０と一体化されるか、又は別の方法で視覚デバイス４０に対して固定されるときには、製造時に位置関係を決定し、ナビゲーションコントローラ２２に変換データ８３として予め記憶してもよい。

ブロック１０４では、変換データ８３などに基づいて、標的部位内の１つ以上のオブジェクトに対応する仮想モデルにアクセスすることができる。変換データ８３は、トラッカ３４、３６、３８などのトラッカが取り付けられる標的部位内のオブジェクトを示すことができる。ナビゲーションコントローラ２２は、トラッカに取り付けられたオブジェクトのそれぞれについて仮想モデルを取得するように構成してもよい。いくつかの例では、これらの取得された仮想モデルの１つ以上が、外科処置中に処理されることになる標的体積を画定することもできる。

図５は、膝関節置換術を受けている患者の標的部位２００を示す。標的部位２００は、手術器具（例えば、手術器具１６）で除去すべき骨組織の標的体積２０２を含み得る、患者の大腿骨Ｆの一部を含むことができる。標的部位２００は、靭帯２０４及び表皮組織２０６など、標的体積２０２に隣接する軟組織をさらに含むことができる。標的部位２００は、表皮組織２０６を引き込み、患者の大腿骨Ｆへのアクセスを提供するように配置された開創器２０８などの手術具を含むこともできる。標的部位２００は、さらに、患者の大腿骨Ｆにしっかりと取り付けられたトラッカ２０９を含んでもよい。したがって、ナビゲーションコントローラ２２は、モデルデータ８２から大腿骨Ｆに対応する仮想モデルを取得することができ、その例が図６に示されている。

再び図４を参照すると、ブロック１０６では、標的部位内のトラッカに取り付けられたオブジェクトの位置を、ローカライザ１８を使用して検出することができる。具体的には、ローカライザ１８を、上記のように、ローカライザ座標系ＬＣＬＺにおける各トラッカ座標系の位置を示し、それに対応して各トラッカの位置を示す光学ベースのデータを生成するように構成してもよい。そして、ナビゲーションコントローラ２２は、位置特定エンジン７６などを介して、例えばトラッカ及びそれらの座標系の検出位置、ならびに変換データ８３に示されるトラッカとオブジェクトとの位置関係などに基づいて、ローカライザ座標系ＬＣＬＺにおける、トラッカに取り付けられたオブジェクトの座標系の位置を特定し、それに対応してオブジェクトの位置を特定するように構成してもよい。トラッカに取り付けられた各オブジェクトの仮想モデルは、変換データ８３内のオブジェクトの座標系にマッピングすることができるので、ナビゲーションコントローラ２２は、同様に、オブジェクトが取り付けられたトラッカの検出位置、及びトラッカとオブジェクトとの位置関係に基づいて、トラッカに取り付けられた各オブジェクトの仮想モデルのローカライザ座標系ＬＣＬＺにおける位置を特定することができる。

図６は、図５の標的部位２００の続きを示し、標的部位２００内でトラッカ２０９に取り付けられ得る、患者の大腿骨Ｆに対応し得る仮想モデル２１０を示す。仮想モデル２１０は、ローカライザ１８で決定されたローカライザ座標系ＬＣＬＺにおけるトラッカ２０９及び大腿骨Ｆの位置に応じて、ローカライザ座標系ＬＣＬＺ内に配置されてもよい。仮想モデル２１０は、治療中に大腿骨Ｆから切除されることになる仮想標的体積２１２を画定することができ、これは図５に示す標的体積２０２に対応し得る。

ブロック１０８では、例えば、アクセスされた仮想モデル、ローカライザ座標系ＬＣＬＺにおける仮想モデルに対応するオブジェクトの検出位置、及び共通座標系におけるローカライザ１８と視覚デバイス４０との位置関係などに基づいて、予想深度マップを生成する。上記のとおり、ローカライザ座標系ＬＣＬＺにおける仮想モデルの位置は、ローカライザ１８を用いて決定されたローカライザ座標系ＬＣＬＺにおけるオブジェクトの位置に対応することができる。ナビゲーションコントローラ２２は、視覚エンジン８０などを介して、共通座標系におけるローカライザ１８と視覚デバイス４０との位置関係、及びそれに対応してローカライザ座標系ＬＣＬＺと視覚座標系ＶＩＳとの位置関係に基づいて、ローカライザ座標系ＬＣＬＺにおける仮想モデルの位置を視覚座標系ＶＩＳにおける仮想モデルの位置へ変換するように構成してもよい。

その後、ナビゲーションコントローラ２２は、視覚座標系ＶＩＳにおける仮想モデルの位置に基づいて、予想深度マップを生成することができる。上記のように、視覚デバイス４０によって生成された深度マップは、標的部位内のブ露出したオジェクト表面の視覚デバイス４０に対する位置（例えば、深度及び場所）を示し得る。視覚座標系ＶＩＳにおける仮想モデルの位置は、仮想モデルによって表されるオブジェクト表面の視覚デバイス４０に対する位置を直ちに示すことができ、視覚座標系ＶＩＳ内に固定することができる。したがって、ナビゲーションコントローラ２２は、標的部位に他のオブジェクトが全く無いと仮定して、視覚エンジン８０などを介して、視覚座標系ＶＩＳにおける仮想モデルの判定された位置に基づいて、標的部位を視野に入れた視覚デバイス４０が生成されると予想される深度マップをシミュレートするように構成されてもよい。

図７は、図６の仮想モデル２１０に基づいて生成され得る予想深度マップを示す。図７の予想深度マップは、靭帯２０４、表皮組織２０６、開創器２０８、及びトラッカ２０９などの他のオブジェクトが標的部位に存在しないと仮定して、視覚座標系ＶＩＳにおける仮想モデル２１０の変換された位置に従って、患者の大腿骨Ｆの視覚デバイス４０によって生成されると予想される深度マップをシミュレートすることができる。図７の予想深度マップはまた、より詳細に後述するが、関心領域にトリミングされている場合がある。

ブロック１１０では、視覚デバイス４０によって取り込まれた実深度マップを受け取ることができる。具体的には、ブロック１０６において、ローカライザ１８が、標的部位内のトラッカに取り付けられたオブジェクトの位置を示すローカライザデータを生成するのと同時に、視覚デバイス４０が上記のように標的部位の深度マップを生成し得る。このようにして、深度マップは、位置特定データと時間的にインターリーブされてもよく、位置特定データに基づいて生成された推定深度マップとも時間的にインターリーブされてもよい。言い換えれば、実深度マップ及び予想深度マップは両方とも、外科処置中の実質的に同一時点における標的部位を表すことができる。

図８は、図５に描かれた標的部位２００を視野に入れた視覚デバイス４０によって生成され得る深度マップを示しており、分かりやすくするためにトラッカ２０９が除去されている。深度マップは、ピクセルに類似して、マトリクス状に配列され、深度マップの画像フレームを形成する、いくつかの画像構成要素を含むことができる。ボックス２１４は、画像構成要素の１つの例を強調するために、図示された深度マップ上に人為的に配置されたものである。深度マップ画像フレームにおける各画像構成要素の場所は、視覚デバイス４０の中心視点からの水平距離及び垂直距離を表し得、各画像構成要素の輝度は、画像構成要素によって表されるオブジェクト表面点の視覚デバイス４０からの距離に対応し得る。図示の例では、明るい画像構成要素は、視覚デバイス４０に近い標的部位の表面点を表し、暗い画像構成要素は、視覚デバイス４０から遠い標的部位の表面点を表す。

ブロック１１２では、実深度マップは、ブロック１０４においてアクセスされた仮想モデル、ローカライザ座標系ＬＣＬＺにおける仮想モデルに対応するオブジェクトの検出位置、及び共通座標系におけるローカライザ１８と視覚デバイス４０との位置関係などに基づいて、外科処置のための関心領域（ＲＯＩ）にトリミングすることができる。以下にさらに詳細に説明するように、実深度マップを予想深度マップと比較して、標的部位内のオブジェクトを特定し、そのようないずれかのオブジェクトが標的部位内の標的体積の治療を妨害する可能性があるかどうかを判定することができる。比較される実深度マップ及び予想深度マップの寸法が大きいほど、比較に必要とされる計算量が多くなる。したがって、ナビゲーションコントローラ２２は、視覚エンジン８０などを介して、比較された深度画像の寸法を減らすために、視覚座標系ＶＩＳにおける仮想モデルの位置に基づいて、実深度マップをＲＯＩにトリミングするように構成されてもよい。上記のように、視覚座標系ＶＩＳにおける仮想モデルの位置は、決定されたオブジェクトローカライザ座標系ＬＣＬＺの位置と、共通座標系におけるローカライザ１８と視覚デバイス４０との位置関係とに基づいて決定されてもよい。

例えば、ブロック１０４においてアクセスされた仮想モデルは、外科処置の間に治療すべき標的体積を画定し得る。したがって、視覚座標系ＶＩＳにおける仮想モデルの位置は、視覚座標系ＶＩＳにおける標的体積の位置を示すことができ、それに対応して、視覚デバイス４０によって生成された実深度マップにおける標的体積の位置を示すことができる。ナビゲーションコントローラ２２は、視覚エンジン８０などを介して、実深度マップをトリミングして、視覚座標系ＶＩＳにおける標的体積の位置から閾値距離よりも大きい任意の領域を除去するように構成してもよい。追加又は代替として、視覚エンジン８０などを介して、ナビゲーションコントローラ２２は、ユーザが選択した形状又は処置に特定的な形状を実深度マップ内の標的体積の位置の中心に合わせ、実深度マップの形状外の領域を除去するように構成してもよい。ナビゲーションコントローラ２２は、予想深度マップの計算中又は計算後などに、予想深度マップの寸法及び形状を、トリミングされた実深度マップの寸法及び形状に収めるように構成してもよい。

図９は、図６の大腿骨Ｆに対応する仮想モデル２１０に基づいてＲＯＩにトリミングされた図８の実深度マップを示す。仮想モデル２１０は、外科処置中に治療すべき標的体積２０２に対応する仮想標的体積２１２を画定し得る。ナビゲーションコントローラ２２は、実深度マップでの標的体積の位置を示し得る、視覚座標系ＶＩＳにおける標的体積の決定された位置に基づいて、例えば、深度マップにおける標的体積の中心に選択された形状を置き、その形状の外側の深度マップの領域を除去することなどにより、図８の実深度マップをトリミングすることができる。図７の予想深度マップも同様に、トリミングされた実深度マップの寸法及び形状に収められる。

ブロック１１４及びブロック１１６では、予想深度マップに一致しない深度マップの部分を特定する。具体的には、ブロック１１４では、実深度マップと予想深度マップとの差分を計算することなどにより、実深度マップを予想深度マップと比較することができる。ナビゲーションコントローラ２２は、視覚エンジン８０などを介して、予想深度マップ及び実深度マップ内の各対応する画像構成要素のペアでの深度の差分を計算することにより、予想深度マップと実際の深度との差分を計算するように構成してもよい。予想深度マップ及び実深度マップ内の対応する画像構成要素のペアは、各深度マップの画像構成要素を同じ水平方向の場所及び垂直方向の場所に含むことができる。ブロック１１２において実深度マップがＲＯＩにトリミングされたと仮定すれば、ブロック１１４で比較される深度マップはトリミングされた深度マップであってもよい。

実深度マップと推定深度との差分は、例えば、取り付けられたトラッカを使用して適切に追跡されていないか、又は追跡できないオブジェクト（例えば、軟組織、外科医の手）など、標的部位内に、まだ特定されておらず、追跡されていないオブジェクトがあることを示している可能性がある。この差分は、差分深度マップによって表すことができ、差分深度マップの各画像構成要素は、差分深度マップ内の画像構成要素と同じ水平位置及び垂直位置で実深度マップ及び予想深度マップ内に位置する対応する画像構成要素について計算された深度の差を示す。図１０は、図９の実深度マップと図７の予想深度マップとの間で計算された差分深度マップを示す図である。

同じ深度を示す実深度マップ及び予想深度マップからの対応する画像構成要素は、深度差がゼロとなり、トラッカ及びローカライザ１８などを使用して以前に特定され追跡されたオブジェクトに対応する可能性がある。ゼロ深度差は、差分の深度マップでは、最大輝度を有する、又はゼロ深度に特有の色及び／又は色相を有する、画像構成要素によって表され得る。図１０の差分深度マップでは、領域２１６、２１８、及び２２０は、ゼロの深度差を有する実深度マップ及び予想深度マップからの対応する画像構成要素を表す。

同じ深度を示さない実深度マップ及び予想深度マップの対応する画像構成要素は、ゼロでない深度差となり、トラッカ及びローカライザ１８などを使用して以前に特定されておらず追跡されていないオブジェクトに対応する可能性がある。ゼロでない深度差は、差分の深度マップでは、最大輝度よりも小さい輝度の画像構成要素、又はゼロ深度に特有の色及び／又は色相とは異なる色の画像構成要素を用いて表され得る。図１０の差分深度マップでは、領域２１６、２１８、及び２１０に隣接するより暗い領域は、深度差がゼロでない実深度マップ及び予想深度マップの対応する画像構成要素を表す。

ブロック１１６では、計算した差分を、１つ以上のオブジェクト閾値に基づいてフィルタ処理することができる。オブジェクト閾値は、ノイズ又は無視できる較正の不正確さに起因するゼロでない差分と、標的部位内の追加オブジェクトの存在に起因するゼロでない差分とを区別するように設計することができる。オブジェクト閾値は、限定されないが、閾値深度及び／又は最小サイズ閾値を含み得、これらのそれぞれは非ゼロであり得る。

一実施例を挙げると、差分深度マップの１つ以上の非ゼロセクションのそれぞれについて、ナビゲーションコントローラ２２は、非ゼロセクションが深度閾値よりも大きい絶対深度を示すかどうかを判定するように構成してもよい。具体的には、差分深度マップは、１つ以上の非ゼロセクションを含み、非ゼロセクションのそれぞれは、それぞれが非ゼロの深度差を示す連続した画像構成要素の集合を含み得る。差分深度マップの非ゼロセクションは、非ゼロセクションの各画像構成要素によって示される非ゼロ深度差の大きさ（符号は参照しない）が深度閾値よりも大きい場合、深度閾値よりも大きい絶対深度を有すると見なされ得る。差分の非ゼロセクションが閾値深度よりも大きい絶対深度を示すと判定することに応答して、ナビゲーションコントローラ２２は、例えば、実深度マップのセクションが、差分深度マップでの非ゼロセクションと実深度マップにおいて同じ水平位置及び垂直位置にあることなどにより、推定深度マップに一致しない実深度マップの部分として、差分の非ゼロセクションに対応する実深度マップのセクションを特定するように構成してもよい。

さらなる実施例として、差分の各非ゼロセクションについて、ナビゲーションコントローラ２２は、非ゼロセクションのサイズ（例えば、面積）が最小サイズ閾値よりも大きいかどうかを判定するように構成してもよい。非ゼロセクションのサイズが最小サイズ閾値よりも大きいと判定することに応答して、ナビゲーションコントローラ２２は、視覚エンジン８０などを介して、例えば、実深度マップのセクションが、差分深度マップでの非ゼロセクションと実深度マップにおいて同じ水平位置及び垂直位置にあることなどにより、予想深度マップに一致しない実深度マップの部分として、差分の非ゼロセクションに対応する実深度マップのセクションを特定するように構成してもよい。

別の実施例では、ナビゲーションコントローラ２２は、非ゼロセクションのサイズが最小サイズ閾値よりも大きく、非ゼロセクションが閾値深度よりも大きい絶対深度を示すと判定することに応答して、推定深度マップに一致しない実深度マップの部分として、差分の非ゼロセクションに対応する実深度マップのセクションを特定するように構成してもよい。

ブロック１１８では、フィルタ処理された差分に基づいて、標的部位にオブジェクトが存在するかどうかの判定を行うことができる。具体的には、視覚エンジン８０などを介して、ナビゲーションコントローラ２２は、予想深度マップと一致しない実深度マップの部分が特定されたかどうかを判定するように構成してもよい。特定されていない場合（ブロック１１８の「Ｎｏ」分岐）、方法１００はブロック１０６に戻って、ローカライザ１８を使用して、トラッカが取り付けられたオブジェクトの位置を再び検出することができる。特定されたならば（ブロック１１８の「Ｙｅｓ」分岐）、方法１００はブロック１２０に進み、予想深度マップに一致しない実深度マップの部分に機械視覚技法を適用することにより、標的部位内のオブジェクトを認識することができる。

ブロック１２０では、視覚エンジン８０などを介して、ナビゲーションコントローラ２２は、機械視覚技法を、予想深度マップに一致しない実深度マップの特定された部分に適用して、特定された部分から標的部位内のオブジェクトを認識するように構成してもよい。例えば、限定するものではないが、ナビゲーションコントローラ２２は、パターン認識、エッジ検出、色認識、波長分析、画像構成要素強度分析（例えば、ピクセル又はボクセル強度分析）、深度分析、及び機械学習を通じて生成された測定基準を利用して、実深度マップの特定された部分で表されるオブジェクトの間をセグメント化するように構成してもよい。いくつかの実施例として、エッジによって分けられた特定部分の領域、異なる規則的なパターンを有する領域、異なるカラーパレットを有する領域、及び／又は異なる深度範囲を示す領域は、異なるオブジェクトに対応し得る。さらなる実施例として、標的部位内の異なるオブジェクト（例えば、異なる組織）の表面は、視覚デバイス４０によって反射されて検出される信号において、異なる波長及び／又は異なる強度を生じさせる可能性がある。視覚デバイス４０は、実深度マップの画像構成要素ごとにそのような情報を出力するように構成してもよく、この情報に基づいて、ナビゲーションコントローラ２２は、実深度マップの特定された部分にわたって生じる様々な波長及び／又は信号強度に基づいて、特定された部分における異なるオブジェクトをセグメント化するように構成してもよい。ナビゲーションコントローラ２２が、機械視覚を用いて特定された部分に複数のオブジェクトを発見できない場合には、ナビゲーションコントローラ２２は、特定された部分全体を標的部位内の単一のオブジェクトと見なすように構成してもよい。

加えて又は代わりに、ナビゲーションコントローラ２２は、視覚エンジン８０などを介して、ナビゲーションコントローラ２２に保存されたモデルデータ８２などに基づいて、実際の深度の特定された部分におけるオブジェクトを特定するように構成してもよい。特定は、例えば、オブジェクトを靭帯、開創器、表皮組織などと特定することなど、オブジェクトの種類を記述する実深度マップで表される各オブジェクトのラベルを特定することができるという点で、特定はセグメント化とは異なり得る。標的部位における各オブジェクトを特定すると、視覚エンジン８０などを介して、ナビゲーションコントローラ２２が、オブジェクトの表面だけとは対照的にオブジェクト全体をモデル化し、外科処置中のオブジェクトの動き及び他の反応をより良く予測することが可能になる可能性があり、これにより、ナビゲーションコントローラ２２の手術ナビゲータ８１が、ますます情報に基づいたナビゲーション決定を行うことができるようになる可能性がある。

上記のように、ナビゲーションコントローラ２２に保存されたモデルデータ８２は、標的部位に潜在的に存在するオブジェクトに対応する３次元モデルを定義することができる。モデルデータ８２はまた、標的部位に潜在的に存在する様々なオブジェクトに対する所定のプロファイルを定義することもでき、各プロファイルは、実深度マップからオブジェクトを特定する際にナビゲーションコントローラ２２を支援する、オブジェクトに特定的な１つ以上の特徴を定めるものである。例えば、所与のオブジェクトのプロファイルは、限定されるものではないが、カラーパレット、波長範囲、信号強度範囲、距離又は深度範囲、面積、体積、形状、偏光、及びオブジェクトに対応する学習又は統計モデルからのディープメトリック出力の１つ以上を含んでもよい。所与のオブジェクトのプロファイルはまた、上記の患者スキャンから生成されたものなど、オブジェクトの３次元モデルを含んでいてもよい。

したがって、ナビゲーションコントローラ２２は、実深度マップの特定された部分に基づいて、特定された部分の少なくとも一部を、予め定義されたプロファイルの１つ、すなわちオブジェクトに対応する予め定義されたプロファイルと一致させることにより、推定深度マップに一致しないオブジェクトを特定するように構成してもよい。そして、ナビゲーションコントローラ２２は、プロファイルに対応する特定のオブジェクトとして、実深度マップの特定された部分の少なくとも一部にラベルを付けるように構成してもよく、その結果、これはローカライザオブジェクトに隣接すると見なされ得る。

代替実施例では、ユーザは、ナビゲーションコントローラ２２によってセグメント化された特定された部分のオブジェクトを手動で選択するために、及び／又は選択されたオブジェクトに対する予め定義されたプロファイルを選択するために、ユーザインターフェース２４とインタラクトすることができる。ユーザはまた、ユーザインターフェース２４とインタラクトして、特定された部分などにおける実深度マップによって表されるオブジェクトを手動でトレースすること、及び／又はトレースされたオブジェクトのための予め定義されたプロファイルを選択することができる。その後、ナビゲーションコントローラ２２は、選択された、セグメント化されたオブジェクト、又はトレースされたオブジェクトに、選択された予め定義されたプロファイルに対応するラベルを付け、それに応じて、選択されたオブジェクト、又はトレースされたオブジェクトを追跡するように構成してもよい。

ブロック１２２では、実深度マップから認識された各オブジェクトの位置を、視覚座標系ＶＩＳ又はローカライザ座標系ＬＣＬＺなど、局所オブジェクトと共通の座標系で判定することができる。例えば、視覚エンジン８０などを介して、ナビゲーションコントローラ２２は、深度マップから認識された各オブジェクトの位置と、局所オブジェクトによって定義され得る標的体積に対する共通座標系における各局所オブジェクトの位置とを判定するように構成することができ、ナビゲーションコントローラ２２が、認識オブジェクト及び／又は局所オブジェクトのいずれかが、標的体積を治療するための障害となるかどうかを判定することができるようにする。

ナビゲーションコントローラ２２は、ローカライザ１８を用いたローカライザ座標系ＬＣＬＺにおける局所オブジェクトの検出された場所、実深度マップにおける認識オブジェクトの場所、及びナビゲーションコントローラ２２に保存されている変換データ８３によって定義され得る、共通座標系におけるローカライザ１８と視覚デバイス４０との位置関係に基づいて、局所オブジェクトに対する各認識オブジェクトの位置を判定するように構成してもよい。上記のとおり、実深度マップにおける認識オブジェクトの位置は、視覚座標系ＶＩＳにおける認識オブジェクトの位置を示すことができる。例えば、認識オブジェクトを形成する実深度マップの各画像構成要素は、視覚デバイス４０の中心視点から視覚座標系ＶＩＳにおける位置までのベクトルを表し得る。実深度マップの画像フレームにおける各画像構成要素の位置は、ベクトルの水平成分及び垂直成分を示してもよく、各画像構成要素によって示される深度は、ベクトルの深度成分を表してもよい。

したがって、ナビゲーションコントローラ２２は、実深度マップにおけるオブジェクトの位置に基づいて、視覚座標系ＶＩＳにおける各認識オブジェクトの位置を判定してもよく、次に、ローカライザ１８と視覚デバイス４０との位置関係、視覚座標系ＶＩＳにおける各認識オブジェクトの位置、及び／又はローカライザ座標系ＬＣＬＺにおける各局所オブジェクトの位置を使用して、共通座標系における局所オブジェクトに対しての各認識オブジェクトの位置を判定するように構成してもよい。

ブロック１２４では、実深度マップから認識されたオブジェクト、及びローカライザ１８で局所化されたオブジェクトを含む各被追跡オブジェクトに対して、共通座標系におけるオブジェクトの判定された位置などに基づいて、共通座標系において、オブジェクトに対応する仮想境界を生成することができる。具体的には、視覚エンジン８０などを介して、ナビゲーションコントローラ２２は、共通座標系において仮想境界を生成して、手術器具１６などの手術具の動きに対して制約を与えるように構成してもよい。この目的のために、ナビゲーションコントローラ２２はまた、ローカライザ１８などを用いて、共通座標系における手術器具１６の移動を追跡するように構成してもよい。ナビゲーションコントローラ２２によって生成される仮想境界は、傷つきやすい解剖構造及び他の手術具を含む他のオブジェクトによって空間が占められる可能性があるため、手術器具１６が中に又は近くに移動すべきではない共通座標系の領域を画定することができる。

例えば、ナビゲーションコントローラ２２は、共通座標系における局所オブジェクトの判定された位置に従って、局所オブジェクトごとに記憶された３次元仮想モデルを共通座標系に挿入するように構成してもよい。ナビゲーションコントローラ２２に保存されたモデルデータ８２が、実深度マップの特定された部分から認識された所与のオブジェクトに対する３次元仮想モデルを定義するとき、ナビゲーションコントローラ２２は、共通座標系における所与の認識オブジェクトの判定された位置に従って、３次元仮想モデルを共通座標系に挿入するように構成してもよい。追加又は代替として、モデルデータ８２は、実深度マップの特定された部分から認識された所与のオブジェクトに対する１つ以上の基本幾何学的形状（例えば、球、円筒、ボックス）を示してもよい。この場合、ナビゲーションコントローラ２２は、実深度マップによって示されるオブジェクトの表面トポグラフィに基づいて、示された基本幾何学的形状をサイズ調整及び／又は配置し、サイズ調整及び／又は配置された基本幾何学的形状を、共通座標系における所与のオブジェクトの判定された位置に従って、共通座標系に挿入するように構成してもよい。追加又は代替として、例えば、実深度マップの特定された部分から認識された所与のオブジェクトに対して仮想モデル又は基本幾何学的形状が示されていないときなどでは、ナビゲーションコントローラ２２は、実深度マップに示されたオブジェクトの表面トポグラフィに基づいてメッシュ境界を構築し、共通座標系における所与のオブジェクトの判定された位置に従って、メッシュ境界を共通座標系に挿入するように構成してもよい。

さらなる実施例として、上記の技法の１つ以上に加えて、又はその代わりに、ナビゲーションコントローラ２２は、共通座標系における所与のオブジェクトの判定された位置に従って、共通座標系に力粒子を挿入することにより、共通座標系における所与のオブジェクトの境界を近似するように構成してもよい。具体的には、ナビゲーションコントローラ２２は、認識オブジェクトの表面上の様々な点を選択し、共通座標系における様々な点の判定された位置で、共通座標系に力粒子を配置するように構成してもよい。力粒子のそれぞれは、共通座標系で力粒子の近傍を移動する他のオブジェクトが、所定の距離内に入ることなどによって、反発するように構成してもよい。したがって、共通座標系における手術器具１６の追跡移動の間、力粒子は手術器具１６を反発させ、それによって手術器具１６が、力粒子によって構成されるオブジェクトに衝突することを防止することができる。認識オブジェクトの表面全体を表す仮想境界ではなく、認識オブジェクトの表面上の様々な点に対応する力粒子を共通座標系に挿入することで、比較的少ない処理帯域幅と少ないデータ量とを使用して、オブジェクトの仮想境界を生成することをもたらし得る。

例として、図１１～図１３は、図１０に示される差分に基づいて図７の予想深度マップに一致しない図９の実深度マップの特定された部分から認識された標的部位２００（図５）内のオブジェクトに対応する共通座標系内の仮想境界を示す。具体的には、図１１は、標的部位２００の開創器２０８に対応し、実深度マップに描かれた開創器仮想モデルを共通座標系で示した図、図１２は、標的部位２００の靭帯２０４に対応し、実深度マップに描かれた靭帯仮想モデルを共通座標系で示した図、図１３は、標的部位２００の表皮組織２０６に対応し、実深度マップに描かれた表皮組織仮想モデルを共通座標系で示した図である。代替実施例として、標的部位２００における靭帯２０４の仮想境界は、共通座標系における靭帯２０４の判定された位置に従って共通座標系に挿入される円柱などの基本幾何学的オブジェクトの形態であってもよく、標的部位２００における表皮組織２０６の仮想境界は、共通座標系における表皮組織２０６の判定された位置で共通座標系に挿入されるメッシュ面又は力粒子の形態であってもよい。

図１４は、実深度マップから認識されたオブジェクトと、ローカライザ１８で局所化された患者の大腿骨Ｆとの相対位置を共通座標系で示す。具体的には、図は、図１１～図１３の仮想モデルと、図６に例示された患者の大腿骨Ｆの仮想モデル２１０とを含むものである。外科処置の間、ナビゲーションコントローラ２２は、例えば手術ナビゲータ８１などを介して、共通座標系における手術器具１６の現在の位置に、手術器具１６に対する画像又は仮想モデルと共に図１４のイラストを表示し、ローカライザ１８で追跡されるなど、手術器具１６を標的体積２０２に導く際に外科医を支援するように構成され得る。

ブロック１２６では、被追跡オブジェクト及び／又は手術計画８４に基づいて、潜在的障害物が標的部位に存在するかどうかの判定を行うことができる。具体的には、手術ナビゲータ８１などを介して、ナビゲーションコントローラ２２は、実深度マップを形成する認識されたオブジェクトなどの被追跡オブジェクトの１つが、共通座標系における標的体積に対するオブジェクトの位置及び手術計画８４に基づいて、手術計画８４にとって障害となるかどうかを判定するように構成してもよい。例えば、手術計画８４は、標的体積を治療するための共通座標系を通る手術器具１６の計画された軌道を定義することができる。計画された軌道が被追跡オブジェクトのための仮想境界の１つとの衝突を引き起こす場合、ナビゲーションコントローラ２２は、障害物が存在すると判定するように構成されてもよい。

障害物が存在すると判定することに応答して（ブロック１２６の「Ｙｅｓ」分岐）、ブロック１２８において、改善措置がトリガされることがある。手術ナビゲータ８１などを介して、ナビゲーションコントローラ２２は、いくつかの利用可能なアクションのうちの１つ以上を実行することにより、改善措置をトリガするように構成されてもよい。一実施例を挙げると、オブジェクトが手術計画８４にとって障害物であると判定することに応答して、ナビゲーションコントローラ２２は、障害物を回避するために手術計画８４を変更するように構成されてもよい。例えば、ナビゲーションコントローラ２２は、障害物を回避するために手術器具１６の軌道を変更し、変更された手術計画８４をマニピュレータコントローラ５０に伝送して実施するように構成されてもよい。別の実施例として、ナビゲーションコントローラ２２は、障害物が取り除かれたことが、ナビゲーションコントローラ２２によって検出されるまで、手術ナビゲーションシステム１２によって提供される手術ガイダンス及びロボットマニピュレータ１４の移動を停止するように構成され得る。ナビゲーションコントローラ２２は、手術ナビゲーションシステム１２のユーザインターフェース２４を介して、障害物のアラーム及び／又は通知をトリガするように構成してもよい。さらなる実施例として、障害の原因となるオブジェクトが軟組織と特定されたとき、ナビゲーションコントローラ２２は、ユーザインターフェース２４を介して軟組織ガイダンスを提供するように構成してもよい。例えば、ナビゲーションコントローラ２２は、障害を引き起こしている軟組織オブジェクトの、標的部位における他のオブジェクトに対する位置を図示し、障害物を取り除くために軟組織を移動させるための提案を提供するように構成してもよい。ナビゲーションコントローラ２２は、軟組織ガイダンスを提供しながら、共通座標系における軟組織の位置を監視し続け、障害物の脅威が取り除かれたときにユーザに通知を行うように構成されてもよい。

改善措置のトリガ及び／又は克服（ブロック１２８）に続いて、又は障害物が識別されないことに応答して（ブロック１２６の「Ｎｏ」分岐）、ブロック１３０では、実深度から認識されたオブジェクトの移動が視覚デバイス４０を用いて追跡されてもよい。具体的には、視覚エンジン８０などを介して、ナビゲーションコントローラ２２は、視覚デバイス４０によってその後生成される追加の実深度マップにおいて認識されたオブジェクトに対応する実深度マップの部分の状態を監視するように構成されることにより、各認識オブジェクトの動きを追跡するように構成してもよい。続いて生成された実深度マップごとに予想深度マップを生成すること、予想深度マップと続く実深度マップとの差分を計算すること、及び保存されたプロファイルを差分に一致させることをするのではなく、続いて生成された深度マップで、以前に認識されたオブジェクトに対応すると判定された実深度マップの部分に対する変化に焦点を当てることにより、ナビゲーションコントローラ２２は、認識されたオブジェクトの移動を、ゆくゆくはスピードを上げて監視できる可能性がある。

より詳細には、認識されたオブジェクトに対応する実深度マップの各部分は、オブジェクトに特有の特徴の配列を示し、実深度マップの特定の位置に配置され得る。例えば、限定はしないが、特徴の配列は、オブジェクトに特有の幾何学的関係を有する頂点の配列、オブジェクトに特有の幾何学的関係を有するエッジ又はラインの配列、あるいはオブジェクトに特有の相対的及び幾何学的関係を有する深度の配列であり得る。さらに、オブジェクトの特徴の配列と、オブジェクトの他の部分との空間的関係が固定されていてもよい。

したがって、ナビゲーションコントローラ２２は、実深度におけるオブジェクトに特有の特徴の配列が、実深度マップにおける配置の位置と異なる追加の深度マップにおける位置に移動するかどうかを監視することにより、実深度マップから認識されるオブジェクトの移動を監視するように構成してもよい。移動する場合、ナビゲーションコントローラ２２は、追加深度マップにおけるオブジェクトに対応する特徴の配列の新しい位置に基づいて、共通座標系におけるオブジェクトの新しい位置を決定し、それに応じて共通座標系におけるオブジェクトに関連する仮想境界を更新するように構成してもよい。所与のオブジェクトの動きを監視するための特徴の配列は、オブジェクトのモデルデータ８２に示されていてもよく、又はユーザインターフェース２４を用いて実深度マップのオブジェクトに対応する部分の点を選択することにより、ユーザが手動で設定してもよい。

例えば、図１５は、図９に例示された実深度マップが生成された後に、視覚デバイス４０によって続いて生成される追加の実深度マップを例示する。図１５の追加深度マップの開創器２０８（図５）を表す部分の位置は、図９の深度マップのこの部分の位置と異なっており、開創器２０８が移動したことを示す。ナビゲーションコントローラ２２は、開創器２０８を表す部分にあり、開創器２０８の残りの部分に対して位置的に固定されている特定の特徴の配列の、以前の実深度マップに対する追加の深度マップにおける変化した位置を監視することにより、開創器２０８の係る動きを追跡するように構成してもよい。例えば、ナビゲーションコントローラ２２は、開創器２０８のヘッドとボディとの間の頂点２２２の配列の位置の変化について、追加の深度マップを監視してもよい。

頂点２２２の配列の位置の変化を判定することに応答して、ナビゲーションコントローラ２２は、図１５の追加の深度マップにおける頂点２２２の配列の更新された位置と、頂点２２２の配列と残りの開創器２０８との一定の位置関係とに基づいて、共通座標系における開創器２０８の更新された位置を判定するように構成してもよい。その後、ナビゲーションコントローラ２２は、更新された位置に基づいて、共通座標系における開創器２０８に関連する仮想境界を調節するように構成され得る。図１６は、図１５の追加の深度マップに描かれた頂点２２２の配列の新しい位置に応じて、共通座標系における開創器２０８の仮想境界、すなわち開創器２０８に対応する仮想モデルの位置を更新した図である。

本明細書では、機械視覚とトラッカベースの位置特定との組み合わせを使用して、手術作業空間内のオブジェクトを追跡するためのシステム及び方法を開示する。筋肉、皮膚、及び靭帯などの軟組織は柔軟な性質を持つため、通常、トラッカをベースにした位置特定は軟組織の追跡に適しているとは言えない。したがって、手術ナビゲーションシステムは、トラッカをベースにした位置特定を使用して手術作業空間内の剛性のオブジェクトの位置を検出することに加えて、手術作業空間内の露出表面の深度マップを生成するように構成された視覚デバイスを含むことができる。本手術ナビゲーションシステムは、位置特定を用いた標的部位におけるオブジェクトの検出位置、オブジェクトに対応する仮想モデル、及び共通座標系におけるローカライザと視覚デバイスとの位置関係に基づいて、視覚デバイスの予想深度マップを生成するようにさらに構成され得る。次に、本手術ナビゲーションシステムは、推定深度マップに一致しない実深度マップの部分を特定し、特定された部分に基づいて、標的部位の軟組織を含むオブジェクトを認識するように構成されてもよい。そして、本手術ナビゲーションシステムは、オブジェクトが現在の手術計画の障害となるかどうかを判定するように構成することができる。

一般に、本発明の実施形態を実施するために実行されるルーチンは、オペレーティングシステムの一部として実装されるか、特定のアプリケーション、コンポーネント、プログラム、オブジェクト、モジュール、又は命令のシーケンスとして実装されるか、あるいはそのサブセットであるかにかかわらず、本明細書では「コンピュータプログラムコード」、又は単に「プログラムコード」と呼ぶことがある。プログラムコードは、典型的には、コンピュータ内の様々なメモリ及び記憶装置に様々なタイミングで常駐し、コンピュータ内の１つ以上のプロセッサによって読み出され実行されるとき、そのコンピュータに、本発明の実施形態の様々な態様を具現化する動作及び／又は要素を実行するために必要な動作を実行させるコンピュータ可読命令を含む。本発明の実施形態の動作を実行するためのコンピュータ可読プログラム命令は、例えば、アセンブリ言語、又は１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードであってもよい。

本明細書に記載された様々なプログラムコードは、本発明の特定の実施形態においてそれが実装される範囲内で、アプリケーションに基づいて識別され得る。しかし、以下に示す特定のプログラム命名法は、単に便宜のために使用されるものであり、したがって、本発明は、そのような命名法によって特定され、及び／又は暗示される任意の特定の用途における使用のみに限定されるべきではないことを理解されたい。さらに、コンピュータプログラムをルーチン、手順、方法、モジュール、オブジェクトなどに編成することができる概して無限数の方法、ならびに典型的なコンピュータ内に常駐する様々なソフトウェア層（例えば、オペレーティングシステム、ライブラリ、ＡＰＩ、アプリケーション、アプレットなど）の間でプログラム機能を割り当てることができる様々な方法を前提とすれば、本発明の実施形態は、本明細書に記載されるプログラム機能の特定の編成及び割り当てに限定されないことが理解されよう。

本書に記載されたいずれかのアプリケーション／モジュールに具現化されたプログラムコードは、個別に又は集合的に、様々な異なる形態のプログラム製品として配布することが可能である。特に、プログラムコードは、プロセッサに本発明の実施形態の態様を実行させるためのコンピュータ可読プログラム命令をその媒体上に有するコンピュータ可読記憶媒体を用いて配布してもよい。

本質的に非一時的であるコンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するための任意の方法又は技術で実装された揮発性及び不揮発性、ならびに取り外し可能及び不可能な有形媒体を含むことができる。コンピュータ可読記憶媒体は、さらに、ＲＡＭ、ＲＯＭ、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他の固体メモリ技術、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、又は他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気ストレージデバイス、又は所望の情報を記憶するために使用することができ、かつコンピュータによって読み出すことができる任意の他の媒体を含むことができる。コンピュータ可読記憶媒体は、一過性の信号（例えば、電波もしくは他の伝搬電磁波、導波管などの伝送媒体を通って伝搬する電磁波、又はワイヤを通って伝送される電気信号）そのものとして解釈されるべきではない。コンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からコンピュータ、別の種類のプログラム可能なデータ処理装置、もしくは別の装置にダウンロードされてもよく、又はネットワークを介して外部のコンピュータもしくは外部の記憶装置にダウンロードされてもよい。

コンピュータ可読媒体に記憶されたコンピュータ可読プログラム命令は、コンピュータ、他のタイプのプログラム可能なデータ処理装置、又は他の装置が特定の方法で機能するように指示するために使用され、コンピュータ可読媒体に記憶された命令が、フローチャート、シーケンス図、及び／又はブロック図に指定された機能、行為、及び／又は動作を実施する命令を含む製造品を製造するようにしてもよい。コンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置の１つ以上のプロセッサに提供され、１つ以上のプロセッサを介して実行される命令が、フローチャート、シーケンス図、及び／又はブロック図に指定された機能、行為、及び／又は動作を実行するために一連の計算を行わせるように、機械を製造することができる。

特定の代替実施形態では、フローチャート、シーケンス図、及び／又はブロック図に指定された機能、行為、及び／又は動作は、本発明の実施形態と一致して、並べ替えられ、連続的に処理され、及び／又は同時に処理されてもよい。さらに、フローチャート、シーケンス図、及び／又はブロック図のいずれもが、本発明の実施形態と一致する図示されたブロックよりも多いブロック、又は少ないブロックを含むことができる。

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、本発明の実施形態を限定することを意図するものではない。本明細書で使用するとき、単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈上明らかに他を示す場合を除き、複数形も含むことを意図している。本明細書で使用する場合、用語「備える（ｃｏｍｐｒｉｓｅｓ）」及び／又は「備えている（ｃｏｍｐｒｉｓｉｎｇ）」は、記載された機能、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の機能、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を排除するものではないことが更に理解されよう。さらに、詳細な説明又は特許請求の範囲のいずれかに、用語「含む（ｉｎｃｌｕｄｅｓ）」、「有している（ｈａｖｉｎｇ）」、「有する（ｈａｓ）」、「備える（ｗｉｔｈ）」、「からなる（ｃｏｍｐｒｉｓｅｄ ｏｆ）」、又はその変形が使用されている限り、そのような用語は、用語「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」と同様に包括的であることを意図している。

本発明の全ては、様々な実施形態の説明によって示されており、これらの実施形態は、かなり詳細に説明されてきたが、添付の特許請求の範囲の範囲を、そのような詳細に制限すること、又はいかなる方法によっても制限することは、本出願人の意図ではない。さらなる利点及び変更は、当業者には容易に理解されるであろう。したがって、本発明のより広い態様は、具体的な詳細、代表的な装置及び方法、ならびに図示及び説明された例示的な実施例に限定されない。したがって、本出願人の一般的な発明概念の趣旨又は範囲から逸脱することなく、そのような詳細から逸脱することができる。

Claims (28)

1. 第１のオブジェクトの位置を検出するように構成されたローカライザと、
   前記第１のオブジェクトの近傍の表面の実深度マップを生成するように構成された視覚デバイスと、
   前記ローカライザ及び前記視覚デバイスに結合されたコントローラであって、前記コントローラが、
   前記第１のオブジェクトに対応する仮想モデルにアクセスすることと、
   共通座標系で前記ローカライザと前記視覚デバイスとの位置関係を特定することと、
   前記第１のオブジェクトの前記検出位置、前記仮想モデル、及び前記位置関係に基づいて、前記視覚デバイスの予想深度マップを生成することと、
   前記予想深度マップと一致しない前記実深度マップの部分を特定することと、
   前記特定された部分に基づいて第２のオブジェクトを認識することと
   を行うように構成される、前記コントローラと
   を備える、ナビゲーションシステム。
2. 前記コントローラは、前記第１のオブジェクトの前記検出位置、前記実深度マップにおける前記第２のオブジェクトの場所、及び前記位置関係に基づいて、前記共通座標系における前記第１のオブジェクトに対する前記第２のオブジェクトの位置を特定するように構成される、請求項１に記載のナビゲーションシステム。
3. 前記第１のオブジェクトは、手術計画に従って治療すべき患者組織の標的体積を画定しており、前記コントローラは、
   前記共通座標系における前記標的体積に対する前記第２のオブジェクトの前記位置と前記手術計画と、に基づいて、前記第２のオブジェクトが、前記手術計画に従って前記標的体積を治療することに対する障害物であるかどうかを判定することと、
   前記第２のオブジェクトが前記手術計画にとっての障害物であると判定することに応答して、前記手術計画を修正すること、及び／又は通知をトリガすること、及び／又は手術ナビゲーションを停止することと、
   を行うように構成される、請求項２に記載のナビゲーションシステム。
4. 前記第１のオブジェクトにトラッカが堅固に結合されており、前記コントローラは、
   前記ローカライザを介して、前記ローカライザに特定的な第１の座標系で前記トラッカの位置を検出することと、
   前記第１の座標系における前記トラッカの前記検出位置、及び前記第１の座標系における前記トラッカと前記第１のオブジェクトとの位置関係に基づいて、前記第１の座標系における前記仮想モデルの位置を特定することと、
   前記第１の座標系での前記仮想モデルの前記位置と、第２の座標系での前記ローカライザと前記視覚デバイスとの位置関係とに基づいて、前記第１の座標系における前記仮想モデルの前記位置を、前記視覚デバイスに特定的な前記第２の座標系における前記仮想モデルの位置に変換することと、
   前記第２の座標系での前記仮想モデルの前記位置に基づいて、前記予想深度マップを生成することと、
   を行うように構成される、請求項１～３のいずれか１項に記載のナビゲーションシステム。
5. 前記コントローラは、
   前記実深度マップと前記予想深度マップとの差分を計算することと、
   前記差分の第１のセクションが閾値深度よりも大きい絶対深度を示すかどうかを判定することと、
   前記差分の前記第１のセクションが閾値深度よりも大きい絶対深度を示すと判定することに応答して、前記差分の前記第１のセクションに対応する前記実深度マップの第２のセクションを前記部分として特定することと、
   を行うように構成されることにより、前記予想深度マップと一致しない前記実深度マップの部分を特定するように構成される、請求項１～４のいずれか１項に記載のナビゲーションシステム。
6. 前記閾値深度はゼロではない、請求項５に記載のナビゲーションシステム。
7. 前記コントローラは、
   前記第１のセクションのサイズが最小サイズ閾値よりも大きいかどうかを判定することと、
   前記第１のセクションの前記サイズが前記最小サイズ閾値よりも大きいと前記判定することに応答して、前記第２のセクションを前記部分として特定することと、
   を行うように構成されることにより、前記予想深度マップと一致しない前記実深度マップの前記部分を特定するように構成される、請求項５又は請求項６に記載のナビゲーションシステム。
8. 前記コントローラは、前記特定された部分を前記第２のオブジェクトに対応する所定のプロファイルと一致させるように構成されることにより、前記特定された部分に基づいて前記第２のオブジェクトを認識するように構成される、請求項１～７のいずれか１項に記載のナビゲーションシステム。
9. 前記実深度マップの前記部分は、前記第２のオブジェクトに対応し、前記実深度マップの第１の位置に配置された特徴の配列を含み、前記コントローラは、前記特徴の配列が、前記視覚デバイスによって後で生成される追加の実深度マップでの前記第１の位置とは異なる第２の位置に移動するかどうかを監視することにより、前記第２のオブジェクトの移動を追跡するように構成される、請求項１～８のいずれか１項に記載のナビゲーションシステム。
10. 前記コントローラは、前記共通座標系の前記第２のオブジェクトに対応する仮想境界を生成するように構成され、前記仮想境界は手術具の動きに対して制約を与える、請求項１～９のいずれか１項に記載のナビゲーションシステム。
11. 前記コントローラは、前記仮想モデル、前記第１のオブジェクトの前記検出位置、及び共通座標系での前記ローカライザと前記視覚デバイスとの前記位置関係に基づいて、前記実深度マップを関心領域にトリミングするように構成され、前記コントローラは、前記トリミングされた実深度マップを比較するように構成されることにより、前記実深度マップを比較するように構成される、請求項１～１０のいずれか１項に記載のナビゲーションシステム。
12. 前記コントローラは、
    前記ローカライザ及び前記視覚デバイスの視界内の表面にパターンを投影することと、
    前記ローカライザに特定的な第１の座標系における前記パターンの位置を示す前記ローカライザを用いて位置特定データを生成することと、
    前記視覚デバイスによって生成された前記投影パターンを示す較正深度マップを受け取ることと、
    前記較正深度マップに基づいて、前記視覚デバイスに特定的な第２の座標系における前記投影パターンの位置を特定することと、
    前記第１の座標系における前記パターンの前記位置と前記第２の座標系における前記パターンの前記位置とに基づいて、前記共通座標系における前記ローカライザと前記視覚デバイスとの前記位置関係を特定することと、
    を行うように構成されることにより、前記共通座標系における前記ローカライザと前記視覚デバイスとの前記位置関係を特定するように構成される、請求項１～１１のいずれか１項に記載のナビゲーションシステム。
13. 前記ローカライザは、第１のスペクトル帯で動作して、前記第１のオブジェクトの前記位置を検出するように構成されており、前記視覚デバイスは、第２のスペクトル帯で動作して、前記第１のオブジェクトの近傍の前記表面の前記実深度マップを生成するように構成されており、前記第１のスペクトル帯は前記第２のスペクトル帯とは異なる、請求項１～１２のいずれか１項に記載のナビゲーションシステム。
14. 請求項１～１３のいずれか１項に記載のナビゲーションシステムで利用されるロボットマニピュレータであって、前記ロボットマニピュレータは、手術具を支持し、複数のリンクと、前記リンクを動かして前記手術具を動かすように構成された複数のアクチュエータとを備え、前記ロボットマニピュレータは、前記第２のオブジェクトを回避するように制御される、前記ロボットマニピュレータ。
15. 第１のオブジェクトの位置を検出するように構成されたローカライザと、前記第１のオブジェクトの近傍の表面の実深度マップを生成するように構成された視覚デバイスと、前記ローカライザ及び前記視覚デバイスに結合されたコントローラとを含むナビゲーションシステムを動作させる方法であって、前記方法は、
    前記第１のオブジェクトに対応する仮想モデルにアクセスすることと、
    共通座標系で前記ローカライザと前記視覚デバイスとの位置関係を特定することと、
    前記第１のオブジェクトの前記検出位置、前記仮想モデル、及び前記位置関係に基づいて、前記視覚デバイスの予想深度マップを生成することと、
    前記予想深度マップと一致しない前記実深度マップの部分を特定することと、
    前記特定された部分に基づいて第２のオブジェクトを認識することと
    を含む、前記方法。
16. 前記第１のオブジェクトの前記検出位置、前記実深度マップにおける前記第２のオブジェクトの場所、及び前記位置関係に基づいて、前記共通座標系における前記第１のオブジェクトに対する前記第２のオブジェクトの位置を特定することをさらに含む、請求項１５に記載の方法。
17. 前記第１のオブジェクトは、手術計画に従って治療すべき患者組織の標的体積を画定しており、
    前記共通座標系における前記標的体積に対する前記第２のオブジェクトの前記位置と前記手術計画とに基づいて、前記第２のオブジェクトが、前記手術計画に従って前記標的体積を治療することに対する障害物であるかどうかを判定することと、
    前記第２のオブジェクトが前記手術計画にとっての障害物であると判定することに応答して、前記手術計画を修正すること、及び／又は通知をトリガすること、及び／又は手術ナビゲーションを停止することと、
    をさらに含む、請求項１６に記載の方法。
18. 前記第１のオブジェクトにトラッカが堅固に結合されており、
    前記ローカライザを介して、前記ローカライザに特定的な第１の座標系で前記トラッカの位置を検出することと、
    前記第１の座標系における前記トラッカの前記検出位置、及び前記第１の座標系における前記トラッカと前記第１のオブジェクトとの位置関係に基づいて、前記第１の座標系における前記仮想モデルの位置を特定することと、
    前記第１の座標系での前記仮想モデルの前記位置と、第２の座標系での前記ローカライザと前記視覚デバイスとの位置関係とに基づいて、前記第１の座標系における前記仮想モデルの前記位置を、前記視覚デバイスに特定的な前記第２の座標系における前記仮想モデルの位置に変換することと、
    前記第２の座標系での前記仮想モデルの前記位置に基づいて、前記予想深度マップを生成することと、
    をさらに含む、請求項１５～１７のいずれか１項に記載の方法。
19. 前記予想深度マップと一致しない前記実深度マップの部分を特定することは、
    前記実深度マップと前記予想深度マップとの差分を計算することと、
    前記差分の第１のセクションが閾値深度よりも大きい絶対深度を示すかどうかを判定することと、
    前記差分の前記第１のセクションが閾値深度よりも大きい絶対深度を示すと判定することに応答して、前記差分の前記第１のセクションに対応する前記実深度マップの第２のセクションを前記部分として特定することと
    を含む、請求項１５～１８のいずれか１項に記載の方法。
20. 前記閾値深度はゼロではない、請求項１９に記載の方法。
21. 前記予想深度マップと一致しない前記実深度マップの部分を特定することは、
    前記第１のセクションのサイズが最小サイズ閾値よりも大きいかどうかを判定することと、
    前記第１のセクションの前記サイズが前記最小サイズ閾値よりも大きいと前記判定することに応答して、前記第２のセクションを前記部分として特定することと
    を含む、請求項１９又は請求項２０に記載の方法。
22. 前記特定された部分に基づいて前記第２のオブジェクトを認識することは、前記特定された部分を前記第２のオブジェクトに対応する所定のプロファイルと一致させることを含む、請求項１５～２１のいずれか１項に記載の方法。
23. 前記実深度マップの前記部分は、前記第２のオブジェクトに対応し、前記実深度マップの第１の位置に配置された特徴の配列を含み、前記コントローラは、前記特徴の配列が、前記視覚デバイスによって後で生成される追加の実深度マップでの前記第１の位置とは異なる第２の位置に移動するかどうかを監視することにより、前記第２のオブジェクトの移動を追跡するように構成される、請求項１５～２２のいずれか１項に記載の方法。
24. 前記共通座標系の前記第２のオブジェクトに対応する仮想境界を生成することをさらに含み、前記仮想境界は手術具の動きに対して制約を与える、請求項１５～２３のいずれか１項に記載の方法。
25. 前記仮想モデル、前記第１のオブジェクトの前記検出位置、及び共通座標系での前記ローカライザと前記視覚デバイスとの前記位置関係に基づいて、前記実深度マップを関心領域にトリミングすることをさらに含み、前記実深度マップを比較することは、前記トリミングされた実深度マップを比較することを含む、請求項１５～２４のいずれか１項に記載の方法。
26. 前記共通座標で前記ローカライザと前記視覚デバイスとの前記位置関係を特定することは、
    前記ローカライザ及び前記視覚デバイスの視界内の表面にパターンを投影することと、
    前記ローカライザに特定的な第１の座標系における前記パターンの位置を示す前記ローカライザを用いて位置特定データを生成することと、
    前記視覚デバイスによって生成された前記投影パターンに対応する較正深度マップを受け取ることと、
    前記較正深度マップに基づいて、前記視覚デバイスに特定的な第２の座標系における前記投影パターンの位置を特定することと、
    前記第１の座標系における前記パターンの前記位置と前記第２の座標系における前記パターンの前記位置とに基づいて、前記共通座標系における前記ローカライザと前記視覚デバイスとの前記位置関係を特定することと
    を含む、請求項１５～２５のいずれか１項に記載の方法。
27. 前記ローカライザを第１のスペクトル帯で動作させて、前記第１のオブジェクトの前記位置を検出することと、
    前記視覚デバイスを第２のスペクトル帯で動作させて、前記第１のオブジェクトの近傍の前記表面の前記実深度マップを生成することであって、前記第２のスペクトル帯は、前記第１のスペクトル帯とは異なる、前記生成することと、
    をさらに含む、請求項１５～２６のいずれか１項に記載の方法。
28. １つ以上のプロセッサによって実行されるとき、請求項１５～２７のいずれか１項に記載の方法を実施するように構成された命令が格納された非一時的なコンピュータ可読媒体を含む、コンピュータプログラム製品。

Images