JP2021194538A - 基準シードを介した可視光での外科手術での対象の追跡および合成画像登録 - Google Patents

Abstract

【課題】外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡システムを提供する【解決手段】カメラ追跡システムは、カメラバー、第１および第２の追跡カメラ、ならびに第３の追跡カメラを含む。第１および第２の追跡カメラは、カメラバー上の離間した場所に取り付けられている。第３の追跡カメラは、第１および第２の追跡カメラの位置の間にあり、第１および第２の追跡カメラの中心を通って延びる線からある距離で離間してカメラバー上の位置に取り付けられる。【選択図】図２３

Description

本開示は、医療デバイスおよびシステムに関し、より具体的には、外科手術中のコンピュータ支援ナビゲーションに使用されるカメラ追跡システムに関する。

手術中のコンピュータ支援ナビゲーションは、患者の解剖学的構造の医用画像に関連する外科手術用ツールの現在のポーズのコンピュータ化された視覚化を外科医にもたらすことができる。コンピュータ支援ナビゲーション用のカメラ追跡システムは、１つまたは複数のステレオカメラシステムを使用して、外科医または他の使用者が外科手術中に位置決めしている外科手術用ツールに取り付けられた基準のセットを追跡する。動的参照アレイとも呼ばれる基準のセットにより、カメラ追跡システムは、外科医に表示するための、医用画像内の解剖学的構造および患者に対する外科手術用ツールのポーズを判定することができる。これにより、外科医は、リアルタイムのポーズフィードバックを使用して、外科的処置中に外科手術用ツールをナビゲートすることができる。

既存のナビゲーションシステムを使用したナビゲート式外科的処置は、追跡される対象がカメラシステムの追跡領域外に移動したり、介入する人員および／または機器によってカメラビューから遮られたりすると、断続的な一時停止を引き起こす事象を起こしやすい。また、ナビゲーションシステムの追跡の正確さを高めることが求められている。

いくつかの実施形態は、外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡システムが対象とされ、提供されている。カメラ追跡システムは、カメラバー、第１および第２の追跡カメラ、ならびに第３の追跡カメラを含むことができる。第１および第２の追跡カメラは、カメラバー上の離間した場所に取り付けることができる。第３の追跡カメラは、第１および第２の追跡カメラの位置の間にあり、第１および第２の追跡カメラの中心を通って延びる線から距離の離間したカメラバー上の位置に取り付けられ得る。

いくつかの他の実施形態は、外科手術用ツール追跡アレイを対象とする。外科手術用ツール追跡アレイは、多面参照アレイ、複数の異なる光学的にコード化されたパターン、およびツールホルダーを含むことができる。多面参照アレイは、複数の平面を有することができる。複数の異なる光学的にコード化されたパターンは、それぞれが平面の異なるものの上にあってよい。ツールホルダーは、外科手術用ツールの一部を外科手術用ツール追跡アレイに結合するように構成され得る。

さらにいくつかの他の実施形態は、カメラ追跡システム、外科手術ロボット、および少なくとも１つのコントローラを含む外科手術システムに関する。

カメラ追跡システムは、カメラバー、第１および第２の追跡カメラ、第３の追跡カメラ、ならびに少なくとも１つのプロセッサを含むことができる。第１および第２の追跡カメラは、カメラバー上の離間した場所に取り付けることができる。第３の追跡カメラは、第１および第２の追跡カメラの位置の間にあり、第１および第２の追跡カメラの中心を通って延びる線から距離の離間したカメラバー上の位置に取り付けられ得る。少なくとも１つのプロセッサは、第１、第２、および第３の追跡カメラから三次元空間で離間された、第１、第２、および第３の追跡カメラの位置までビデオストリームに画像化された対象の三角測量での位置に基づいて、三次元空間における一組の物理的対象のポーズを判定するよう動作可能であり得る。

外科手術ロボットは、ロボット基部と、ロボットアームと、少なくとも１つのモータとを含むことができる。ロボットアームはロボット基部に接続されてよく、外科手術用ツールの動きをガイドするエンドエフェクタに接続するように構成され得る。少なくとも１つのモータは、ロボット基部に対してロボットアームを移動させるように動作可能に接続することができる。

少なくとも１つのコントローラは、少なくとも１つのモータに接続され得て、患者を手術するための外科手術用ツールの動きをガイドしながら、エンドエフェクタの計画されたポーズに対するエンドエフェクタのポーズを判定するように構成され得る。さらに、少なくとも１つのコントローラは、エンドエフェクタの計画されたポーズと判定されたポーズの比較に基づいて操舵情報を生成することに対して構成され、この場合操舵情報は、外科手術用ツールがエンドエフェクタによって患者に向かって計画された軌道に沿ってガイドされるように、エンドエフェクタを移動して計画されたポーズに合わせる必要がある場所を示す。

実施形態による他の外科手術システム、カメラ追跡システム、および外科手術用ツール追跡アレイは、以下の図面および詳細な説明を検討することにより、当業者には明らかになる。このような全部の外科手術システム、カメラ追跡システム、および外科手術用ツール追跡アレイが、この発明を実施するための形態の範囲に含まれ、また本開示の範囲内にあり、添付の特許請求の範囲によって保護されることが意図されている。さらに、本明細書に開示されるすべての実施形態が別々に実装されても、任意の方法および／または組み合わせで組み合わされてもよいことが意図される。

本開示のさらなる理解をもたらすために含まれ、また本願に組み込まれてその一部を構成する添付の図面は、本発明の概念の特定の非限定的な実施形態を図解する。図面では、以下のとおりである。

図１は、本開示のいくつかの実施形態による外科手術システムの実施形態を示す。 図２は、本開示のいくつかの実施形態による、図１の外科手術システムの外科手術ロボット構成要素を示す。 図３Ａは、本開示のいくつかの実施形態による、図１の外科手術システムのカメラ追跡システム構成要素を示す。 図３Ｂは、本開示のいくつかの実施形態による、図１の外科手術システムと使用され得る別のカメラ追跡システム構成要素の正面図を示す。 図３Ｃは、本開示のいくつかの実施形態による、図１の外科手術システムと使用され得る別のカメラ追跡システム構成要素の等角図を示す。 図４は、ロボットアームに接続可能であり、本開示のいくつかの実施形態にしたがって構成されたエンドエフェクタの実施形態を示す。 図５は、外科手術ロボットおよびカメラシステムが患者の周りに配設されている医療手術を示す。 図６は、医療手術に使用される図５の外科手術システムの構成要素のブロック図の見え方を示す。 図７は、外科手術システムのナビゲーション機能を使用するときに、図５および図６のディスプレイに表示され得る様々な表示画面を示す。 図８は、本開示のいくつかの実施形態による、外科手術ロボットのいくつかの電気的構成要素のブロック図を示す。 図９は、カメラ追跡システムおよび／または本開示のいくつかの実施形態による外科手術ロボットに動作可能に接続させることができるコンピュータプラットフォームに接続された画像化デバイスを含む外科手術システムの構成要素のブロック図を示す。 図１０は、本開示のいくつかの実施形態にしたがって外科手術ロボットと組み合わせて使用できるＣアーム画像化デバイスの実施形態を示す。 図１１は、本開示のいくつかの実施形態にしたがって外科手術ロボットと組み合わせて使用できるＯアーム画像化デバイスの実施形態を示す。 図１２は、本開示のいくつかの実施形態にしたがって動作する１対のＸＲヘッドセットおよび補助的追跡バーを含む外科手術システムの構成要素のブロック図の見え方を示す。 図１３は、本開示のいくつかの実施形態に従って構成されているＸＲヘッドセットを示す。 図１４は、本開示のいくつかの実施形態にしたがって、コンピュータプラットフォーム、画像化デバイス、および／または外科手術ロボットに動作可能に接続できるＸＲヘッドセットの電気的構成要素を示す。 図１５は、本開示のいくつかの実施形態による、ＸＲヘッドセットの光学的構成要素の配置を示すブロック図を示す。 図１６は、本開示のいくつかの実施形態による、医療処置の最中に外科手術用ツールを操作するためにナビゲーション支援を提供するためのＸＲヘッドセットの表示画面を介した例示的なビューを示す。 図１７は、本開示のいくつかの実施形態にしたがって構成された２対のステレオカメラを有する補助的追跡バーの例示的な構成を示す。 図１８は、本開示のいくつかの実施形態にしたがって集合的に動作する１対のＸＲヘッドセットおよび補助的追跡バーにおける追跡カメラを含む外科手術システムの構成要素のブロック図の見え方を示す。 図１９は、本開示のいくつかの実施形態にしたがって構成された３つのステレオ追跡カメラを有するカメラバーを備える外科手術用ツール追跡アレイの例示的な構成を示す。 図２０ａは、２つの追跡カメラを使用する単一ポイントのステレオカメラの三角測量を示す。 図２０ｂは、本開示のいくつかの実施形態による、３つの追跡カメラを使用する単一ポイントの三角測量を示す。 図２１は、本開示のいくつかの実施形態による、基準ディスクを備えた物理的参照アレイに取り付けられた外科手術用ツールの例を示す。 図２２は、本開示のいくつかの実施形態による、図２１の外科手術用ツールに取り付けられた物理的参照アレイの例示的な側面図を示す。 図２３は、本開示のいくつかの実施形態による、多面参照アレイを含む外科手術用ツール追跡アレイの例を示す。 図２４は、本開示のいくつかの実施形態による、歪みのない画像情報と、ツールの３Ｄモデルから生成された合成画像情報との間の２Ｄ画像の登録の例を示す。 図２５は、本開示のいくつかの実施形態による、基準ディスクを有するエンドエフェクタの例を示す。 図２６は、本開示のいくつかの実施形態による、カメラ追跡システムによって実行される操作のフローチャートを示す。 図２７は、本開示のいくつかの実施形態による、カメラ追跡システムによって実行される操作の別のフローチャートを示す。 図２８は、本開示のいくつかの実施形態による、カメラ追跡システムによって実行される操作の別のフローチャートを示す。 本開示のいくつかの実施形態による、カメラ追跡システムによって実行される操作の別のフローチャートを示す。

ここで、本発明の概念の実施形態の例が示されている添付の図面を参照して、本発明の概念を以下でより十分に説明する。ただし、発明の概念は、多くの様々な形態で具体化され得、本明細書に記載される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態が提供されて、本開示が徹底したものかつ完全なものになり、当業者に様々な本発明の概念の範囲を完全に伝えるようになる。これらの実施形態が相互排他的ではないことにも留意されたい。１つの実施形態からの構成要素が、別の実施形態に存在するか、または別の実施形態で使用されると暗に想定され得る。

本明細書に開示される様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションの改善を対象とする。拡張リアリティ（ＸＲ）ヘッドセットは、外科手術システムに動作可能に接続され、外科医、助手、および／または他の従事者が患者の画像を視認して、その中から選択し、コンピュータで生成された外科手術ナビゲーション情報を視認して、その中から選択し、および／または手術室内の外科器具を制御することができるインタラクティブな環境を設けるように構成されている。以下に説明するように、ＸＲヘッドセットは、コンピュータで生成されたＸＲ画像によって実世界場面を増強するように構成することができる。ＸＲヘッドセットは、コンピュータで生成されたＸＲ画像を、実世界場面からの光が通過して、使用者が組み合わせて視認することができるようにするシースルー表示画面に表示することにより、拡張リアリティ（ＡＲ）表示環境を設けるように構成されることができる。あるいは、ＸＲヘッドセットは、使用者がコンピュータで生成されたＡＲ画像を表示画面上で視認している間、実世界場面からの光を使用者が直接視認するのを防止または実質的に防止することによって、仮想現実（ＶＲ）表示環境を設けるように構成することができる。ＸＲヘッドセットは、ＡＲおよびＶＲ表示環境の双方を設けるように構成することができる。ある実施形態において、ＶＲ表示環境が高不透明度帯域と位置が揃ったＸＲ画像に設けられ、ＡＲ表示環境が、低不透明度帯域と位置が揃ったＸＲ画像に設けられるように、ＡＲおよびＶＲ両方の表示環境が、シースルー表示画面と実世界場面との間に配置された事実上不透明度が異なる横方向帯域によって設けられる。別の実施形態において、ＡＲおよびＶＲ両方の表示環境が、使用者が見るＸＲ画像と組み合わせるためシースルー表示画面を実世界場面からの光がどれくらい透過するかを可変的に抑制する不透明フィルタのコンピュータ調整式制御によって設けられる。したがって、ＸＲヘッドセットはまた、ＡＲヘッドセットまたはＶＲヘッドセットと呼ぶこともできる。

図１は、本開示のいくつかの実施形態による外科手術システム２の実施形態を示している。整形外科手術または他の外科的処置の実施前に、例えば、図１０のＣアーム画像化デバイス１０４または図１１のＯアーム画像化デバイス１０６を使用して、またはコンピュータ断層撮影（ＣＴ）画像もしくはＭＲＩなどの別の医療画像化デバイスから、患者の計画された外科手術エリアの三次元（「３Ｄ」）画像スキャンを行うことができる。このスキャンは、術前（例えば、最も一般的には処置の数週間前）または術中に行うことができる。しかし、外科手術システム２の様々な実施形態にしたがって、任意の既知の３Ｄまたは２Ｄの画像スキャンを使用することができる。画像スキャンは、カメラ追跡システム構成要素６、外科手術ロボット４（例えば、図１のロボット２）、画像化デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６など）、および患者の画像スキャンを保存するための画像データベース９５０を含むことができる外科手術システム９００（図９）のコンピュータプラットフォーム９１０などの、外科手術システム２と通信するコンピュータプラットフォームに送信される。コンピュータプラットフォーム９１０（図９）のディスプレイデバイス上で画像スキャン（単数または複数）を概観する外科医は、患者の解剖学的構造に対する外科的処置中に使用される外科手術用ツールの目標のポーズを定義する外科手術計画を生成する。ツールとも呼ばれる例示的な外科手術用ツールには、ドリル、ねじ回し、鋸、開創器、およびインプラント、例えばねじ、スペーサ、椎体間融合デバイス、プレート、ロッドなどが含まれ得るが、これらに限定されるわけではない。実施形態によっては、目標の平面を定義する外科手術計画は、ディスプレイデバイスに表示された３Ｄ画像スキャンにて計画される。

本明細書で使用される際、「ポーズ」という用語は、ある対象（例えば、ダイナミック参照アレイ、エンドエフェクタ、外科手術用ツール、解剖学的構造など）の別の対象に対するおよび／または定義された座標系に対する位置および／または回転角を指す。したがって、ポーズは、ある対象の別の対象におよび／または定義された座標系に対する多次元的な位置のみに基づいて、対象の別の対象におよび／または定義された座標系に対する多次元的な回転角のみに基づいて、あるいは多次元的な位置と多次元的な回転角との組み合わせに基づいて、定義され得る。したがって、「ポーズ」という用語は、位置、回転角度、またはそれらの組み合わせを指すために使用される。

図１の外科手術システム２は、例えば、ツールを保持すること、ツールを位置合わせすること、ツールを使用すること、ツールを誘導すること、および／または使用するためにツールを位置決めすることによって、医療処置の最中に外科医を支援することができる。実施形態によっては、外科手術システム２は、外科手術ロボット４およびカメラ追跡システム構成要素６を含む。外科手術ロボット４とカメラ追跡システム構成要素６とを機械的に結合できることにより、外科手術システム２を単一のユニットとして操作および移動することが可能になり、外科手術システム２は、エリアの小さいフットプリントを有することが可能になり、狭い通路および曲がり角を通る動きをより容易にすることが可能になり、ならびにより狭いエリア内のストレージを可能にすることができる。

外科的処置は、外科手術システム２を医療ストレージから医療処置室まで移動させることで開始することができる。外科手術システム２は、出入口、ホール、およびエレベータを通り、医療処置室に達するように動かされ得る。医療処置室内で、外科手術システム２は、２つの別個の異なるシステム、外科手術ロボット４とカメラ追跡システム構成要素６とに物理的に分けることができる。外科手術ロボット４は、医療従事者を正しく補助するためのいずれかの適した場所にいる患者に隣接して位置付けられ得る。カメラ追跡システム構成要素６は、患者の基部に、患者の肩に、または外科手術ロボット４および患者の追跡部分のその時のポーズと、ポーズの動きとを追跡するのに適したいずれの他の場所にも位置付けられ得る。外科手術ロボット４およびカメラ追跡システム構成要素６は、オンボード電源によって電力供給し、および／または外部の壁のコンセントに差し込むことができる。

外科手術ロボット４は、医療処置の最中にツールを保持および／または使用することによって外科医を支援するよう使用することができる。ツールを適切に利用し、保持することは、外科手術ロボット４が、複数のモータ、コンピュータ、および／またはアクチュエータが適切に機能することに依拠する場合がある。図１に示されるロボット本体８は、複数のモータ、コンピュータ、および／またはアクチュエータが外科手術ロボット４内で固定され得る構造体としての役割を果たし得る。ロボット本体８はまた、ロボット伸縮式支持体１６のための支持をもたらし得る。ロボット本体８のサイズは、取り付けられた構成要素を支持する頑丈なプラットフォームをもたらすことができ、取り付けられた構成要素を働かせることができる、複数のモータ、コンピュータ、および／またはアクチュエータを収容し、隠し、また保護することができる。

ロボット基部１０は、外科手術ロボット４の下部の支持として作用することができる。実施形態によっては、ロボット基部１０は、ロボット本体８を支持することができ、ロボット本体８を複数の動力付き車輪１２に取り付けることができる。車輪へのこの取り付けにより、ロボット本体８が空間を効率よく動くことが可能になる。ロボット基部１０は、ロボット本体８の長さおよび幅に及び得る。ロボット基部１０は、約２インチ〜約１０インチの高さであり得る。ロボット基部１０は、動力付き車輪１２を被覆、保護、および支持することができる。

いくつかの実施形態では、図１に示されるように、少なくとも１つの動力付き車輪１２をロボット基部１０に取り付けることができる。動力付き車輪１２は、ロボット基部１０のいずれの場所に取り付けてもよい。それぞれの個々の動力付き車輪１２は、いずれの方向にも垂直軸を中心として回転することができる。モータは、動力付き車輪１２の上に、中に、またはそれに隣接して配設され得る。このモータによって、外科手術システム２は、いずれの場所にも移動し、外科手術システム２を安定化させる、および／または水平にすることができる。動力付き車輪１２の中またはそれに隣接して位置するロッドは、モータによって表面に押し込められ得る。ロッドは、描かれていないが、外科手術システム２を持ち上げるのに適したいずれの金属からも作られ得る。ロッドは、外科手術システム２を持ち上げることができる動力付き車輪１０を、患者との関係で外科手術システム２の向きを水平にする、またはそうでなければ固定するのに必要ないずれの高さにも持ち上げることができる。小さな接触範囲を通して各車輪のロッドにより支持される外科手術システム２の重さにより、外科手術システム２が医療処置の最中に動くことが防止される。この堅固な位置決めは、対象および／または人間が偶発的に外科手術システム２を移動させることを防ぐことができる。

外科手術システム２の移動を、ロボットレール１４を使用して容易にすることができる。ロボットレール１４は、人間が、ロボット本体８を掴むことなく、外科手術システム２を動かせるようにする。図１に示されるように、ロボットレール１４は、ロボット本体８の長さに及ぶことができ、ロボット本体８よりも短い長さに及ぶことができ、および／またはロボット本体８の長さより長くわたることもできる。ロボットレール１４は、ロボット本体８に対して保護をさらに設け、対象および／または従事者がロボット本体８に接触すること、ぶつかること、または衝突することを防ぐことができる。

ロボット本体８は、以後「スカラ」と称する水平多関節ロボットのための支持を設けることができる。スカラ２４は、ロボットアームの同時再現性およびコンパクトさゆえに、外科手術システム２内で使用するのに有益であり得る。スカラがコンパクトであることにより、医療処置内に追加の空間を設けることができ、それにより、医療専門家は、過度な乱雑さとエリアの制限なしに、医療処置を実施することが可能になる。スカラ２４は、ロボット伸縮式支持体１６、ロボット支持アーム１８、および／またはロボットアーム２０で構成され得る。ロボット伸縮式支持体１６は、ロボット本体８に沿って配設され得る。図１に示されるように、ロボット伸縮式支持体１６は、スカラ２４およびディスプレイ３４に支持を設けることができる。実施形態によっては、ロボット伸縮式支持体１６は、垂直方向に伸縮することができる。ロボット伸縮式支持体１６の本体は、それに加えられる応力および重量を支持するように構成された任意の幅および／または高さとすることができる。

いくつかの実施形態では、医療従事者は、医療従事者によって提出されたコマンドを介してスカラ２４を移動させることができる。コマンドは、以下にさらに詳細に説明するように、ディスプレイ３４、タブレット、および／またはＸＲヘッドセット（例えば、図９のヘッドセット９２０）で受信された入力から発信させることができる。ＸＲヘッドセットは、医療従事者がディスプレイ３４またはタブレットなどの任意の他のディスプレイを参照する必要性を排除することができ、これは、ディスプレイ３４および／またはタブレットなしでスカラ２４を構成することを可能にする。コマンドは、スイッチの押し下げおよび／または複数のスイッチの押し下げによって生成することができ、および／または以下にさらに詳細に説明するように、ＸＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／またはボイスコマンドに基づいて生成することができる。

図５に示されるように、起動アセンブリ６０は、スイッチおよび／または複数のスイッチを含むことができる。起動アセンブリ６０は、操作者がスカラ２４を手で巧みに操るのを可能にする動きコマンドを、スカラ２４に送信するように動作可能であり得る。１つのスイッチまたは複数のスイッチを押したとき、医療従事者は、適用される手の動きを通してスカラ２４を動かせるようになる。代替としてまたは追加として、操作者は、以下に、より詳細に説明するように、ＸＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／または音声コマンドを通して、スカラ２４の動きを制御することができる。さらに、スカラ２４が動くコマンドを受信していないとき、スカラ２４は、従事者および／または他の対象による偶発的な動きを防ぐように、所定の位置にロックされ得る。所定の位置にロックすることにより、スカラ２４は、エンドエフェクタ２６が医療処置の最中に外科手術用ツールを誘導することができる堅固なプラットフォームを設ける。

ロボット支持アーム１８は、様々な機構によって、ロボット伸縮式支持体１６に接続することができる。実施形態によっては、図１および２で最もよく分かるように、ロボット支持アーム１８は、ロボット伸縮式支持体１６に対していずれの方向にも回転する。ロボット支持アーム１８は、ロボット伸縮式支持体１６を中心として３６０度回転することができる。ロボットアーム２０は、ロボット支持アーム１８の適切ないずれの場所にも、またロボット支持アーム１８に対していずれの方向にも回転することを可能にする様々な機構によって、接続することができる。一実施形態において、ロボットアーム２０は、ロボット支持アーム１８に対して３６０度回転することができる。この自由な回転により、操作者は、外科手術計画にしたがってロボットアーム２０を位置決めすることができるようになる。

図４および図５に示されるエンドエフェクタ２６は、任意の好適な場所でロボットアーム２０に取り付けることができる。エンドエフェクタ２６は、外科手術ロボット４によって位置付けられたロボットアーム２０のエンドエフェクタカプラ２２に取り付けるように構成され得る。例示的なエンドエフェクタ２６は、外科的処置が実施される解剖学的構造に対して挿入された外科手術用ツールが移動するのを誘導する管状ガイドを含む。

実施形態によっては、動的参照アレイ５２がエンドエフェクタ２６に取り付けられている。本明細書で「ＤＲＡ」や「参照アレイ」とも呼ばれる動的参照アレイは、剛体、マーカー、または、手術室内で従事者が装着する１つ以上のＸＲヘッドセット、エンドエフェクタ、外科手術ロボット、ナビゲート式外科処置における外科手術用ツール、患者の解剖学的構造（例えば、骨）に取り付けまたは形成することができる他の印であり得る。カメラ追跡システム構成要素６または他の３Ｄ位置特定システムと組み合わせたコンピュータプラットフォーム９１０は、ＤＲＡのポーズ（例えば、位置および回転方向）をリアルタイムで追跡するように構成されている。ＤＲＡは、図示されたボールの配置など、基準を含み得る。ＤＲＡの３Ｄ座標のこの追跡により、外科手術システム２は、図５の患者５０の目標の解剖学的構造に関連する任意の多次元的な空間におけるＤＲＡのポーズを判定することができるようになる。

図１に示されるように、光表示器２８は、スカラ２４の頂部に位置決めされ得る。光表示器２８は、外科手術システム２がその時働いている「状態」を示す任意のタイプの光として照らすことができる。実施形態によっては、光は、ＬＥＤ電球によって生み出され得て、それは光表示器２８の周りに環を形成し得る。光表示器２８は、光表示器２８の全体にわたり光を輝かせることができる完全透過性の材料から成り得る。光表示器２８は、下部ディスプレイ支持体３０に取り付けられ得る。下部ディスプレイ支持体３０は、図２に示されるように、操作者が、適切ないずれの場所にもディスプレイ３４をうまく移動させるのを可能にし得る。下部ディスプレイ支持体３０は、任意の適切な機構によって光表示器２８に取り付けることができる。実施形態によっては、下部ディスプレイ支持体３０は、光表示器２８を中心として回転し得るか、または光表示器２８に堅固に取り付けられ得る。上部ディスプレイ支持体３２は、任意の好適な機構によって下部ディスプレイ支持体３０に取り付けることができる。

いくつかの実施形態では、タブレットをディスプレイ３４と併せて、および／またはディスプレイ３４なしで使用することができる。タブレットは、ディスプレイ３４の代わりに、上部ディスプレイ支持体３２に配設され得、医療手術の間に、上部ディスプレイ支持体３２から取り外し可能であってよい。さらに、タブレットは、ディスプレイ３４と通信することができる。タブレットは、任意の適切な無線接続および／または有線接続によって、外科手術ロボット４に接続することが可能であり得る。実施形態によっては、タブレットは、医療手術の間に、外科手術システム２をプログラムし、および／または制御することが可能であり得る。タブレットで外科手術システム２を制御する際、すべての入力コマンドおよび出力コマンドがディスプレイ３４に再現され得る。タブレットの使用により、操作者は、患者５０の周りを移動し、および／または外科手術ロボット４まで移動する必要なしに、外科手術ロボット４を操作することができる。

以下に説明するように、いくつかの実施形態では、外科医および／または他の従事者は、ディスプレイ３４および／またはタブレットと組み合わせて使用されることができるＸＲヘッドセットを着用することができるか、またはＸＲヘッドは、ディスプレイ３４および／またはタブレットを使用する必要性を排除することができる。

図３Ａおよび図５に示されるように、カメラ追跡システム構成要素６は、有線または無線の通信ネットワークを介して外科手術ロボット４と協働する。図１、３、および５を参照すると、カメラ追跡システム構成要素６は、外科手術ロボット４と同様の構成要素をいくつか含み得る。例えば、カメラ本体３６は、ロボット本体８に見られる機能性をもたらすことができる。ロボット本体８は、カメラ４６が据え付けられる補助的追跡バーを設けることができる。ロボット本体８内の構造はまた、カメラ追跡システム構成要素６を働かせるのに使用される、電子機器、通信デバイス、および電力源を支えることができる。カメラ本体３６は、ロボット本体８と同じ材料で作られていてもよい。カメラ追跡システム構成要素６は、無線および／または有線のネットワークによってＸＲヘッドセット、タブレット、および／またはディスプレイ３４と直接通信して、ＸＲヘッドセット、タブレット、および／またはディスプレイ３４がカメラ追跡システム構成要素６の機能を制御することを可能にすることができる。

カメラ本体３６は、カメラ基部３８によって支えられる。カメラ基部３８は、ロボット基部１０として機能し得る。図１の実施形態では、カメラ基部３８は、ロボット基部１０よりも幅が広くなり得る。カメラ基部３８の幅は、カメラ追跡システム構成要素６が外科手術ロボット４と接続するのを可能にし得る。図１に示されるように、カメラ基部３８の幅は、外側のロボット基部１０を固定するように十分に広くすることができる。カメラ追跡システム構成要素６と外科手術ロボット４とが接続されているとき、カメラ基部３８の追加の幅は、外科手術システム２の追加の操作性と外科手術システム２の支持を可能にすることができる。

ロボット基部１０と同様に、複数の動力付き車輪１２をカメラ基部３８に取り付けることができる。動力付き車輪１２は、ロボット基部１０および動力付き車輪１２の働きと同様に、カメラ追跡システム構成要素６が、患者５０に対する固定の向きを安定的にし、水平にするかまたはそれを設定するのを可能にし得る。この安定化により、カメラ追跡システム構成要素６が医療処置の最中に動くのを防ぐことができ、補助的追跡バーのカメラ４６が、ＸＲヘッドセットおよび／または外科手術ロボット４に接続されたＤＲＡの軌跡を見失わないように、および／または図３Ａおよび５に示されるような指示範囲５６内の解剖学的構造体５４および／またはツール５８に接続された１つ以上のＤＲＡ５２の軌跡を見失わないように維持することができる。追跡のこの安定性および維持は、カメラ追跡システム構成要素６と効果的に作動する外科手術ロボット４の能力を高める。さらに、幅広のカメラ基部３８は、カメラ追跡システム構成要素６にさらなる支持を設けることができる。具体的には、図３Ａおよび図５に示されるように、幅広のカメラ基部３８により、カメラ４６が患者に配設されたときに、カメラ追跡システム構成要素６が転倒するのを防止することができる。

カメラ伸縮式支持体４０は、補助的追跡バーのカメラ４６を支持することができる。実施形態によっては、伸縮式支持体４０は、垂直方向にカメラ４６を上げるまたは下げることができる。カメラハンドル４８が、カメラ伸縮式支持体４０の適切ないずれかの場所に取り付けられ、操作者が、医療手術の前に、カメラ追跡システム構成要素６を計画された位置に動かすことを可能にするように構成され得る。実施形態によっては、カメラハンドル４８は、カメラ伸縮式支持体４０を上昇および下降させるのに使用される。カメラハンドル４８は、ボタン、スイッチ、レバー、および／またはそれらの任意の組み合わせの押し下げによって、カメラ伸縮式支持体４０の上昇および下降を実施することができる。

下部カメラ支持アーム４２は、任意の好適な場所でカメラ伸縮式支持体４０に取り付けることができ、実施形態では、図１に示されるように、下部カメラ支持アーム４２は、伸縮式支持体４０の周りで３６０度回転することができる。この自由な回転により、操作者は、適切ないずれの場所にでもカメラ４６を位置付けることができるようになる。下部カメラ支持アーム４２は、任意の好適な機構によって伸縮式支持体４０に接続することができる。下部カメラ支持アーム４２を使用して、カメラ４６に支えを設けることができる。カメラ４６は、任意の適切な機構によって下部カメラ支持アーム４２に取り付けられ得る。カメラ４６は、カメラ４６と下部カメラ支持アーム４２との間の取り付け個所で、いずれかの方向に枢動することができる。実施形態では、湾曲レール４４は、下部カメラ支持アーム４２上に配設させることができる。

湾曲レール４４は、下部カメラ支持アーム４２の任意の好適な場所に配設させることができる。図３Ａに示されるように、湾曲レール４４は、任意の好適な機構によって下部カメラ支持アーム４２に取り付けることができる。湾曲レール４４は、いずれの適切な 形状であってもよく、適切な形状は、三日月形、円形、卵形、楕円形、および／またはそれらの任意の組み合わせであり得る。カメラ４６は、湾曲レール４４に沿って移動可能に配設され得る。カメラ４６は、例えば、ローラ、ブラケット、ブレース、モータ、および／またはそれらの任意の組み合わせによって湾曲レール４４に取り付けることができる。モータおよびローラは、図示されていないが、湾曲レール４４に沿ってカメラ４６を動かすのに使用され得る。図３Ａに示されるように、医療処置の最中、対象により、カメラ４６が、追跡される１つ以上のＤＲＡを見るのを妨げられる場合、モータが、これに反応して、湾曲レール４４に沿ってカメラ４６を動かすことができる。このモータ駆動式の動きにより、カメラ４６は、カメラ追跡システム構成要素６を動かすことなく、対象によってもはや邪魔されることのない新しい位置に移動することができる。カメラ４６が１つ以上の追跡対象ＤＲＡを見ることを妨げられている間、カメラ追跡システム構成要素６は、停止信号を、外科手術ロボット４、ＸＲヘッドセット、ディスプレイ３４、および／またはタブレットに送信することができる。停止信号は、カメラ４６が追跡対象ＤＲＡ５２を再取得するまで、スカラ２４が動かないようにすることができ、および／または操作者にＸＲヘッドセットを装着するよう、および／またはディスプレイ３４および／またはタブレットを見るよう注意喚起することができる。このスカラ２４は、カメラ追跡システムがＤＲＡの追跡を再開することができるまで、ベースおよび／またはエンドエフェクタカプラ２２のさらなる移動を停止することによって、停止信号の受信に応答するように構成することができる。

図３Ｂおよび図３Ｃは、図１の外科手術システムとともに使用され得るか、または外科手術ロボットと独立して使用され得る別のカメラ追跡システム構成要素６’の正面図および等角図を示している。例えば、カメラ追跡システム構成要素６’が、ロボットガイダンスの使用なしにナビゲート式外科手術をするのに使用され得る。図３Ｂおよび３Ｃのカメラ追跡システム構成要素６’と図３Ａのカメラ追跡システム構成要素６との違いのうちの１つは、図３Ｂおよび３Ｃのカメラ追跡システム構成要素６’が、コンピュータプラットフォーム９１０を運ぶハウジングを含むことである。コンピュータプラットフォーム９１０は、ＤＲＡを追跡するカメラ追跡動作を行い、ディスプレイデバイス、例えばＸＲヘッドセットおよび／または他のディスプレイデバイスに外科手術ナビゲーション情報を提供する、ナビゲーション式外科手術を行い、また本明細書に開示されている他の計算演算を行うように構成され得る。したがって、コンピュータプラットフォーム９１０は、図１４の１つ以上のナビゲーションコンピュータなどのナビゲーションコンピュータを含むことができる。

図６は、医療手術に使用される図５の外科手術システムの構成要素のブロック図の見え方を示している。図６を参照すると、補助的追跡バーの追跡カメラ４６は、ナビゲーション視野６００を有し、これにおいて患者に取り付けられた参照アレイ６０２のポーズ（例えば、位置および向き）、外科手術器具に取り付けられた参照アレイ６０４、およびロボットアーム２０が、追跡される。追跡カメラ４６は、以下に記載される動作を実行するように構成されたコンピュータプラットフォーム９１０を含む、図３Ｂおよび図３Ｃのカメラ追跡システム構成要素６’の一部とすることができる。参照アレイは、既知のパターンで光を反射することによって追跡を可能にし、それは復号されて、外科手術ロボット４の追跡サブシステムによって、それぞれのポーズを判定する。患者参照アレイ６０２と補助的追跡バーにある追跡カメラ４６との間の視線が（例えば、医療従事者、器具などによって）遮断された場合、外科手術器具のさらなるナビゲーションを実行することができない可能性があり、応答通知は、ロボットアーム２０および外科手術ロボット４のさらなる移動を一時的に停止し、ディスプレイ３４に警告を表示し、および／または医療従事者に可聴警告を発することができる。ディスプレイ３４は、外科医６１０および助手６１２が利用可能であるが、視認するには、患者から顔をそらし、眼の焦点を異なる距離および位置に変える必要がある。ナビゲーションソフトウェアは、外科医からの音声指示に基づいて、技術者６１４によって制御させることができる。

図７は、外科手術システム２のナビゲーション機能を使用するときに、外科手術ロボット４によって図５および図６のディスプレイ３４に表示され得る様々な表示画面を示している。表示画面は、開発された外科手術計画に基づいて、および／または追跡される参照アレイのポーズに基づいて、解剖学的構造に対して表示画面に位置決めされた器具のモデルのグラフィック表現がオーバーレイされた患者の放射線写真、外科的処置の異なる段階および仮想的に投影されたインプラントの寸法パラメータ（例えば、長さ、幅、および／または直径）を制御するための様々な使用者選択可能なメニューを含むことができるが、これに限定されるものではない。

ナビゲート式外科手術のために、外科的処置の術前計画、例えば、インプラントの配置、およびコンピュータプラットフォーム９１０への計画の電子転送を可能にして、計画された外科的処置の最中に１人または複数の使用者にナビゲーション情報を提供する、以下に記載される様々な処理構成要素（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが提供される。

ロボットのナビゲーションのために、外科的処置の術前計画、例えば、インプラントの配置、および外科手術ロボット４への計画の電子転送を可能にする、以下に記載される様々な処理構成要素（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが、提供される。外科手術ロボット４は、計画を使用して、ロボットアーム２０および接続されたエンドエフェクタ２６を誘導して、計画された外科的処置のステップのための患者の解剖学的構造に対する外科手術用ツールの目標のポーズを生じる。

以下の様々な実施形態は、外科医６１０、助手６１２、および／または他の医療従事者が着用できる１つ以上のＸＲヘッドセットを使用して、外科手術ロボット、カメラ追跡システム構成要素６／６’、および／または手術室の他の医療機器から情報を受信し、および／またはこれらに制御コマンドを与えるための改善されたユーザインターフェースを提供することを対象とする。

図８は、本開示のいくつかの実施形態による、外科手術ロボット４のいくつかの電気的構成要素のブロック図を示している。図８を参照すると、ロードセル（図示せず）は、エンドエフェクタカプラ２２に加えられた力を追跡するように構成され得る。実施形態によっては、ロードセルは、複数のモータ８５０、８５１、８５２、８５３、および／または８５４と通信することができる。ロードセルが力を感知すると、加えられた力の程度に関する情報が、１つのスイッチアレイおよび／または複数のスイッチアレイからコントローラ８４６に配信され得る。コントローラ８４６は、ロードセルから力の情報を取り出し、それをスイッチアルゴリズムで処理することができる。スイッチアルゴリズムは、モータドライバ８４２を制御するのにコントローラ８４６によって使用される。モータドライバ８４２は、モータ８５０、８５１、８５２、８５３、および８５４のうちの１つ以上の動作を制御する。モータドライバ８４２は、特定のモータに、例えば、モータを通してロードセルによって測定された同じ程度の力を生じるよう指示することができる。実施形態によっては、生み出される力は、コントローラ８４６によって指示される通りに、複数のモータ、例えば８５０〜８５４に由来する場合がある。さらに、モータドライバ８４２は、コントローラ８４６から入力を受信することができる。コントローラ８４６は、ロードセルによって感知された力の方向に関する情報をロードセルから受信することができる。コントローラ８４６は、この情報を、モーションコントローラアルゴリズムを使用して処理することができる。このアルゴリズムは、特定のモータドライバ８４２に情報を提供するのに使用され得る。力の方向を複製するために、コントローラ８４６は、特定のモータドライバ８４２を起動および／または停止することができる。コントローラ８４６は、１つ以上のモータ、例えば８５０〜８５４のうちの１つ以上を制御して、ロードセルによって感知された力の方向にエンドエフェクタ２６の運動を誘起することができる。この力によって制御される運動により、操作者は、スカラ２４およびエンドエフェクタ２６を楽に、および／またはほとんど抵抗なく移動させることができるようにる。エンドエフェクタ２６の移動は、医療従事者が使用するために、エンドエフェクタ２６を任意の好適なポーズ（すなわち、定義された三次元（３Ｄ）直交基準軸に対する場所および角度の向き）に位置決めするように実行することができる。

図５に最もよく図解されている起動アセンブリ６０は、エンドエフェクタカプラ２２を包むブレスレットの形態をなすことができる。起動アセンブリ６０は、スカラ２４のいずれの部分にでも位置し得、エンドエフェクタカプラ２２の任意の部分が医療従事者によって着用され得（また無線で通信する）、および／またはそれらの任意の組み合わせであり得る。起動アセンブリ６０は、一次ボタンおよび二次ボタンを備えることができる。

一次ボタンを押し下げることにより、操作者は、スカラ２４およびエンドエフェクタカプラ２２を移動させることが可能になり得る。一実施形態によれば、所定の位置に設定されると、スカラ２４およびエンドエフェクタカプラ２２は、操作者がスカラ２４およびエンドエフェクタカプラ２２を動かすように外科手術ロボット４をプログラムするまで動かないようにしてもよく、または一次ボタンを使用して動かされる。例によっては、スカラ２４およびエンドエフェクタカプラ２２が操作者コマンドに応答するようになる前に、少なくとも２つの隣接していない一次起動スイッチを押し下げることが必要となり得る。少なくとも２つの一次起動スイッチを押し下げることにより、医療処置の最中のスカラ２４およびエンドエフェクタカプラ２２の偶発的な移動を防止することができる。

一次ボタンによって起動されると、ロードセルは、操作者、すなわち、医療従事者によってエンドエフェクタカプラ２２に及ぼされる力の大きさおよび／または方向を測定することができる。この情報は、スカラ２４およびエンドエフェクタカプラ２２を移動させるために使用することができる、スカラ２４内の１つ以上のモータ、例えば８５０〜８５４のうちの１つ以上に転送することができる。ロードセルによって測定された力の大きさおよび方向に関する情報は、１つ以上のモータ、例えば８５０〜８５４のうちの１つ以上に、ロードセルによって感知されるのと同じ方向にスカラ２４およびエンドエフェクタカプラ２２を移動させるようにすることができる。この力制御型の動きにより、操作者がスカラ２４およびエンドエフェクタカプラ２２を移動させるのと同時にモータがスカラ２４およびエンドエフェクタカプラ２２を移動させるため、操作者は、楽に、また多大な労力なしに、スカラ２４およびエンドエフェクタカプラ２２を移動することが可能になり得る。

いくつかの例では、二次ボタンは、「選択」デバイスとして操作者が使用することができる。医療手術中、外科手術ロボット４は、ＸＲヘッドセット９２０、ディスプレイ３４および／または光表示器２８によって、医療従事者に特定の状態を通知することができる。ＸＲヘッドセット９２０は、それぞれ、シースルー表示画面上に画像を表示して、シースルー表示画面を通して見ることができる実世界の対象に重ね合わせられる拡張リアリティ画像を形成するように構成されている。医療従事者は、機能、モード、および／または外科手術システム２の状態の評価を選択するよう、外科手術ロボット４によって促され得る。二次ボタンを１回押すと、特定の機能、モード、および／またはＸＲヘッドセット９２０、ディスプレイ３４および／または光表示器２８を通して医療従事者に伝えられる肯定応答情報を起動することができる。これに加えて、二次ボタンを素早く連続して複数回押し下げると、追加の機能、モードを起動し、および／またはＸＲヘッドセット９２０、ディスプレイ３４、および／もしくは光表示器２８を介して医療従事者に伝達される情報を選択することができる。

図８をさらに参照すると、外科手術ロボット４の電気的構成要素は、プラットフォームサブシステム８０２、コンピュータサブシステム８２０、運動制御サブシステム８４０、および追跡サブシステム８３０を含む。プラットフォームサブシステム８０２は、バッテリ８０６、配電モジュール８０４、コネクタパネル８０８、および充電ステーション８１０を含む。コンピュータサブシステム８２０は、コンピュータ８２２、ディスプレイ８２４、およびスピーカ８２６を含む。運動制御サブシステム８４０は、ドライバ回路８４２、モータ８５０、８５１、８５２、８５３、８５４、安定化装置８５５、８５６、８５７、８５８、エンドエフェクタコネクタ８４４、およびコントローラ８４６を含む。追跡サブシステム８３０は、位置センサ８３２およびカメラコンバータ８３４を含む。外科手術ロボット４はまた、取り外し可能なフットペダル８８０、および取り外し可能なタブレットコンピュータ８９０を含むことができる。

入力された電力は、配電モジュール８０４に供給されることが可能な電源を介して、外科手術ロボット４に供給される。配電モジュール８０４は、入力された電力を受け取り、外科手術ロボット４の他のモジュール、構成要素、およびサブシステムに供給される様々な電源電圧を起こすように構成されている。配電モジュール８０４は、様々な電圧供給をコネクタパネル８０８に供給するように構成され得る、例えば、モータ８５０〜８５４およびエンドエフェクタカプラ８４４に給電するために、コンピュータ８２２、ディスプレイ８２４、スピーカ８２６、ドライバ８４２などの他の構成要素に設けられても、またカメラコンバータ８３４および外科手術ロボット４用の他の構成要素に設けられてもよい。配電モジュール８０４はまた、配電モジュール８０４が入力された電力からの電力を受け取らない場合に、一時的な電力源としての役割を果たすバッテリ８０６に接続され得る。他の場合には、配電モジュール８０４は、バッテリ８０６を充電するのに機能する場合がある。

コネクタパネル８０８は、異なるデバイスおよび構成要素を外科手術ロボット４ならびに／または関連付けられた構成要素およびモジュールに接続するのに機能することがある。コネクタパネル８０８は、様々な構成要素からの線または接続を受け取る１つ以上のポートを含み得る。例えば、コネクタパネル８０８は、外科手術ロボット４を他の機器、フットペダル８８０を接続するポート、位置センサ８３２を含み得る追跡サブシステム８３０に接続するポート、カメラコンバータ８３４、およびＤＲＡ追跡カメラ８７０に接地させることができる接地端子ポートを備え得る。コネクタパネル８０８は、コンピュータ８２２などの他の構成要素へのＵＳＢ通信、イーサネット通信、ＨＤＭＩ通信を可能にする他のポートも含み得る。いくつかの実施形態に従えば、コネクタパネル８０８は、１つ以上のＸＲヘッドセット９２０を追跡サブシステム８３０および／またはコンピュータサブシステム８２０に動作可能に接続するための有線および／または無線のインターフェースを含むことができる。

制御パネル８１６は、外科手術ロボット４の動作を制御し、および／または操作者が観察するための外科手術ロボット４からの情報を生じる、様々なボタンまたは表示器を設けることができる。例えば、制御パネル８１６は、外科手術ロボット４の電源をオン・オフにするボタン、垂直支柱１６を上げ下げするボタン、キャスタ１２に係合して外科手術ロボット４が物理的に動かないようにロックするよう設計され得る安定化装置８５５〜８５８を上げ下げするボタンを含み得る。他のボタンは、緊急時に、外科手術ロボット４を止めることができ、すべてのモータ電源を取り外し、機械式ブレーキを掛けて、すべての動きが起こらないようにし得る。制御パネル８１６はまた、配線電力表示器またはバッテリ８０６の充電状態などの特定のシステムの状況を操作者に通知する表示器を有することができる。いくつかの実施形態によれば、１つ以上のＸＲヘッドセット９２０は、例えばコネクタパネル８０８を介して通信して、外科手術ロボット４の動作を制御し、および／またはＸＲヘッドセット９２０を着用している人による観察のために外科手術ロボット４によって生成された情報を、受信および表示することができる。

コンピュータサブシステム８２０のコンピュータ８２２は、外科手術ロボット４の割り当てられた機能を動作させるためのオペレーティングシステムおよびソフトウェアを含む。コンピュータ８２２は、操作者に情報を表示するために、他の構成要素（例えば、追跡サブシステム８３０、プラットフォームサブシステム８０２、および／または運動制御サブシステム８４０）からの情報を受信し、処理することができる。また、コンピュータサブシステム８２０は、操作者にスピーカ８２６を通して出力をすることができる。スピーカは、外科手術ロボットの一部、ＸＲヘッドセット９２０の一部、または外科手術システム２の別の構成要素の内部であり得る。ディスプレイ８２４は、図１および図２に示されるディスプレイ３４に対応することができる。

追跡サブシステム８３０は、位置センサ８３２、およびカメラコンバータ８３４を含むことができる。追跡サブシステム８３０は、図３のカメラ追跡システム構成要素６に対応し得る。ＤＲＡ追跡カメラ８７０は、ＤＲＡ５２のポーズを確定するように、位置センサ８３２とともに働く。この追跡は、ＬＥＤまたは反射マーカ（マーカーとも呼ばれる）などのＤＲＡ５２の能動式または受動式の要素の場所をそれぞれ追跡する赤外線または可視光技術の使用を含む、本開示に矛盾しない様式で行うことができる。

追跡サブシステム８３０およびコンピュータサブシステム８２０の機能動作は、図３Ａおよび３Ｂのカメラ追跡システム構成要素６’によって運ばれ得る、コンピュータプラットフォーム９１０に含まれ得る。追跡サブシステム８３０は、追跡対象のＤＲＡのポーズ、例えば場所および角度の向きを判定するように構成され得る。コンピュータプラットフォーム９１０はまた、判定されたポーズを使用して、予定の外科的処置の最中に位置が登録された患者の画像および／または追跡対象の解剖学的構造に対して追跡対象のツールのそれらの動きを誘導する、ナビゲーション情報を使用者に提供するように構成されている、ナビゲーションコントローラも含み得る。コンピュータプラットフォーム９１０は、図３Ｂおよび３Ｃのディスプレイ上に、および／または１つ以上のＸＲヘッドセット９２０に情報を表示することができる。コンピュータプラットフォーム９１０は、外科手術ロボットとともに使用される場合、コンピュータサブシステム８２０および図８の他のサブシステムと通信して、エンドエフェクタ２６の移動を制御するように構成することができる。例えば、以下に説明するように、コンピュータプラットフォーム９１０は、１つ以上の追跡対象のＤＲＡの判定されたポーズに基づいて制御される、表示されるサイズ、形状、色、および／またはポーズを伴う、患者の解剖学的構造、外科手術用ツール、使用者の手などの、グラフィック表現を生成することができ、また、その表示されるグラフィック表現は、経時的に判定されたポーズの変化を追跡するよう動的に修正できる。

運動制御サブシステム８４０は、垂直支柱１６、上部アーム１８、下部アーム２０を物理的に移動させるか、またはエンドエフェクタカプラ２２を回転させるように構成されることができる。物理的な移動は、１つ以上のモータ８５０〜８５４の使用を通して行われ得る。例えば、モータ８５０は、垂直支柱１６を垂直に上げるまたは下げるように構成され得る。モータ８５１は、図２に示されるように、垂直支柱１６との係合個所の周りに上部アーム１８を横方向に動かすように構成され得る。モータ８５２は、図２に示されるように、上部アーム１８との係合個所の周りに下部アーム２０を横方向に動かすように構成され得る。モータ８５３および８５４は、三次元軸の周りに沿った並進の動きおよび回転をもたらすように、エンドエフェクタカプラ２２を動かすように構成され得る。図９に示されるコンピュータプラットフォーム９１０は、コントローラ８４６に、エンドエフェクタカプラ２２の移動を誘導する制御入力をして、接続された受動式のエンドエフェクタを、計画された外科的処置の最中に手術される予定の解剖学的構造に対する計画されたポーズ（すなわち、定義された３Ｄ直交基準軸に対する場所および角度の向き）で位置決めすることができる。運動制御サブシステム８４０は、統合された位置センサ（例えば、エンコーダ）を使用して、エンドエフェクタカプラ２２および／またはエンドエフェクタ２６の位置を測定するように構成されることができる。

図９は、カメラ追跡システム構成要素６（図３Ａ）または６’（図３Ｂ、図３Ｃ）、および／または本開示のいくつかの実施形態による外科手術ロボット４に動作可能に接続させることができるコンピュータプラットフォーム９１０に接続された画像化デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６など）を含む外科手術システムの構成要素のブロック図を示している。これに代えて、コンピュータプラットフォーム９１０によって実行されるものとして本明細書に開示される少なくともいくつかの動作は、追加的または代替的に、外科手術システムの構成要素によって実行されることができる。

図９を参照すると、コンピュータプラットフォーム９１０は、ディスプレイ９１２、少なくとも１つのプロセッサ回路９１４（簡潔にするためにプロセッサとも呼ばれる）、コンピュータ可読プログラムコード９１８を内包する少なくとも１つのメモリ回路９１６（簡潔にするためにメモリとも呼ばれる）、および少なくとも１つのネットワークインターフェース９０２（簡潔にするためにネットワークインターフェースとも呼ばれる）を含む。ディスプレイ９１２は、本開示のいくつかの実施形態による、ＸＲヘッドセット９２０の一部であり得る。ネットワークインターフェース９０２は、図１０のＣアーム画像化デバイス１０４、図１１のＯアーム画像化デバイス１０６、別の医療画像化デバイス、患者の医療画像を内包する画像データベース９５０、外科手術ロボット４の構成要素、および／または他の電子機器に接続するように構成させることができる。

外科手術ロボット４とともに使用される場合、ディスプレイ９１２は、図２のディスプレイ３４、および／または図８のタブレット８９０、および／または外科手術ロボット４に動作可能に接続されたＸＲヘッドセット９２０に対応することができ、ネットワークインターフェース９０２は、図８のプラットフォームネットワークインターフェース８１２に対応することができ、プロセッサ９１４は、図８のコンピュータ８２２に対応することができる。ＸＲヘッドセット９２０のネットワークインターフェース９０２は、有線ネットワーク、例えば、シンワイヤイーサネットを介して、および／または１つ以上の無線通信プロトコル、例えば、ＷＬＡＮ、３ＧＰＰ ４Ｇおよび／または５Ｇ（Ｎｅｗ Ｒａｄｉｏ）セルラー通信規格などにしたがって無線ＲＦ送受信リンクを介して通信するように構成されることができる。

プロセッサ９１４は、汎用および／または専用プロセッサ、例えば、マイクロプロセッサおよび／またはデジタル信号プロセッサなどの１つ以上のデータ処理回路を含むことができる。プロセッサ９１４は、メモリ９１６内のコンピュータ可読プログラムコード９１８を実行して、外科手術計画、ナビゲート式外科手術、および／またはロボット外科手術のために実行されるものとして本明細書に記載される動作の一部またはすべてを含むことができる動作を実行するように構成されている。

コンピュータプラットフォーム９１０は、外科手術計画の機能性を提供するように構成することができる。プロセッサ９１４は、画像化デバイス１０４および１０６のうちの一方から、および／またはネットワークインターフェース９２０を通して画像データベース９５０から受信した解剖学的構造、例えば椎骨の画像をディスプレイデバイス９１２に、および／またはＸＲヘッドセット９２０に表示するように動作することができる。操作者のタッチが計画された処置用のディスプレイ９１２の場所を選択することによって、またはマウスベースのカーソルを使用して予定の処置の場所を定めることなどによって、プロセッサ９１４は、１つ以上の画像に示されているどこの解剖学的構造が、外科的処置、例えばスクリューの配置を行う予定なのかについて、操作者の定義を受信する。画像がＸＲヘッドセット９２０に表示される場合、ＸＲヘッドセットは、着用者によって形成されたジェスチャベースのコマンドで感知するように、および／または着用者によって発せられたボイスベースのコマンドを感知するように構成されることができ、これを使用してメニュー項目間の選択を制御し、および／または以下にさらに詳述するように、ＸＲヘッドセット９２０に対象がどのように表示されるかを制御することができる。

コンピュータプラットフォーム９１０は、股関節の中心、角度の中心、自然にある目印（例えば、ｔｒａｎｓｅｐｉｃｏｎｄｙｌａｒ ｌｉｎｅ、Ｗｈｉｔｅｓｉｄｅｓ ｌｉｎｅ、ｐｏｓｔｅｒｉｏｒ ｃｏｎｄｙｌａｒ ｌｉｎｅ）などを判定する様々な角度の測定のような、膝の外科手術に特に有用であり得る解剖学的構造の測定を可能にするように構成され得る。いくつかの測定が自動とすることができる一方で、いくつかの他の測定は、人間の入力または支援を伴うことができる。コンピュータプラットフォーム９１０は、操作者が、サイズおよび位置合わせの選択を含む、患者のための正しいインプラントの選択を入力することを可能にするように構成され得る。コンピュータプラットフォーム９１０は、ＣＴ画像または他の医療画像に対して自動または半自動（人間の入力を伴う）のセグメント化（画像処理）を行うように構成され得る。患者の外科手術計画は、外科手術ロボット４による検索のために、データベース９５０に対応することができるクラウドベースのサーバに記憶させることができる。

例えば、整形外科手術中に、外科医は、コンピュータ画面（例えば、タッチスクリーン）または例えばＸＲヘッドセット９２０を介した拡張リアリティ（ＸＲ）インタラクション（例えば、ハンドジェスチャベースのコマンドおよび／またはボイスベースのコマンド）を使用して、どのカットを作成するか（例えば、後部大腿骨、近位脛骨など）を選択することができる。コンピュータプラットフォーム９１０は、外科的処置を実行するために外科医に視覚的ガイダンスを提供するナビゲーション情報を生成することができる。外科手術ロボット４とともに使用される場合、コンピュータプラットフォーム９１０は、外科手術ロボット４がエンドエフェクタ２６を目標のポーズに自動的に移動させて、外科手術用ツールが目標の場所に位置合わせされて解剖学的構造に対する外科的処置を実行するようにし得るガイダンスを提供することができる。

いくつかの実施形態では、外科手術システム９００は、２つのＤＲＡを使用して、患者の脛骨に接続されたもの、および患者の大腿骨に接続されたものなど、患者の解剖学的構造の位置を追跡することができる。システム９００は、位置合わせおよび確認のための標準的なナビゲート器具（例えば、脊椎外科手術のためにＧｌｏｂｕｓ ＥｘｃｅｌｓｉｕｓＧＰＳシステムで使用されるものと同様のポインタ）を使用することができる。

ナビゲート式外科手術で特に難しい作業は、３Ｄの解剖学的構造の２Ｄの表現であるコンピュータ画面上で外科医が作業を実行するのに苦労する脊椎、膝、および他の解剖学的構造におけるインプラントの位置を計画する方法である。システム９００は、ＸＲヘッドセット９２０を使用して、解剖学的構造および候補のインプラントデバイスのコンピュータで生成された三次元（３Ｄ）表現を表示することによって、この問題に対処することが可能である。コンピュータで生成された表現は、コンピュータプラットフォーム９１０のガイダンスの下で、表示画面上で互いに対してスケーリングおよびポーズ決めされ、ＸＲヘッドセット９２０を介して視認される間、外科医により操作させることができる。外科医は、例えば、ＸＲヘッドセット９２０によって感知されるハンドジェスチャベースのコマンドおよび／または音声ベースのコマンドを使用して、解剖学的構造、インプラント、外科手術用ツールなどの、表示された、コンピュータで生成された表現を操作することができる。

例えば、外科医は、仮想インプラント上の表示された仮想ハンドルを視認することができ、仮想ハンドルを操作し（例えば、つかんで移動させ）て、仮想インプラントを所望のポーズに移動させ、解剖学的構造のグラフィック表現に対する計画されたインプラントの配置を調整することができる。その後、外科手術中に、コンピュータプラットフォーム９１０は、インプラントを挿入するための外科手術計画に、より正確に従い、および／または解剖学的構造に対して別の外科的処置を行う外科医の能力を促進するナビゲーション情報を、ＸＲヘッドセット９２０を通して表示することができる。外科的処置が骨の切除を伴う場合、骨の切除の進行、例えば切込みの深さが、ＸＲヘッドセット９２０を介してリアルタイムで表示され得る。ＸＲヘッドセット９２０を介して表示されることができる他の特徴として、関節運動の範囲に沿った間隙または靭帯のバランス、関節運動の範囲に沿ったインプラントの接触線、色または他のグラフィックレンダリングによる靭帯の緊張および／または弛緩などを挙げることができるが、これらに限定されるものではない。

いくつかの実施形態では、コンピュータプラットフォーム９１０は、標準の外科手術用ツールおよび／またはインプラント、例えば、後方安定化インプラントおよび十字型保持インプラント、セメント固定およびセメントなしのインプラント、例えば膝関節全置換もしくは部分置換術、および／または股関節置換術、および／または外傷に関連した外科手術のための是正システムの使用を計画することを可能にすることができる。

自動画像化システムをコンピュータプラットフォーム９１０と連携して使用して、解剖学的構造の術前、術中、術後、および／またはリアルタイムの画像データを取得することができる。例示的な自動画像化システムが、図１０および図１１に例示されている。いくつかの実施形態では、自動画像化システムは、Ｃアーム１０４（図１０）画像化デバイスまたはＯアーム（登録商標）１０６（図１１）である。（Ｏアーム（登録商標）は、米国コロラド州ルイスビルに事業所を置くＭｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ，Ｉｎｃ．が著作権を所有している）。Ｘ線システムで必要とされることがある、患者の頻繁な手動による再位置決めを必要とすることなく、いくつかの異なる位置から患者のＸ線を画像化することが望ましい場合がある。Ｃアーム１０４のＸ線診断機器は、頻繁な手作業による再位置決めの問題を解決することができ、外科手術および他の介入処置の医療分野で周知であり得る。図１０に示されるように、Ｃアームは、「Ｃ」の形状の対向する遠位端１１２で終端する細長いＣの形状をした部材を含む。Ｃの形状をした部材は、Ｘ線供給源１１４および画像受信器１１６に取り付けられている。アームのＣアーム１０４内のスペースは、Ｘ線支持構造からの干渉が実質的にない状態で医師が患者に付き添う空間を設ける。

Ｃアームは、２つの自由度における（すなわち、球面運動における２つの直交軸を中心とする）アームの回転の動きを可能にするように据え付けられている。Ｃアームは、Ｘ線支持構造にスライド可能に据え付けられ、これにより、Ｃアームの曲率中心を中心とした周回回転運動が可能になり、Ｘ線供給源１１４および画像受信器１１６を垂直方向におよび／または水平方向に選択的に向けるのを可能にすることができる。Ｃアームはまた、横方向（すなわち、患者の幅および長さの両方に対するＸ線供給源１１４および画像受信器１１６の選択的に調節可能な位置付けを可能にする周回方向に対して直角の方向）に回転可能であり得る。Ｃアーム装置の球面回転の態様により、医師は、画像化されている特定の解剖学的状況に関して判定された最適な角度で、患者のＸ線を画像化することができる。

図１１に示されているＯアーム（登録商標）１０６は、例示されていない画像取り込み部分を取り囲むことができるガントリハウジング１２４を含む。画像取り込み部分は、Ｘ線供給源および／またはＸ線放出部分と、Ｘ線受光および／または画像受信部分とを含み、これらは、互いに約１８０度離れて配設され、画像取り込み部分の軌道に対してロータ（図示せず）に据え付けられ得る。画像取り込み部分は、画像取得中に３６０度回転するように動作可能であり得る。画像取り込み部分は、中心点および／または軸を中心として回転することができ、患者の画像データが複数の方向から、または複数の平面で取得されることを可能にする。

ガントリハウジング１２４を備えたＯアーム（登録商標）１０６は、画像化される対象の周りに位置決めするための中央開口部と、ガントリハウジング１２４の内部の周りで回転可能な放射線源とを有し、それは、複数の異なる投影角度から放射線を投影するように適合させることができる。検出器システムは、投射角ごとに放射線を検出して、対象の画像を複数の投射平面から擬似同時的に取得するように適合されている。ガントリは、カンチレバー様式で、車輪を備えた車輪付き移動式カートなどの支持構造体のＯアーム（登録商標）支持構造体に取り付けられ得る。位置付けユニットは、好ましくはコンピュータ化されたモーションコントロールシステムの制御下で、ガントリを予定の位置および向きに並進および／または傾斜させる。ガントリは、ガントリ上で互いに対向して配設された供給源と検出器とを含み得る。供給源および検出器は、供給源および検出器を互いに協調する状態でガントリの内部を中心として回転させることができるモータ付きロータに固定され得る。供給源は、ガントリの内側に位置する目標の対象の多平面での画像化のために、部分的および／または完全な３６０度の回転にわたって、複数の位置および向きでパルス化され得る。ガントリは、ロータが回転するのに従ってロータを誘導するためのレールおよび軸受けシステムをさらに備え得、このシステムは、供給源および検出器を担持することができる。Ｏアーム（登録商標）１０６およびＣアーム１０４の双方および／またはいずれかを自動画像化システムとして使用して、患者をスキャンし、情報を外科手術システム２に送ることができる。

画像化システムによって取り込まれた画像は、ＸＲヘッドセット９２０および／またはコンピュータプラットフォーム９１０の別のディスプレイデバイス、外科手術ロボット４、および／または外科手術システム９００の別の構成要素に表示されることができる。ＸＲヘッドセット９２０は、例えばコンピュータプラットフォーム９１０を介して、画像化デバイス１０４および／または１０６のうちの１つ以上に、および／または画像データベース９５０に接続されて、それらからの画像を表示し得る。使用者は、ＸＲヘッドセット９２０を通して、制御入力、例えば、ジェスチャベースのコマンドおよび／または音声ベースのコマンドを与えて、画像化デバイス１０４および／もしくは１０６のうちの１つ以上ならびに／または画像データベース９５０の動作を制御し得る。

図１２は、図１３に示されるＸＲヘッドセット９２０に対応し、また本開示のいくつかの実施形態に従って作動し得る一対のＸＲヘッドセット９２０（ヘッドマウントディスプレイＨＭＤ１およびＨＭＤ２）を含む外科手術システムの構成要素のブロック図の見え方を示す。

図１２の例示的なシナリオを参照すると、助手６１２と外科医６１０は両方とも、それぞれＸＲヘッドセット９２０を装着している。助手６１２がＸＲヘッドセット９２０を装着することは任意である。ＸＲヘッドセット９２０は、以下でさらに説明するように、双方向の環境を設けるように構成されており、それを通して装着者は外科的処置に関係する情報を見て、それと相互作用することができる。この双方向ＸＲベースの環境は、図６に示される技術者６１４が手術室にいる必要性をなくすることができ、図６に示されるディスプレイ３４の使用の必要性をなくすことができる。それぞれのＸＲヘッドセット９２０は、外科手術用ツール、患者の解剖学的構造、エンドエフェクタ２６、および／または他の機器に取り付けられたＤＲＡまたは他の参照アレイの追加の追跡源を提供するように構成されている１つ以上のカメラを含み得る。図１２の例では、ＸＲヘッドセット９２０は、ＤＲＡおよび他の対象を追跡するための視野（ＦＯＶ）１２０２を有し、ＸＲヘッドセット９２０は、ＤＲＡおよび他の対象を追跡するためのＦＯＶ１２０２と部分的に重なるＦＯＶ１２１２を有し、追跡カメラ４６は、ＤＲＡおよび他の対象を追跡するために、ＦＯＶ１２０２および１２１２と部分的に重複する別のＦＯＶ６００を有する。

１つ以上のカメラが、追跡対象の対象、例えば外科手術用ツールに取り付けられたＤＲＡを見るのを妨げられているが、ＤＲＡが１つ以上の他のカメラの視野に入っている場合、追跡サブシステム８３０および／またはナビゲーションコントローラ８２８は、ナビゲーションを見失わずに、途切れなく対象を追跡し続けることができる。さらに、１つのカメラの視点からＤＲＡが部分的に隠れているが、ＤＲＡ全体が複数のカメラ供給源を介して見られる場合、カメラの追跡入力をまとめて、ＤＲＡのナビゲーションを続けることができる。ＸＲヘッドセットおよび／または追跡カメラ４６のうちの１つは、ＸＲヘッドセットの別の１つでＤＲＡを表示および追跡して、コンピュータプラットフォーム９１０（図９および図１４）、追跡サブシステム８３０、および／または別のコンピューティング構成要素を有効にし、１つ以上の定義された座標系、例えば、ＸＲヘッドセット９２０、追跡カメラ４６、および／または、患者、台、および／または部屋に対して定義された別の座標系に対するＤＲＡのポーズを判定することができる。

ＸＲヘッドセット９２０は、ビデオ、写真、および／または他の受信した情報を見るように、および／または神経モニタリング、顕微鏡、ビデオカメラ、および麻酔システムを含むがこれらに限定されるわけではない手術室の様々な機器を制御するコマンドを与えるように動作可能に接続され得る。様々な機器からのデータ、例えば、患者のバイタルまたは顕微鏡送りの表示は、ヘッドセット内で処理、表示され得る。

例示的なＸＲヘッドセット構成要素、ならびにナビゲート式外科手術、外科手術ロボット、およびその他の機器への統合
図１３は、本開示のいくつかの実施形態に従って構成されているＸＲヘッドセット９２０を示す。ＸＲヘッドセットは、ＸＲヘッドセットを装着者の頭に固定するように構成されたヘッドバンド１３０６、ヘッドバンド１３０６によって支えられた電子構成要素筐体１３０４、および電子構成要素筐体１３０４から横方向にわたって下向きに延在する表示画面１３０２を含む。表示画面１３０２は、シースルーＬＣＤディスプレイデバイスか、またはディスプレイデバイスによって装着者の目に向けて投射された画像を反射する半反射レンズであり得る。ＤＲＡ基準のセット１３１０、例えばドットが、ヘッドセットの片側または両側に配置された、既知の離間で、彩色または取り付けられている。ヘッドセットのＤＲＡは、補助的追跡バーの追跡カメラがヘッドセット９２０のポーズを追跡することを可能にし、および／または別のＸＲヘッドセットがヘッドセット９２０のポーズを追跡することを可能にする。

表示画面１３０２は、ディスプレイデバイスのディスプレイパネルから使用者の眼に向けて光を反射する、コンバイナとも呼ばれるシースルー表示画面として動作する。ディスプレイパネルは、電子構成要素筐体と使用者の頭との間に位置し得、使用者の目に向けた反射のために、表示画面１３０２に向けて仮想コンテンツを投射するように角度付けされ得る。表示画面１３０２が、半透明かつ半反射であることにより、使用者は、実世界場面の使用者のビューに重ね合わされた反射の仮想コンテンツを見ることができる。表示画面１３０２は、下部横方向帯域よりも高い不透明度を有する図示の上部横方向帯域など、様々な不透明度の領域を有し得る。表示画面１３０２の不透明度は、実世界場面からの光がどれくらい使用者の目を透過するかを調節するように電子的に制御され得る。表示画面１３０２の高不透明度の構成は、実世界場面の薄暗いビューに重ねられた高コントラストの仮想画像をもたらす。表示画面１３０２の低不透明度の構成は、実世界場面のより鮮明なビューに重ねられた、よりぼんやりした仮想画像をもたらし得る。不透明度は、表示画面１３０２の表面に不透明な材料を塗布することによって制御され得る。

いくつかの実施形態によれば、外科手術システムは、ＸＲヘッドセット９２０およびＸＲヘッドセットコントローラ、例えば、図１４のコントローラ１４３０を含む。ＸＲヘッドセット９２０は、外科的処置の最中に使用者が装着するように構成されており、ＸＲ画像を表示するように、また使用者が見るための実世界場面の少なくとも一部がそれを透過するのを可能にするように構成されているシースルー表示画面１３０２を有する。ＸＲヘッドセット９２０は、使用者がシースルー表示画面１３０２を見るときに、使用者の目のうちの少なくとも１つと実世界場面との間に位置付けられた不透明フィルタも含む。不透明フィルタは、実世界場面からの光に対する不透明性をもたらすように構成されている。ＸＲヘッドセットコントローラは、ナビゲーションコントローラ、例えば、図１４のコントローラ８２８Ａ、８２８Ｂ、および／または８２８Ｃと通信して、解剖学的構造に対する外科的処置中に使用者にガイダンスを与えるナビゲーションコントローラからナビゲーション情報を受信するように構成されており、シースルー表示画面１３０２に表示するためのナビゲーション情報に基づいてＸＲ画像を生成するようにさらに構成されている。

表示画面１３０２の不透明度は、表示画面１３０２の上部から下向きに離れ、より連続的に変化する不透明性を備えるグラジエントとして構成させることができる。グラジエントの最も暗い点は、表示画面１３０２の上部にあり得、不透明が透明になるかまたはなくなるまで、表示画面１３０２では、さらに下へ向かうと徐々に不透明性が低くなる。さらなる例示的実施形態では、グラジエントは、表示画面１３０２のほぼ目の中央の高さで、約９０％の不透明度から完全に透明に変化し得る。ヘッドセットが正しく較正され、位置付けられている場合、目の中央の高さは、使用者が真っ直ぐ外を見る場合の点に対応し、グラジエントの端は、目の「水平」線に位置し得る。グラジエントの暗い部分は、仮想コンテンツの鮮明でクリアなビジュアルを可能にし、頭上の手術室のライトの妨害的な輝度を遮断するのに役立つ。

このように不透明フィルタを使用することにより、ＸＲヘッドセット９２０は、表示画面１３０２の上部に沿って実世界場面からの光を実質的または完全に遮断することによって仮想現実（ＶＲ）の機能をもたらし、また表示画面１３０２の中央または下部に沿ってＡＲの機能をもたらすことが可能になる。これにより、使用者は、必要に応じてＡＲを半透明にできるようになり、処置中における患者の解剖学的構造のクリアな光学系が可能になる。表示画面１３０２を、より一定の不透明性バンドに代えてグラジエントとして構成することにより、着用者は、実世界場面の輝度と、上向きのビューと下向きのビューとの間のより急速なシフト中などに、なければ眼を緊張させ得る被写界深度との急峻な変化を経ることなく、よりＶＲタイプのビューからよりＡＲタイプのビューへのより自然な移行を経ることができるようになる。

ディスプレイパネルおよび表示画面１３０２は、広視野のシースルーＸＲディスプレイシステムを与えるように構成させることができる。例示的な一構成では、それらは、使用者が仮想コンテンツを視認するための５５°の垂直の範囲の８０°の対角視野（ＦＯＶ）を生じる。他の対角ＦＯＶ角度および垂直カバレッジ角度は、異なるサイズのディスプレイパネル、異なる曲率レンズ、および／またはディスプレイパネルと湾曲表示画面１３０２との間の異なる距離および角度の向きを介してもたらすことができる。

図１４は、コンピュータプラットフォーム９１０に、Ｃアーム画像化デバイス１０４、Ｏアーム画像化デバイス１０６などの画像化デバイスのうちの１つ以上、および／または画像データベース９５０に、および／または本開示の様々な実施形態による外科手術ロボット８００に、動作可能に接続されることができるＸＲヘッドセット９２０の電気的構成要素を例示している。

ＸＲヘッドセット９２０は、ナビゲートされる外科的処置を実行するための改善されたヒューマンインターフェースを提供する。ＸＲヘッドセット９２０は、例えば、コンピュータプラットフォーム９１０を介して、ハンドジェスチャベースのコマンドおよび／または音声ベースのコマンドの識別、ディスプレイデバイス１４５０のＸＲグラフィカルの対象の表示のうちのいずれか１つ以上を含むが、これらに限定されるわけではない、機能性をもたらすように構成され得る。ディスプレイデバイス１４５０は、表示されたＸＲグラフィカルの対象を表示画面１３０２に投射するビデオプロジェクタ、フラットパネルディスプレイなどであり得る。使用者は、ＸＲグラフィカルの対象を、表示画面１３０２（図１３）を介して見られる特定の実世界の対象に固定されたオーバーレイとして見ることができる。ＸＲヘッドセット９２０は、追加的または代替的に、１つ以上のＸＲヘッドセット９２０に据付けられたカメラおよび他のカメラからのビデオフィードを表示画面１４５０に表示するように構成することができる。

ＸＲヘッドセット９２０の電気的構成要素は、複数のカメラ１４４０、マイクロフォン１４４２、ジェスチャセンサ１４４４、ポーズセンサ（例えば、慣性測定ユニット（ＩＭＵ））１４４６、ディスプレイデバイス１４５０を含むディスプレイモジュール１４４８、および無線／有線通信インターフェース１４５２を含むことができる。以下に説明するように、ＸＲヘッドセットのカメラ１４４０は、可視光取り込みカメラ、近赤外線取り込みカメラ、または双方の組み合わせとすることができる。

カメラ１４４０は、カメラ１４４０の視野内で実行される使用者のハンドジェスチャの識別のために取り込むことによって、ジェスチャセンサ１４４４として動作するように構成させることができる。これに代えて、ジェスチャセンサ１４４４は、近接センサ、および／またはジェスチャセンサ１４４４に近接して実行されるハンドジェスチャを感知し、および／または物理的接触、例えばセンサまたは筐体１３０４をタッピングすることを感知するタッチセンサとすることができる。ポーズセンサ１４４６、例えばＩＭＵは、１つ以上の定義された座標軸に沿ったＸＲヘッドセット９２０の回転および／または加速度を感知することができる多軸加速度計、傾斜センサ、および／または別のセンサを含むことができる。これらの電気的構成要素のいくつかまたはすべては、構成要素筐体１３０４に内包されることができるか、または腰もしくは肩などの他の個所で着用されるように構成された別の筐体に内包されることができる。

上で説明したように、外科手術システム２は、カメラ追跡システム構成要素６／６’と、コンピュータプラットフォーム９１０の一部とすることができる追跡サブシステム８３０とを含む。外科手術システムは、画像化デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６、および／または画像データベース９５０）および／または外科手術ロボット４を含むことができる。追跡サブシステム８３０は、解剖学的構造、エンドエフェクタ、外科手術用ツールなどに取り付けられたＤＲＡのポーズを判定するように構成される。ナビゲーションコントローラ８２８は、例えば、解剖学的構造で外科手術用ツールを使用しておよび追跡サブシステム８３０によって判定された解剖学的構造のポーズに基づいて外科的処置がどこで実行されるかを定義する、図９のコンピュータプラットフォーム９１０によって実行される外科的計画機能に由来する外科的計画に基づいて、解剖学的構造に対する外科手術用ツールの目標のポーズを判定するように構成される。ナビゲーションコントローラ８２８は、外科手術用ツールの目標のポーズ、解剖学的構造のポーズ、および外科手術用ツールおよび／またはエンドエフェクタのポーズに基づいて操舵情報を生成するようにさらに構成され得、この場合、操舵情報は、外科手術の計画を行うのに、どこで外科手術用ツールおよび／または外科手術ロボットのエンドエフェクタを動かすべきかを示す。ＸＲヘッドセット９２０の様々なカメラ１４４０は、ＤＲＡ、使用者の手などのポーズを追跡するために、カメラ追跡システム構成要素６／６’に接続され得る。

ＸＲヘッドセット９２０の電気構成要素は、有線／無線インターフェース１４５２を介してコンピュータプラットフォーム９１０の電気構成要素に動作可能に接続され得る。ＸＲヘッドセット９２０の電気的構成要素は、例えば、様々な画像化デバイス、例えば、Ｃアーム画像化デバイス１０４、Ｉ／Ｏアーム画像化デバイス１０６、画像データベース９５０、および／または有線／無線インターフェース１４５２を介して他の医療機器に対して、コンピュータプラットフォーム９１０を介して動作可能に接続されることができるか、または直接接続され得る。

外科手術システム２は、さらに、ＸＲヘッドセット９２０、コンピュータプラットフォーム９１０、および／または有線ケーブルおよび／または無線通信リンクで接続された別のシステム構成要素に常在することができる少なくとも１つのＸＲヘッドセットコントローラ１４３０（簡潔にするために「ＸＲヘッドセットコントローラ」とも呼ばれる）を含む。様々な機能性が、ＸＲヘッドセットコントローラ１４３０によって実行されるソフトウェアによって提供されている。ＸＲヘッドセットコントローラ１４３０は、解剖学的構造に対する外科的処置中に使用者にガイダンスを与えるナビゲーションコントローラ８２８からナビゲーション情報を受信するように構成されており、シースルー表示画面１３０２での投影のためのディスプレイデバイス１４５０で表示するためにナビゲーション情報に基づいてＸＲ画像を生成するように構成されている。

表示画面（「シースルー表示画面」とも呼ばれる）１３０２に対するディスプレイデバイス１４５０の構成は、ＸＲヘッドセット９２０を装着している使用者が、表示画面１３０２を介して見るときに、ＸＲ画像が実世界にあるように見えるように、ＸＲ画像を表示するように構成されている。表示画面１３０２は、使用者の眼の前のヘッドバンド１３０６によって位置決めされることができる。

ＸＲヘッドセットコントローラ１４３０は、表示画面１３０２を視認する間、使用者の頭または使用者の体の他の個所に着用されるように構成されたハウジングの中にあることができ、または表示画面１３０２に通信可能に接続されている間に表示画面１３０２を視認している使用者から遠隔に位置することができる。ＸＲヘッドセットコントローラ１４３０は、カメラ１４４０、マイクロフォン１４２、および／またはポーズセンサ１４４６からの信号伝達を動作可能に処理するように構成されることができ、表示画面１３０２で視認する使用者のためにディスプレイデバイス１４５０にＸＲ画像を表示するように接続されている。したがって、ＸＲヘッドセット９２０内の回路ブロックとして例示されるＸＲヘッドセットコントローラ１４３０は、ＸＲヘッドセット９２０の他の例示される構成要素に動作可能に接続されているが、必ずしも共通のハウジング（例えば、図１３の電子構成要素筐体１３０４）内に存在しないか、または使用者によって運搬可能ではないことを理解されたい。例えば、ＸＲヘッドセットコントローラ１４３０はプラットフォーム９１０内に存在することができ、これはひいては図３Ｂおよび図３Ｃに示されるコンピュータ追跡システム構成要素６’のハウジング内に存在することができる。

ＸＲヘッドセット構成要素の光学的配置の例
図１５は、本開示のいくつかの実施形態による、ＸＲヘッドセット９２０の光学的構成要素の配置を示すブロック図を示している。図１５を参照すると、ディスプレイデバイス１４５０は、そこからの光がＸＲ画像１５００として表示画面１３０２に向けて投影されるＸＲヘッドセットコントローラ１４３０によって生成されたＸＲ画像を表示するように構成されている。表示画面１３０２は、ＸＲ画像１５００の光と実世界場面１５０２からの光とを組み合わせて、使用者の眼１５１０に向けられる合成拡張ビュー１５０４となるように構成されている。このように構成された表示画面１３０２は、シースルー表示画面として動作する。ＸＲヘッドセット９２０は、任意の複数の追跡カメラ１４４０を含むことができる。カメラ１４４０は、可視光取り込みカメラ、近赤外線取り込みカメラ、または双方の組み合わせとすることができる。

ＸＲヘッドセットを介した例示的な使用者ビュー
ＸＲヘッドセットの動作は、２Ｄ画像および３Ｄモデルの両方を表示画面１３０２に表示することができる。２Ｄ画像が、表示画面１３０２のより不透明な帯域（上部帯域）に表示され得るのが好ましく、３Ｄモデルが、環境領域として別様に知られている、表示画面１３０２のより透明な帯域（下部帯域）に表示され得るのがより好ましい。表示画面１３０２が終わる下部帯域の下方で、装着者は、手術室の遮るもののないビューを得る。ＸＲコンテンツが表示画面１３０２に表示される場所が、流動的である可能性があることに留意されたい。コンテンツに対するヘッドセットの位置によっては、３Ｄコンテンツが表示される場所が不透明帯域に移動し、２Ｄコンテンツが表示される場所が透明帯域に置かれ得て、実世界に対し安定できることが可能である。さらに、表示画面１３０２全体を電子制御下で暗くして、ヘッドセットを手術計画立案では仮想現実に変換し、または医療処置の最中に完全に透明に変換することができる。上で説明したように、ＸＲヘッドセット９２０および関連付けられた動作は、ナビゲートされる処置をサポートするだけでなく、ロボットにより支援される処置と組み合わせて実行されることができる。

図１６は、本開示のいくつかの実施形態による、医療処置の最中に外科手術用ツール１６０２を操作している使用者にナビゲーション支援を提供するためのＸＲヘッドセット９２０の表示画面１３０２を介した例示的なビューを示している。図１６を参照すると、外科手術用ツール１６０２が追跡される解剖学的構造の近傍にもたらされ、外科手術用ツール１６０２に接続された動的参照アレイ１６３０および１６３２がカメラ１４４０（図１５）および／または４６（図６）の視野内部になるようにするとき、ツールのグラフィック表現１６００は、解剖学的構造のグラフィック表現１６１０に関連して２Ｄおよび／または３Ｄ画像で表示され得る。使用者は、視認されたグラフィック表現を使用して、ツールのグラフィック表現２０００から解剖学的構造のグラフィック表現１６１０を通って延在するものとして示すことができる外科手術用ツール１６０２の軌道１６２０を調整することができる。ＸＲヘッドセット９２０は、テキスト情報および他の対象１６４０も表示することができる。表示された表示画面を横切って延びる破線１６５０は、異なる不透明度レベルの上側帯域と下側帯域との間の例示的な分割を表す。

表示画面１３０２に表示させることができる他のタイプのＸＲ画像（仮想コンテンツ）は、これらに限定されるものではないが、以下のいずれか１つ以上を含むことができる：
１）患者の解剖学的構造の２Ｄの軸方向ビュー、矢状ビュー、および／または冠状ビュー、
２）予定の追跡対象ツール対その時追跡対象のツールと外科手術インプラント場所との重ね合わせ、
３）術前画像のギャラリー、
４）顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオ送り、
５）オプションおよびコンフィグの設定およびボタン
６）外科手術計画立案情報による患者の解剖学的構造の浮遊３Ｄモデル、
７）浮遊する患者の解剖学的構造に対する外科手術器具のリアルタイム追跡、
８）命令およびガイダンスによる患者の解剖学的構造の拡張させた重ね合わせ、および
９）外科手術機器の拡張させたオーバーレイ。

追跡システム構成要素のためのカメラの例示的な構成
図１７は、本開示のいくつかの実施形態にしたがって構成された２対のステレオ追跡カメラを有する補助的追跡バー４６の例示的な構成を示している。補助的追跡バー４６は、図３Ａ、図３Ｂ、および図３Ｃのカメラ追跡システム構成要素の一部である。一実施形態によると、ステレオ追跡カメラは、離間させた可視光取り込みカメラのステレオの対と、離間させた近赤外線取り込みカメラの別のステレオの対とを含む。あるいは、可視光取り込みカメラの１つのステレオの対のみ、または近赤外線取り込みカメラの１つのステレオの対のみが、補助的追跡バー４６において使用され得る。任意の複数の近赤外線および／または可視光カメラを使用することができる。

ポーズ測定連鎖
上で説明したように、ナビゲート式外科手術は、離間させた基準、例えばカメラ追跡システムに対して知られている様式で配置された円盤または球を含む取り付けられたＤＲＡのポーズを判定することなどによる、コンピュータビジョン追跡および手術器具のポーズ（例えば、６自由度座標系における位置および向き）の判定を含み得る。コンピュータビジョンは、近赤外線および／または可視光を取り込むように構成された、離間させた追跡カメラ、例えばステレオカメラを使用する。このシナリオでは、最適化をめぐってともに競合する３つのパラメータ、（１）精度、（２）堅牢性、および（３）外科処置中の使用者の人間工学がある。

コンピュータ動作は、１つ以上のＸＲヘッドセットに据付けられた追加の追跡カメラを組み込むことによって、上記の３つのパラメータの１つ以上の最適化を改善することができる方法で測定されたポーズを組み合わせる（連鎖する）ことができる。図１７に示されるように、本開示のいくつかの実施形態にしたがって、可視光追跡カメラのステレオの対および近赤外線追跡カメラの別のステレオの対を、カメラ追跡システム構成要素の補助的追跡バーに取り付けることができる。完全に観察された、または部分的に観察された（例えば、ＤＲＡのすべてに満たない基準が１対のステレオカメラによって表示される場合）ＤＲＡのポーズを分析し、観察されたポーズまたは部分的なポーズを、ナビゲート式外科手術中の精度、堅牢性、および／または人間工学を向上させることができる方法で組み合わせる動作アルゴリズムが開示される。

上に説明したように、ＸＲヘッドセットは、コンピュータで生成されたＸＲ画像によって実世界場面を増強するように構成することができる。ＸＲヘッドセットは、コンピュータで生成されたＸＲ画像を、実世界場面からの光が通過して、使用者が組み合わせて視認することができるようにするシースルー表示画面に表示することにより、ＸＲ表示環境を設けるように構成されることができる。代替として、ＸＲヘッドセットは、表示されたＸＲ画像を表示経路に沿って、実世界場面からの光を使用者が直接視認するのを防止または実質的に防止することによって、ＶＲ表示環境を設けるように構成することができる。ＸＲヘッドセットは、ＡＲおよびＶＲ表示環境の双方を設けるように構成することができる。ある実施形態において、ＶＲ表示環境が高不透明度帯域と位置が揃ったＸＲ画像に設けられ、ＡＲ表示環境が、低不透明度帯域と位置が揃ったＸＲ画像に設けられるように、ＡＲおよびＶＲ両方の表示環境が、シースルー表示画面と実世界場面との間に配置された事実上不透明度が異なる横方向帯域によって設けられる。別の実施形態において、ＡＲおよびＶＲ両方の表示環境が、使用者が見るＸＲ画像と組み合わせるためシースルー表示画面を実世界場面からの光がどれくらい透過するかを可変的に抑制する不透明フィルタのコンピュータ調整式制御によって設けられる。したがって、ＸＲヘッドセットはまた、ＡＲヘッドセットまたはＶＲヘッドセットと呼ぶこともできる。

上でも説明したように、ＸＲヘッドセットは、外科手術器具、患者の解剖学的構造、他のＸＲヘッドセット、および／またはロボットエンドエフェクタに接続されたＤＲＡの基準を追跡するように構成された近赤外線追跡カメラおよび／または可視光追跡カメラを含むことができる。ＸＲヘッドセットで近赤外線追跡および／または可視光追跡を使用すると、単一の補助的追跡バーのカメラがもたらすことができるものを超える追加の追跡量のカバレッジが、もたらされる。既存の補助的追跡バーに近赤外線追跡カメラを追加すると、ヘッドセットの位置を可視光よりも堅牢に追跡することができるが、精度は低くなる。可視光追跡座標系および近赤外線追跡座標系を機械的に較正することにより、ステレオマッチングを使用して３ＤのＤＲＡ基準の三角測量動作を行うように座標系を十分に位置合わせし、可視光追跡座標系と赤外線追跡座標系との間のＤＲＡ基準のポーズを共同で特定することができるようになる。可視光追跡座標系および近赤外線追跡座標系の両方を使用すると、（ａ）１つのみの座標系を使用すると特定されないツールを特定すること、（ｂ）ポーズ追跡精度を向上させること、（ｃ）外科手術器具、患者の解剖学的構造、および／またはロボットエンドエフェクタの追跡を見失うことなく、より広い範囲の動きを可能にすること、および（ｄ）ナビゲート下の外科手術器具と同じ座標系でＸＲヘッドセットを自然に追跡すること、のうちのいずれか１つ以上が可能になり得る。

図１８は、ＸＲヘッドセット９２０の追跡カメラ（ヘッドマウントディスプレイＨＭＤ１およびＨＭＤ２）およびコンピュータプラットフォーム９１０を収容するカメラ追跡システム構成要素６’のカメラ追跡バーの追跡カメラを含む外科手術システムの構成要素のブロック図の見え方を示している。コンピュータプラットフォーム９１０は、図１４において先に示したように、追跡サブシステム８３０、ナビゲーションコントローラ８２８、およびＸＲヘッドセットコントローラ１４３０を含むことができる。

図１８の外科手術システムを参照すると、外科医および助手は、双方とも、それぞれが図１３に示すように構成されることができる追跡カメラを含む場合、ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０をそれぞれ着用している。助手がＸＲヘッドセットＨＭＤ２ ９２０を装着することは任意である。

ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０と補助的追跡バーの追跡カメラ４６との組み合わせは、コンピュータプラットフォーム９１０と連動して、患者参照アレイ（Ｒ）、ロボットエンドエフェクタ（Ｅ）、および外科手術用ツール（Ｔ）または器具の例示的な対象をより堅牢に追跡することができる。ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０と、補助的追跡バーにある追跡カメラ４６によってもたらされる、異なる視点からの重なり合うビューを、図１２に示す。

図１８においてラベル付けされている各項目は、一意の座標系を表している。座標系ラベルの説明は、以下のとおりである：
Ａ＝第２のヘッドセットＨＭＤ２ ９２０の可視光座標系、
Ｎ３＝第２のヘッドセットＨＭＤ２ ９２０の近赤外（ＮＩＲ）座標系、
Ｓ＝主ヘッドセットＨＭＤ１ ９２０の可視光座標系、
Ｎ２＝主ヘッドセットＨＭＤ１ ９２０のＮＩＲ座標系、
Ｎ＝補助ナビゲーションバー４６のＮＩＲ座標系、
Ｖ＝補助ナビゲーションバー４６の可視光座標系、
Ｒ＝患者参照基準アレイ６０２のＮＩＲ座標系、
Ｔ＝追跡されたツール６０４のＮＩＲ座標系、
Ｅ＝ロボットアーム２０上の追跡されたロボットエンドエフェクタのＮＩＲ座標系、および
Ｗ＝安定した重力ベクトルの慣性的にナビゲートされる世界座標系。

これらのラベル付けされた対象の一部（および拡張させると座標系）の空間的関係は、製造プロセス中、機器が手術室に設置されているとき、および／または外科的処置が実行される前に、測定および較正させることができる。開示されたシステムでは、以下の座標系が較正される：

式中、「Ｔ」という項は、示された２つの座標系間の６自由度（６ＤＯＦ）の均一な変換として定義される。したがって、例えば、

という項は、主ヘッドセットＨＭＤ１ ９２０の可視光座標系と主ヘッドセットＨＭＤ１ ９２０のＮＩＲ座標系との間の６自由度の均一な変換である。

一実施形態では、ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０は、図１３に示される参照アレイ基準１３１０など、それらにペイントされるかまたは他の方法で取り付けられた受動式可視光基準（座標系ＳおよびＡ）を有する。追跡カメラは、これらの受動式基準（座標系Ｎ２およびＮ３）に合わせて空間的に較正される。

上で説明したように、ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０上のカメラ、ならびに補助的追跡バー上の追跡カメラ４６は、部分的に重なり合う視野を有する。ＸＲヘッドセットＨＭＤ１ ９２０のカメラの１つ以上が、例えば追跡されるツール（Ｔ）などの追跡される対象に取り付けられたＤＲＡの表示を妨げられているが、ＤＲＡが他のＸＲヘッドセットＨＭＤ２ ９２０のカメラおよび／または補助的追跡バー上の追跡カメラ４６を表示している場合、コンピュータプラットフォーム９１０は、ナビゲーションを失うことなく、ＤＲＡをシームレスに追跡し続けることができる。これに加えて、ＸＲヘッドセットＨＭＤ１ ９２０のカメラの視点からＤＲＡが部分的に閉塞しているが、ＤＲＡ全体が他のＸＲヘッドセットＨＭＤ２ ９２０のカメラおよび／または補助的追跡バー上の追跡カメラ４６を介して見える場合、カメラの追跡入力をマージして、ＤＲＡのナビゲーションを続行することができる。

より具体的には、様々な座標系は、ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０ならびに補助的追跡バー上の追跡カメラ４６によって設けられる様々なカメラシステムを独立して観察することにより、一体に連鎖させることができる。例えば、ＸＲヘッドセットＨＭＤ１ ９２０およびＨＭＤ２ ９２０のそれぞれは、ロボットエンドエフェクタ（Ｅ）の仮想拡張を必要とする場合がある。１つのＸＲヘッドセットＨＭＤ１ ９２０（Ｎ２）および補助的追跡バー（Ｎ）上の追跡カメラ４６は、（Ｅ）を見ることができるが、おそらく他のＸＲヘッドセットＨＭＤ２ ９２０（Ｎ３）は見ることができない。（Ｎ３）に対する（Ｅ）の位置は、依然としていくつかの異なる動作方法の１つを介して計算することができる。患者参照（Ｒ）からポーズを連鎖させるのを実行する一実施形態による動作である。患者参照（Ｒ）が（Ｎ３）と（Ｎ）または（Ｎ２）のいずれかによって見られる場合、（Ｎ３）に対する（Ｅ）のポーズは、以下の２つの式のいずれかによって、直接解くことができる。

このポーズの連鎖化の鍵となるのは、各連鎖の最後にあるフレーム間の関係が推測されることである（下方に丸で囲まれて移動される）。連鎖は、任意の長さとすることができ、複数のステレオカメラシステム（例えば、Ｎ、Ｎ２、Ｎ３）を有することによって有効にされる。

カメラ追跡システムは、外科的処置の最中に、第１の追跡カメラ（例えば、Ｎ３）および第２の追跡カメラ（例えば、Ｎ２）から追跡される対象に関連する追跡情報を受信するように構成され得る。カメラ追跡システムは、第１の対象（例えば、Ｒ）のポーズを示す第１の追跡カメラ（例えば、Ｎ３）からの第１の対象追跡情報に基づいて、第１の対象（例えば、Ｒ）座標系と、第１の追跡カメラ（例えば、Ｎ３）座標系との間の第１のポーズ変換

を判定することができる。カメラ追跡システムは、第１の対象（例えば、Ｒ）のポーズを示す第２の追跡カメラ（例えば、Ｎ２）からの第１の対象追跡情報に基づいて、第１の対象（例えば、Ｒ）座標系と、第１の追跡カメラ（例えば、Ｎ２）座標系との間の第２のポーズ変換

を判定することができる。カメラ追跡システムは、第２の対象（例えば、Ｅ）のポーズを示す第２の追跡カメラ（例えば、Ｎ２）からの第２の対象追跡情報に基づいて、第２の対象（例えば、Ｅ）座標系と、第１の追跡カメラ（例えば、Ｎ２）座標系との間の第３のポーズ変換

を判定することができる。カメラ追跡システムは、
第１、第２、および第３のポーズ変換の組み合わせに基づいて、第２の対象（例えば、Ｅ）座標系と、第１の追跡カメラ（例えば、Ｎ３）座標系との間の第４のポーズ変換

を判定することができる。

いくつかのさらなる実施形態では、カメラシステムは、第４のポーズ変換を介した追跡情報の処理に基づいて、第２の対象（例えば、Ｅ）および第１の追跡カメラシステム（例えば、Ｎ３）座標系のポーズをさらに判定することができる。

様々なカメラシステムの視野が重複しているため、カメラ追跡システムは、第１のカメラが第２の対象（例えば、Ｅ）を見るのを妨げられたときに、第１の追跡カメラ（例えば、Ｎ３）に対する第２の対象（例えば、Ｅ）のポーズを判定することができる。例えば、いくつかの実施形態では、カメラ追跡システムは、第２の対象（例えば、Ｅ）のポーズを示す第１の追跡カメラ（例えば、Ｎ３）からのいずれかの追跡情報を使用せずに、第２の対象（例えば、Ｅ）座標系と、第１の追跡カメラ（例えば、Ｎ３）座標系との間の第４のポーズ変換

を判定するようにさらに構成される。

カメラ追跡システムは、複数のカメラシステムからの同期された画像をマージすることによって、より高い追跡精度を達成することができる。例えば、カメラ追跡システムは、複数の視点（第１および第２の追跡カメラ）からの第２の対象（例えば、Ｅ）の同期させた画像をマージすることによって、第１の追跡カメラ（例えば、Ｎ３）に対する第２の対象（例えば、Ｅ）のポーズを判定することができ、それぞれのカメラの精度の仕様に基づいて判定されることができる重み付けを使用することができる。より具体的には、カメラ追跡システムは、第２の対象（例えば、Ｅ）のポーズを示す第１の追跡カメラ（例えば、Ｎ３）からの第２の対象追跡情報に基づいて、さらに、第１、第２、および第３のポーズ変換の組み合わせの結果に基づいて、第２の対象（例えば、Ｅ）座標系と、第１の追跡カメラ（例えば、Ｎ３）座標系との間の第４のポーズ変換

を判定するようにさらに構成されることができる。

外科手術システムは、ＸＲヘッドセットのシースルー表示画面上に、第４のポーズ変換に基づいて判定されるポーズを有するＸＲ画像を表示するように構成されることができる。カメラ追跡システムは、第１および第２の追跡カメラからの第１の対象追跡情報ならびに第２の追跡カメラからの第２の対象追跡情報の第４のポーズ変換を介した処理に基づいてシースルー表示画面上にてポーズされる第２の対象（例えば、Ｅ）のグラフィック表現としてＸＲ画像を生成するようにさらに構成することができる。

上で説明したように、カメラ追跡システムは、追跡情報を受信するために第１の追跡カメラ（例えば、Ｎ３）および第２の追跡カメラ（例えば、Ｎ２）に通信可能に接続され、第１、第２、第３、および第４のポーズ変換の判定を実行するように構成されたナビゲーションコントローラ８２８を含むことができる。

カメラ追跡システムによって識別された参照アレイへの外科手術用ツールの特性の登録
外科的処置中、カメラ追跡システムは、一連の追跡カメラの視野内に保持または支持されている外科手術用ツールのポーズを同時に追跡することができ、外科手術用ツールがその視野の外側から内側へ、例えば、再び取得された後から移動したときに、外科手術用ツールの追跡を再開することができる。多くの外科手術用ツールは、適切に追跡するためにソフトウェア構成を必要とする。カメラ追跡システムは、外科手術用ツールに取り付けられた、または外科手術用ツールに取り付けられた参照アレイのポーズを追跡するため、追跡された参照アレイのどれにどの外科手術用ツールの特性が登録されているかをカメラ追跡システムに通知するべきである。それにより、ナビゲーションコントローラ８２８（図１４）は、外科手術用ツールの特定の特性を知ることで動作することができる。例えば、識別された参照アレイから外科手術用ツールの先端までの距離の外科手術用ツールの特性の登録は、ナビゲーションコントローラ８２８が、外科的処置の間に外科医のツール先端の動きをナビゲートすることを可能にする。同様に、識別された参照アレイに対する外科手術用ツールの曲率方向の登録により、ナビゲーションコントローラ８２８は、ＸＲヘッドセット９２０を通して外科手術用ツールの正確なグラフィック表現を表示し、外科的処置の間に追跡された解剖学的構造に対して正確に配置することができる。

登録プロセスは、ペアリングプロセスとも呼ばれ、使用者は、参照アレイを識別するために、追跡カメラのセットの視野にて参照アレイを有する外科手術用ツールを保持し、次に、使用者は、いくつかの実施形態による、その外科手術用ツールの特性を定義する。登録プロセスは、外科的処置に追跡される参照アレイと外科手術用ツールの特性の組み合わせごとに繰り返され、参照アレイが１つのタイプの外科手術用ツールから取り外されて別のタイプの外科手術用ツールに取り付けられたときにさらに繰り返すことができる。ＸＲヘッドセットを装着している外科医または他の医療従事者が、一組の外科手術用ツールの登録プロセスを時間的に効率よく実行し、外科医が外科手術用ツールの特性を参照アレイと登録する際のエラーを回避するのを補助し、外科的処置の前および最中の外科医の集中の中断を減らすことができるようにすることが重要であり得る。

本開示のいくつかのさらなる実施形態は、登録プロセス中にＸＲヘッドセットを使用して、識別された参照アレイを外科手術用ツールの特性に登録し、使用者が登録の正確さを検証できるように、ＸＲヘッドセットを介してそれらの特性の表現を表示することを対象とする。登録プロセス中にＸＲヘッドセットを使用すると、外科医や他の医療関係者（使用者）が外科的処置の前および／または外科的処置中にカメラ追跡システムに外科手術用ツールを登録するための、より直感的で時間効率が高く信頼性の高いプロセスをもたらせる。

登録プロセスは、参照アレイが一組の追跡カメラの視野にもたらされ、識別された参照アレイが、外科手術用ツールの特性で対にされるものとして登録されていないとカメラ追跡システムが判定したのに応答して、自動的に開始され得る。

実施形態では、ＸＲヘッドセットは、例えば、図１３に示されるように、ＸＲヘッドセット９２０の電子構成要素筐体１３０４に含まれ得る一組の追跡カメラを含む。カメラ追跡システム（例えば、図１８のシステム６）は、追跡カメラからのビデオストリーム内の参照アレイを識別することなどによって、追跡カメラのセットによって追跡される参照アレイ（例えば、図２１〜２２の物理的参照アレイ１８００）を識別する。参照アレイは、それぞれの参照アレイを形成する基準のセット間の異なる方向に基づいて一意に識別できる。カメラ追跡システムは、識別された参照アレイが、外科手術用ツールデータベースで定義された複数の外科手術用ツールのうちの１つの特性と対になって登録されているかどうかを判定する。登録されていないと判断された参照アレイおよび使用者の入力の受信に基づいて、カメラ追跡システムは、使用者の入力に基づいて複数の外科手術用ツールの中から選択される外科手術用ツールの特性と対になっているものとして参照アレイを登録する。次に、カメラ追跡システムは、使用者に表示するために、ＸＲヘッドセット９２０のディスプレイデバイスに特性の表現を生じる。

したがって、使用者は、ＸＲヘッドセット９２０に取り付けられた追跡カメラのセットの視野内に外科手術用ツールを上げることによって、登録を開始することができる。未登録の参照アレイが追跡カメラの視野に入ると、カメラ追跡システムは、ＸＲヘッドセット９２０を介して視覚的プロンプトを表示させることができ、それは使用者に、参照アレイの関連する外科手術用ツール特性への登録を実行するように促す。カメラ追跡システムは、追跡カメラからビデオを受信し、間隔および相対性に基づいて参照アレイを識別し、識別された参照アレイが、外科手術用ツールデータベースで定義された外科手術用ツールのいずれかの定義された特性とペアになっているとしてまだ登録されていないことを判定する。カメラ追跡システムは、外科手術用ツールの特性を識別する使用者の入力を受け取り、外科手術用ツールの特性と対になっているものとして参照アレイを登録する。

外科手術用ツールの特徴の例には、ドリル、ねじ回し、鋸、開創器、およびスクリュー、スペーサ、椎体間固定装置、プレート、ロッドなどのインプラントの構造的および／または操作上の特徴が含まれ得るが、これらに限定されない。

追跡システム構成要素に関する「３台のカメラ」での追跡の例示的な構成
対象の５つ以上の三次元（３Ｄ）のポイントを識別できる場合、カメラに対する対象の６自由度（６ＤＯＦ）の位置と方向について解決するために必要なのは、１台のカメラだけである。２台のカメラが一緒に適切に較正されている場合、６ＤＯＦポーズは、ステレオ三角測量を介して３つの３Ｄポイントのみを使用するために解決できる。本開示の様々な実施形態によれば、第３のカメラが導入され、ステレオカメラの対を通って延びる線の間に配置されるが、それらから離間させる。この第３のカメラは、２Ｄまたは３Ｄで追跡された対象、エッジ、またはポイントの第３の軸外の視点を生じることにより、精度を向上させる。

２台以上のカメラを使用する場合、外科手術器具やロボットエンドエフェクタなどの対象のポーズは、追跡対象の特徴を特徴の場所のデータベースに関連付けて三角測量することで解決される。したがって、精度に応じる：
ａ．特徴が２Ｄ画像にどれだけ正確に位置特定されているか。

ｂ．追跡された対象の特徴が３Ｄ空間にどのように広がっているか。

ｃ．追跡カメラの広がりと数がどのようになっているか。

ｄ．カメラがどれだけうまく較正されているか。

３台目のカメラを追加すると、ノイズの単純な平均化による（ａ．）のエラーが減少し、一方で（ｃ．）によるエラーに直接影響する。第３のカメラは、他の２台のカメラの較正の精度の検証としても機能し得る。例えば、ステレオペアが方位やヨーで較正されていない場合、追跡された対象は三角測量で表示されるが、奥行きがずれている。この較正エラーは、３台目のカメラを追加することで直接観察できる。最後に、第３のカメラを他の２つのカメラの少し上に配置し、任意選択でそれに角度を付けることにより、すべてのカメラが可視光カメラである場合は、第３のカメラは、ＮＩＲカメラを使用するときに以前は観察できなかった対象の３Ｄジオメトリに関する新しい視点を取得する。

図２０ａは、２台の追跡カメラ（２０１０と２０１２）を使用した単一ポイントのステレオカメラの三角測量を示している。図２０ｂは、本開示のいくつかの実施形態による、３つの追跡カメラ（２０２０、２０２２、および２０２４）を使用する単一ポイントの三角測量を示す。

図１９は、本開示のいくつかの実施形態に従って構成された３つのステレオ追跡カメラを有するカメラバー１９００（例えば、図６および１８のカメラ追跡システム構成要素６／６’の補助的追跡バーまたはＸＲヘッドセット９２０の一部）の例示的な構成を示す。カメラバー１９００は、カメラ追跡システムの一部であり得、カメラ追跡システムは、カメラ追跡システム構成要素６／６’内にあり得、少なくとも部分的にナビゲーションコントローラ８２８内にあり得、またはＸＲヘッドセット９２０内にあり得る。この実施形態では、３つの追跡カメラは、可視光カメラであり得、および／または追跡カメラは、近赤外線（ＮＩＲ）光の感知のために構成され得る。

第１および第２の追跡カメラ（１９１０および１９２０）は、カメラバー１９００上の離間した場所に取り付けることができる。第１および第２の追跡カメラの中心は、距離Ｄ１だけ離間されている。第３の追跡カメラ１９３０は、第１および第２の追跡カメラ（１９１０および１９２０）の位置の間にあり、第１および第２の追跡カメラ（１９１０および１９２０）の中心を通って延びる線１９４０から距離Ｄ２離間したカメラバー１９００上の位置に取り付けられ得る。

第３の追跡カメラ１９３０が線１９４０から離間されている距離Ｄ２は、第１および第２の追跡カメラ（１９１０および１９２０）の中心間の距離Ｄ１の４分の１から２分の１の間であり得る。さらに、第３の追跡カメラ１９３０は、第３の追跡カメラ１９３０が第２の追跡カメラ１９２０からのものであるのと同じ距離で、第１の追跡カメラ１９１０から離れていてもよい。３つの追跡カメラはすべて下向きであり得、角度を付けることができて、追跡カメラのビューが、外科手術環境および追跡カメラの場所で追跡されている対象間の最も遠いおよび近い予測距離など、対象を追跡カメラが追跡するように構成された距離範囲内にある単一のポイントに向かって収束するようにする。

この実施形態では、図２１〜図２５で使用できる可視光カメラおよび高コントラスト追跡対象の使用は、ＮＩＲの解決策、（ａ）幾何学的に符号化された識別を有するディスクベースの対象および（ｂ）ＱＲまたはバーコードのスタイルの識別付きのエッジが支配的な対象の代替を生じる。

図２１〜図２２は、２つの平行な平面に配置された基準ディスクを含み、それぞれが少なくとも１つの受動式の基準ディスクの位置を含む、物理的参照アレイ１８００に取り付けられた外科手術用ツール１９５０を示している。受動式の基準ディスクのアレイは、複数のカメラによって異なる角度で同時に追跡できる。受動式の基準ディスクの配置により、急な軌道でも追跡カメラからそれらを見ることができる。

図２１は、５つの基準ディスク１８２０および１８３０ａ〜ｄを備えた例示的な物理的参照アレイ１８００に取り付けられた外科手術用ツール１９５０の様々な視野の角度を示している。図２１では、基準ディスク１８２０は、基準ディスク１８３０ａ〜ｄを含む平面に平行であり、平面から離間させている第１の平面にある。この例では、基準ディスク１８２０、１８３０ａ、１８３０ｄは外部ディスクと呼ばれ得、それらの位置は、多数の物理的参照アレイにわたって同じままであり得る。基準ディスク１８３０ｂ、１８３０ｃは内部ディスクであり、物理的参照アレイのそれぞれのアームに沿ったそれらの位置は、異なる物理的参照アレイ間で異なる場合があり、その差を検出して、物理的参照アレイを一意に識別することができる。各物理的参照アレイは、外科手術用ツール１９５０（例えば、外科手術用ツール）に取り付けるための結合要素１８１０を含む。追跡システムは、基準ディスク１８２０、１８３０ａ〜ｄの一意のパターンを検出し、特定の物理的参照アレイを認識し、したがって、外科手術用ツール１９５０の位置を判定することができる。対象の識別子は基準ディスク間の３Ｄ幾何学的距離で符号化されるため、アレイの残りの部分に対する２つの内部ディスク１８３０ｂおよび１８３０ｃの相対的な位置を変更すると、異なるパターンが作成され、そのため一意の対象の識別子が変更される。

図２１の背面角度図から、基準ディスクは、物理的参照アレイ１８００の背面図から検出可能である可能性があることが分かる。これにより、物理的参照アレイ１８００がカメラに面していないか、または直接角度を付けられていない間に、外科手術用ツール１９５０を検出、識別、および追跡することが可能になる。したがって、医師は、物理的参照アレイ１８００が追跡カメラの方を向くことができるように、器具を調整するまたは器具を使用する必要なしに、より自由に器具（例えば、外科手術用ツール１９５０）を使用することができる。

いくつかの実施形態では、ディスクは、異なるディスクとして検出され、追跡ソフトウェア内で一意のパターンとして符号化されるために、隣接するディスクの中心から中心まで少なくとも４ｍｍでなければならない。これらの一意のパターンにより、一度に複数の器具を追跡できる。

図２１〜図２２を比較すると、５つのディスクを使用することが冗長性をもたらし得る。例えば、図２２では、基準ディスク１８３０ｂは１８２０によって妨害されているが、基準ディスク１８３０ｃと基準ディスク１８３０ｄとの間の距離を使用して、物理的参照アレイを識別することができる。ポーズ回復に必要なディスクは３つだけであるが、対象を一意に識別するには４つのディスクが必要である。これにより、いずれかの機能を失うことなく、任意の１つのディスクを覆ったり妨害したりすることができる。

これらの基準ディスクは、アレイに挿入、塗装、またはレーザーエッチングすることができる。アレイは高感度の電子機器や再帰反射ビーズを必要としない場合があるため、アレイは簡単にオートクレーブ処理できる。

追加または代替の実施形態では、異なる数の基準ディスクを使用することができる。いくつかの例では、物理的参照アレイは４つの基準ディスクのみを使用し、使用可能な一意のパターンの数を２倍にする場合がある。２つの内部基準ディスク（例えば、基準ディスク１８３０ｂ〜ｃ）の代わりに単一の内部基準ディスクを使用することができ、単一の内部基準ディスクの位置は、物理的参照アレイのいずれかのアームに沿った任意の位置に調整することができる。

いくつかの実施形態では、ディスクのそれぞれは、形状およびサイズが一貫しており、外側の３つのディスクの位置は、パターン間で一定のままである。追加または代替の実施形態では、ディスクマーカーのサイズ、形状、および位置は、物理的参照アレイが、それぞれが少なくとも１つの基準ディスクを含む少なくとも２つの平行な平面を含む限り、調整され得る。

いくつかの実施形態では、ディスクは、再帰反射するか、または可視光の追跡のために着色されるかのいずれかである。ディスクは、例えば、背面またはアレイ面からのスナップイン／プッシュアウト方法、またはスレッドの特徴を使用して交換可能である場合がある。ディスクは、可視光の追跡用に設計されている場合があり、洗濯機で洗える場合もある。可視光の追跡では、コントラストが重要になる可能性があるため、使用や洗浄によってコントラストが失われたら、ディスクを交換できる。

いくつかの実施形態では、平行な平面は、外科手術場の設定に応じて複数の角度（例えば、トップダウンおよびサイド）からの追跡を可能にし、これは、閉塞およびナビゲーションの喪失のリスクを低減することができる。追加または代替の実施形態では、追跡アレイで使用される基準ディスクは、可視光用に設計することができ、複数の場合に使用するために洗濯機で洗うことができる。追加または代替の実施形態では、物理的参照アレイは、外科医の視点から手術部位が見えることを可能にしながら、最適化された精度を可能にすることができる。

いくつかの実施形態では、物理的参照アレイは、任意の形状基準を使用することができる。例えば、物理的参照アレイは、それぞれが少なくとも１つの球形基準を含む２つ以上の平行な平面を含むことができる。追加または代替の実施形態では、物理的参照アレイで使用されるいくつかの基準を事前に判定して、より多大な冗長性またはより多大な一意のパターンを一意の識別子として機能させることができる。

図２２は、外科手術用ツール１９５０に取り付けられた物理的参照アレイ１８００の側面図を示している。このビューでは、基準ディスクはエッジ上にあるため表示できない。基準ディスク１８２０を含む第１の平面１８５０は、基準ディスク１８３０ａ〜ｄを含む第２の平面１８６０に平行であり、第１および第２の平面は、平面に直交する方向に離間されている。

図２６は、いくつかの実施形態による、カメラバー１９００および追跡カメラ（１９１０／１９２０／１９３０）を含む、カメラ追跡システムによって実行されるプロセスの例を示している。カメラバー１９００を含むカメラ追跡システムは、図２６のプロセスを実行するように動作する少なくとも１つのプロセッサをさらに含み得る。少なくとも１つのプロセッサは、ブロック２６００において、第１、第２、および第３の追跡カメラ（例えば、１９１０／１９２０／１９３０）から三次元空間で離間された、第１、第２、および第３の追跡カメラの位置までビデオストリームに画像化された対象の三角測量での位置に基づいて、三次元空間における一組の物理対象のポーズを判定することができる。物理的対象のセットは、離間させた基準（例えば、基準ディスク１８２０および１８３０ａ〜ｄ）の物理的参照アレイ（例えば、物理的参照アレイ１８００）であり得る。ポーズを判定するための例示的な操作は上に説明されている。

ブロック２６０２において、カメラ追跡システムの少なくとも１つのプロセッサは、データベースに定義された登録された参照アレイのセットに対応する登録された識別子のセットの中から、物理的参照アレイに対応する識別子を選択するようにさらに動作し得る。ブロック２６０２の選択は、ビデオストリームにて画像化された物理的参照アレイの基準間の距離のパターンの類似性を、データベースに定義された登録の参照アレイの１つの基準間の距離のパターンに相関させること、および登録された参照アレイの１つに対応する識別子を選択することに基づくことができる。

ここで、および以下で参照されるデータベースは、カメラ追跡システムに格納され得るか、またはカメラ追跡システムは、１つまたは複数のネットワーク（例えば、分散クラウドリソースに格納されたデータベース）を介してデータベース（例えば、データベース９５０）と通信し得て、カメラ追跡システムが、プロセスのこれらのステップを実行するために必要な登録された参照アレイの情報を受信することができるようにし得る。

ブロック２６０４で、少なくとも１つのプロセッサは、（ブロック２６０２で）選択された前記識別子に基づいて前記物理的参照アレイ（例えば、１８００）の前記基準間の登録された空間関係を前記データベースから取得し、前記第１、第２、および第３の追跡カメラから前記三次元空間で離間された、前記第１、第２、および第３の追跡カメラの前記位置まで前記ビデオストリームに画像化された前記物理的参照アレイの前記基準（例えば、１８２０および１８３０ａ〜ｄ）の前記登録された空間関係と位置の三角測量に基づいて、前記物理的参照アレイの前記ポーズを判定するように動作することができる。

図２７は、いくつかの実施形態による、カメラバー１９００および追跡カメラ（１９１０／１９２０／１９３０）を含む、カメラ追跡システムによって実行されるプロセスの追加または代替の例を示す。

カメラバー１９００を含むカメラ追跡システムは、図２７のプロセスを実行するように動作する少なくとも１つのプロセッサをさらに含み得る。少なくとも１つのプロセッサは、ブロック２７００において、第１、第２、および第３の追跡カメラ（例えば、１９１０／１９２０／１９３０）から三次元空間で離間された、第１、第２、および第３の追跡カメラの位置までビデオストリームに画像化された対象の三角測量での位置に基づいて、三次元空間における一組の物理対象のポーズを判定することができる。物理的対象のセットは、離間させた基準（例えば、基準ディスク１８２０および１８３０ａ〜ｄ）の物理的参照アレイ（例えば、物理的参照アレイ１８００）であり得る。

ブロック２７００は、上記のブロック２６００と同じまたは同様の方法で実行され得る。

ブロック２７０２において、少なくとも１つのプロセッサは、第１および第２の追跡カメラから三次元空間で離間された第１および第２の追跡カメラの位置までビデオストリームに画像化された基準の三角測量での位置に基づいて、三次元空間における離間した基準の物理的参照アレイの第１のポーズを判定するようにさらに動作可能であり得る。

ブロック２７０４において、少なくとも１つのプロセッサは、第１および第３の追跡カメラから三次元空間で離間された第１および第３の追跡カメラの位置までビデオストリームに画像化された基準の三角測量での位置に基づいて、三次元空間における離間した基準の物理的参照アレイの第２のポーズを判定するようにさらに動作可能であり得る。

ブロック２７０６において、少なくとも１つのプロセッサは、第１および第２のポーズの比較に基づいて、少なくとも第１および第２の追跡カメラの較正の精度を判定することに対してさらに動作可能であり得る。

製造、出荷、または実装中に、追跡カメラが誤って移動または調整される場合がある。較正の精度は、追跡カメラの精密さまたは精度のレベルを示している場合がある。つまり、追跡カメラの方位、ヨーの位置決め、および／または３Ｄ空間での追跡カメラ間の間隔はどの程度正確であるかということである。

ブロック２７０８において、少なくとも１つのプロセッサは、定義されたルールを満たさない較正の精度に応じて、第１および第２の追跡カメラの方位および／またはヨーの位置決めを較正するプロセスを開始するようにさらに動作可能であり得る。定義された規則は、定義されたしきい値よりも較正の精度が低い場合に対応することができ、これは、１つ以上のカメラで過度の動きが発生したことを示し得る。

一実施形態では、カメラ追跡システムは、第１および第２の追跡カメラの較正の精度を修正／改善する調整を行うか、または必要な調整を示すことができる。

図２８は、いくつかの実施形態による、カメラバー１９００および追跡カメラ（１９１０／１９２０／１９３０）を含む、カメラ追跡システムによって実行されるプロセスの追加または代替の例を示す。

カメラバー１９００を含むカメラ追跡システムは、図２８のプロセスを実行するように動作する少なくとも１つのプロセッサをさらに含み得る。少なくとも１つのプロセッサは、ブロック２８００において、第１、第２、および第３の追跡カメラ（例えば、１９１０／１９２０／１９３０）から三次元空間で離間された、第１、第２、および第３の追跡カメラの位置までビデオストリームに画像化された対象の三角測量での位置に基づいて、三次元空間における一組の物理対象のポーズを判定することができる。物理的対象のセットは、離間させた基準（例えば、基準ディスク１８２０および１８３０ａ〜ｄ）の物理的参照アレイ（例えば、物理的参照アレイ１８００）であってよい。

ブロック２８００は、上記のブロック２６００と同じまたは同様の方法で実行され得る。

ブロック２８０２において、少なくとも１つのプロセッサは、第１、第２、および第３の追跡カメラからのビデオストリームからのビデオストリームのフレーム内の潜在的なディスク（例えば、基準ディスク１８２０および１８３０ａ〜ｄ）を検出するようにさらに動作し得る。

例えば、図２１〜図２２の例では、ブロック２８０２のプロセスは、ビデオストリームのフレームを取得し、フレームのコントラストを増加させ、コンピュータ追跡システムに基準ディスク１８２０および１８３０ａ〜ｄなどの基準を検索させることによって達成することができる。フレームのコントラストを増加させることにより、コンピュータ追跡システムは、物理的参照アレイ１８００上の黒い基準ディスク１８２０および１８３０ａ〜ｄをより容易に検出することができるようになり得る。任意選択で、コンピュータ追跡システムは、コンピュータ追跡システムが基準ディスク１８２０および１８３０ａ〜ｄに対応する白いディスクを探すように、フレーム内のコントラストを追加的または代替的に反転させることができる。

ブロック２８０４において、少なくとも１つのプロセッサは、ビデオストリームのフレーム内のディスクの重心の位置を推定するためにさらに動作することができる。

ブロック２８０６において、少なくとも１つのプロセッサは、ディスクの重心の位置が、データベースに登録された参照アレイのディスクのパターンに対応するパターンを形成するかどうかを検証するためにさらに動作することができる。

一実施形態では、コンピュータ追跡システムは、ディスクの重心の位置によって形成されるパターンを、データベースに登録された参照アレイのパターンと比較する。登録された参照アレイのパターンがディスクの重心の位置によって形成されるパターンと一致する場合、推定の重心の位置とそれらの推定の位置が形成するパターンが検証される。

任意選択で、少なくとも１つのプロセッサがブロック２８０６で検証できない場合、プロセスはブロック２８００に戻ることができる。しかし、少なくとも１つのプロセッサがブロック２８０６で検証することができる場合、プロセスはブロック２８０８に続くことができる。

ブロック２８０８において、少なくとも１つのプロセッサは、ディスクのエッジに沿ったグラジエントを判定して、ディスクの重心に向かって延びるグラジエント光線を生成するようにさらに動作することができる。上記のように、ブロック２８０８での判定は、ブロック２８０６内のディスクの検証の成功に応答し得る。

一実施形態では、グラジエント光線は、ディスクのエッジの周りの離間させた位置で接線に直交するように生成される光線である。ディスクに対して多数のグラジエント光線が生成されると、グラジエント光線はあるポイントに収束するように判定され得、この点はディスクの重心であると判定され得る。

ブロック２８１０において、少なくとも１つのプロセッサは、第１、第２、および第３の追跡カメラのレンズの定義された固有パラメータに基づいて歪みを低減するためにグラジエント光線を調整し、歪みの補償されたグラジエント光線を出力するようにさらに動作し得る。

追跡カメラのレンズの定義された固有パラメータは、レンズの焦点距離、追跡カメラの光学中心（主点）、各レンズによって生成されるレンズの歪み、ｘピクセル軸とｙピクセル軸の間との角度を定義するスキュー係数、および／またはピクセル座標を含み得る。

ブロック２８１２において、少なくとも１つのプロセッサは、ディスクの歪みの補償された重心の位置を判定するために、歪みの補償されたグラジエント光線に対して二重円錐楕円フィッティングを実行するようにさらに動作可能であり得る。各ディスクの補償された重心の位置は、ディスクの歪みの補償されたグラジエント光線が収束する場所に対応し得る。

ブロック２８１４において、少なくとも１つのプロセッサは、三次元空間内の離間した基準の物理的参照アレイのポーズを判定するためにさらに動作することができる。ブロック２８１４のこの判定は、第１、第２、および第３の追跡カメラから、三次元空間で離間させた第１、第２、および第３の追跡カメラの位置までのビデオストリームのディスクの歪みの補償された重心の位置の三角測量的な位置に基づくことができる。

図２３は、多面参照アレイ２３１０を含む外科手術用ツール追跡アレイの例を示している。外科手術用ツール追跡アレイは、外科手術用ツール２３００の一部を外科手術用ツール追跡アレイに結合するツールホルダーを含み得る。多面参照アレイ２３１０は、複数の平面２３１０ａ〜ｅを有することができる。平面は、ツールホルダーに結合されたときに外科手術用ツール２３００から離れる方向を向くように構成され得る前面正方形平面（例えば、２３１０ａ）を含み得る。平面はまた、それぞれが前部正方形平面の異なる側縁から延在し、ツールホルダーに結合されたときに外科手術用ツールに向かって角度を付けられる複数の側面正方形平面を含み得る。例えば、図２３において、多面参照アレイ２３１０は、それぞれが前部正方形平面２３１０ａの４つの側縁の異なるものから延在し、ツールホルダーと結合されたときに外科手術用ツールに向かって角度を付けられる４つの側面正方形平面２３１０ｂ〜ｅを含む。

平面２３１０ａ〜ｅは、それぞれ、同じまたは異なる光学的にコード化されたパターンを含み得る。光学的にコード化されたパターンは、平面の識別子を光学的に符号化するバーコードのパターンを含み得る。バーコードのパターンには、それぞれが情報のビットを表す最大６ｘ６の黒と白の領域のアレイをサポートすることにより、多数の潜在的なＩＤを符号化する機能がある。結果として得られる２＾３６ビットの情報は、６．８７１９Ｅ１０の潜在的な識別コードを生じる。また、これにより、２ビットのエラー訂正が可能になり、多面参照アレイごとに５つの面で除算しても、数千の一意の識別コードが依然可能になる。複数の面を含めることで、物理的参照アレイ（１８００など）よりも大きな軸外の視点からの対象の認識と識別がまた可能になり、アレイは小さくなり、妨害的ではなくなる。

この例では５つの平面が示されているが、任意の数の平面を使用することができ、任意の配置で構成することができる。さらに、平面は、正方形以外の他の形状であり得、形状内に光学的にコード化されたパターンを有する。例えば、平面は、長方形、三角形、楕円形、円などであり得る。

図２４は、歪みのない画像情報と、外科手術用ツールの３Ｄモデル２４２０から生成された合成画像情報との間の２Ｄ画像の登録の例を示している。対象が確実に識別されると、対象全体（つまり、ツール、ロボットエンドエフェクタ、またはその他のアイテムのタイプ）の３Ｄモデルをロードできる。３Ｄモデル２４２０は、基準ポーズの回復によって判定された位置で、すべての追跡カメラの２Ｄ画像平面２４００に投影され得る。次に、エッジ、コーナー、およびその他の目立つモデル特徴が、歪みのないライブカメラ画像データと比較され、２つの対象（合成および実世界）間のすべての登録エラーが最小化されるまで、モデルのポーズが繰り返される。ツールまたは対象に欠陥がないと仮定すると、この最適化されたモデルポーズは、改善された、より機能的に関連性のあるポーズを表す。ツールまたは対象が曲がっている、正しく組み立てられていない、またはその他の欠陥がある場合、このプロセスは収束せず、安全警告がトリガーされる。このプロセスにより、３Ｄモデル２４２０が２Ｄ画像に適切に投影されていることを確認できる。これは、３Ｄモデルを２Ｄ画像上のより正確な位置に調整する反復法であり、ツールまたは対象の変形を検出する機能を生じる。

図２５は、基準ディスク２５０２ａ〜ｊを備えたエンドエフェクタ２５００の例を示している。エンドエフェクタで基準ディスク２５０２ａ〜ｊを使用すると、信頼性の高い堅牢な識別、および図２５に示す任意の視点（側面図、正面図、および上面図）の軸から最大８０度外れた追跡が可能になる。さらに、リング２５０４ａ〜ｃは、エンドエフェクタの任意選択の精度向上または方向検証のために、エンドエフェクタのシャフトに挿入、塗装、またはレーザーエッチングすることができる。リング２５０４ａ〜ｃは、エンドエフェクタ２５００の識別情報を提供する、または追加的または代替的に、リング２５０４ａ〜ｃが配置されているシャフトの識別情報を提供するバーコードまたは他の機械可読光学コードを作成するために使用され得る。さらに、カメラ追跡システムは、エンドエフェクタのポーズを判定するために使用され得るリング２５０４ａ〜ｃの接線方向または垂直方向の光線を生成し得る。例えば、リング２５０４ａ〜ｃに垂直な光線を生成することによって、コンピュータ追跡システムは、エンドエフェクタのシャフトが指しているポーズなどのエンドエフェクタのポーズに関する情報を判定することができる場合がある。

一実施形態では、エンドエフェクタ２５００は、黒色陽極酸化プロセスを経て、その上に白色基準ディスクを有する金属で製造される。

別の実施形態では、エンドエフェクタ２５００は、その上に黒い基準ディスクを備えたホワイトメタルである。ただし、カメラ追跡システムはコントラストを反転させているため、カメラ追跡システムは、白い基準ディスクが付いた黒いエンドエフェクタを検出する。

図２９は、いくつかの実施形態による、カメラバー１９００および追跡カメラ（１９１０／１９２０／１９３０）を含む、カメラ追跡システムによって実行されるプロセスの例を示している。カメラバー１９００を含むカメラ追跡システムは、図２９のプロセスを実行するように動作する少なくとも１つのプロセッサをさらに含み得る。

ブロック２９００において、カメラ追跡システムの少なくとも１つのプロセッサは、外科手術用ツール（例えば、２３００）に取り付け可能であり、第１、第２、および第３の追跡カメラ（例えば、１９１０／１９２０／１９３０）からビデオストリームで画像化される多面参照アレイ（例えば、２３１０）の複数の異なる平面（例えば、２３１０ａ〜ｅ）のうちの異なる１つにそれぞれある、光学的にコード化されたパターンを復号するように動作可能であり得る。さらに、少なくとも１つのプロセッサは、ビデオストリームに画像化された多面参照アレイの複数の面のうちの対応する１つまたは複数に対する１つまたは複数の識別子を判定することができる。ブロック２９００の判定は、ビデオストリームで画像化された多面参照アレイの複数の面のうちの１つまたは複数の光学的にコード化されたパターンを復号することに基づくことができる。

光学的にコード化されたパターンが二次元のバーコードのパターンである例では、少なくとも１つのプロセッサは、二次元のバーコードのパターンを復号するためにさらに動作することができる。

ブロック２９０２において、少なくとも１つのプロセッサは、データベースから、ブロック２９００で判定された１つまたは複数の識別子に基づいてビデオストリームに画像化された多面参照アレイの複数の面の１つまたは複数の光学的にコード化されたパターンのコーナーおよび／またはエッジ間の登録された空間関係を取得するようにさらに動作可能であり得る。さらに、少なくとも１つのプロセッサは、三次元空間で離間させた、第１、第２、および第３の追跡カメラの位置に対してビデオストリームで画像化された多面参照アレイの複数の面のうちの１つまたは複数の光学的にコード化されたパターンのコーナーおよび／またはエッジの位置の登録された空間的関係および三角測量に基づいて、多面参照アレイのポーズを判定することができる。

ブロック２９０４において、少なくとも１つのプロセッサは、多面参照アレイに取り付けられたものとして登録された外科手術用ツールの登録された合成三次元モデルをデータベースから取得するようにさらに動作可能であり得る。

ブロック２９０６で、少なくとも１つのプロセッサは、ブロック２９０２で判定された多面参照アレイの判定されたポーズに基づく第１、第２、および第３の追跡カメラからのビデオストリーム内のフレームの二次元平面に画像化された物理的外科手術用ツールに対する、登録された合成三次元モデルの関係型投影を、判定するように、さらに動作可能であり得る。

ブロック２９０８において、少なくとも１つのプロセッサは、登録された合成三次元モデルの特徴の位置と、ブロック２９０６の判定された関係型投影に基づく第１、第２、および第３の追跡カメラからのビデオストリーム内のフレームの二次元平面に画像化された物理的外科手術用ツールの特徴の位置との間のオフセットを識別するためにさらに動作可能であり得る。

ブロック２９１０において、少なくとも１つのプロセッサは、識別されたオフセットおよび多面参照アレイのポーズに基づいて、物理的な外科手術用ツールのポーズを判定するためにさらに動作することができる。

ブロック２９１２において、少なくとも１つのプロセッサは、ツール変形則を満たす識別されたオフセットに基づいて、物理的な外科手術用ツールが過度の変形を有するときを識別するためにさらに動作可能であり得る。過度の変形が確認された場合、少なくとも１つのプロセッサが安全警告をトリガーし得る。

様々な実施形態が、ＸＲヘッドセット上で追跡カメラのセットを使用する状況で説明されてきたが、これらおよび他の実施形態は、補助的追跡バーおよび／または別のＸＲヘッドセットの追跡カメラのセットなどの任意の形態の追跡カメラと共に使用することができる。したがって、いくつかの実施形態では、追跡カメラのセットは、カメラ追跡システムが追跡カメラのセットから追跡情報を受信している間、ＸＲヘッドセットから分離されて離間されている。ポーズ連鎖のために本明細書に開示される様々な動作を使用して、参照アレイおよび／または使用者の手のポーズを追跡することができる。

さらなる規定および実施形態：
本発明の概念の様々な実施形態の上述した説明において、本明細書において使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の概念を限定することを意図しないことを理解されたい。別段に定義されない限り、本明細書で使用されるすべての用語（技術用語および科学用語を含む）は、本発明の概念が属する当技術分野の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるような用語は、本明細書および関連する技術分野の文脈におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された、または過度に形式的な意味では解釈されないことが、さらに理解されよう。

ある要素が別の要素に対して「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変形版であるように参照される場合、その要素は、他の要素に直接接続、結合、もしくは応答することができ、または介在する要素が存在してもよい。対照的に、ある要素が別の要素に対して「直接接続された（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」、「直接結合された（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ）」、「直接応答する（ｄｉｒｅｃｔｌｙ ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変形版であるように参照される場合、介在する要素は存在しない。同様の符号は、全体を通して同様の要素を指す。さらにまた、本明細書において使用される場合、「結合された（ｃｏｕｐｌｅｄ）」、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変形版は、無線で結合、接続、または応答することを含むことができる。本明細書において使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈がそうでないことを明確に示さない限り、複数形も含むことを意図している。周知の機能または構造は、簡潔さおよび／または明確さのために詳細に説明されない場合がある。「および／または」という用語は、関連する列挙された項目のうちの１つ以上のいずれかおよびすべての組み合わせを含む。

本明細書では、第１、第２、第３などの用語を使用して様々な要素／動作を説明することがあるが、これらの要素／動作は、これらの用語によって限定されるべきではないことが理解される。これらの用語は、ある要素／動作を他の要素／動作から区別するためにのみ使用される。したがって、いくつかの実施形態における第１の要素／動作は、本発明の概念の教示から逸脱することなく、他の実施形態における第２の要素／動作と呼ぶことができる。同じ参照番号または同じ参照符号は、明細書全体を通して同じまたは類似の要素を示す。

本明細書で使用される場合、「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｖｅ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」という用語、またはそれらの変形はオープンエンドであり、１つまたは複数の述べられた特徴、整数、要素、ステップ、構成要素または機能を含むが、１つまたは複数の他の特徴、整数、要素、ステップ、構成要素、機能またはそれらの群が存在していること、または追加することを排除するものではない。さらにまた、本明細書において使用される場合、ラテン語の「例えば（ｅｘｅｍｐｌｉ ｇｒａｔｉａ）」から派生した一般的な略語「例えば（ｅ．ｇ．）」は、前述の項目の全般的な例（複数可）を紹介または指定するために使用されてることがあり、かかる項目を限定することを意図するものではない。ラテン語の「すなわち（ｉｄ ｅｓｔ）」から派生した一般的な略語「すなわち（ｉ．ｅ．）」は、より全般的な列挙から特定の項目を指定するために使用されてもよい。

例示的な実施形態は、コンピュータ実装方法、装置（システムおよび／もしくはデバイス）、ならびに／またはコンピュータプログラム製品を示すブロック図および／またはフローチャート図を参照して本明細書において説明される。ブロック図および／またはフローチャートの図解のブロック、ならびにブロック図および／またはフローチャートの図解におけるブロックの組み合わせは、１つ以上のコンピュータ回路によって実行されるコンピュータプログラム命令によって実装されることができることが理解される。これらのコンピュータプログラム命令を汎用コンピュータ回路、専用コンピュータ回路、および／または他のプログラム可能なデータ処理回路のプロセッサ回路に与えて機械を提示することができ、それにより、コンピュータのプロセッサおよび／または他のプログラム可能なデータ処理装置を介して実行される命令は、トランジスタ、メモリの場所に記憶された値、およびかかる回路網内の他のハードウェア構成要素を変換および制御して、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装し、それによって、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装するための手段（機能）および／または構造を作り出す。

これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶された命令がブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装する命令を含む製造物品を製造するように、コンピュータまたは他のプログラム可能なデータ処理装置が特定の方法で機能するように指示することができる有形のコンピュータ可読媒体に記憶されてもよい。したがって、本発明の概念の実施形態は、集合的に「回路網」、「モジュール」、またはそれらの変形版と称されることがある、デジタル信号プロセッサなどのプロセッサで動作するハードウェアおよび／またはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）で具現化させることができる。

また、いくつかの代替実装形態では、ブロックに記載されている機能／作用が、フローチャートに記載されている順序とは異なる順序で発生する場合があることにも留意されたい。例えば、連続して示されている２つのブロックは、関与する機能／作用に応じて、実際には実質的に同時に実行されてもよいか、または時にブロックが逆の順序で実行されてもよい。さらに、フローチャートおよび／またはブロック図の所与のブロックの機能は、複数のブロックに分離されてもよく、および／またはフローチャートおよび／またはブロック図の２つ以上のブロックの機能は、少なくとも部分的に統合されてもよい。最後に、本発明の概念の範囲から逸脱することがなければ、図示されているブロックの間に他のブロックが追加／挿入されてもよく、および／またはブロックまたは動作が省略されてもよい。さらに、図のいくつかは、通信の主要な方向を示すために通信経路に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生する場合があることを理解されたい。

本発明の概念の原理から実質的に逸脱することなく、実施形態に対して多くの変更および修正を行うことができる。すべてのこのような変更および修正は、本発明の概念の範囲内で本明細書に含まれることが意図されている。したがって、上で開示された主題は、限定的ではなく例示的であると見なされるべきであり、付け加えられた実施形態の例は、本発明の概念の趣旨および範囲内にあるすべてのこのような修正、強化、および他の実施形態に及ぶことが意図されている。したがって、法律で許容される最大限の範囲で、本発明の概念の範囲は、以下の実施形態の例およびそれらの均等物を含む本開示の最も広い許容可能な解釈によって判定されるべきであり、前述の詳細な説明によって制限または限定されるべきではない。

Claims (20)

1. 外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡システムであって、
   カメラバー、
   前記カメラバー上の離間した位置に取り付けられた第１および第２の追跡カメラ、並びに
   前記第１および第２の追跡カメラの位置の間にあり、前記第１および第２の追跡カメラの中心を通って延びる線からある距離で離間した前記カメラバー上の位置に取り付けられる第３の追跡カメラを備える、カメラ追跡システム。
2. 前記第３の追跡カメラは前記第１および第２の追跡カメラから同じ距離にある、請求項１に記載のカメラ追跡システム。
3. 前記第３の追跡カメラが前記線から離間されている前記距離は、前記第１および第２の追跡カメラの前記中心との間の距離の４分の１から２分の１の間である、請求項１に記載のカメラ追跡システム。
4. さらに、
   前記第１、第２、および第３の追跡カメラから三次元空間で離間された、前記第１、第２、および第３の追跡カメラの位置までビデオストリームに画像化された前記対象の三角測量での位置に基づいて、前記三次元空間における一組の物理的対象のポーズを判定するよう動作可能な少なくとも１つのプロセッサを含む、請求項１に記載のカメラ追跡システム。
5. 前記一組の物理的対象は、離間させた基準の物理的参照アレイであり、前記少なくとも１つのプロセッサは、
   前記ビデオストリームにて画像化された前記物理的参照アレイの前記基準間の距離のパターンの類似性を、データベースに定義された前記登録の参照アレイの１つの前記基準間の距離のパターンに相関させること、および前記登録の参照アレイの前記１つに対応する前記識別子を選択することに基づき、前記データベースで定義された登録の参照アレイのセットに対応する登録の識別子のセットから前記物理的参照アレイに対応する識別子を選択するように、さらに動作可能である、請求項４に記載のカメラ追跡システム。
6. 前記少なくとも１つのプロセッサがさらに、
   選択された前記識別子に基づいて前記物理的参照アレイの前記基準間の登録された空間関係を前記データベースから取得し、前記第１、第２、および第３の追跡カメラから前記三次元空間で離間された、前記第１、第２、および第３の追跡カメラの前記位置まで前記ビデオストリームに画像化された前記物理的参照アレイの前記対象の前記登録された空間関係と位置の三角測量に基づいて、前記物理的参照アレイの前記ポーズを判定するように動作する、請求項５に記載のカメラ追跡システム。
7. 前記一組の物理的対象は、離間させた基準の物理的参照アレイであり、前記少なくとも１つのプロセッサは、
   前記第１および第２の追跡カメラから前記三次元空間で離間された前記第１および第２の追跡カメラの位置まで前記ビデオストリームに画像化された前記基準の三角測量での位置に基づいて、前記三次元空間における離間した基準の前記物理的参照アレイの第１のポーズを判定すること、
   前記第１および第３の追跡カメラから前記三次元空間で離間された前記第１および第３の追跡カメラの位置まで前記ビデオストリームに画像化された前記基準の三角測量での位置に基づいて、前記三次元空間における離間した基準の前記物理的参照アレイの第２のポーズを判定すること、および
   前記第１および第２のポーズの比較に基づいて、少なくとも前記第１および第２の追跡カメラの較正の精度を判定することに対してさらに動作する、請求項４に記載のカメラ追跡システム。
8. 前記プロセッサがさらに、
   定義されたルールを満たさない前記較正の精度に応じて、前記第１および第２の追跡カメラの方位および／またはヨーの位置決めを較正するプロセスを開始するように動作する、請求項７に記載のカメラ追跡システム。
9. 前記一組の物理的対象は、離間させた基準のディスクの物理的参照アレイであり、前記少なくとも１つのプロセッサは、
   前記第１、第２、および第３の追跡カメラからの前記ビデオストリームからの前記ビデオストリームのフレームの潜在的なディスクを検出すること、
   前記ビデオストリームの前記フレームの前記ディスクの重心の位置を推定すること、
   前記ディスクの前記重心の位置が、データベースに登録された参照アレイのディスクのパターンに対応するパターンを形成するかどうかを検証すること、
   前記ディスクの検証の成功に応答して、前記ディスクのエッジに沿ったグラジエントを判定して、前記ディスクの重心に向かって延びるグラジエント光線を生成すること、
   前記第１、第２、および第３の追跡カメラのレンズの定義された固有パラメータに基づいて歪みを低減するために前記グラジエント光線を調整し、歪みの補償されたグラジエント光線を出力すること、
   前記歪みの補償されたグラジエント光線に対して二重円錐楕円フィッティングを実行して、前記ディスクの歪みの補償された重心の位置を判定することであって、各ディスクの前記補償された重心の位置は、前記ディスクの前記歪みの補償されたグラジエント光線が収束する場所に対応する、判定すること、および
   前記第１、第２、および第３の追跡カメラから前記三次元空間で離間された前記第１、第２および第３の追跡カメラの位置まで前記ビデオストリームにおいて前記ディスクの前記歪みの補償された重心の位置の三角測量での位置に基づいて、前記三次元空間における離間した基準の前記物理的参照アレイのポーズを判定すること、に対してさらに動作する、請求項４に記載のカメラ追跡システム。
10. さらに、
    外科手術用ツールに取り付け可能であり、前記第１、第２、および第３の追跡カメラからビデオストリームにおいて画像化される多面参照アレイの複数の異なる平面の異なるものの上に各々がある光学的にコード化されたパターンを復号すること、および前記ビデオストリームで画像化された前記多面参照アレイの前記複数の面の前記１つまたは複数の前記光学的にコード化されたパターンの復号に基づいて、前記ビデオストリームに画像化された前記多面参照アレイの前記複数の面の対応する１つまたは複数に対する１つまたは複数の識別子を判定することに対して動作する少なくとも１つのプロセッサを備える、請求項１に記載のカメラ追跡システム。
11. 前記少なくとも１つのプロセッサがさらに、
    データベースから、判定された前記１つまたは複数の識別子に基づいて前記ビデオストリームに画像化された前記多面参照アレイの前記複数の面の前記１つまたは複数の前記光学的にコード化されたパターンのコーナーおよび／またはエッジ間の登録された空間関係を取得すること、および前記三次元空間で離間させた、前記第１、第２、および第３の追跡カメラの前記位置に対して前記ビデオストリームで画像化された前記多面参照アレイの前記複数の面のうちの前記１つまたは複数の前記光学的にコード化されたパターンの前記コーナーおよび／またはエッジの位置の前記登録された空間的関係および三角測量に基づいて、前記多面参照アレイのポーズを判定することに対して動作する、請求項１０に記載のカメラ追跡システム。
12. 前記光学的にコード化されたパターンが二次元のバーコードのパターンであり、前記少なくとも１つのプロセッサは、前記二次元のバーコードのパターンを復号するようにさらに動作する、請求項１０に記載のカメラ追跡システム。
13. 前記少なくとも１つのプロセッサが、さらに、
    前記多面参照アレイに取り付けられたものとして登録された外科手術用ツールの登録された合成三次元モデルを前記データベースから取得すること、
    前記多面参照アレイの前記判定されたポーズに基づく前記第１、第２、および第３の追跡カメラからの前記ビデオストリーム内の前記フレームの二次元平面に画像化された物理的外科手術用ツールに対する、前記登録された合成三次元モデルの関係型投影を、判定すること、
    前記登録された合成三次元モデルの特徴の位置と、前記判定された関係型投影に基づく前記第１、第２、および第３の追跡カメラからの前記ビデオストリーム内の前記フレームの二次元平面に画像化された前記物理的外科手術用ツールの特徴の位置との間のオフセットを識別すること、
    前記識別されたオフセットおよび前記多面参照アレイのポーズに基づいて、前記物理的な外科手術用ツールの前記ポーズを判定すること、に対して動作する、請求項１１に記載のカメラ追跡システム。
14. 前記少なくとも１つのプロセッサが、さらに、
    ツール変形則を満たす前記識別されたオフセットに基づいて、前記物理的な外科手術用ツールが過度の変形を有するときを識別すること、および
    前記ツール変形則が満たされていることに応じて、使用者に安全通知を生成することに対して動作する、請求項１３に記載のカメラ追跡システム。
15. 前記少なくとも１つのプロセッサが、ナビゲーションコントローラの一部であり、さらに、
    患者に外科的処置を行うときの前記外科手術用ツールの計画されたポーズに対して、物理的対象の前記セットに取り付けられた外科手術用ツールのポーズを判定すること、
    前記外科手術用ツールの前記計画されたポーズに対する前記外科手術用ツールの前記判定されたポーズの比較に基づいて操舵情報を生成することであって、前記操舵情報は、前記外科的処置を実行するときに前記計画されたポーズと整列するために前記外科手術用ツールを動かし、角度方向に向ける必要がある場所を示す、生成すること、および
    前記操舵情報をディスプレイデバイスに提供することに対して動作する、請求項４に記載のカメラ追跡システム。
16. 外科手術用ツール追跡アレイであって、
    複数の平面を有する多面参照アレイ、
    それぞれが前記平面の異なるものの上にある複数の異なる光学的にコード化されたパターン、および
    外科手術用ツールの一部を前記外科手術用ツール追跡アレイに結合するように構成されたツールホルダーを備える、外科手術用ツール追跡アレイ。
17. 前記平面は、前記ツールホルダーに結合されたときに前記外科手術用ツールから離れる方向を向くように構成される前面正方形平面を含み、複数の側面正方形平面はそれぞれが前記前面正方形平面の異なる側縁から延在し、前記ツールホルダーに結合されたときに前記外科手術用ツールに向かって角度を付けられる、請求項１６に記載の外科手術用ツール追跡アレイ。
18. 前記平面は、前記ツールホルダーに結合されたときに前記外科手術用ツールから離れる方向を向くように構成される前面正方形平面を含み、４つの側面正方形平面はそれぞれが前記前面正方形平面の前記４つの側縁の異なるものから延在し、前記ツールホルダーに結合されたときに前記外科手術用ツールに向かって角度を付けられる、請求項１６に記載の外科手術用ツール追跡アレイ。
19. 前記光学的にコード化されたパターンは、平面の面識別子を光学的に符号化する二次元のバーコードのパターンである、請求項１６に記載の外科手術用ツール追跡アレイ。
20. 外科手術システムであって、
    カメラ追跡システムであって、
    カメラバー、
    前記カメラバー上の離間した位置に取り付けられた第１および第２の追跡カメラ、
    前記第１および第２の追跡カメラの位置の間にあり、前記第１および第２の追跡カメラの中心を通って延びる線から距離の離間した前記カメラバー上の位置に取り付けられる第３の追跡カメラ、および
    前記第１、第２、および第３の追跡カメラから三次元空間で離間された、前記第１、第２、および第３の追跡カメラの位置までビデオストリームに画像化された前記対象の三角測量での位置に基づいて、前記三次元空間における一組の物理的対象のポーズを判定するよう動作可能な少なくとも１つのプロセッサを含む、カメラ追跡システム、
    外科手術ロボットであって、
    ロボット基部、
    前記ロボット基部に接続されたロボットアームであって、外科手術用ツールの動きをガイドするエンドエフェクタに接続するように構成されたロボットアーム、および
    前記ロボット基部に対して前記ロボットアームを動かすように動作可能に接続された少なくとも１つのモータを含む外科手術ロボット、ならびに
    前記少なくとも１つのモータに接続された少なくとも１つのコントローラであって、
    患者を手術するための前記外科手術用ツールの動きをガイドしながら、前記エンドエフェクタの計画されたポーズに対する前記エンドエフェクタのポーズを判定すること、および
    前記エンドエフェクタの前記計画されたポーズと前記判定されたポーズの比較に基づいて操舵情報を生成することであって、前記操舵情報は、前記外科手術用ツールが前記エンドエフェクタによって前記患者に向かって計画された軌道に沿ってガイドされるように、前記エンドエフェクタを移動して前記計画されたポーズに合わせる必要がある場所を示す、生成することに対して構成されるコントローラ、を備える、外科手術システム。
    
    

Images