JP2021176521A - 外科手術におけるコンピュータ支援ナビゲーションのためのエクステンデッドリアリティヘッドセットカメラシステム - Google Patents

Abstract

【課題】患者の画像よりコンピュータで生成されたナビゲーション情報より、手術室内の手術器具を制御できるヘッドマウント型エクステンデッドリアリティ（ＸＲ）ディスプレイデバイスを提供する。【解決手段】エクステンデッドリアリティ（ＸＲ）ディスプレイデバイスは、フレーム１３５０に結合された剛性取り付け要素を含む。ＸＲディスプレイデバイスは、剛性取り付け要素に結合された一対のステレオ可視光カメラ１３２０と、剛性取り付け要素に結合されたステレオ近赤外線（ＮＩＲ）カメラ１３２６と、ＮＩＲカメラ１３２６の視野内の領域を照明するように構成されたＮＩＲ発光ダイオード１３２８とをさらに含む。ユーザがフレーム１３５０を着用しているときに、可視光カメラ１３２０は、ユーザの視野内に立体視可視光像をキャプチャするように、ＮＩＲカメラ１３２６は、ユーザの視野内に立体ＮＩＲ像をキャプチャするように構成されている。【選択図】図１３

Description

本開示は、医療デバイスおよびシステムに関し、より具体的には、エクステンデッドリアリティヘッドセットカメラシステムを使用した外科手術におけるコンピュータ支援ナビゲーションに関する。

外科手術におけるコンピュータ支援ナビゲーションは、外科医に、患者の解剖学的構造体の放射線画像に関する外科器具の視覚化向上をもたらす。しかしながら、既存のナビゲーションシステムには、１）外科医が患者および手術器具から顔をそらしてナビゲーション情報を視認する必要があること、２）手術室の様々な機器のソフトウェア機能を動作させる依頼を他の従事者に課すこと、および３）従事者および／または物体が、患者、ロボット、および手術器具の姿勢を追跡する追跡コンポーネントの能力を遮りながら外科手術中のナビゲーションを提供することによる断続的な一時停止を含む、外科医にとっての使いやすさおよび人間工学に関する制限がある。

本明細書に開示されている様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションにおける向上を対象としている。エクステンデッドリアリティ（ＸＲ）ヘッドセットは、外科手術システムに動作可能に接続されて、外科医、助手、および／または他の従事者が患者の画像を視認および操作し、コンピュータで生成されたナビゲーション情報を視認および操作し、および／または手術室内の手術器具を制御することができるインタラクティブな環境を提供する。

本開示のいくつかの実施形態は、ヘッドマウント型エクステンデッドリアリティ（ＸＲ）ディスプレイデバイスを対象とする。ＸＲディスプレイデバイスは、ユーザの頭によって着用されるように構成されたフレームと、フレームに結合された剛性取り付け要素とを含む。ＸＲディスプレイデバイスは、剛性取り付け要素に結合された右側可視光カメラと、剛性取り付け要素に結合された左側可視光カメラとをさらに含む。ＸＲディスプレイデバイスは、剛性取り付け要素に結合された右側近赤外線（ＮＩＲ）カメラと、剛性取り付け要素に結合された左側ＮＩＲカメラと、右側ＮＩＲカメラと左側ＮＩＲカメラの視野内の領域を照射するように構成された少なくとも１つのＮＩＲ発光ダイオード（ＬＥＤ）とをさらに含む。右側可視光カメラおよび左側可視光カメラは、ユーザがフレームを着用しているときに、ユーザの視野内で立体可視光像をキャプチャするように構成されている。右側ＮＩＲカメラおよび左側ＮＩＲカメラは、ユーザがフレームを着用しているときに、ユーザの視野内で立体ＮＩＲ像をキャプチャするように構成されている。

本開示のいくつかの実施形態は、ヘッドマウントディスプレイデバイス用のＸＲカメラアセンブリに関する。ＸＲカメラアセンブリは、ヘッドウェアラブルフレームに結合されるように構成された剛性取り付け要素を含む。ＸＲカメラアセンブリは、剛性取り付け要素に結合された右側可視光カメラと、剛性取り付け要素に結合された左側可視光カメラとをさらに含む。ＸＲカメラアセンブリは、剛性取り付け要素に結合された右側近赤外線（ＮＩＲ）カメラと、剛性取り付け要素に結合された左側ＮＩＲカメラと、右側ＮＩＲカメラと左側ＮＩＲカメラの視野内の領域を照射するように構成された少なくとも１つのＮＩＲ発光ダイオード（ＬＥＤ）とをさらに含む。右側可視光カメラおよび左側可視光カメラは、ユーザがフレームを着用しているときに、ユーザの視野内で立体可視光像をキャプチャするように構成されている。右側ＮＩＲカメラおよび左側ＮＩＲカメラは、ユーザがフレームを着用しているときに、ユーザの視野内で立体ＮＩＲ像をキャプチャするように構成されている。

本開示のいくつかの実施形態は、エクステンデッドリアリティ（ＸＲ）画像を生成する方法を対象としている。この方法は、ある期間中に剛性取り付け要素に結合された一対の可視光カメラの視野内のシーンの第１の複数の可視光立体像をキャプチャすることを含む。この方法は、ある期間中に剛性取り付け要素に結合された一対のＮＩＲカメラの視野内のシーンの第２の複数の近赤外線（ＮＩＲ）立体画をキャプチャすることをさらに含む。この方法は、さらに、３次元空間内の第１の複数の立体像における第１のオブジェクトの位置を判定することを含む。この方法は、さらに、３次元空間内の第２の複数の立体像における第２のオブジェクトの位置を判定することを含む。

実施形態にかかる他の外科手術システム、ＸＲヘッドセット、コンポーネント、ならびに対応する方法およびコンピュータプログラム製品は、以下の図面および詳細な説明を検討する際に当業者にとって明らかであるか、または明らかになるであろう。かかる全ての外科手術システム、ＸＲヘッドセット、コンポーネント、ならびに対応する方法およびコンピュータプログラム製品は、本説明に含まれ、本開示の範囲内にあり、添付の特許請求の範囲によって保護されることが意図される。さらに、本明細書に開示される全ての実施形態が別々に実装されても、任意の方法および／または組み合わせで組み合わされてもよいことが意図される。

本開示のさらなる理解を提供するために含まれ、且つ本出願に組み込まれてその一部を構成する添付の図面は、本発明の概念の特定の非限定的な実施形態を例示する。図面では、以下のとおりである。

図１は、本開示のいくつかの実施形態にかかる外科手術システムの実施形態を示している。 図２は、本開示のいくつかの実施形態にかかる、図１の外科手術システムの外科手術ロボットコンポーネントを示している。 図３Ａは、本開示のいくつかの実施形態にかかる、図１の外科手術システムのカメラ追跡システムコンポーネントを示している。 図３Ｂは、本開示のいくつかの実施形態にかかる、図１の外科手術システムとともに使用されることができる別のカメラ追跡システムコンポーネントの正面図を示している。 図３Ｃは、本開示のいくつかの実施形態にかかる、図１の外科手術システムとともに使用されることができる別のカメラ追跡システムコンポーネントの等角図を示している。 図４は、ロボットアームに接続可能であり、且つ本開示のいくつかの実施形態にしたがって構成されたエンドエフェクタの実施形態を示している。 図５は、外科手術ロボットおよびカメラシステムが患者の周りに配設されている医療手術を示している。 図６は、医療手術に使用される図５の外科手術システムのコンポーネントのブロック図を示している。 図７は、外科手術システムのナビゲーション機能を使用するときに図５および図６のディスプレイに表示されることができる様々な表示画面を示している。 図８は、本開示のいくつかの実施形態にかかる、外科手術ロボットのいくつかの電気的コンポーネントのブロック図を示している。 図９は、本開示のいくつかの実施形態にかかる、カメラ追跡システムおよび／または外科手術ロボットに動作可能に接続されることができるコンピュータプラットフォームに接続された撮像デバイスを含む外科手術システムのコンポーネントのブロック図を示している。 図１０は、本開示のいくつかの実施形態にしたがって外科手術ロボットと組み合わせて使用できるＣアーム撮像デバイスの実施形態を示している。 図１１は、本開示のいくつかの実施形態にしたがって外科手術ロボットと組み合わせて使用できるＯアーム撮像デバイスの実施形態を示している。 図１２は、本開示のいくつかの実施形態にかかる、１対のＸＲヘッドセットを含む外科手術システムのコンポーネントのブロック図を示している。 図１３は、本開示のいくつかの実施形態にかかる、画像キャプチャ装置を有して構成されたＸＲヘッドセットを示している。 図１４は、本開示のいくつかの実施形態にかかる、追加の特徴を有するＸＲヘッドセットを示している。 図１５は、本開示のいくつかの実施形態にしたがってコンピュータプラットフォーム、撮像デバイス、および／または外科手術ロボットに動作可能に接続されることができるＸＲヘッドセットの電気的コンポーネントを示している。 図１６は、本開示のいくつかの実施形態にかかる、ＸＲヘッドセットの光学部品の配置を示すブロック図を示している。 図１７Ａは、本開示のいくつかの実施形態にかかる、ＸＲヘッドセットとコンピュータプラットフォームとの間に接続されたテザーパックを示している。 図１７Ｂは、本開示のいくつかの実施形態にかかる、ＸＲヘッドセットとコンピュータプラットフォームとの間に接続されたテザーパックを示している。 図１８Ａは、本開示のいくつかの実施形態にかかる、ＸＲヘッドセット用のカラーアクセサリを示している。 図１８Ｂは、本開示のいくつかの実施形態にかかる、ＸＲヘッドセット用のカラーアクセサリを示している。 図１９は、本開示のいくつかの実施形態にかかる、図１８Ａおよび図１８Ｂのカラーアクセサリのコンポーネントを示している。 図２０Ａは、本開示のいくつかの実施形態にかかる、ＸＲヘッドセット用のベルトアクセサリを示している。 図２０Ｂは、本開示のいくつかの実施形態にかかる、ＸＲヘッドセット用のベルトアクセサリを示している。 図２１は、本開示のいくつかの実施形態にかかる、図１９Ａおよび図１９Ｂのベルトアクセサリのコンポーネントを示している。

ここで、本発明の概念の例示的な実施形態が示されている添付の図面を参照して、本発明の概念を以下でより完全に説明する。しかしながら、本発明の概念は、多くの異なる形態で具体化されてもよく、本明細書に記載される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的且つ完全であり、様々な本発明の概念の範囲を当業者に完全に伝えるように提供される。これらの実施形態が相互に排他的ではないことにも留意されたい。１つの実施形態からのコンポーネントが、別の実施形態に存在するか、または別の実施形態で使用されると暗に想定されることができる。

本明細書に開示される様々な実施形態は、外科手術中のコンピュータ支援ナビゲーションの改善を対象とする。エクステンデッドリアリティ（ＸＲ）ヘッドセットは、外科手術システムに動作可能に接続され、外科医、助手、および／または他の従事者が患者の画像を視認し、および患者の画像内から選択し、コンピュータで生成された外科手術ナビゲーション情報を視認し、および外科手術ナビゲーション情報内から選択し、および／または手術室内の外科器具を制御することができるインタラクティブな環境を提供するように構成されている。以下に説明するように、ＸＲヘッドセットは、コンピュータで生成されたＸＲ画像によって実世界シーンを増強するように構成されることができる。ＸＲヘッドセットは、コンピュータで生成されたＸＲ画像を、実世界シーンからの光が通過してユーザによって合成されて視認することを可能にするシースルー表示画面に表示することにより、拡張現実（ＡＲ）表示環境を提供するように構成されることができる。あるいは、ＸＲヘッドセットは、ユーザがコンピュータで生成されたＸＲ画像を表示画面上で視認している間、実世界シーンからの光がユーザによって直接視認されるのを防止または実質的に防止することによって、仮想現実（ＶＲ）表示環境を提供するように構成されることができる。ＸＲヘッドセットは、ＡＲおよびＶＲ表示環境の双方を提供するように構成されることができる。一実施形態では、ＡＲおよびＶＲ表示環境の双方は、ＶＲ表示環境が不透明度の高いバンドに位置合わせされたＸＲ画像に提供され、ＡＲ表示環境が不透明度の低いバンドに位置合わせされたＸＲ画像に提供されるように、シースルー表示画面と実世界シーンとの間に配置された実質的に異なる不透明度の横方向バンドによって提供される。別の実施形態では、ＡＲおよびＶＲ表示環境の双方は、ユーザによって視認されるＸＲ画像と組み合わせるために、実世界シーンからの光がシースルー表示画面を通過する量を可変的に制限する不透明度フィルタのコンピュータ調整可能な制御によって提供される。したがって、ＸＲヘッドセットはまた、ＡＲヘッドセットまたはＶＲヘッドセットと呼ばれることもできる。

図１は、本開示のいくつかの実施形態にかかる外科手術システム２の実施形態を示している。整形外科手術または他の外科的処置の実施前に、例えば、図１０のＣアーム撮像デバイス１０４または図１１のＯアーム撮像デバイス１０６を使用して、またはコンピュータ断層撮影（ＣＴ）画像もしくはＭＲＩなどの別の医療撮像デバイスから、患者の計画された外科手術エリアの３次元（「３Ｄ」）画像スキャンを行うことができる。このスキャンは、術前（例えば、最も一般的には処置の数週間前）または術中に行うことができる。しかしながら、外科手術システム２の様々な実施形態にしたがって、任意の既知の３Ｄまたは２Ｄ画像スキャンを使用することができる。画像スキャンは、カメラ追跡システムコンポーネント６、外科手術ロボット４（例えば、図１のロボット２）、撮像デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６など）、および患者の画像スキャンを保存するための画像データベース９５０を含むことができる手術システム９００（図９）のコンピュータプラットフォーム９１０などの、外科手術システム２と通信するコンピュータプラットフォームに送信される。コンピュータプラットフォーム９１０（図９）のディスプレイデバイス上で画像スキャンをレビューする外科医は、患者の解剖学的構造に対する外科的処置中に使用される手術道具の目標姿勢を定義する外科手術計画を生成する。器具とも呼ばれる例示的な外科手術器具として、ドリル、スクリュードライバ、開創器、および、スクリュー、スペーサ、椎体間固定デバイス、プレート、ロッドなどのインプラントを挙げることができるが、これらに限定されるものではない。いくつかの実施形態では、目標平面を画定する外科手術平面は、ディスプレイデバイスに表示される３Ｄ画像スキャンで計画される。

本明細書で使用される場合、「姿勢」という用語は、別のオブジェクトおよび／または定義された座標系に対する、あるオブジェクト（例えば、動的参照アレイ、エンドエフェクタ、手術道具、解剖学的構造など）の位置および／または回転角度を指す。したがって、姿勢は、別のオブジェクトおよび／または定義された座標系に対するあるオブジェクトの多次元位置のみに基づいて、別のオブジェクトおよび／または定義された座標系に対するオブジェクトの多次元回転角度のみに基づいて、または多次元位置と多次元回転角度との組み合わせに基づいて定義されることができる。したがって、「姿勢」という用語は、位置、回転角度、またはそれらの組み合わせを指すために使用される。

図１の外科手術システム２は、例えば、器具を保持すること、使用するために器具を位置合わせすること、器具を使用すること、器具を誘導すること、および／または器具を位置決めすることによって、医療処置中に外科医を支援することができる。いくつかの実施形態では、外科手術システム２は、外科手術ロボット４と、カメラ追跡システムコンポーネント６と、を含む。外科手術ロボット４とカメラ追跡システムコンポーネント６とを機械的に結合する機能により、外科手術システム２を単一のユニットとして操作し、移動することが可能になり、外科手術システム２は、面積の小さいフットプリントを有することが可能になり、狭い通路および曲がり角を通る動きをより容易にすることが可能になり、ならびにより狭い面積内のストレージを可能にすることができる。

外科的処置は、外科手術システム２を医療ストレージから医療処置室まで移動させることで開始することができる。外科手術システム２は、出入口、ホール、およびエレベータから医療処置室に到達するまでずっと操作されることができる。部屋の中で、外科手術システム２は、２つの分離した別個のシステム、外科手術ロボット４およびカメラ追跡システムコンポーネント６に、物理的に分離されることができる。外科手術ロボット４は、医療従事者を適切に支援するために、任意の好適な場所で患者に隣接して位置決めされることができる。カメラ追跡システムコンポーネント６は、患者の基部、患者の肩、または、外科手術ロボット４および患者の部分の現在の姿勢と追跡位置の姿勢の移動とを追跡するのに好適な任意の他の場所に位置決めされることができる。外科手術ロボット４およびカメラ追跡システムコンポーネント６は、オンボード電源によって電力供給され、および／または外部壁コンセントに差し込まれることができる。

外科手術ロボット４を使用して、医療処置中に用具を保持および／または使用することによって外科医を支援することができる。器具を適切に利用および保持するために、外科手術ロボット４は、適切に機能する複数のモータ、コンピュータ、および／またはアクチュエータに依存することができる。図１に示されるように、ロボット本体８は、複数のモータ、コンピュータ、および／またはアクチュエータが外科手術ロボット４内に固設されることができる構造として作用することができる。ロボット本体８はまた、ロボット伸縮式支持アーム１６に支持を与えることができる。ロボット本体８のサイズは、取り付けられたコンポーネントを支持する強固なプラットフォームを提供することができ、且つ取り付けられたコンポーネントを動作させることができる複数のモータ、コンピュータ、および／またはアクチュエータを収容し、隠し、且つ保護することができる。

ロボット基部１０は、外科手術ロボット４の下部支持として作用することができる。いくつかの実施形態では、ロボット基部１０は、ロボット本体８を支持することができ、且つロボット本体８を複数の動力付きホイール１２に取り付けることができる。ホイールへのこの取り付けにより、ロボット本体８は、空間内を効率的に移動することができる。ロボット基部１０は、ロボット本体８の長さおよび幅方向に延びていてもよい。ロボット基部１０は、約２インチ〜約１０インチの高さとすることができる。ロボット基部１０は、動力付きホイール１２を被覆、保護、および支持することができる。

いくつかの実施形態では、図１に示されるように、少なくとも１つの動力付きホイール１２をロボット基部１０に取り付けることができる。動力付きホイール１２は、任意の場所でロボット基部１０に取り付けられることができる。各個々の動力付きホイール１２は、任意の方向に垂直軸を中心として回転することができる。モータは、動力付きホイール１２の上、その中、またはそれに隣接して配設されることができる。このモータにより、外科手術システム２を任意の場所へと操作し、外科手術システム２を安定化し、および／または水平にすることができる。動力付きホイール１２内またはそれに隣接して位置するロッドは、モータによって表面に押し込まれることができる。図示されていないロッドは、外科手術システム２を持ち上げるのに好適な任意の金属で作製されることができる。ロッドは、外科手術システム２を持ち上げることができる動力付きホイール１２を、患者に対して外科手術システム２の向きを水平にするか、または別様に固定するのに必要な任意の高さまで持ち上げることができる。各ホイール上のロッドによる小さな接触範囲を通して支持される、外科手術システム２の重さは、外科手術システム２が医療処置中に動くのを防ぐ。この堅固な位置決めは、オブジェクトおよび／または人々が偶発的に外科手術システム２を移動させることを阻止することができる。

外科手術システム２の移動を、ロボットレール材１４を使用して容易にすることができる。ロボットレール材１４は、ロボット本体８を把持することなく、外科手術システム２を移動させる能力を人に提供する。図１に示されるように、ロボットレール材１４は、ロボット本体８の長さ方向にロボット本体８よりも短く延びていてもよく、および／またはロボット本体８の長さよりも長く延びていてもよい。ロボットレール材１４は、ロボット本体８に対する保護をさらに備え、オブジェクトおよび／または従事者がロボット本体８に接触すること、ぶつかること、または衝突することを阻止することができる。

ロボット本体８は、以下で「ＳＣＡＲＡ」と呼ばれる、選択的コンプライアンス多関節ロボットアームに支持を与えることができる。ＳＣＡＲＡ２４は、ロボットアームの再現性およびコンパクトさゆえに、外科手術システム２内で使用するのに都合の良いものであり得る。ＳＣＡＲＡのコンパクトさは、医療専門家が、過度の動き回りや範囲を限定することなく、医療処置を行うことを可能にし得るさらなるスペースを医療処置内に与えることができる。ＳＣＡＲＡ２４は、ロボット伸縮式支持体１６、ロボット支持アーム１８、および／またはロボットアーム２０を含むことができる。ロボット伸縮式支持体１６は、ロボット本体８に沿って配設されることができる。図１に示されるように、ロボット伸縮式支持体１６は、ＳＣＡＲＡ２４およびディスプレイ３４のための支持を提供することができる。いくつかの実施形態では、ロボット伸縮式支持体１６は、垂直方向に延在および収縮することができる。ロボット伸縮式支持体１６の本体は、本体に加えられる応力および重量を支持するように構成された任意の幅および／または高さとすることができる。

いくつかの実施形態では、医療従事者は、医療従事者によって提出されたコマンドを介してＳＣＡＲＡ２４を移動させることができる。コマンドは、以下にさらに詳細に説明するように、ディスプレイ３４、タブレット、および／またはＸＲヘッドセット（例えば、図９のヘッドセット９２０）で受信された入力から発信されることができる。ＸＲヘッドセットは、医療従事者がディスプレイ３４またはタブレットなどの任意の他のディスプレイを参照する必要性を排除することができ、これにより、ディスプレイ３４および／またはタブレットなしでＳＣＡＲＡ２４を構成することが可能になる。コマンドは、スイッチの押し下げおよび／または複数のスイッチの押し下げによって生成されることができ、および／または以下にさらに詳細に説明するように、ＸＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／またはボイスコマンドに基づいて生成されることができる。

図５に示されるように、起動アセンブリ６０は、スイッチおよび／または複数のスイッチを含むことができる。起動アセンブリ６０は、移動コマンドをＳＣＡＲＡ２４に送信して、オペレータがＳＣＡＲＡ２４を手動で操作することを可能にするように動作可能とすることができる。スイッチまたは複数のスイッチが押し下げられると、医療従事者は、加えられた手の移動を介してＳＣＡＲＡ２４を移動させる能力を有することができる。これに代えて、またはこれに加えて、オペレータは、以下にさらに詳細に説明するように、ＸＲヘッドセットによって検知されるハンドジェスチャコマンドおよび／またはボイスコマンドを介してＳＣＡＲＡ２４の移動を制御することができる。さらに、ＳＣＡＲＡ２４が動くことを求めるコマンドを受信していない場合、ＳＣＡＲＡ２４は、従事者および／または他の物体による偶発的な動きを防ぐように所定位置にロックされることができる。所定の位置にロックすることにより、ＳＣＡＲＡ２４は、エンドエフェクタ２６が医療処置中に外科手術器具を誘導することができる堅固なプラットフォームを提供する。

ロボット支持アーム１８は、様々な機構によってロボット伸縮式支持体１６に接続されることができる。いくつかの実施形態では、図１および図２に最もよく見られるように、ロボット支持アーム１８は、ロボット伸縮式支持体１６に対して任意の方向に回転する。ロボット支持アーム１８は、ロボット伸縮式支持体１６の周りで３６０度回転することができる。ロボットアーム２０は、任意の好適な位置で、ロボット支持アーム１８に対して任意の方向への回転を可能にする様々な機構によって、ロボット支持アーム１８に接続することができる。一実施形態では、ロボットアーム２０は、ロボット支持アーム１８に対して３６０度回転することができる。この自由回転により、オペレータは、外科手術計画にしたがってロボットアーム２０を位置決めすることができる。

図４および図５に示されるエンドエフェクタ２６は、任意の好適な場所でロボットアーム２０に取り付けられることができる。エンドエフェクタ２６は、外科手術ロボット４によって位置決めされたロボットアーム２０のエンドエフェクタカプラ２２に取り付けられるように構成されることができる。例示的なエンドエフェクタ２６は、外科的処置が実施される解剖学的構造に対して挿入された外科手術器具の移動を誘導する管状ガイドを含む。

いくつかの実施形態では、動的参照アレイ５２は、エンドエフェクタ２６に取り付けられている。本明細書で「ＤＲＡ」とも呼ばれる動的参照アレイは、患者の解剖学的構造（例えば、骨）、手術室内の従事者によって着用されている１つ以上のＸＲヘッドセット、エンドエフェクタ、外科手術ロボット、ナビゲートされる外科的処置における外科手術器具上に配設されることができる剛性体である。カメラ追跡システムコンポーネント６または他の３Ｄ位置特定システムと組み合わされるコンピュータプラットフォーム９１０は、ＤＲＡの姿勢（例えば、位置および回転の向き）をリアルタイムで追跡するように構成されている。ＤＲＡは、図示されたボールの配置など、基準を含むことができる。ＤＲＡの３Ｄ座標のこの追跡により、外科手術システム２は、図５の患者５０の目標の解剖学的構造に関連する任意の多次元空間におけるＤＲＡの姿勢を判定することができる。

図１に示されるように、光インジケータ２８は、ＳＣＡＲＡ２４の頂部上に位置決めされることができる。光インジケータ２８は、外科手術システム２が現在動作している「状況」を示すために、任意のタイプの光として照明することができる。いくつかの実施形態では、光は、光インジケータ２８の周りにリングを形成することができるＬＥＤ電球によって生成されることができる。光インジケータ２８は、光インジケータ２８の全体にわたって光を輝かせることができる完全に透過性の材料を含むことができる。光インジケータ２８は、下部ディスプレイ支持体３０に取り付けられることができる。下部ディスプレイ支持体３０は、図２に示されるように、オペレータが、適切ないずれの場所にもディスプレイ３４をうまく移動させるのを可能にすることができる。下部ディスプレイ支持体３０は、任意の好適な機構によって光インジケータ２８に取り付けられることができる。いくつかの実施形態では、下部ディスプレイ支持体３０は、光インジケータ２８を中心として回転することができるか、または光インジケータ２８に堅固に取り付けられることができる。上部ディスプレイ支持体３２は、任意の好適な機構によって下部ディスプレイ支持３０に取り付けられることができる。

いくつかの実施形態では、タブレットをディスプレイ３４と併せて、および／またはディスプレイ３４なしで使用することができる。タブレットは、ディスプレイ３４の代わりに上部ディスプレイ支持体３２上に配設されてもよく、医療手術中に上部ディスプレイ支持体３２から取り外し可能であってもよい。さらに、タブレットは、ディスプレイ３４と通信することができる。タブレットは、任意の適切な無線接続および／または有線接続によって、外科手術ロボット４に接続することが可能であり得る。実施形態によっては、タブレットは、医療手術中、外科手術システム２をプログラムし、および／または制御することが可能であり得る。タブレットを用いて外科手術システム２を制御しているとき、全ての入力および出力コマンドをディスプレイ３４上で複製することができる。タブレットの使用により、オペレータは、患者５０の周りを移動し、および／または外科手術ロボット４まで移動する必要なしに、外科手術ロボット４を操作することができる。

以下に説明するように、いくつかの実施形態では、外科医および／または他の従事者は、ディスプレイ３４および／またはタブレットと組み合わせて使用されることができるＸＲヘッドセットを着用することができるか、またはＸＲヘッドは、ディスプレイ３４および／またはタブレットの使用の必要性を排除することができる。

図３Ａおよび図５に示されるように、カメラ追跡システムコンポーネント６は、有線または無線の通信ネットワークを介して外科手術ロボット４と協働する。図１、図３、および図５を参照すると、カメラ追跡システムコンポーネント６は、外科手術ロボット４と同様のいくつかのコンポーネントを含むことができる。例えば、カメラ本体３６は、ロボット本体８に見られる機能性をもたらすことができる。ロボット本体８は、カメラ４６が取り付けられる補助追跡バーを提供することができる。ロボット本体８内の構造も、カメラ追跡システムコンポーネント６を動作させるために使用される電子機器、通信デバイス、および電源のための支持を提供することができる。カメラ本体３６は、ロボット本体８と同じ材料で作製されることができる。カメラ追跡システムコンポーネント６は、無線および／または有線のネットワークによってＸＲヘッドセット、タブレット、および／またはディスプレイ３４と直接通信して、ＸＲヘッドセット、タブレット、および／またはディスプレイ３４がカメラ追跡システムコンポーネント６の機能を制御することを可能にすることができる。

カメラ本体３６は、カメラ基部３８によって支持される。カメラ基部３８は、ロボット基部１０として機能することができる。図１の実施形態では、カメラ基部３８は、ロボット基部１０よりも広くてもよい。カメラ基部３８の幅は、カメラ追跡システムコンポーネント６が外科手術ロボット４と接続することを可能にすることができる。図１に示されるように、カメラ基部３８の幅は、外側ロボット基部１０を固定するのに十分に広くすることができる。カメラ追跡システムコンポーネント６と外科手術ロボット４とが接続されているとき、カメラ基部３８の追加の幅は、外科手術システム２の追加の操作性と外科手術システム２の支持を可能にすることができる。

ロボット基部１０と同様に、複数の動力付きホイール１２がカメラ基部３８に取り付けられることができる。動力付きホイール１２により、カメラ追跡システムコンポーネント６は、ロボット基部１０および動力付きホイール１２の動作と同様に、患者５０に対して固定された向きを安定化して水平にするか、またはそれを設定することができる。この安定化により、カメラ追跡システムコンポーネント６が医療処置中に移動することを防止することができ、図３Ａおよび図５に示されるように、補助追跡バー上のカメラ４６が、ＸＲヘッドセットおよび／または外科手術ロボット４に接続されたＤＲＡの軌跡を見失うこと、および／または指定されたエリア５６内の解剖学的構造５４および／または器具５８に接続された１つ以上のＤＲＡ５２の軌跡を見失うことを阻止することができる。追跡のこの安定性と維持は、カメラ追跡システムコンポーネント６で効果的に動作する外科手術ロボット４の能力を強化する。さらに、広いカメラ基部３８は、カメラ追跡システムコンポーネント６に追加の支持を提供することができる。具体的には、図３Ａおよび図５に示されるように、幅広のカメラ基部３８により、カメラ４６が患者の上に配設されたときに、カメラ追跡システムコンポーネント６が転倒するのを防止することができる。

カメラ伸縮式支持４０は、補助追跡バー上のカメラ４６を支持することができる。実施形態によっては、伸縮式支持体４０は、垂直方向にカメラ４６を上げるまたは下げることができる。カメラハンドル４８は、任意の好適な位置でカメラ伸縮式支持４０に取り付けられることができ、オペレータが医療手術の前にカメラ追跡システムコンポーネント６を計画された位置に移動させることを可能にするように構成されることができる。実施形態によっては、カメラハンドル４８は、カメラ伸縮式支持体４０を上げ下げするのに使用される。カメラハンドル４８は、ボタン、スイッチ、レバー、および／またはそれらの任意の組み合わせの押し下げによって、カメラ伸縮式支持体４０の上昇および下降を実施することができる。

下部カメラ支持アーム４２は、任意の好適な場所でカメラ伸縮式支持体４０に取り付けることができ、実施形態では、図１に示されるように、下部カメラ支持アーム４２は、伸縮式支持体４０の周りで３６０度回転することができる。この自由な回転により、オペレータは、カメラ４６を任意の好適な場所に位置決めすることができる。下部カメラ支持アーム４２は、任意の好適な機構によって伸縮式支持体４０に接続することができる。下部カメラ支持アーム４２を使用して、カメラ４６に支持を与えることができる。カメラ４６は、任意の適切な機構によって下部カメラ支持アーム４２に取り付けられることができる。カメラ４６は、カメラ４６と下部カメラ支持アーム４２との間の取り付け面積で任意の方向に旋回することができる。実施形態では、湾曲レール４４は、下部カメラ支持アーム４２上に配設されることができる。

湾曲レール４４は、下部カメラ支持アーム４２上の任意の好適な場所に配設されることができる。図３Ａに示されるように、湾曲レール４４は、任意の好適な機構によって下部カメラ支持アーム４２に取り付けることができる。湾曲レール４４は、適切ないずれの形状であってもよく、適切な形状は、三日月形、円形、卵形、楕円形、および／またはそれらの任意の組み合わせとすることができる。カメラ４６は、湾曲レール４４に沿って移動可能に配置されることができる。カメラ４６は、例えば、ローラ、ブラケット、ブレース、モータ、および／またはそれらの任意の組み合わせによって湾曲レール４４に取り付けることができる。モータおよびローラは、図示されていないが、湾曲レール４４に沿ってカメラ４６を動かすのに使用されることができる。図３Ａに示されるように、医療処置中、ある物体により、カメラ４６が追跡される１つ以上のＤＲＡを見るのを妨げられる場合、モータが、これに反応して、湾曲レール４４に沿ってカメラ４６を動かすことができる。この電動化された動きにより、カメラ４６は、カメラ追跡システムコンポーネント６を移動させることなく、オブジェクトによってもはや妨げられない新たな位置に移動することができる。カメラ４６が１つ以上の追跡されるＤＲＡを視認することが妨げられている間、カメラ追跡システムコンポーネント６は、停止信号を外科手術ロボット４、ＸＲヘッドセット、ディスプレイ３４、および／またはタブレットに送信することができる。停止信号は、カメラ４６が追跡されるＤＲＡ５２を再取得するまで、および／またはＸＲヘッドセットを着用しているおよび／またはディスプレイ３４および／またはタブレットを視認しているオペレータに警告することができるまで、ＳＣＡＲＡ２４が移動することを防止することができる。このＳＣＡＲＡ２４は、カメラ追跡システムがＤＲＡの追跡を再開することができるまで、ベースおよび／またはエンドエフェクタカプラ２２のさらなる移動を停止することによって、停止信号の受信に応答するように構成されることができる。

図３Ｂおよび図３Ｃは、図１の外科手術システムとともに使用されることができるか、または外科手術ロボットとは独立して使用されることができる別のカメラ追跡システムコンポーネント６’の正面図および等角図を示している。例えば、カメラ追跡システムコンポーネント６’は、ロボットガイダンスの使用を伴わないナビゲートされる外科手術を提供するために使用されることができる。図３Ｂおよび図３Ｃのカメラ追跡システムコンポーネント６’と図３Ａのカメラ追跡システムコンポーネント６との違いの１つは、図３Ｂおよび図３Ｃのカメラ追跡システムコンポーネント６’が、コンピュータプラットフォーム９１０を運搬するハウジングを含むことである。コンピュータプラットフォーム９１０は、ＤＲＡを追跡するカメラ追跡作業を行い、ディスプレイデバイス、例えばＸＲヘッドセットおよび／または他の表示デバイスに外科手術ナビゲーション情報を提供する、ナビゲーション式外科手術を行い、また本明細書に開示されている他の計算演算を行うように構成されることができる。したがって、コンピュータプラットフォーム９１０は、図１４の１つ以上のナビゲーションコンピュータなどのナビゲーションコンピュータを含むことができる。

図６は、医療手術に使用される図５の外科手術システムのコンポーネントのブロック図を示している。図６を参照すると、補助追跡バー上のナビゲーションカメラ４６は、患者に取り付けられた参照アレイ６０２、外科器具に取り付けられた参照アレイ６０４、およびロボットアーム２０の姿勢（例えば、位置および向き）が追跡されるナビゲーション視野６００を有する。ナビゲーションカメラ４６は、以下に記載される動作を実行するように構成されたコンピュータプラットフォーム９１０を含む、図３Ｂおよび図３Ｃのカメラ追跡システムコンポーネント６’の一部とすることができる。参照アレイは、外科ロボット４の追跡サブシステムによってそれらのそれぞれの姿勢を確定するように復号される、知られているパターンで光を反射させることによって追跡を可能にする。患者の参照アレイ６０２と補助追跡バー上のナビゲーションカメラ４６との間の視線が（例えば、医療従事者、器具などによって）遮断された場合、外科手術器具のさらなるナビゲーションを実行することができない可能性があり、応答通知は、ロボットアーム２０および外科手術ロボット４のさらなる移動を一時的に停止し、ディスプレイ３４に警告を表示し、および／または医療従事者に可聴警告を提供することができる。ディスプレイ３４は、外科医６１０および助手６１２がアクセス可能であるが、視認するには、患者から顔をそらし、眼の焦点を異なる距離および場所に変化させる必要がある。ナビゲーションソフトウェアは、外科医からの音声指示に基づいて、技術従事者６１４によって制御されることができる。

図７は、外科手術システム２のナビゲーション機能を使用するときに、外科手術ロボット４によって図５および図６のディスプレイ３４に表示されることができる様々な表示画面を示している。表示画面は、開発された外科手術計画に基づいて、および／または追跡される参照アレイの姿勢に基づいて、解剖学的構造に対して表示画面に位置決めされた器具のモデルのグラフィック表現がオーバーレイされた患者の放射線写真、外科的処置の異なる段階および仮想的に投影されたインプラントの寸法パラメータ（例えば、長さ、幅、および／または直径）を制御するための様々なユーザ選択可能なメニューを含むことができるが、これに限定されるものではない。

ナビゲートされる外科手術のために、外科手術の術前計画、例えば、インプラント配置、および計画された外科的処置中の１人または複数のユーザにナビゲーション情報を提供するためのコンピュータプラットフォーム９１０への計画の電子転送を可能にする、以下に記載される様々な処理コンポーネント（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが提供される。

ロボットナビゲーションのために、外科手術の術前計画、例えば、インプラント配置、および外科手術ロボット４への計画の電子転送を可能にする、以下に記載される様々な処理コンポーネント（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが提供される。外科手術ロボット４は、計画を使用して、ロボットアーム２０および接続されたエンドエフェクタ２６を誘導して、計画された外科的処置のステップのための患者の解剖学的構造に対する外科手術器具の目標姿勢を提供する。

以下の様々な実施形態は、外科医６１０、助手６１２、および／または他の医療従事者が着用できる１つ以上のＸＲヘッドセットを使用して、外科手術ロボット、カメラ追跡システム６／６’、および／または手術室の他の医療機器から情報を受信し、および／またはこれらに制御コマンドを提供するための改善されたユーザインターフェースを提供することを対象とする。

図８は、本開示のいくつかの実施形態にかかる、外科手術ロボット４のいくつかの電気的コンポーネントのブロック図を示している。図８を参照すると、ロードセル（図示せず）は、エンドエフェクタカプラ２２に加えられた力を追跡するように構成されることができる。実施形態によっては、ロードセルは、複数のモータ８５０、８５１、８５２、８５３、および／または８５４と通信することができる。ロードセルが力を検知するのにしたがって、加えられた力の程度に関する情報が、１つのスイッチアレイおよび／または複数のスイッチアレイからコントローラ８４６に配信されることができる。コントローラ８４６は、ロードセルから力情報を取得し、力情報をスイッチアルゴリズムで処理することができる。スイッチアルゴリズムは、モータドライバ８４２を制御するのにコントローラ８４６によって使用される。モータドライバ８４２は、モータ８５０、８５１、８５２、８５３、および８５４のうちの１つ以上の働きを制御する。モータドライバ８４２は、特定のモータに、例えば、モータを介してロードセルによって測定された等しい量の力を生成するように指示することができる。いくつかの実施形態では、生成される力は、コントローラ８４６の指示どおりに、複数のモータ、例えば、８５０〜８５４から生じることができる。さらに、モータドライバ８４２は、コントローラ８４６から入力を受信することができる。コントローラ８４６は、ロードセルによって検知された力の方向に関する情報をロードセルから受信することができる。コントローラ８４６は、この情報を、モーションコントローラアルゴリズムを使用して処理することができる。このアルゴリズムは、特定のモータドライバ８４２に情報を提供するのに使用されることができる。力の方向を複製するために、コントローラ８４６は、特定のモータドライバ８４２を起動および／または起動解除することができる。コントローラ８４６は、１つ以上のモータ、例えば８５０〜８５４のうちの１つ以上を制御して、ロードセルによって検知された力の方向にエンドエフェクタ２６の運動を誘起することができる。この力によって制御される運動により、オペレータは、ＳＣＡＲＡ２４および受動的なエンドエフェクタ２６を楽に、および／またはほとんど抵抗なく移動させることができる。医療スタッフによる使用に適したいずれの姿勢にも（すなわち、定義された３次元（「３Ｄ」）直交基準軸に対する場所および角度方向）エンドエフェクタ２６を位置付けるように、エンドエフェクタ２６を動かすことができる。

図５に最もよく例示されている起動アセンブリ６０は、エンドエフェクタカプラ２２を包むブレスレットの形態をなすことができる。起動アセンブリ６０は、ＳＣＡＲＡ２４の任意の部分、エンドエフェクタカプラ２２の任意の部分に位置することができ、医療従事者および／またはそれらの任意の組み合わせによって着用される（および無線で通信する）ことができる。起動アセンブリ６０は、一次ボタンおよび二次ボタンを備えることができる。

一次ボタンを押し下げることにより、オペレータは、ＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動させることが可能であり得る。一実施形態によれば、一旦設置されると、ＳＣＡＲＡ２４およびエンドエフェクタカプラ２２は、オペレータがＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動させるように外科手術ロボット４をプログラムするまで移動しないことが可能であるか、または一次ボタンを使用して移動される。例によっては、ＳＣＡＲＡ ２４およびエンドエフェクタカプラ２２がオペレータコマンドに応答するようになる前に、少なくとも２つの非隣接の一次起動スイッチの押下が必要となり得る。少なくとも２つの一次起動スイッチを押し下げることにより、医療処置中のＳＣＡＲＡ２４およびエンドエフェクタカプラ２２の偶発的な移動を防止することができる。

一次ボタンによって起動されると、ロードセルは、オペレータ、すなわち、医療従事者によってエンドエフェクタカプラ２２に及ぼされる力の大きさおよび／または方向を測定することができる。この情報は、ＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動させるために使用されることができる、ＳＣＡＲＡ２４内の１つ以上のモータ、例えば８５０〜８５４のうちの１つ以上に転送されることができる。ロードセルによって測定された力の大きさおよび方向に関する情報は、１つ以上のモータ、例えば８５０〜８５４のうちの１つ以上に、ロードセルによって検知されるのと同じ方向にスカラ２４およびエンドエフェクタカプラ２２を移動させることができる。この力制御型の動きにより、モータがＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動させるのと同時に、オペレータがＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動させるため、オペレータは、楽に、且つ大きな労力なしに、ＳＣＡＲＡ２４およびエンドエフェクタカプラ２２を移動することが可能になり得る。

いくつかの例では、二次ボタンは、「選択」デバイスとしてオペレータによって使用されることができる。医療手術中、外科手術ロボット４は、ＸＲヘッドセット９２０、ディスプレイ３４および／または光インジケータ２８によって特定の状況を医療従事者に通知することができる。ＸＲヘッドセット９２０は、それぞれ、シースルー表示画面上に画像を表示して、シースルー表示画面を通して視認可能な実世界のオブジェクト上にオーバーレイされるエクステンデッドリアリティ画像を形成するように構成されている。医療従事者は、外科手術ロボット４によって、機能、モードを選択し、および／または外科手術システム２の状況を評価するように促されることがある。二次ボタンを１回押し下げることにより、特定の機能、モードが起動され、および／またはＸＲヘッドセット９２０、ディスプレイ３４、および／もしくは光インジケータ２８を介して医療従事者に伝達される情報が確認されることができる。これに加えて、二次ボタンを素早く連続して複数回押し下げると、追加の機能、モードを起動し、および／またはＸＲヘッドセット９２０、ディスプレイ３４、および／もしくは光インジケータ２８を介して医療従事者に伝達される情報を選択することができる。

図８をさらに参照すると、外科手術ロボット４の電気的コンポーネントは、プラットフォームサブシステム８０２、コンピュータサブシステム８２０、運動制御サブシステム８４０、および追跡サブシステム８３０を含む。プラットフォームサブシステム８０２は、バッテリ８０６、配電モジュール８０４、コネクタパネル８０８、および充電ステーション８１０を含む。コンピュータサブシステム８２０は、コンピュータ８２２、ディスプレイ８２４、およびスピーカ８２６を含む。運動制御サブシステム８４０は、ドライバ回路８４２、モータ８５０、８５１、８５２、８５３、８５４、スタビライザ８５５、８５６、８５７、８５８、エンドエフェクタコネクタ８４４、およびコントローラ８４６を含む。追跡サブシステム８３０は、位置センサ８３２、およびカメラコンバータ８３４を含む。外科手術ロボット４はまた、取り外し可能なフットペダル８８０、および取り外し可能なタブレットコンピュータ８９０を含むことができる。

入力電力は、配電モジュール８０４に提供されることができる電源を介して外科手術ロボット４に供給される。配電モジュール８０４は、入力電力を受け取り、且つ外科手術ロボット４の他のモジュール、コンポーネント、およびサブシステムに提供される異なる電源電圧を生成するように構成されている。配電モジュール８０４は、コンピュータ８２２、ディスプレイ８２４、スピーカ８２６、ドライバ８４２などの他のコンポーネントに、例えば、動力モータ８５０〜８５４およびエンドエフェクタコネクタ８４４に提供され、且つカメラコンバータ８３４および外科手術ロボット４の他のコンポーネントに提供されることができる、異なる電圧供給をコネクタパネル８０８に提供するように構成されることができる。配電モジュール８０４はまた、バッテリ８０６に接続されてもよく、バッテリ８０６は、配電モジュール８０４が入力電力から電力を受信しない場合の一時的な電源として役立つ。他の場合には、配電モジュール８０４は、バッテリ８０６を充電するのに役立つ場合がある。

コネクタパネル８０８は、異なるデバイスおよびコンポーネントを外科手術ロボット４ならびに／または関連付けられたコンポーネントおよびモジュールに接続するのに役立つことができる。コネクタパネル８０８は、異なるコンポーネントからの配線または接続部を受容する１つ以上のポートを含むことができる。例えば、コネクタパネル８０８は、外科手術ロボット４を他の機器に接地することができる接地端子ポートと、フットペダル８８０を接続するポートと、位置センサ８３２、カメラコンバータ８３４、およびＤＲＡ追跡カメラ８７０を含むことができる追跡サブシステム８３０に接続するポートと、を有することができる。コネクタパネル８０８はまた、コンピュータ８２２などの他のコンポーネントへのＵＳＢ、Ｅｔｈｅｒｎｅｔ、ＨＤＭＩ通信を可能にする他のポートを含むことができる。いくつかの実施形態によれば、コネクタパネル８０８は、１つ以上のＸＲヘッドセット９２０を追跡サブシステム８３０および／またはコンピュータサブシステム８２０に動作可能に接続するための有線および／または無線インターフェースを含むことができる。

コントロールパネル８１６は、外科手術ロボット４の動作を制御し、および／またはオペレータが観察するための外科手術ロボット４からの情報を提供する、様々なボタンまたはインジケータを提供することができる。例えば、コントロールパネル８１６は、外科手術ロボット４の電源をオンまたはオフするボタンと、支持体１６を持ち上げたり下降させたりするボタンと、電動ホイール１２に係合して外科術ロボット４が物理的に動くのをロックするように設計されることができるスタビライザ８５５〜８５８を持ち上げたり下降させたりするボタンとを含むことができる。他のボタンは、緊急事態の際に外科手術ロボット４を停止することができ、これにより、全てのモータ電力を取り除いて、機械的ブレーキを適用して、全ての運動の発生を停止することができる。コントロールパネル８１６はまた、配線電力インジケータまたはバッテリ８０６の充電状態などの特定のシステムの状況をオペレータに通知するインジケータを有することができる。いくつかの実施形態によれば、１つ以上のＸＲヘッドセット９２０は、例えばコネクタパネル８０８を介して通信して、外科手術ロボット４の動作を制御し、および／またはＸＲヘッドセット９２０を着用している人による観察のために外科手術ロボット４によって生成された情報を受信および表示することができる。

コンピュータサブシステム８２０のコンピュータ８２２は、外科手術ロボット４の割り当てられた機能を動作させるためのオペレーティングシステムおよびソフトウェアを含む。コンピュータ８２２は、情報をオペレータに表示するために、他のコンポーネント（例えば、追跡サブシステム８３０、プラットフォームサブシステム８０２、および／または運動制御サブシステム８４０）から情報を受信して処理することができる。さらに、コンピュータサブシステム８２０は、スピーカ８２６を介してオペレータに出力を提供することができる。スピーカは、外科手術ロボットの一部とすることができるか、ＸＲヘッドセット９２０の一部とすることができるか、または外科手術システム２の別のコンポーネント内にあることができる。ディスプレイ８２４は、図１および図２に示されるディスプレイ３４に対応することができる。

追跡サブシステム８３０は、位置センサ８３２、およびカメラコンバータ８３４を含むことができる。追跡サブシステム８３０は、図３のカメラ追跡システムコンポーネント６に対応することができる。ＤＲＡ追跡カメラ８７０は、位置センサ８３２とともに動作して、ＤＲＡ５２の姿勢を判定する。この追跡は、ＬＥＤまたは反射マーカなどのＤＲＡ５２の能動的または受動的な要素の場所をそれぞれ追跡する赤外線または可視光技術の使用を含む、本開示に矛盾しない様式で行うことができる。

追跡サブシステム８３０およびコンピュータサブシステム８２０の機能的動作は、図３Ａおよび図３Ｂのカメラ追跡システムコンポーネント６’によって運搬できるコンピュータプラットフォーム９１０に含めることができる。追跡サブシステム８３０は、追跡対象のＤＲＡの姿勢、例えば場所および角度向きを確定するように構成されることができる。コンピュータプラットフォーム９１０はまた、判定された姿勢を使用して、計画された外科的処置中に、位置登録された患者画像および／または追跡される解剖学的構造に対する追跡される器具の動きを誘導するナビゲーション情報をユーザに提供するように構成されたナビゲーションコントローラを含むことができる。コンピュータプラットフォーム９１０は、図３Ｂおよび図３Ｃのディスプレイ、および／または１つ以上のＸＲヘッドセット９２０に情報を表示することができる。コンピュータプラットフォーム９１０は、外科手術ロボットとともに使用される場合、コンピュータサブシステム８２０および図８の他のサブシステムと通信して、エンドエフェクタ２６の移動を制御するように構成されることができる。例えば、以下に説明するように、コンピュータプラットフォーム９１０は、表示されるサイズ、形状、色、および／または姿勢を有する、患者の解剖学的構造、外科手術器具、ユーザの手などの、１つ以上の追跡されるＤＲＡの判定された姿勢に基づいて制御されるグラフィック表現を生成することができ、および表示されるそのグラフィック表現を動的に修正して、判定された姿勢の経時的な変化を追跡することができる。

運動制御サブシステム８４０は、支持体１６（例えば、垂直柱）、上部アーム１８、下部アーム２０を物理的に動かすか、またはエンドエフェクタカプラ２２を回転させるように構成されることができる。物理的な動きは、１つ以上のモータ８５０〜８５４を使用することによって行うことができる。例えば、モータ８５０は、支持体１６を垂直に持ち上げるまたは下降させるように構成されることができる。モータ８５１は、図２に示されるように、垂直柱１６との係合点の周りに上部アーム１８を横方向に動かすように構成されることができる。モータ８５２は、図２に示されるように、上部アーム１８との係合点の周りに下部アーム２０を横方向に動かすように構成されることができる。モータ８５３および８５４は、３次元軸の周りに沿った並進の動きおよび回転をもたらすようにエンドエフェクタカプラ２２を動かすように構成されることができる。図９に示されるコンピュータプラットフォーム９１０は、エンドエフェクタカプラ２２の移動を誘導するコントローラ８４６に制御入力を提供して、エンドエフェクタカプラに接続された受動的なエンドエフェクタを、計画された外科的処置中に手術される解剖学的構造に対して、計画された姿勢（すなわち、定義された３Ｄ直交基準軸に対する場所および角度の向き）で位置決めすることができる。運動制御サブシステム８４０は、統合された位置センサ（例えば、エンコーダ）を使用して、エンドエフェクタカプラ２２および／またはエンドエフェクタ２６の位置を測定するように構成されることができる。

図９は、カメラ追跡システムコンポーネント６（図３Ａ）または６’（図３Ｂ、図３Ｃ）、および／または本開示のいくつかの実施形態にかかる外科手術ロボット４に動作可能に接続されることができるコンピュータプラットフォーム９１０に接続された撮像デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６など）を含む外科手術システムのコンポーネントのブロック図を示している。これに代えて、コンピュータプラットフォーム９１０によって実行されるものとして本明細書に開示される少なくともいくつかの動作は、追加的または代替的に、外科手術システムのコンポーネントによって実行されることができる。

図９を参照すると、コンピュータプラットフォーム９１０は、ディスプレイ９１２、少なくとも１つのプロセッサ回路９１４（簡潔にするためにプロセッサとも呼ばれる）、コンピュータ可読プログラムコード９１８を内包する少なくとも１つのメモリ回路９１６（簡潔にするためにメモリとも呼ばれる）、および少なくとも１つのネットワークインターフェース９０２（簡潔にするためにネットワークインターフェースとも呼ばれる）を含む。ディスプレイ９１２は、本開示のいくつかの実施形態にかかるＸＲヘッドセット９２０の一部とすることができる。ネットワークインターフェース９０２は、図１０のＣアーム撮像デバイス１０４、図１１のＯアーム撮像デバイス１０６、別の医療撮像デバイス、患者の医療画像を内包する画像データベース９５０、外科手術ロボット４のコンポーネント、および／または他の電子機器に接続するように構成されることができる。

外科手術ロボット４とともに使用される場合、ディスプレイ９１２は、図２のディスプレイ３４、および／または図８のタブレット８９０、および／または外科手術ロボット４に動作可能に接続されたＸＲヘッドセット９２０に対応することができ、ネットワークインターフェース９０２は、図８のプラットフォームネットワークインターフェース８１２に対応することができ、プロセッサ９１４は、図８のコンピュータ８２２に対応することができる。ＸＲヘッドセット９２０のネットワークインターフェース９０２は、有線ネットワーク、例えば、シンワイヤＥｔｈｅｒｎｅｔを介して、および／または１つ以上の無線通信プロトコル、例えば、ＷＬＡＮ、３ＧＰＰ ４Ｇおよび／または５Ｇ（新無線）セルラー通信規格などにしたがって無線ＲＦ送受信リンクを介して通信するように構成されることができる。

プロセッサ９１４は、汎用および／または専用プロセッサ、例えば、マイクロプロセッサおよび／またはデジタル信号プロセッサなどの１つ以上のデータ処理回路を含むことができる。プロセッサ９１４は、メモリ９１６内のコンピュータ可読プログラムコード９１８を実行して、外科手術計画、ナビゲートされる外科手術、および／またはロボット外科手術のために実行されるものとして本明細書に記載される動作の一部または全てを含むことができる動作を実行するように構成されている。

コンピュータプラットフォーム９１０は、外科手術計画機能性を提供するように構成されることができる。プロセッサ９１４は、撮像デバイス１０４および１０６のうちの一方から、および／またはネットワークインターフェース９０２を介して画像データベース９５０から受信した解剖学的構造体、例えば椎骨の画像をディスプレイ９１２上におよび／またはＸＲヘッドセット９２０上に表示するように動作することができる。プロセッサ９１４は、計画された外科的処置のためにオペレータタッチがディスプレイ９１２上の場所を選択することによって、または計画された外科的処置のための場所を定義するためにマウスベースのカーソルを使用することなどによって、１つ以上の画像で示される解剖学的構造が、外科的処置、例えばスクリュー配置を受ける場所のオペレータの定義を受信する。画像がＸＲヘッドセット９２０に表示される場合、ＸＲヘッドセットは、着用者によって形成されたジェスチャベースのコマンドで検知するように、および／または着用者によって話されたボイスベースのコマンドを検知するように構成されることができ、これを使用してメニュー項目間の選択を制御し、および／または以下にさらに詳述するように、ＸＲヘッドセット９２０にオブジェクトがどのように表示されるかを制御することができる。

コンピュータプラットフォーム９１０は、股関節の中心、角度の中心、自然の目印（例えば、トランス上顆線、ホワイトサイド線、後顆線など）などを決定する様々な角度の測定のような、膝の外科手術に特に有用であり得る生体構造の測定を可能にするように構成されることができる。いくつかの測定は、自動とすることができる一方で、いくつかの他の測定は、人間の入力または支援を伴うことができる。コンピュータプラットフォーム９１０は、オペレータが、サイズおよび位置合わせの選択を含む、患者のための正しいインプラントの選択を入力することを可能にするように構成されることができる。コンピュータプラットフォーム９１０は、ＣＴ画像または他の医療画像に対して自動または半自動（人間の入力を伴う）のセグメント化（画像処理）を行うように構成されることができる。患者の外科手術計画は、外科手術ロボット４による検索のために、データベース９５０に対応することができるクラウドベースのサーバに記憶されることができる。

例えば、整形外科手術中に、外科医は、コンピュータ画面（例えば、タッチ画面）または例えばＸＲヘッドセット９２０を介したエクステンデッドリアリティ（ＸＲ）インタラクション（例えば、ハンドジェスチャベースのコマンドおよび／またはボイスベースのコマンド）を使用して、どのカットを作成するか（例えば、後部大腿骨、近位脛骨など）を選択することができる。コンピュータプラットフォーム９１０は、外科的処置を実行するために外科医に視覚的ガイダンスを提供するナビゲーション情報を生成することができる。外科手術ロボット４とともに使用される場合、コンピュータプラットフォーム９１０は、外科手術ロボット４がエンドエフェクタ２６を目標姿勢に自動的に移動させて、外科手術器具が目標場所に整列されて解剖学的構造に対する外科的処置を実行するようにすることを可能にするガイダンスを提供することができる。

いくつかの実施形態では、外科手術システム９００は、２つのＤＲＡを使用して、患者の脛骨に接続されたもの、および患者の大腿骨に接続されたものなど、患者の生体構造の位置を追跡することができる。システム９００は、位置合わせおよび確認のための標準のナビゲート器具（例えば、脊椎外科手術のためにＧｌｏｂｕｓ ＥｘｃｅｌｓｉｕｓＧＰＳシステム（商標）で使用されるものと同様のポインタ）を使用することができる。

ナビゲートされる外科手術で特に難しい作業は、３Ｄ解剖学的構造の２Ｄ表現であるコンピュータ画面上で外科医が作業を実行するのに苦労する脊椎、膝、および他の解剖学的構造におけるインプラントの位置を計画する方法である。システム９００は、ＸＲヘッドセット９２０を使用して、解剖学的構造および候補インプラントデバイスのコンピュータで生成された３次元（３Ｄ）表現を表示することによって、この問題に対処することが可能である。コンピュータで生成された表現は、コンピュータプラットフォーム９１０のガイダンスの下で、表示画面上で互いに対してスケーリングおよび姿勢決めされ、ＸＲヘッドセット９２０を介して視認される間、外科医によって操作されることができる。外科医は、例えば、ＸＲヘッドセット９２０によって感知されるハンドジェスチャベースのコマンドおよび／またはボイスベースのコマンドを使用して、解剖学的構造、インプラント、外科手術器具などの、表示された、コンピュータで生成された表現を操作することができる。

例えば、外科医は、仮想インプラント上の表示された仮想ハンドルを視認することができ、仮想ハンドルを操作し（例えば、つかんで移動させ）て、仮想インプラントを所望の姿勢に移動させ、解剖学的構造のグラフィック表現に対する計画されたインプラントの配置を調整することができる。その後、外科手術中に、コンピュータプラットフォーム９１０は、移植片を挿入するための外科計画により正確に従い、かつ／または解剖学的構造体に対して別の外科処置を行う外科医の能力を促進するナビゲーション情報をＸＲヘッドセット９２０を通して表示することができる。外科的処置が骨除去を伴う場合、骨除去の進行、例えば切込みの深さが、ＸＲヘッドセット９２０を介してリアルタイムで表示されることができる。ＸＲヘッドセット９２０を介して表示されることができる他の特徴として、関節運動の範囲に沿った間隙または靭帯のバランス、関節運動の範囲に沿ったインプラントの接触線、色または他のグラフィックレンダリングによる靭帯の緊張および／または弛緩などを挙げることができるが、これらに限定されるものではない。

いくつかの実施形態では、コンピュータプラットフォーム９１０は、標準の外科手術器具および／またはインプラント、例えば、後方安定化インプラントおよび十字型保持インプラント、セメント固定およびセメントレスインプラント、例えば、膝関節全置換もしくは部分置換術、および／または股関節置換術、および／または外傷に関連した外科手術のための是正システムの使用を計画することを可能にすることができる。

自動撮像システムをコンピュータプラットフォーム９１０と連携して使用して、解剖学的構造の術前、術中、術後、および／またはリアルタイムの画像データを取得することができる。例示的な自動撮像システムが、図１０および図１１に例示されている。いくつかの実施形態では、自動撮像システムは、Ｃアーム１０４（図１０）撮像デバイスまたはＯアーム（登録商標）１０６（図１１）である。（Ｏアーム（登録商標）は、米国コロラド州ルイスビルに事業所を置くＭｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ，Ｉｎｃ．が著作権を所有している）。Ｘ線システムで必要とされることができる、患者の頻繁な手動による再位置決めを必要とすることなく、いくつかの異なる位置から患者のＸ線を撮像することが望ましい場合がある。Ｃアーム１０４のＸ線診断機器は、頻繁な手動による再位置決めの問題を解決することができ、外科手術および他の介在する処置の医療分野でよく知られている場合がある。図１０に示されるように、Ｃアームは、「Ｃ」形状の対向する遠位端１１２で終端する細長いＣ形状の部材を含む。Ｃ形状の部材は、Ｘ線源１１４および画像受信器１１６に取り付けられている。アームのＣアーム１０４内の空間は、Ｘ線支持構造からの干渉が実質的にない状態で医師が患者に付き添う余地を提供する。

Ｃアームは、２つの自由度における（すなわち、球面運動における２つの直交軸を中心とする）アームの回転の動きを可能にするように装着されている。Ｃアームは、Ｘ線支持構造に摺動可能に装着され、これにより、Ｃアームの曲率中心を中心とした周回回転方向の動きが可能になり、Ｘ線源１１４および画像受信器１１６を垂直および／または水平方向に選択的に向けることを可能にすることができる。Ｃアームはまた、横方向（すなわち、患者の幅および長さの双方に対するＸ線源１１４および画像受信器１１６の選択的に調節可能な位置決めを可能にする周回方向に対して直交方向）に回転可能であってもよい。Ｃアーム装置の球面回転の態様により、医師は、撮像されている特定の解剖学的状況に関して決定された最適な角度で患者のＸ線を撮像することができる。

図１１に示されているＯアーム（登録商標）１０６は、例示されていない画像キャプチャ部分を取り囲むことができるガントリハウジング１２４を含む。画像キャプチャ部分は、Ｘ線源および／または放射部分と、Ｘ線受信および／または画像受信部分と、を含み、これらを互いに約１８０度に配設し、画像キャプチャ部分の追跡に対してロータ（例示せず）上に装着することができる。画像キャプチャ部分は、画像取得中に３６０度回転するように動作可能であってもよい。画像キャプチャ部分は、中心点および／または軸を中心として回転することができ、患者の画像データが複数の方向から、または複数の平面で取得されることを可能にする。

ガントリハウジング１２４を備えたＯアーム（登録商標）１０６は、撮像される物体の周りに位置決めするための中央開口部と、ガントリハウジング１２４の内部の周りで回転可能な放射線源と、を有し、放射線源は、複数の異なる投影角度から放射線を投影するように適合されることができる。検出器システムは、投射角ごとに放射線を検出して、物体画像を複数の投射平面から擬似同時的に取得するように適合されている。ガントリは、カンチレバー様式で、車輪を備えた車輪付き移動式カートなどの支持構造Ｏ−ａｒｍ（登録商標）支持構造体に取り付けられ得る。位置決めユニットは、好ましくはコンピュータ化された運動制御システムの制御下で、ガントリを計画された位置および向きに並進および／または傾斜させる。ガントリは、ガントリ上で互いに対向して配設された供給源および検出器を含むことができる。供給源および検出器は、供給源および検出器を互いに協調させてガントリの内部の周りで回転させることができる電動ロータに固設されることができる。供給源は、ガントリの内側に位置する目標オブジェクトの多平面撮像のために、部分的および／または完全に３６０度の回転にわたって複数の位置および向きでパルス化されることができる。ガントリは、ロータが回転するときにロータを誘導するためのレールおよび軸受けシステムをさらに備えることができ、このシステムは、供給源および検出器を担持することができる。Ｏアーム（登録商標）１０６およびＣアーム１０４の双方および／またはいずれかを自動撮像システムとして使用して、患者をスキャンし、情報を外科手術システム２に送ることができる。

撮像システムによってキャプチャされた画像は、ＸＲヘッドセット９２０および／またはコンピュータプラットフォーム９１０の別のディスプレイデバイス、外科手術ロボット４、および／または外科用システム９００の別のコンポーネントに表示されることができる。ＸＲヘッドセット９２０は、例えば、コンピュータプラットフォーム９１０を介して、撮像デバイス１０４および／または１０６のうちの１つ以上、および／または画像データベース９５０に接続されて、それらからの画像を表示することができる。ユーザは、ＸＲヘッドセット９２０を介して制御入力、例えば、ジェスチャおよび／またはボイスベースのコマンドを提供して、撮像デバイス１０４および／または１０６および／または画像データベース９５０のうちの１つ以上の動作を制御することができる。

図１２は、図１３に示されるＸＲヘッドセット９２０に対応し、且つ本開示のいくつかの実施形態にしたがって動作することができるＸＲヘッドセット１２００および１２１０（ヘッドマウントディスプレイＨＭＤ１およびＨＭＤ２）の対を含む外科手術システムのコンポーネントのブロック図を示している。

図１２の例示的なシナリオを参照すると、助手６１２および外科医６１０は、双方とも、それぞれＸＲヘッドセット１２１０および１２１０を着用している。助手６１２がＸＲヘッドセット１２１０を着用することは任意である。ＸＲヘッドセット１２００および１２１０は、以下でさらに説明するように、それを通して着用者が外科処置に関係する情報を見て、それと相互作用することができる、双方向環境を提供するように構成されている。この双方向ＸＲベースの環境は、技術者６１４が手術室にいる必要性をなくすることができ、図６に示されるディスプレイ３４の使用の必要性をなくすることができる。各ＸＲヘッドセット１２００および１２１０は、器具、解剖学的構造、エンドエフェクタ２６、および／または他の機器に取り付けられたＤＲＡまたは他の参照アレイの追加の追跡ソースを提供するように構成された１つ以上のカメラを含むことができる。図１２の例では、ＸＲヘッドセット１２００は、ＤＲＡおよび他のオブジェクトを追跡するための視野（ＦＯＶ）１２０２を有し、ＸＲヘッドセット１２１０は、ＤＲＡおよび他のオブジェクトを追跡するためのＦＯＶ１２０２と部分的に重なるＦＯＶ１２１２を有し、ナビゲーションカメラ４６は、ＤＲＡおよび他のオブジェクトを追跡するために、ＦＯＶ１２０２および１２１２と部分的に重複する別のＦＯＶ６００を有する。

１つ以上のカメラが、追跡されるオブジェクト、例えば外科手術器具に取り付けられたＤＲＡを視認するのを妨げられているが、ＤＲＡが１つ以上の他のカメラを視野に入れている場合、追跡サブシステム８３０および／またはナビゲーションコントローラ８２８は、ナビゲーションを喪失せずにシームレスにオブジェクトを追跡し続けることができる。これに加えて、１つのカメラの観点からＤＲＡが部分的に隠れているが、ＤＲＡ全体が複数のカメラソースを介して視認可能である場合、カメラの追跡入力を統合して、ＤＲＡのナビゲーションを続けることができる。ＸＲヘッドセットおよび／またはナビゲーションカメラ４６のうちの１つは、ＸＲヘッドセットの別の１つでＤＲＡを表示および追跡して、コンピュータプラットフォーム９１０（図９および図１４）、追跡サブシステム８３０、および／または別のコンピューティングコンポーネントを有効にし、１つ以上の定義された座標系、例えば、ＸＲヘッドセット１２００／１２１０、ナビゲーションカメラ４６、および／または患者、テーブル、および／または部屋に対して定義された別の座標系に対するＤＲＡの姿勢を判定することができる。

ＸＲヘッドセット１２００および１２１０は、神経モニタリング、顕微鏡、ビデオカメラ、および麻酔システムを含むがこれらに限定されない手術室内の様々な機器から受信されたビデオ、写真、および／または他の情報を表示するように、および／またはこれらの機器を制御するコマンドを提供するように動作可能に接続されることができる。様々な機器からのデータは、例えば、患者のバイタルサインまたは顕微鏡フィードの表示など、ヘッドセット内で処理および表示されることができる。

例示的なＸＲヘッドセットコンポーネントと、ナビゲートされた外科手術、外科手術ロボット、およびその他の機器への統合
図１３は、本開示のいくつかの実施形態にしたがって構成されたＸＲヘッドセット９２０を示している。ＸＲヘッドセットは、ＸＲヘッドセットを着用者の頭に固定するように構成されたヘッドバンド１３０６、ヘッドバンド１３０６によって支持された電子部品筐体１３０４、および電子部品エンクロージャ１３０４から横方向にわたって下向きに延在する表示画面１３０２を含む。表示画面１３０２は、透明ＬＣＤディスプレイデバイスか、またはディスプレイデバイスによって着用者の目に向けて投射された画像を反射する半反射レンズとすることができる。

表示画面１３０２は、ディスプレイデバイスの表示パネルからユーザの目に向けて光を反射する、コンバイナとも呼ばれるシースルー表示画面として働く。ディスプレイパネルを、電子的コンポーネントエンクロージャとユーザの頭との間に位置させることができ、ユーザの眼に向けた反射のために、表示画面１３０２に向けて仮想コンテンツを投影するように角度付けすることができる。表示画面１３０２が、半透明かつ半反射であることにより、ユーザは、実世界シーンのユーザのビューに重ね合わされた反射仮想コンテンツを見ることができる。表示画面１３０２は、下側横方向バンドよりも高い不透明度を有する図示の上側横方向バンドなど、異なる不透明度領域を有することができる。表示画面１３０２の不透明度は、実世界シーンからユーザの眼に通過する光の量を調整するために電子的に制御されることができる。表示画面１３０２の高不透明度構成は、実世界シーンの薄暗いビュー上に重ねられた高コントラストの仮想画像をもたらす。表示画面１３０２の低不透明度構成は、実世界シーンのよりクリアなビュー上にオーバーレイされた、よりかすかな仮想画像をもたらすことができる。不透明度は、表示画面１３０２の表面に不透明な材料を適用することによって制御されることができる。

いくつかの実施形態によれば、外科手術システムは、ＸＲヘッドセット９２０およびＸＲヘッドセットコントローラ、例えば、図１４のコントローラ１４３０を含む。ＸＲヘッドセット９２０は、外科処置中にユーザが着用するように構成されており、ＸＲ画像を表示するように、またユーザが見る対象の実世界シーンの少なくとも一部がそれを透過するのを可能にするように構成されているシースルー表示画面１３０２を有する。ＸＲヘッドセット９２０は、ユーザがシースルー表示画面１３０２を見るときに、ユーザの目のうちの少なくとも１つと実世界シーンとの間に位置付けられた不透明度フィルタも含む。不透明度フィルタは、実世界シーンからの光に不透明度を与えるように構成されている。ＸＲヘッドセットコントローラは、ナビゲーションコントローラ、例えば、図１５のコントローラ８２８Ａ、８２８Ｂ、および／または８２８Ｃと通信して、解剖学的構造に対する外科的処置中にユーザにガイダンスを提供するナビゲーションコントローラからナビゲーション情報を受信するように構成されており、シースルー表示画面１３０２に表示するためのナビゲーション情報に基づいてＸＲ画像を生成するようにさらに構成されている。

表示画面１３０２の不透明度は、表示画面１３０２の上部から下向きの距離でより連続的に変化する不透明度を有する勾配として構成されることができる。勾配の最も暗い点は、表示画面１３０２の上部に位置することができ、不透明度が透明になるか、または存在しなくなるまで、表示画面１３０２上でさらに下方へと徐々に不透明度が低くなる。例示的なさらなる実施形態では、勾配は、表示画面１３０２のほぼ眼の中央のレベルで、約９０％の不透明度から完全に透明に変化することができる。ヘッドセットが適切に調整および配置されている場合、眼の中央のレベルは、ユーザが真っ直ぐに見るポイントに対応し、勾配の端部は、眼の「水平」線に位置する。勾配の暗い部分は、仮想コンテンツの鮮明でクリアなビジュアルを可能にし、頭上の手術室ライトの邪魔な輝度を遮断するのに役立つ。

不透明度の変化は、ディスプレイ画面１３０２に統合されることができるかまたはＸＲヘッドセット９２０を着領しているユーザの視野内に配置されるように構成された別個のコンポーネントとすることができる不透明度フィルタ１３０８を使用して達成されることができる。このように不透明度フィルタ１３０８を使用することにより、ＸＲヘッドセット９２０は、表示画面１３０２の上部に沿って実世界シーンからの光を実質的または完全に遮断することによってＶＲ能力を提供し、且つ表示画面１３０２の中央または下部に沿ってＡＲ能力を提供することが可能になる。これにより、ユーザは、必要に応じてＡＲを半透明にできるようになり、処置中の患者の解剖学的構造体のはっきりとした光学的特性が可能になる。不透明度フィルタ１３０８を、より一定の不透明度バンドに代えて勾配として構成することにより、着用者は、実世界シーンの輝度と、上向きのビューと下向きのビューとの間のより急速なシフト中などに、なければ目を緊張させ得る被写界深度と、の急峻な変化を経験することなく、よりＶＲタイプのビューからよりＡＲタイプのビューへのより自然な遷移を体験できるようになる。

ディスプレイパネルおよび表示画面１３０２は、広視野のシースルーＸＲディスプレイシステムを提供するように構成されることができる。例示的な一構成では、それらは、ユーザが仮想コンテンツを視認するための５５°の垂直範囲を備えた８０°の対角視野（ＦＯＶ）を提供する。他の対角ＦＯＶ角度および垂直カバレッジ角度は、異なるサイズのディスプレイパネル、異なる曲率レンズ、および／またはディスプレイパネルと湾曲表示画面１３０２との間の異なる距離および角度の向きを介して提供されることができる。

図１３にさらに示されるように、不透明度フィルタ１３０８は、異なる光透過率を有する横方向に延びるバンド１３１０、１３１２として構成されることができる。いくつかの実施形態では、ＸＲヘッドセットコントローラは、不透明度フィルタ１３０８の第１の横方向に延在するバンド１３１０と整列されたシースルー表示画面の領域に、患者の生体構造の２Ｄの体軸ビュー画像、矢状ビュー画像、および／または冠状ビュー画像、計画されたおよび／または現在追跡されている手術道具の姿勢、外科手術インプラント位置のグラフィックモデル、医療器具からのビデオ、および医療機器を制御する動作をトリガするユーザ選択可能なメニュー項目のうちの少なくとも１つを表示するように構成されている。ＸＲヘッドセットコントローラは、不透明度フィルタ１３０８の第２の横方向に延在するバンド１３１２と整列されたシースルー表示画面の別の領域に、解剖学的構造および手術計画情報の３Ｄグラフィックモデル、手術器具の３Ｄグラフィックモデル、解剖学的構造に対する手術器具のリアルタイムで測定された姿勢を追跡するために修正された、解剖学的構造のグラフィックモデルに対する姿勢で表示される手術器具のアニメーション化された３Ｄグラフィックモデル、ならびに解剖学的構造のグラフィックモデルおよび解剖学的構造に対する外科的処置中にユーザに視覚的ガイダンスを提供する、ナビゲーションコントローラからのナビゲーション情報のうちの少なくとも１つを表示するようにさらに構成されている。代替実施形態では、不透明度フィルタ１３０８は、不透明度フィルタ１３０８の横方向に延在するバンド１３１０と整列されていないシースルー表示画面１３０２の別の領域にコンテンツを表示するＸＲヘッドセットコントローラを備えた単一の横方向に延在するバンド１３１０を含むことができる。

伏臥位の患者の遮るもののない視界は、眼と頭との双方で下向きに見ることによって容易に得られるが、患者の拡張されたビューを、中央のレンズ領域を通して見るために頭をもう少し下方に傾けることによっても得ることができることに留意されたい。

このようにして、ＸＲヘッドセットは、ＶＲとＡＲとの双方の組み合わされた能力および利点を提供するように構成されることができ、ライブの術中手術などのアプリケーションの有用性を最大化するようにＶＲ−ＡＲ連続体にまたがる。ＸＲヘッドセットは、高不透明度の上部レンズ領域内またはより低い不透明度の中央レンズ領域に、ＡＲ画像を選択的に表示することによって、表示されるＡＲ画像（医療イメージなどの仮想コンテンツ）と実世界シーンとの間にどの程度のコントラストを提供するかの選択肢を提供する。ユーザは、微妙な頭のピッチング動作を行って、実世界シーンに対して様々な領域を調整することができ、例えば、解剖学的構造上のＡＲ画像オーバーレイを取得し、およびこれに代えて解剖学的構造の遮るもののないビューを取得することができる。ＸＲヘッドセット９２０は、シースルー表示画面を形成するレンズのどこにどのタイプのＡＲコンテンツを表示するかを制御するハンドジェスチャおよび／またはボイスコマンドを識別するように構成されることができる。

この例では、表示画面１３０２は、多くの従来の広アスペクト比設計よりも大きい垂直視野を有する８０°の対角視野を有する光学コンバイナ１３１８を含み、これは、外科および他の環境において多くの利点を提供する。例えば、視野が狭いと、大量のコンテンツを確認するためにユーザが頭を動かすのを強制する必要がある場合があり、これは、外科医の疲労が結果に影響を与えることが知られている外科手術設定では理想的ではない。大型コンバイナ１３１８はまた、着用者がディスプレイ１３０２の下方に独自の処方眼鏡（または一次眼保護具）を着用することを可能にしながら、血液スプラッタガードとして機能することができる。

この実施形態では、図１３のＸＲヘッドセット９２０は、ユーザに画像の正確で精密な表示を提供するための異なる能力および機能を有する複数のカメラ１３１４をさらに含む。ＸＲヘッドセット９２０は、ユーザの頭によって着用されるように構成されたフレーム１３５０を含む。

ステレオカメラ追跡サブアセンブリ１３１６は、手術器具、参照、ロボットエンドエフェクタなどを追跡するために提供され、従来の汎用カメラおよびレンズでは利用できない精度および人間工学的利点を備えている。ステレオカメラ追跡サブアセンブリ１３１６は、一対の高精度ステレオカメラ１３２０を含む。ステレオ可視光カメラ１３２０は、追跡サブアセンブリ１３１６の水平に対して約６°（すなわち、互いに対して１２°）の角度が付けられている。ステレオ可視光カメラ１３２０の視野は、手術中のそのような器具の存在について典型的な距離に収束することから、これは、手術中の手術器具、ロボットエンドエフェクタおよび患者参照の正確な追跡にとって望ましい。ステレオ可視光カメラ１３２０の視野は、例えば図１８Ａ〜図１８Ｄに示されるように、適切に大きなステレオ追跡錐台を依然として可能にしながら、低歪みおよび高精度のために、この実施形態では９０°未満になるように選択される。

この実施形態では、ステレオ可視光カメラ１３２０は、可視光で追跡する。これは、カメラが追跡マーカ、患者、および視認可能な手術野で起こっている全てのものを見ることを可能にする。この例では、ステレオ可視光カメラ１３２０は、近赤外線（ＮＩＲ）または他の非可視照明に依存しない。この実施形態におけるＮＩＲ照明器の省略は、ステレオ可視光カメラ１３２０の電力消費、重量、およびコンポーネントのコストを大幅に削減し、ヘッドセット９２０の外観を改善することができる。

この例では、ステレオ可視光カメラ１３２０は、剛性取り付け要素１３２２、例えば、単一の炭素繊維チューブを介して機械的に接続されている。炭素繊維チューブ１３２２の材料は非常に剛性が高く、例えばヘッドセット９２０の内部加熱に起因する熱膨張の影響を比較的受けにくい。この剛性および熱安定性は、ひいては、追跡サブアセンブリ１３１６が較正および精度をよりよく維持することを可能にする。この例では、ステレオ可視光カメラ１３２０は、炭素繊維チューブ１３２２の反対側で炭素繊維チューブ１３２２に結合された右側可視光カメラ１３５２および左側可視光カメラ１３５４を含む。右側可視光カメラ１３５２は、フレーム１３５０から離れて延在する第１の方向１３５６に第１の中心を有する視野を画定し、左側可視光カメラ１３５４は、フレーム１３５０から離れて延在する第２の方向１３５８に第２の中心を有する視野を画定する。この例では、第１の方向１３５６および第２の方向１３５８は、ユーザがフレーム１３５０を着用しているときにユーザの視野内の交点１３６０で交差し、１０度よりも大きく且つ１５度よりも小さい角度（例えば、この実施形態では実質的に１２度）を画定する。この例では、フレーム１３５０はまた、フレーム１３５０がユーザによって着用されているときに実質的に水平基準面１３６８を画定し、第１の方向１３５６および第２の方向１３５８は、５０度よりも大きく且つ６０度未満の下向き角度（例えば、この実施形態では実質的に５５度）で水平基準面１３６８に対して下向きに角度が付けられている。

ヘッドセット９２０は、はるかに広い（例えば、１８０°）視野を有するステレオＮＩＲカメラ１３２６を含み且つ実質的にステレオ可視光カメラ１３２０の視野を含むＮＩＲカメラ追跡サブアセンブリ１３２４をさらに含む。この例では、ステレオＮＩＲカメラ１３２６は、ステレオ可視光カメラ１３２０よりも低い解像度を有することができる。ステレオＮＩＲカメラ１３２６のそれぞれは、少なくとも１つのＮＩＲ ＬＥＤ１３２８を有し、これは、例えば、そのような装置に干渉しないように、必要に応じて、ＯＲ内の他の追跡装置から非同期化されることができる。これは、ＮＩＲカメラ追跡サブアセンブリ１３２４が、可視光追跡サブアセンブリ１３１６の手術器具追跡とは独立して、外科医の手の動きを追跡することを可能にする。ＬＥＤ１３２８は、比較的低い強度を有することから、外科医の手などのＬＥＤ１３２８に近い視野内のオブジェクトは、明るく照明され、背景オブジェクトなどの遠いオブジェクトは、薄暗く照明される。これは、外科医の手がＮＩＲ ＬＥＤ１３２８によって高コントラストで明るく照明されることを可能にし、ひいてはＮＩＲカメラ追跡サブアセンブリ１３２４によるより正確な手の追跡を可能にする。

この例では、ステレオＮＩＲカメラ１３２６は、炭素繊維チューブ１３２２の反対側に結合された右側ＮＩＲカメラ１３６２および左側ＮＩＲカメラ１３６４を含む。ステレオＮＩＲカメラ１３２６はまた、ステレオＮＩＲカメラ１３２６の視野内の領域を照明するように構成された少なくとも１つのＮＩＲ発光ダイオード（ＬＥＤ）１３６６を含む。この例では、ステレオ可視光カメラ１３２０およびステレオＮＩＲカメラ１３２６は、双方とも、ユーザがフレーム１３５０を着用しているときに、ユーザの共通の視野内でそれぞれの立体可視光およびＮＩＲ像をキャプチャするように構成される。この例では、ステレオ可視光カメラ１３２０は、第１の解像度で立体可視光像をキャプチャするように構成され、ステレオＮＩＲカメラ１３２６は、第１の解像度よりも低い第２の画像解像度で立体ＮＩＲ像をキャプチャするように構成されている。この例では、ステレオＮＩＲカメラ１３２６は、それぞれ、フレーム１３５０から離れて延びる方向１３５７に延びる中心を有するそれぞれの視野を定義する。この例では、ステレオＮＩＲカメラ１３２６の方向１３５７は、ステレオ可視光カメラ１３２０と同じユーザの視野内の交点１３６０で交差するが、ステレオＮＩＲカメラ１３２６の方向１３５７は、必要に応じて、異なる交点に収束することができることを理解されたい。

いくつかの例では、ステレオＮＩＲカメラ１３２６の間の分離は、必要に応じて、９６ミリメートル以下とすることができるか、または６４ミリメートル以下とすることができる。この例では、ステレオＮＩＲカメラ１３２６は、ルーペカメラ１３３０（以下に説明される）のレンズ１３３２がステレオＮＩＲカメラ１３２６またはＬＥＤ１３２８と干渉しないように、約９６ミリメートル離れている。この例では、ヘッドセット９２０はまた、３軸ジャイロスコープおよび３軸加速度計を含むことができる６軸慣性測定ユニット（ＩＭＵ）（図示せず）を含むことができる。このＩＭＵは、１ｋＨｚの低遅延頭追跡を可能にし、既知の座標系（すなわち、重力）に対する外部オブジェクトのピッチおよびロールを推測することもできる。これは、ＮＩＲカメラ追跡サブアセンブリ１３２４が、無菌性を損なうことなく、仮想空間内の仮想（すなわち、ソフトウェア）コンテンツとの相互作用を可能にすることができる。このようにして、ヘッドセット９２０は、特定の期間中のシーンの可視光立体像およびＮＩＲ立体像をキャプチャすることができる。次に、３次元空間内の異なるオブジェクトの位置が、異なる画像のセットについて判定されることができる。

ヘッドセット９２０は、さらに、比較的低い（例えば、２５°）視野レンズ１３３２を備えた、高解像度（例えば、ステレオ可視光カメラの解像度よりも高い）および色能力を有する中央に配置されたルーペカメラ１３３０を含む。このルーペカメラ１３３０は、この実施形態では最大５倍の倍率であるデジタルズーム機能を提供することができる。光学ズーム機構も使用されることができることも理解されたい。しかしながら、この実施形態では、デジタルズームを使用して、コスト、重量、および機械的複雑さを低減する。このルーペカメラ１３３０は、ＮＩＲカメラ追跡サブアセンブリ１３２４と組み合わせて使用されることができ、例えば、要求に応じて、手の追跡を使用してデジタル画像をピンチおよびドラッグして、ルーペカメラ１３３０の視野内外にカラーコンテンツを動的にズームおよびパンする。このようにして、追加の重くて気を散らすアイウェアを必要とする従来のアナログ外科用ルーペの必要性が低減または排除される。

この例では、全てのヘッドセットカメラ装置、すなわち、ステレオカメラ１３２０、１３２６、および／またはルーペカメラ１３３０は、下向きに角度を付けられることができる。例えば、この実施形態では、ステレオ可視光カメラ１３２０は、およそ５５°の下向きの角度で下向きに角度付けられることができる。ステレオＮＩＲカメラ１３２６は、１５°から４５°の間（例えば、この実施形態では実質的に３５°）である下向きの角度で、水平基準面１３６８に対して下向きに角度付けられることができる。出願人は、実験を通じて、このおおよその下向きの角度が、患者が外科医の腰の高さよりも上のベッドにうつ伏せに横たわっている典型的な外科手術に有利であることを認識した。

ヘッドセット９２０は、後部ヘッドセットストラップ１３３６を片手で迅速且つ快適に調整することを可能にする締め付けホイール１３３４をさらに含む。この例のホイール１３３４は、鋼などの金属から作製され、ホイール１３３４が、ユーザの頭上でヘッドセット９２０のバランスをとるための加重カウンタバランスとして機能することを可能にするために、必要以上に重くすることができる。フォーム１３３８および／または他の快適要素は、洗浄、滅菌、および／または交換のために取り外し可能とすることができ、異なるユーザおよび／または好みに合わせてカスタマイズされることができる。この例では、上部１３４０は、ヘッドセット９２０が、上部１３４０を後部ヘッドセットストラップ１３３６に接続するストラップを必要とせずに十分に支持されるように頭上で湾曲して戻っており、それにより、重量を削減し、ユーザの頭の快適性を向上させる。

ヘッドセット９２０は、例えば、患者の解剖学的構造および外科用機器に対してヘッドセット９２０を併置するために、外部カメラによるものとすることができる追跡マーカ１３４２を含むことができる。この例では、追跡マーカ１３４２は、精度を高めるために凹んだおよび／または鍵状の場所に取り付けられることができるステッカープレート１３４６の一部である。ステッカープレート１３４６は、例えば、あるヘッドセット９２０を別のヘッドセット９２０から区別するために、またはヘッドセットの左側を右側から認識するために、異なるパターンを特徴とすることができる。

ここで図１４を参照すると、追加の機能を有する代替のヘッドセット１４２０が示されている。これに関して、ヘッドセット１４２０は、取り外し可能な外科用ヘッドランプ（図示せず）または他の電子デバイスもしくはアクセサリを取り付けるためのコネクタポート１４５０を含む。このランプおよび／または他のアクセサリを取り外す機能は、アクセサリを必要としないユーザにとってヘッドセット１４２０の重量を低減することを可能にし、またユーザが異なる用途のために異なる種類のランプおよび他のアクセサリから選択することを可能にする。この例では、コネクタポートは、取り外し可能なアクセサリの相補的な鍵状突起を取り外し可能に保持するための１つ以上の鍵状凹部１４５２と、アクセサリに電力を供給するため、および／またはアクセサリとヘッドセット１４３０との間のデータ転送のための１つ以上の電気接点とを含む。

ヘッドセット１４２０は、過熱を防止するために、ヘッドセット１４２０を通ってその内部電子部品の周りの空気の流れを促進するための複数の冷却ベント１４５４をさらに含む。この例では、入口冷却ベント（図示せず）は、ヘッドセットの下方且つディスプレイ画面１４０２の後方に配置されることができる。これは、使用中に血液のはねやその他の液体もしくは破片が入口冷却ベントに引き込まれるのを防ぐという利点を有する。内部ファン（図示せず）は、ヘッドセット１４２０を通して空気を引き込み、ヘッドセット１４２０の上部にある冷却ベント１４５４を通して熱風を排出する。この例では、冷却ベント１４５４は、空気の流れを促進しながら液体の侵入をさらに減らすために、複数の千鳥状の層を含むことができる。この例では、層の少なくとも１つは、その重量を減らしながらヘッドセット１４２０をさらに強化するおよび堅固にするために、炭素繊維から形成されることができる。しかしながら、他の冷却ベント構成が使用されることができ、必要に応じて、異なる形状および気流パターンで配置されることができることを理解されたい。

図１５は、コンピュータプラットフォーム９１０に、Ｃアーム撮像デバイス１０４、Ｏアーム撮像デバイス１０６などの撮像デバイスのうちの１つ以上および／または画像データベース９５０に、および／または本開示の様々な実施形態にかかる外科手術ロボット８００に動作可能に接続されることができるＸＲヘッドセット９２０の電気的コンポーネントを示している。

ＸＲヘッドセット９２０は、ナビゲートされる外科的処置を実行するための改善されたヒューマンインターフェースを提供する。ＸＲヘッドセット９２０は、例えば、コンピュータプラットフォーム９１０を介して、以下のうちの１つ以上を含むがこれらに限定されない機能を提供するように構成されることができる：ハンドジェスチャベースのコマンドおよび／または音声ベースのコマンドの識別、ディスプレイデバイス１５５０上のＸＲグラフィカルオブジェクトの表示。ディスプレイデバイス１５５０は、表示されたＸＲグラフィックオブジェクトを表示画面１３０２に投影するビデオプロジェクタ、フラットパネルディスプレイなどとすることができる。ユーザは、ＸＲグラフィカルオブジェクトを、表示画面１３０２（図１３）を介して見られる特定の実世界のオブジェクトに固定されたオーバーレイとして見ることができる。ＸＲヘッドセット９２０は、追加としてまたは代替として、１つ以上のＸＲヘッドセット９２０および他のカメラに据え付けられたカメラからのビデオ送りをディスプレイデバイス１５５０に表示するように構成されることができる。

ＸＲヘッドセット９２０の電気的コンポーネントは、複数のカメラ１５４０と、マイクロフォン１５４２と、ジェスチャセンサ１５４４と、姿勢センサ（例えば、慣性測定ユニット（ＩＭＵ））１５４６と、ディスプレイデバイス１５５０を含むディスプレイモジュール１５４８と、および無線／有線通信インターフェース１５５２とを含むことができる。以下に説明するように、ＸＲヘッドセットのカメラ１５４０は、可視光捕捉カメラ、近赤外線捕捉カメラ、またはその双方の組み合わせとすることができる。

カメラ１５４０は、カメラ１５４０の視野内で実行されるユーザのハンドジェスチャの識別のためにキャプチャすることによって、ジェスチャセンサ１５４４として動作するように構成されることができる。これに代えて、ジェスチャセンサ１５４４は、近接センサ、および／またはジェスチャセンサ１５４４に近接して実行されるハンドジェスチャを検知し、および／または物理的接触、例えばセンサまたはエンクロージャ１３０４をタッピングすることを検知するタッチセンサとすることができる。姿勢センサ１５４６、例えばＩＭＵは、１つ以上の定義された座標軸に沿ったＸＲヘッドセット９２０の回転および／または加速度を検知することができる多軸加速度計、傾斜センサ、および／または別のセンサを含むことができる。これらの電気的コンポーネントのいくつかまたは全ては、コンポーネントエンクロージャ１３０４に内包されることができるか、または腰もしくは肩などの他の箇所で着用されるように構成された別のエンクロージャに内包されることができる。

上で説明したように、外科手術システム２は、カメラ追跡システムコンポーネント６／６’と、コンピュータプラットフォーム９１０の一部とすることができる追跡サブシステム８３０とを含む。外科手術システムは、撮像デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６、および／または画像データベース９５０）および／または外科手術ロボット４を含むことができる。追跡サブシステム８３０は、解剖学的構造、エンドエフェクタ、外科手術器具などに取り付けられたＤＲＡの姿勢を判定するように構成される。ナビゲーションコントローラ８２８は、例えば、解剖学的構造上で外科手術器具を使用して且つ追跡サブシステム８３０によって判定された解剖学的構造の姿勢に基づいて外科的処置がどこで実行されるかを定義する、図９のコンピュータプラットフォーム９１０によって実行される外科手術計画機能からの外科手術計画に基づいて、解剖学的構造に対する外科手術器具の目標姿勢を判定するように構成される。ナビゲーションコントローラ８２８は、さらに、外科手術器具の目標姿勢、解剖学的構造の姿勢、および外科手術器具および／またはエンドエフェクタの姿勢に基づいて操舵情報を生成するように構成されることができ、ここで、操舵情報は、外科手術計画を実行するために外科手術器具および／または外科手術ロボットのエンドエフェクタが移動される必要がある場合を示す。

ＸＲヘッドセット９２０の電気的コンポーネントは、有線／無線インターフェース１５５２を介してコンピュータプラットフォーム９１０の電気的コンポーネントに動作可能に接続されることができる。ＸＲヘッドセット９２０の電気的コンポーネントは、例えば、様々な撮像デバイス、例えば、Ｃアーム撮像デバイス１０４、Ｉ／Ｏアーム撮像デバイス１０６、画像データベース９５０に、および／または有線／無線インターフェース１５５２を介して他の医療機器に対して、コンピュータプラットフォーム９１０を介して動作可能に接続されることができるかまたは直接接続されることができる。

外科手術システム２は、さらに、ＸＲヘッドセット９２０、コンピュータプラットフォーム９１０、および／または有線ケーブルおよび／または無線通信リンクで接続された別のシステムコンポーネントに常駐することができる少なくとも１つのＸＲヘッドセットコントローラ１４３０（簡潔にするために「ＸＲヘッドセットコントローラ」とも呼ばれる）を含む。様々な機能は、ＸＲヘッドセットコントローラ１４３０によって実行されるソフトウェアによって提供される。ＸＲヘッドセットコントローラ１４３０は、解剖学的構造体に対する外科処置中にユーザにガイダンスを提供するナビゲーションコントローラ８２８からナビゲーション情報を受信するように構成され、シースルー表示画面１３０２への投射にディスプレイデバイス１５５０上に表示対象のナビゲーション情報に基づいてＸＲ画像を生成するように構成されている。

表示画面（「シースルー表示画面」とも呼ばれる）１３０２に対するディスプレイデバイス１５５０の構成は、ＸＲヘッドセット９２０を着用しているユーザが、実世界にあるように見えるＸＲ画像を、表示画面１３０２を介して見るようにＸＲ画像を表示するように構成されている。表示画面１３０２は、ユーザの眼の前のヘッドバンド１３０６によって位置決めされることができる。

ＸＲヘッドセットコントローラ１４３０は、表示画面１３０２を視認する間、ユーザの頭またはユーザの体の他の箇所に着用されるように構成されたハウジング内にあることができるか、または表示画面１３０２に通信可能に接続されている間に表示画面１３０２を視認しているユーザから遠隔に位置することができる。ＸＲヘッドセットコントローラ１４３０は、カメラ１５４０、マイクロフォン１５４２、および／または姿勢センサ１５４６からの信号伝達を動作可能に処理するように構成されることができ、表示画面１３０２上で視認するユーザのためにディスプレイデバイス１５５０にＸＲ画像を表示するように接続されている。したがって、ＸＲヘッドセット９２０内の回路ブロックとして例示されるＸＲヘッドセットコントローラ１４３０は、ＸＲヘッドセット９２０の他の例示されるコンポーネントに動作可能に接続されているが、必ずしも共通のハウジング（例えば、図１３の電子的コンポーネントエンクロージャ１３０４）内に存在しないか、またはユーザによって運搬可能ではないことを理解されたい。例えば、ＸＲヘッドセットコントローラ１４３０は、ひいては図３Ｂおよび図３Ｃに示されるコンピュータ追跡システムコンポーネント６’のハウジング内に存在することができるコンピュータプラットフォーム９１０内に存在することができる。

ＸＲヘッドセットコンポーネントの光学配置の例
図１６は、本開示のいくつかの実施形態にかかる、ＸＲヘッドセット９２０の光学コンポーネントの配置を示すブロック図を示している。図１６を参照すると、ディスプレイデバイス１５５０は、そこからの光がディスプレイデバイス１５５０によってＸＲ画像１６００として表示画面１３０２に向けて投影される、ＸＲヘッドセットコントローラ１４３０によって生成されたＸＲ画像１６００を表示するように構成されている。表示画面１３０２は、ＸＲ画像１６００の光と実世界シーン１６０２からの光とを組み合わせて、ユーザの眼１６１０に向けられる合成拡張ビュー１６０４となるように構成されている。このように構成された表示画面１３０２は、シースルー表示画面として動作する。ＸＲヘッドセット９２０は、任意の複数のナビゲーションカメラ１５４０を含むことができる。カメラ１５４０は、可視光キャプチャカメラ、近赤外線キャプチャカメラ、または双方の組み合わせとすることができる。

ＸＲヘッドセットの動作は、２Ｄ画像および３Ｄモデルの双方を表示画面１３０２に表示することができる。２Ｄ画像は、好ましくは、表示画面１３０２のより不透明なバンド（上側バンド）に表示されることができ、３Ｄモデルは、より好ましくは、環境領域として別途知られる、表示画面１３０２のより透明なバンド（下側バンド）に表示されることができる。表示画面１３０２が終了する下側バンドの下方において、着用者は、手術室の遮るもののないビューを有する。ＸＲコンテンツが表示画面１３０２に表示されている場合、流動的であり得ることに留意されたい。３Ｄコンテンツが表示されている場合、コンテンツに対するヘッドセットの位置に応じて、不透明なバンドに移動することができ、２Ｄコンテンツが表示されている場合、透明なバンドに配置されて実世界に安定することができる。これに加えて、表示画面１３０２の全体は、ヘッドセットを外科手術計画のための仮想現実に変換するために電子制御下で暗くされることができるか、または医療処置中に完全に透明にされることができる。上で説明したように、ＸＲヘッドセット９２０および関連。

表示画面１３０２に表示されることができる他のタイプのＸＲ画像（仮想コンテンツ）は、これらに限定されるものではないが、以下のいずれか１つ以上を含むことができる：
１）患者の解剖学的構造体の２Ｄの軸方向ビュー、矢状ビュー、および／または冠状ビュー、
２）予定の追跡対象ツール対その時追跡対象のツールと外科移植片場所との重ね合わせ、
３）術前画像のギャラリー、
４）顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオ送り、
５）オプションおよび構成の設定およびボタン
６）外科手術計画情報による患者の解剖学的構造の浮遊３Ｄモデル、
７）浮遊する患者の解剖学的構造に関連する外科手術器具のリアルタイム追跡、
８）指示およびガイダンスを有する患者の解剖学的構造の拡張オーバーレイ、および
９）外科手術機器の拡張オーバーレイ。

ここで図１７Ａおよび図１７Ｂを参照すると、テザーパック１７５０がヘッドセット９２０とコンピュータプラットフォーム９１０との間に接続されている。テザーパック１７５０は、ヘッドセット９２０および／またはケーブル装置１７５２を介したランプなどの任意のアクセサリに電力およびデータ転送を供給することができる。ケーブル装置１７５２は、必要に応じて、取り外し可能または恒久的に接続されることができる。テザーパックは、例えば、ケーブルが絡まったり引っ掛かったりした場合に、コンピュータプラットフォームから迅速且つ安全に切断するためのクイック切断コンポーネント１７５４を含むことができ、それにより、ケーブルに過度の力が加わる場合に首の緊張または傷害および／またはヘッドセット９２０への損傷のリスクを低減する。接続状態は、この例では、ヘッドセット９２０に電力が供給されているか、適切に通信しているか、および／または内部診断テストに合格しているかなどを示すことができるＬＥＤインジケータ１７５６によって監視されることができる。この例のホイールなどの入力デバイス１７５８は、例えば、ランプの明るさなどのヘッドセットコンポーネントまたはアクセサリの動作を制御することができる。図１７Ｂに示されるように、テザーパック１７５０は、例えば、ベルトクリップ１７６０を使用してユーザのベルト上など、ユーザに固定されて、外科手術または他の環境の周りを移動するときにヘッドセット９３０に対してケーブルの重量および容量を低減することができる。

ここで図１８Ａおよび図１８Ｂを参照すると、追加のコンポーネントが、ユーザの首および肩の周りに着用されてユーザの頭および首への緊張をさらに低減するために、テザーカラーアクセサリ１８６２に提供されることができる。首の緊張を引き起こすことに加えて、ヘッドセット９２０の過度の重量は、皮膚の擦れ、発汗、過度の発熱、および一般的な不快感を引き起こす可能性がある。しかしながら、ユーザおよびヘッドセット９２０の可動性を維持しながら、ヘッドセット９２０の多くの機能的コンポーネントをヘッドセット自体から取り外すことが可能である。この例では、ディスプレイ、カメラ、および慣性センサやその他の低遅延センサなどの特定のセンサ（上記で説明）は、ヘッドセット９２０に残る。コンピューティングデバイス、バッテリ、充電コネクタ、無線通信コンポーネント、オーディオ入力および出力システム、および／またはボタンなどの入力デバイスなどの他のコンポーネントは、カラーアクセサリ１８６２に含まれることができ、例えば有線テザー１８６４によってヘッドセット９２０のコンポーネントに接続されることができる。ケーブル長を選択する際の柔軟性を高め、損傷したケーブルの修理を簡素化するために、必要に応じて、この単一のテザー１８６４が一端または両端から切り離されることができることを理解されたい。同様に、異なるヘッドセット９２０は、カラーアクセサリ１８６２と交換可能に使用されることができる。カラーアクセサリ１８６２は、ヘッドセットケーブル長をさらに短縮することができ、いくつかの実施形態では、ヘッドセット９２０のドッキング機構を提供することができる。テザー１８６４の比較的短い長さおよび位置はまた、信号の完全性を改善しながら、引っ掛かりの危険を低減することができることも理解されたい。

別個のアクセサリを使用する別の利点は、アクセサリが取り外し可能にされることができるため、コンポーネントが交換可能に且つ簡単に置き換え可能とすることができるということである。このようにして、損傷したコンポーネントをより簡単に置き換えることができ、異なるアクセサリを異なる機能を有する異なるコンポーネントと交換することができる。

図１８Ａ〜図１８Ｂのカラーアクセサリ１８６２は、外科用スクラブなどの衣類の内側に着用されることができる。ここで図１９を参照すると、例えば、外科スタッフのメンバー、例えば、スクラブナースは、ユーザの滅菌スクラブの下で、ユーザの首の後ろの周りにカラーアクセサリ１８６２を配置することができる。磁気ラッチ１９６６は、自動的に結合して、カラーアクセサリ１８６２をユーザの首および肩の周りに固定することができる。次に、カラーアクセサリ１８６２は、カラーアクセサリ１８６２の背面をつかみ、それを自由に引っ張ることによって、再び無菌性を損なうことなく、容易に取り外されることができる。この機能は、外科手術中の滅菌ドレープやその他の追加の滅菌対策の必要性を除外することができる。

この例では、コンピュータモジュール１９６８は、カラーアクセサリ１８６２の後部に配置され、バッテリ１９７０は、磁気ラッチ１９６６のいずれかの側のカラーアクセサリ１８６２の前部に向かって配置される。これは、カラーアクセサリ１８６２の重量分布のバランスをとるのに役立ち、それにより、使用中にカラーアクセサリ１８６２が脱落するリスクを低減する。コンピュータモジュール１９６８は、例えば、カラーアクセサリ１８６２およびヘッドセット９２０をコンピュータプラットフォーム９１０に取り外し可能につなぐための電源およびデータコネクタ１９７２を含むことができる。マイクロフォンおよび／またはスピーカなどのオーディオシステム１９７４もまた、カラーアクセサリ１８６２に含まれることができる。スピーカは、指向性オーディオを採用することも、必要に応じてヘッドセット／イヤフォンのアタッチメントなどに組み込まれることもできる。例えば、スピーカは、外科用スクラブ素材を使用した場合でも、適切なオーディオパフォーマンスを提供することができる。ヘッドセットまたはイヤフォンを使用する実施形態の場合、カラーアクセサリ１８６２の近接は、より短いオーディオケーブル接続を可能にし、それによって全体の重量を低減する。

ここで図２０Ａ、図２０Ｂ、および図２１を参照すると、ベルトアクセサリ２０６２が示されている。この実施形態では、ディスプレイ、データ、およびヘッドセット電源を含む単一のケーブルテザー２０６４が、ヘッドセット９３０とベルトアクセサリ２０６２との間に接続されている。特に図２１に示されるように、ベルトクリップ２１６６を使用して、ベルトアクセサリ２０６２をユーザの腰の周りに固定することができる。バッテリ２１７０は、ベルトアクセサリ２０６２の周りに分散配置されて、ユーザの腰の周りのコンポーネントの重量を均等に分散し、ユーザの人間工学および快適さを向上させる。コンピュータモジュール２１６８ならびに電源およびデータコネクタ２１７２は、ベルトアクセサリ２０６２の後部に配置されている。カラーアクセサリ１８６２と同様に、ベルトアクセサリ２０６２は、必要に応じて、ベルトアクセサリ２０６２の調整を可能にしながら無菌性を維持するために、およびユーザおよび／または外科スタッフが視認およびアクセス可能であるように入力デバイス、ＬＥＤなどの外部コンポーネントのために、外科用スクラブの下で着用されることができ、および／または滅菌ドレープで被覆されることができる。

さらなる定義および実施形態：
本発明の概念の様々な実施形態の上記の説明において、本明細書において使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の概念を限定することを意図しないことを理解されたい。別様に定義されない限り、本明細書において使用される全ての用語（技術用語および科学用語を含む）は、本発明の概念が属する技術の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるものなどの用語が、本明細書および関連する技術分野の背景におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された意味、または過度に形式的な意味では解釈されないことがさらに理解されるであろう。

ある要素が別の要素に対して「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型であるように参照される場合、その要素は、他の要素に直接接続、結合、もしくは応答することができるか、または介在する要素が存在してもよい。対照的に、ある要素が別の要素に対して「直接接続された（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」、「直接結合された（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ）」、「直接応答する（ｄｉｒｅｃｔｌｙ ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型であるように参照される場合、介在する要素は存在しない。同様の符号は、全体を通して同様の要素を指す。さらにまた、本明細書において使用される場合、「結合された（ｃｏｕｐｌｅｄ）」、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変異型は、無線で結合、接続、または応答することを含むことができる。本明細書において使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈がそうでないことを明確に示さない限り、複数形も含むことを意図している。周知の機能または構造は、簡潔さおよび／または明確さのために詳細に説明されない場合がある。「および／または」という用語は、関連する列挙された項目のうちの１つ以上のいずれかおよび全ての組み合わせを含む。

本明細書では、第１、第２、第３などの用語を使用して様々な要素／動作を説明することがあるが、これらの要素／動作は、これらの用語によって限定されるべきではないことが理解される。これらの用語は、ある要素／動作を他の要素／動作から区別するためにのみ使用される。したがって、いくつかの実施形態における第１の要素／動作は、本発明の概念の教示から逸脱することなく、他の実施形態における第２の要素／動作と呼ぶことができる。同じ参照番号または同じ参照符号は、明細書全体を通して同じまたは類似の要素を示す。

本明細書において使用される場合、「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｖｅ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」という用語、またはそれらの変異型は、限定がなく、１つ以上の記された特徴、整数、要素、ステップ、コンポーネント、または機能を含むが、１つ以上の他の特徴、整数、要素、ステップ、コンポーネント、機能、またはそれらのグループの存在もしくは追加を排除するものではない。さらにまた、本明細書において使用される場合、ラテン語の「例えば（ｅｘｅｍｐｌｉ ｇｒａｔｉａ）」から派生した一般的な略語「例えば（ｅ．ｇ．）」は、前述の項目の全般的な例（複数可）を紹介または指定するために使用されてもよく、かかる項目を限定することを意図するものではない。ラテン語の「すなわち（ｉｄ ｅｓｔ）」から派生した一般的な略語「すなわち（ｉ．ｅ．）」は、より全般的な列挙から特定の項目を指定するために使用されてもよい。

例示的な実施形態は、コンピュータ実装方法、装置（システムおよび／もしくはデバイス）、ならびに／またはコンピュータプログラム製品を示すブロック図および／またはフローチャート図を参照して本明細書において説明される。ブロック図および／またはフローチャート図のブロック、ならびにブロック図および／またはフローチャート図におけるブロックの組み合わせは、１つ以上のコンピュータ回路によって実行されるコンピュータプログラム命令によって実装されることができることが理解される。これらのコンピュータプログラム命令を汎用コンピュータ回路、専用コンピュータ回路、および／または他のプログラム可能なデータ処理回路のプロセッサ回路に提供して機械を生成することができ、それにより、コンピュータのプロセッサおよび／または他のプログラム可能なデータ処理装置を介して実行される命令は、トランジスタ、メモリの場所に記憶された値、およびかかる回路網内の他のハードウェアコンポーネントを変換および制御して、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装し、且つそれによって、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装するための手段（機能）および／または構造を作り出す。

これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶された命令がブロック図および／またはフローチャートブロックまたは複数のブロックにおいて指定された機能／作用を実装する命令を含む製造物品を製造するように、コンピュータまたは他のプログラム可能なデータ処理装置が特定の方法で機能するように指示することができる有形のコンピュータ可読媒体に記憶されてもよい。したがって、本発明の概念の実施形態は、集合的に「回路網」、「モジュール」、またはそれらの変異型と称されることができる、デジタル信号プロセッサなどのプロセッサで動作するハードウェアおよび／またはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）で具体化されることができる。

また、いくつかの代替実装形態では、ブロックに記載されている機能／作用が、フローチャートに記載されている順序とは異なる順序で発生する場合があることにも留意されたい。例えば、連続して示されている２つのブロックは、関与する機能／作用に応じて、実際には実質的に同時に実行されてもよいかまたはブロックが逆の順序で実行されてもよい。さらに、フローチャートおよび／またはブロック図の所与のブロックの機能は、複数のブロックに分離されてもよく、および／またはフローチャートおよび／またはブロック図の２つ以上のブロックの機能は、少なくとも部分的に統合されてもよい。最後に、本発明の概念の範囲から逸脱することなく、図示されているブロックの間に他のブロックが追加／挿入されてもよく、および／またはブロックまたは動作が省略されてもよい。さらに、いくつかの図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生する場合があることを理解されたい。

本発明の概念の原理から実質的に逸脱することなく、実施形態に対して多くの変更および修正を行うことができる。全てのこのような変更および修正は、本発明概念の範囲内で本明細書に含まれることが意図されている。したがって、上で開示された発明の対象は、限定的ではなく例示的であると見なされるべきであり、付け加えられた実施形態の例は、本発明概念の趣旨および範囲内にある全てのこのような修正、強化、および他の実施形態に及ぶことが意図されている。したがって、法律で許容される最大限の範囲で、本発明の概念の範囲は、以下の実施形態の例およびそれらの均等物を含む本開示の最も広い許容可能な解釈によって決定されるべきであり、前述の詳細な説明によって制限または限定されるべきではない。

Claims (20)

1. ヘッドマウント型エクステンデッドリアリティ（ＸＲ）ディスプレイデバイスであって、
   ユーザの頭によって着用されるように構成されたフレームと、
   前記フレームに結合された剛性取り付け要素と、
   前記剛性取り付け要素に結合された右側可視光カメラと、
   前記剛性取り付け要素に結合された左側可視光カメラと、
   前記剛性取り付け要素に結合された右側近赤外線（ＮＩＲ）カメラと、
   前記剛性取り付け要素に結合された左側ＮＩＲカメラと、
   前記右側ＮＩＲカメラおよび前記左側ＮＩＲカメラの視野内の領域を照明するように構成された少なくとも１つのＮＩＲ発光ダイオード（ＬＥＤ）と、を備え、
   前記右側可視光カメラおよび前記左側可視光カメラが、前記ユーザがフレームを着用しているときに、前記ユーザの視野内で立体可視光像をキャプチャするように構成されており、
   前記右側ＮＩＲカメラおよび前記左側ＮＩＲカメラが、前記ユーザがフレームを着用しているときに、前記ユーザの視野内の立体ＮＩＲ像をキャプチャするように構成されている、ＸＲディスプレイデバイス。
2. 前記右側可視光カメラが、前記フレームから離れて延びる第１の方向に第１の中心を有する視野を画定し、
   前記左側可視光カメラが、前記フレームから離れて延びる第２の方向に第２の中心を有する視野を画定し、
   前記第１の方向および前記第２の方向が、前記ユーザがフレームを着用しているときに、前記ユーザの視野内の交点で交差する、請求項１に記載のＸＲディスプレイデバイス。
3. 前記第１の方向および前記第２の方向が、１０度よりも大きく且つ１５度よりも小さい前記交点での角度を画定する、請求項２に記載のＸＲディスプレイデバイス。
4. 前記角度が実質的に１２度である、請求項３に記載のＸＲディスプレイデバイス。
5. 前記フレームが、前記フレームが前記ユーザによって着用されているときに実質的に水平基準面を画定し、
   前記第１の方向および前記第２の方向が、前記フレームが前記ユーザによって着用されているときに５０度よりも大きく且つ６０度未満である下向きの角度で前記水平基準面に対して下向きに角度付けられている、請求項２に記載のＸＲディスプレイデバイス。
6. 前記下向き角度が実質的に５５度である、請求項５に記載のＸＲディスプレイデバイス。
7. 前記剛性取り付け要素が、炭素繊維要素を含む、請求項１に記載のＸＲディスプレイデバイス。
8. 前記右側可視光カメラおよび前記左側可視光カメラが、第１の解像度で前記立体可視光像をキャプチャするように構成されており、
   前記右側ＮＩＲカメラおよび前記左側ＮＩＲカメラが、前記第１の解像度よりも低い第２の解像度で前記立体ＮＩＲ像をキャプチャするように構成されている、請求項１に記載のＸＲディスプレイデバイス。
9. 前記フレームに結合されたルーペカメラをさらに備え、前記ルーペカメラが、前記第１の解像度よりも高い第３の解像度で前記ユーザの視野内のカラー画像をキャプチャするように構成されている、請求項８に記載のＸＲディスプレイデバイス。
10. ヘッドマウントディスプレイデバイス用のエクステンデッドリアリティ（ＸＲ）カメラアセンブリであって、
    ヘッドウェアラブルフレームに結合されるように構成された剛性取り付け要素と、
    前記剛性取り付け要素に結合された右側可視光カメラと、
    前記剛性取り付け要素に結合された左側可視光カメラと、
    前記剛性取り付け要素に結合された右側近赤外線（ＮＩＲ）カメラと、
    前記剛性取り付け要素に結合された左側ＮＩＲカメラと、
    前記右側ＮＩＲカメラおよび前記左側ＮＩＲカメラの視野内の領域を照明するように構成された少なくとも１つのＮＩＲ発光ダイオード（ＬＥＤ）と、を備え、
    前記右側可視光カメラおよび前記左側可視光カメラが、ユーザが前記フレームを着用しているときに、前記ユーザの視野内の立体可視光像をキャプチャするように構成されており、
    前記右側ＮＩＲカメラおよび前記左側ＮＩＲカメラは、前記ユーザが前記フレームを着用しているときに、前記ユーザの視野内の立体ＮＩＲ像をキャプチャするように構成されている、ＸＲカメラアセンブリ。
11. 前記右側可視光カメラが、前記フレームから離れて延びる第１の方向に第１の中心を有する視野を画定し、
    前記左側可視光カメラが、前記フレームから離れて延びる第２の方向に第２の中心を有する視野を画定し、
    前記第１の方向および前記第２の方向が、前記ユーザが前記フレームを着用しているときに、前記ユーザの視野内の交点で交差する、請求項１０に記載のＸＲカメラアセンブリ。
12. 前記第１の方向および前記第２の方向が、１０度よりも大きく且つ１５度よりも小さい前記交点での角度を画定する、請求項１１に記載のＸＲカメラアセンブリ。
13. 前記角度が実質的に１２度である、請求項１２に記載のＸＲカメラアセンブリ。
14. 前記フレームが、前記フレームが前記ユーザによって着用されているときに実質的に水平基準面を画定し、
    前記第１の方向および前記第２の方向が、前記フレームが前記ユーザによって着用されているときに５０度よりも大きく６０度未満である下向きの角度で前記水平基準面に対して下向きに角度付けられている、請求項１１に記載のＸＲカメラアセンブリ。
15. 前記下向き角度が実質的に５５度である、請求項１４に記載のＸＲカメラアセンブリ。
16. 前記剛性取り付け要素が、炭素繊維要素を含む、請求項１０に記載のＸＲカメラアセンブリ。
17. 前記右側可視光カメラおよび前記左側可視光カメラが、第１の解像度で前記立体可視光像をキャプチャするように構成されており、
    前記右側ＮＩＲカメラおよび前記左側ＮＩＲカメラが、前記第１の解像度よりも低い第２の解像度で前記立体ＮＩＲ像をキャプチャするように構成されている、請求項１０に記載のＸＲカメラアセンブリ。
18. 前記フレームに結合されたルーペカメラをさらに備え、前記ルーペカメラが、前記第１の解像度よりも高い第３の解像度で前記ユーザの視野内のカラー画像をキャプチャするように構成されている、請求項１７に記載のＸＲカメラアセンブリ。
19. エクステンデッドリアリティ（ＸＲ）画像を生成する方法であって、
    一定期間中に剛性取り付け要素に結合された一対の可視光カメラの視野内のシーンの第１の複数の可視光立体像をキャプチャすることと、
    前記一定期間中に前記剛性取り付け要素に結合された一対の近赤外線（ＮＩＲ）カメラの視野内のシーンの第２の複数のＮＩＲ立体像をキャプチャすることと、
    ３次元空間内の前記第１の複数の可視光立体像における第１のオブジェクトの位置を判定することと、
    前記３次元空間内の前記第２の複数のＮＩＲ立体像における第２のオブジェクトの位置を判定することと、を含む、方法。
20. 前記一対の可視光カメラが、１０度よりも大きく且つ１５度よりも小さい角度で互いに対して配置される、請求項１９に記載の方法。
    
    

Images