JP2019531117A - ロボット手術のための没入型三次元表示 - Google Patents

Abstract

ロボット手術システムにて使用する没入型表示は、支持アーム、支持アームに取り付けられかつユーザの顔に係合するように構成されたハウジング、ハウジングに配置されかつ三次元表示を提供するように構成された少なくとも２つの接眼レンズ組立体、及び少なくとも１つのセンサを含み、センサは、ロボット手術システムの操作を可能にし、また支持アームは、人間工学的位置決めのために、ハウジングを移動させるように作動可能である。【選択図】２Ａ

Description

（関連出願の相互対照）
本出願は、その全体が参照として本明細書に組み込まれる、米国特許出願番号６２／４０３，６５５号（２０１６年１０月３日出願）に対する優先権を主張する。

本開示は、一般に、ロボット又はロボット支援システムに関し、またより詳細には、ロボット又はロボット支援外科システムで使用するための没入型ディスプレイに関する。

腹腔鏡外科手術のような最小侵襲外科手術（ＭＩＳ）は、外科的処置中の組織損傷を低減することを目的とする技術を含む。例えば、腹腔鏡手順は、典型的には、（例えば、腹部において）患者における多数の小さな切開部を生じさせることを伴い、かつ当該切開部を介して、患者内へと１種以上の器具及び少なくとも１種の内視鏡カメラを導入することを伴う。外科的処置は、次に、カメラにより提供される視覚化補助を伴い、導入された器具を使用することにより実施される。

典型的に、ＭＩＳは、患者の瘢痕化を減少させる、患者の痛みを軽減する、患者の回復期間を短縮する、及び患者の回復と関連付けられた薬物療法のコストを低減するなどの、複数の利点を提供する。しかし、標準ＭＩＳシステムは多数の欠点を有する。例えば、非ロボットＭＩＳシステムは、ある程度、それらが自然ではあり得ない様式にて、器具を介した外科医の間接的な組織の操作を必要とする故に、外科医への要求が非常に高い。従来のロボットＭＩＳシステムは、操作者が、内視鏡カメラ映像フィードを示す表示を見ることを伴ってよく、また操作者からの指示に基づいて器具を操るために遠隔操作されることを伴ってよく、外科医への要求を減少させつつ、ＭＩＳの多くの利点を提供し得る。しかし、このようなロボットＭＩＳシステムは、典型的には、長期間にわたる使用の間に、ユーザの挫傷、疲労、及び損傷をもたらし得る、剛性の固定表示のみを有する。従って、ロボット手術システムと共に使用するための表示を有することが、望ましい。

典型的に、一変形形態では、ロボット手術システムにて使用する没入型表示は、支持アーム、支持アームに取り付けられかつユーザの顔に係合するように構成されたハウジング、ハウジングに配置されかつ三次元表示を提供するように構成された少なくとも２つの接眼レンズ組立体、及び少なくとも１つのセンサを備え、センサは、ロボット手術システムの操作を可能にし、また支持アームは、人間工学的位置決めのために、ハウジングを移動させるように作動可能である。例えば、支持アームは関節構造を呈してよく、かつ少なくとも１つ又は複数の作動可能な継手を有してよい。

ハウジングは、ユーザの顔と係合するように構成された輪郭形成された顔フレームを含んでよく、又はユーザの顔と係合するように構成された輪郭形成された顔フレームと連結してよく、また当該顔フレームは、ユーザと接面するためのパディングなどの形成部を含んでよく、これは、快適性を増大させ得る、及び／又は人間工学的位置決めのための合致を提供し得る。同様に、顔フレームに対する合致は、複数の移動可能な適合部分を有するハウジングによるなどの、その他の様式にて達成されてよい。例えば、支持アームは、ハウジングの第１部分に連結してよく、また顔フレームは、ハウジングの第１部分に対して移動可能な（例えば、移動可能に適合する）、ハウジングの第２部分に連結してよい。

ハウジングは、１つ以上のいくつかの追加の形成部を含んで、没入型表示体験を向上させてよい。例えば、没入型表示は、周辺光及び周辺の視覚錯乱を遮断するためなどの、ハウジングに連結した１つ以上のシールドを含んでよい。少なくとも１つのシールドは、シールドがユーザの視界の少なくとも一部を覆い隠すように構成される第１位置と、シールドがユーザの視界の一部を露呈するように構成される第２位置との間で、移動可能であってよい。別の実施例として、没入型表示は、ハウジングに結合された少なくとも１つの補助表示画面、又はマイクロフォン及び／若しくはスピーカなどの、種々の音響構成要素のいずれかを含んでよい。マイクロフォンは、例えば、ハウジングに連結してよく、またロボット手術システムを操作するための音声指示を受信するように、構成されてよい。なお、スピーカはハウジングに連結され、かつユーザに音声情報を提供するように構成されてよい。少なくとも１つの触覚作動装置はハウジングに連結され、かつユーザに触覚フィードバックを提供するように構成されてよい。なお、いくつかの変形形態では、ハウジングは、ハウジングの位置を監視するための、ハウジングに連結された少なくとも１つの追跡装置を含んでよい。

接眼レンズ組立体は、三次元表示を提供するように構成されてよい。例えば、接眼レンズ組立体のうち少なくとも１つは、左眼の立体視画像を表示するように構成されてよく、また接眼レンズ組立体のうち少なくとも１つは、右眼の立体視画像を表示するように構成されてよく、これにより、左眼と右眼が一緒の立体視画像が、三次元表示を提供する。例えば、三次元表示は、ロボット手術システムにて使用される内視鏡カメラからの、少なくとも１つの画像を表示するように、構成されてよい。接眼ディスプレイは、追加的に又は代替的に、二次元又はその他の適切な内容を表示するように、構成されてよい。いくつかの変形形態では、没入型表示は、ハウジングに連結された少なくとも１つの補助表示を更に含んでよい。

ロボット手術システムの安全な機構として、少なくとも１つのセンサを含んでよい。例えば、（例えば、ユーザのアイリスコードを検出するように構成されたカメラ又はその他の好適な光学式センサにおける）センサは、ロボット手術システムを動作させる認証のために、ユーザを認識するように構成されてよい。別の実施例として、センサ（例えば、眼球追跡を実施するための光学式センサ）は、接眼レンズ組立体を用いて、ユーザの眼の適切なアラインメントを決定するように構成されてよい。

没入型表示は、ユーザの頭部挙動を検出し、眼球追跡を実施し、及び／又はその他のユーザ対話を検出するためのその他のセンサを含んでよく、これにより、制御装置がユーザ対話を解釈して、没入型表示が適切に応答し得る。例えば、ユーザの頭部挙動の検出に対応して、（例えば、人間工学的位置決めのために）支持アームがハウジングを移動させて、頭部挙動を追跡してよい。別の実施例として、少なくとも１つのセンサ（例えば、圧力センサ、距離センサ、接触センサ、等）は、ロボット手術システムの動作を制御するために、ユーザの頭部挙動を監視するように構成されてよい。別の実施例として、少なくとも１つのセンサは、眼球追跡を実施するように構成された、光学式センサであってよい。更に別の実施例として、三次元表示は、グラフィカル・ユーザ・インターフェースを表示するように構成されてよく、また少なくとも１つのセンサは、グラフィカル・ユーザ・インターフェースのナビゲーションために、頭部挙動を検出するように構成されてよい。

別の実施例として、没入型表示は、ロボット手術システムにて使用される内視鏡カメラからの、少なくとも１つの画像を表示するように、構成されてよい。頭部挙動を検出する少なくとも１つのセンサに応答して、三次元表示は、内視鏡カメラからの修正画像を表示するように、構成されてよい。実例のように、前方向の頭部挙動を検出するセンサに応答して、三次元表示は、内視鏡カメラからのズームイン画像を表示するように、構成されてよい。別の実例のように、後方向の頭部挙動を検出するセンサに応答して、三次元表示は、内視鏡カメラからのズームアウト画像を表示するように、構成されてよい。なお、横方向の頭部挙動を検出するセンサに応答して、三次元表示は、内視鏡からのパンニング画像を表示するように構成されてよく、また傾斜頭部挙動を検出するセンサに応答して、三次元表示は、内視鏡カメラからの傾斜画像を表示するように構成されてよい。

没入型表示は、ユーザの位置情報を提供するように構成されてよい。例えば、没入型表示は、接眼レンズ組立体及びユーザの手の位置の第１の相対的空間関係と、内視鏡カメラ及び外科用器具の第２の相対的空間関係との間の応答を維持するための誘導を、提供してよい。例えば、三次元表示は、ハウジングのうち少なくとも１つにおいて、及びユーザの手の位置において、再位置決めするための視覚的合図を表示するように、構成されてよい。

別の実施例として、三次元表示は、少なくとも１つの目的の位置に対する、ユーザの手の位置及び／又はユーザの足の位置（例えば、手持形ユーザインターフェース装置の位置、フットペダルの位置、等）の視覚的表現を表示するように、構成されてよい。視覚的表現は、カメラ視野画像などの、主要な画像と共に得られてよい。

いくつかの変形形態では、没入型表示は、ハウジングに連結された少なくとも１つの外部カメラを含んでよい。カメラは、例えば、ハウジングの外部環境の少なくとも１つの画像を提供するように、構成されてよい。例えば、三次元表示は、ハウジングの外部環境の画像を選択的に表示するように構成されてよい。追加的に又は代替的に、没入型表示は、ハウジングに連結された少なくとも１つの外部光照射器を含み、当該光照射器は、ハウジングの外部環境において光を投射するように構成されてよい。

ロボット手術システムを伴う、代表的な手術室の配置の概要概略図である。 ロボット手術システムにて使用する、代表的な没入型表示を伴う、代表的なユーザコンソールの側面図である。 ロボット手術システムにて使用するための没入型表示の一変形形態の、それぞれ、斜視的及び部分的な分解組立図である。 ロボット手術システムにて使用するための没入型表示の一変形形態の、それぞれ、斜視的及び部分的な分解組立図である。 没入型表示の一変形形態における、代表的な支持アームの、それぞれ、前面及び後面の詳細な斜視図である。 没入型表示の一変形形態における、代表的な支持アームの、それぞれ、前面及び後面の詳細な斜視図である。 没入型表示の一実施形態における、ユーザ周辺での左側及び右側のアプローチのために構成された代表的な支持アームの、上面概略図である。 没入型表示の別の変形形態における、別の代表的なオーバーヘッド式支持アーム構造の図解である。 没入型表示の別の変形形態における、別の代表的なオーバーヘッド式支持アーム構造の図解である。 没入型表示の別の変形形態における、別の代表的なオーバーヘッド式支持アーム構造の図解である。 没入型表示の別の変形形態における、別の代表的な側面アプローチ式支持アームの図解である。 没入型表示の別の変形形態における、別の代表的な側面アプローチ式支持アームの図解である。 没入型表示の別の変形形態において、移動可能に適合するハウジング部分を含む、代表的なハウジングの上面概略図である。 没入型表示の別の変形形態において、ハンドルを含む、代表的なハウジングの斜視図である。 没入型表示の別の変形形態において、シールド及び外部に向かって面したカメラを含む、代表的なハウジングの斜視図である。 没入型表示の別の変形形態において、触覚作動装置を含む、代表的なハウジングの斜視図である。 没入型表示の別の変形形態において、マイクロフォンを含む、代表的なハウジングの斜視図である。 没入型表示の別の変形形態において、スピーカを含む、代表的なハウジングの斜視図である。 没入型表示の別の変形形態において、補助表示を含む、代表的なハウジングの斜視図である。 没入型表示の別の変形形態において、追跡装置を含む、代表的なハウジングの斜視図である。 外部への投射を提供するための、外向きに面する光照射器を伴う没入型表示の概略図である。 接眼レンズとユーザの手の位置との相対的空間関係、及び内視鏡カメラと外科用器具との相対的空間関係の間の応答を示す、代表的な没入型表示設定の概略図である。 ヘッドレストセンサと協働して作動する没入型表示センサを伴う、代表的な没入型表示設定の上面概略図及び側面概略図である。 ヘッドレストセンサと協働して作動する没入型表示センサを伴う、代表的な没入型表示設定の上面概略図及び側面概略図である。 没入型表示が天井に取り付けられた、没入型表示の別の変形形態を図解したものである。 没入型表示が、静置ユーザコンソールと共に使用するように構成されたカートに取り付けられた、没入型表示の別の変形形態を図解したものである。 没入型表示に示される、代表的な表示画像及びグラフィカル・ユーザ・インターフェースを示す。 目的の手の位置に対する、ユーザの手の位置の、視覚的表現を示す、没入型表示における代表的な表示である。 目的の足の位置に対する、足の視覚的表現を示す、没入型表示における代表的な表示である。 没入型表示の一変形形態における、また没入型表示の一変形形態と関係した、種々の構成要素を制御するための制御システムの、代表的な概略図である。

本発明の種々の態様及び変形形態の非限定例が本明細書に記載され、かつ添付図面において示される。

図１Ａは、ロボット手術システム１００を伴う、代表的な手術室の環境の図である。図１Ａにて示すように、ロボット手術システム１００は、ユーザコンソール１２０、管制塔１３０、及びロボットプラットフォーム１１０（例えば、テーブル、ベッド、等）に配置された１つ以上のロボットアーム１１２を含み、外科的処置を実行するために、（例えば、エンドエフェクタを伴う）外科用器具が、ロボットアーム１１２の遠位端部へと取り付けられている。ロボットアーム１１２はテーブル搭載システムとして示されるが、その他の構成では、ロボットアームは、カート、天井、若しくは側壁、又はその他の好適な支持表面に、取り付けられてよい。

典型的に、外科医又はその他の操作者などのユーザは、ユーザコンソール１２０を使用して、ロボットアーム１１２及び／又は外科用器具を遠隔操作（例えば、テレオペレーション）してよい。ユーザコンソール１２０は、図１Ａにて示すように、ロボットシステム１００として、同一の手術室内に配置されてよい。その他の環境では、ユーザコンソール１２０は、隣接する若しくは近接する部屋内に配置されてよく、又は異なる建物、都市、又は国、等における遠隔地からテレオペレーションされてよい。ユーザコンソール１２０は、座席１２２、足踏み式制御部１２４、１つ以上の手持形ユーザインターフェース装置１２６、及び、例えば、患者内の（例えば、内視鏡カメラによりデータ捕捉された）外科手術的部位の視野を表示するように構成された、少なくとも１つのユーザ表示１２８を備えてよい。代表的なユーザコンソール１２０にて示すように、座席１２２に位置してユーザ表示１２８を見ているユーザは、足踏み式制御部１２４及び／又は手持形ユーザインターフェース装置１２６を操作して、ロボットアーム１１２及び／又は当該アームの遠位端部に取り付けられた外科用器具を、遠隔操作してよい。

いくつかの変形形態では、ユーザは、「オーバー・ザ・ヘッド」（ＯＴＢ）モードにて外科用ロボットシステム１００を操作してよく、これは、ユーザが患者の側面にいて、ロボット駆動器具／そこへ取り付けられたエンドエフェクタ及び手動の腹腔鏡検査器具を同時に操作するものである（例えば、１つの手にて保持された、手持形ユーザインターフェース装置１２６）。例えば、ユーザの左手は、手持形ユーザインターフェース装置１２６を操作してロボット手術構成要素を制御してよく、一方で、ユーザの右手は、手動の腹腔鏡検査器具を操作してよい。従って、これらの変形形態では、ユーザは、患者において、ロボット支援ＭＩＳ及び手動の腹腔鏡検査手術の両方を実施してよい。

代表的な手順又は手術の間、患者は、無菌状態にて準備処置を施されかつ手術に際して滅菌布で包まれてよく、また麻酔が実施されてよい。手術部位への初期アクセスは、収納配置又は引き込み配置にて、ロボットシステム１００により手動で実施されて、手術部位へのアクセスを促進してよい。一度アクセスが完了すると、ロボットシステムの初期位置決め及び／又は準備を実施してよい。この手順の間、ユーザコンソール１２０における外科医は、足踏み式制御部１２４、ユーザインターフェース装置１２６、及び／又はその他の好適な制御装置を利用して、種々のエンドエフェクタ及び／又は結像系を操作し、手術を実施してよい。手動補助は、組織を牽引すること、又は手動の再位置決めを実施すること、又は１つ以上のロボットアーム１１２を伴う器具の交換を含むがこれらに限定されないタスクを実行してよく、その他の作業者により、処置台にて提供されてよい。ユーザコンソール１２０においてユーザを補助するその他の作業員が、存在してよい。処置又は手術が完了した場合、ロボットシステム１００及び／又はユーザコンソール１２０は、ロボットシステム１００の洗浄及び／若しくは滅菌、及び／又は、電子コピー若しくはハードコピーでの健康管理記録の登録若しくは印刷を含むがこれらに限定されない、ユーザコンソール１２０を介してなどの、１つ以上の手術後処置を促進するように構成されてよく、又は促進する状態に設定させてよい。

いくつかの変形形態では、ロボットプラットフォーム１１０とユーザコンソール１２０との間の通信は管制塔１３０を介してよく、これは、ユーザコンソール１２０からのユーザ指示をロボット制御指示へと変換して、それらをロボットプラットフォーム１１０へと送信してよい。管制塔１３０は、ロボットプラットフォーム１１０からユーザコンソール１２０へと、状態及びフィードバックを送信して戻してよい。ロボットプラットフォーム１１０、ユーザコンソール１２０、及び管制塔１３０との間の接続は、有線接続及び／又は無線接続を介するものであってよく、また専用であってよく、及び／又は、種々のデータ通信プロトコルのいずれかを使用して実行されてよい。任意の有線接続は、手術室の床及び／若しくは壁、又は天井に組み込んでよい。ロボット手術システム１００は、手術室内の表示並びにインターネット又はその他のネットワークを介してアクセス可能な遠隔表示を含む、１つ以上の表示へと、映像出力を提供してよい。映像出力又はフィードバックは、プライバシーを確保するために暗号化されてよく、また全ての若しくは１つ以上の映像出力部分は、サーバ、電子健康管理記録システム、又はその他の好適な記憶媒体へと保存されてよい。

没入型表示システム
図１Ｂにて示すように、没入型表示１４０は、開放型表示１２８、ペダル組立体１２４、及び１つ以上の手持形ユーザインターフェース装置１２６と共に、ロボット手術システムのためのユーザコンソール１２０の一部であってよい。没入型表示１４０は、ユーザの周辺の視界錯乱を減少させて、表示環境内へとユーザを快適かつ人間工学的に没入させる様式にて、三次元（３Ｄ）及び／又は二次元（２つのＤ）情報をユーザに表示してよい。本没入型表示１４０（例えば、支持アーム１４２を介して座席１２２へと連結される表示ハウジング１４４）は、外科的処置（例えば、手術部位の内視鏡カメラ視野、静態像、ＧＵＩｓ、等）、並びに／又はロボット手術システム（例えば、状態、システム設定）、並びに／又は２Ｄ及び３Ｄの映像、画像、テキスト、グラフィカル・インターフェース、警告、制御、表示灯、等におけるその他の好適な情報に関連した、種々の情報を表示してよい。頭部取り付け表示の動きに完全に依存して、表示内の視界を変化させ、これにより、頭部の動きを制限してその他の器具を制御する、その他の没入型及び仮想現実頭部取り付け装置とは異なり、本明細書に記載された本没入型表示１４０は、没入型表示の制御及びロボット手術システムにおけるようなものなどのその他の器具の操作のために、ユーザが、頭部挙動及びその他の頭部／眼部の動きを使用して、表示された内容と相互作用することを、可能にし得る。

典型的に、図２Ａにて示すように、本没入型表示２００は、支持アーム２１０（部分的に、図２Ａにて示す）、支持アーム２１０に取り付けられかつユーザの顔と係合するように構成されたハウジング２２０、ハウジングに配置されかつ三次元表示を提供するように構成された少なくとも２つの接眼レンズ組立体２３０、及び少なくとも１つのセンサ（例えば、ユーザの顔と係合するように構成された顔フレーム２２２上のセンサ２２４により表される）を含んでよい。センサは、以下で更に詳細に述べるように、特定のパラメータ（例えば、没入型表示２００と係合するユーザの存在又は不存在、接眼レンズ組立体２２０に対するユーザの十分なアラインメント、ロボット手術システムの認証ユーザとしてのユーザの識別、等）の検出の際に、ロボット手術システムの操作を可能にし得る。更に、支持アーム２１０は、位置決め、配向づけ、あるいは人間工学的な目的のためのハウジング２２０の移動などのように、作動可能である。

支持アーム
支持アームは、ハウジングの重量を支持するために少なくとも部分的に機能し、これにより、ハウジングがユーザの顔に係合する場合に、（例えば、ユーザの頭部又は顔において）ハウジングの重量を支える必要がない。図１Ｂに示すように、没入型表示１４０における支持アーム１４２は、没入型表示のハウジング１４４を、座席１２２又は座席組立体などの固定構造体へと連結させてよい。支持アーム１４２は、ハウジング１４４を所定の位置に導いて、ユーザの顔又は頭部の前面に係合させるように構成されが、没入型表示は、追加的に又は代替的に、ハウジング１４４をユーザの顔又は頭部へと固定しやすくするための、ストラップ又は類似の取り付け装置を含む場合がある。

いくつかの変形形態では、支持アーム１４４は、座席１２２のシートバック又はヘッドレスト上に取り付けられてよく、またユーザコンソール１２０の側部からユーザにアプローチして、没入型表示へのユーザのアクセスを促進するように構成されてよい。例えば、没入型表示の支持アームの近位端部は、（例えば、必須ではないものの、ヘッドレストの高さ周辺にて）シートバックの右側に連結されてよいが、代替的に、当該表示の支持アームの近位端部は、シートバックの左側に連結されてもよい。没入型表示の支持アームの近位端部は、垂直（例えば、直動関節による）及び／又は回転的等に調節されるように構成されてよい。なお、支持アームは、座席の後部若しくは側部（又は、アームのその他の取り付け位置）に対して、折り重なる又は折りたたまれるように構成されてよく、これにより、座席へとユーザがアクセスすること、及び／又は簡潔な構成にて、ユーザコンソール１２０の記憶若しくは送信を促進することを可能にする。

その他の変形形態では、支持アーム１４４の近位端部は、シートバックの正中線（又は正中線の近く）に固定して連結されてよく、かつユーザコンソール１２０の側部からユーザにアプローチして、没入型表示へのユーザのアクセスを促進するように構成されてよい。例えば、没入型表示の支持アームの近位端部は、座席１２２のシートバックの後面へと、（例えば、締着具、溶接継手、機械的ロック、等を介して）固定的に取り付けられてよい。別の実施例として、没入型表示の支持アームの近位端部は、没入型表示の支持アームを、シートバックに対して垂直に、側方に、及び／又は回転的に調節することを可能にする、直動関節又はその他の継手によるなどにて、シートバックの後面に調節可能に連結されてよい。

没入型表示の支持アームは関節構造を呈してよく、これにより、ユーザにとって望ましい状態にハウジングを位置決め及び配向づけるよう、複数の自由度を伴って移動可能である。例えば、図３Ａ及び図３Ｂにて示す１つの代表的変形形態では、関節構造を呈する没入型表示の支持アームは、少なくとも６つの自由度を含んでよい。本段落では、「水平」とは、一般に、シートバックと直交することに関して意味するが、一方で、「垂直」とは、一般に、シートバックと平行であることに関して意味する。支持アーム３１０は、ピン又は分岐継手などの、第１回転継手Ｊ１により第１リンクＬ１へと連結される近位取付け部を含んでよく、第１回転継手Ｊ１は、水平面における運動を提供するように、垂直継手軸線周囲で回転可能である。第１リンクＬ１は、第２回転継手Ｊ２により、第２リンクＬ２へと連結されており、第２リンクＬ２は、第３回転継手Ｊ３により、第３リンクＬ３へと連結されている。第１、第２、及び第３回転継手Ｊ１、Ｊ２、Ｊ３は、対応する垂直回転軸線に沿って配向し、また、一般にヘッドレスト領域周辺の水平面における所望の配置での著しい制限を有することなく、没入型表示の調節を可能にし得る。

なお、第４回転継手Ｊ４により第４リンクＬ４へと連結される第３リンクＬ３により、構成的な可撓性が提供され、第４回転継手Ｊ４は、水平軸線の周囲で回転可能であり、垂直面における動きを提供する。第４リンクＬ４は、第５回転継手Ｊ５により第５リンクＬ５へと更に連結され、第５回転継手Ｊ５は、水平軸線の周囲で回転可能であり、垂直面における動きを提供する。なお、第５リンクＬ５は、第６回転継手Ｊ６により第６リンク又はブラケット部材Ｌ６へと連結され、第６回転継手Ｊ６は、垂直軸線の周囲で回転可能であり、水平面における動きを提供する。第４、第５、第６回転継手Ｊ４、Ｊ５及びＪ６は、一般に、没入型表示の垂直高さの調節を可能にし、これにより、第１、第２、及び第３回転継手Ｊ１、Ｊ２及びＪ３と組み合わされて、全ての６つの回転継手が、三次元空間における角位置の変化（例えば、Ｘ−Ｙ−Ｚにおける並進、横捩れ、回転、及びピッチ方向における回転）の種々の組み合わせにおいて、調節可能となる。没入型表示の支持アーム３１０は、好適な数の自由度を有する複数の関節構造を呈する継手の結果として、例えば、アームの回転、アームの延伸／引き込み、アームの前進／後退傾斜等を可能にし得る。

図３Ｂにて示すように、ハウジング３２０は、第７回転継手Ｊ７により、ブラケット部材Ｌ６へと取り付けられてよく、第７回転継手Ｊ７は、水平軸線の周囲で回転可能であり、これにより、垂直面における枢動可能な調節（例えば、斜めに上がる、又は斜めに下がる）ための第７の自由度を可能にする。

第４及び第５継手Ｊ４及びＪ５などの、いくつか又は全ての継手は、摩擦ブレーキ、アクティブブレーキ、クラッチ、及び／又はその他の作動可能なロック機構を含んで、没入型表示の支持アームを特定の構成へとロックするのに役立ててよい。例えば、所定の位置における没入型表示の支持アームは、例えば、ハウジング３２０及び／又は支持アーム３１０が（例えば、座席組立体が緩斜配置にある場合に、ユーザ上へと）下向きに屈曲することを発生させ得る重力の影響に対向するのに役立つ。追加的に又は代替的に、継手のいくつか又は全ては、ユーザにより、外部から支持されていない場合等に、下向きに屈曲することを防止するために、平衡されてよい。

適所配置操作（即ち、アーム部品の配置及び／若しくは配向）は、手動で制御されてよく、並びに／又は１つ以上のアクチュエータにより制御されてよい。アームのいくつかの動きは、座席に存在するユーザを識別するなどの誘因に応答して、自動的に（例えば、屈曲又は延伸）されてよく、また没入型表示に係合されるように準備されてよい。アームのいくつかの動きは、（例えば、支持アーム内へと組み込まれたセンサ、ハウジングに連結されたハンドル等により決定される）ユーザ入力に基づいて誘導されてよく、またソフトウェアにより制御されてよい。アームの手動調整は、アームの動きに抵抗するように構成されたクラッチ（例えば、タッチセンサ、ボタン、ハンドル等）を係合解除することを伴ってよい。

その他の変形形態では、支持アームは、１つの実質的に関節構造を呈さない部材を含んでよい。例えば、支持アームは、一般に、座席組立体の前方において没入型表示を掛けるための静的なカンチレバーアームとして、機能してよい。更に別の変形形態では、支持アームは、座席組立体において、ユーザに向かって、及びユーザから離れる方向に、横方向に揺動する部材を含んでよい。例えば、図４Ｄにて示すように、没入型表示４００が使用されていない場合、支持アーム４１０’は、「外側」位置にて、外向きに横方向に配向されて、ハウジング４２０’がユーザの顔及び頭部から離れる方向となるように維持してよい。図４Ｅにて示すように、ユーザがハウジング４２０’と係合する準備ができている場合、表示の支持アーム４１０’は、次に、「内側」位置にて、内向きに横方向に揺動して、ハウジング４２０’がユーザの顔及び頭部に近接するように維持してよい。

支持アームの近位端部がシートバック又はその他の構造の側部又は正中線（例えば、垂直対称）へと取り付けられている変形形態では、支持アームは、一方の側部から座席にいるユーザにアプローチするように、構成されてよい。例えば、図３Ｃにて示す没入型表示３００の模式図では、支持アームの近位端部は、ユーザの後ろに配置されたシートバック又はヘッドレストへと取り付けられており、また支持アーム３１０は、ユーザの右側周囲を覆い、かつユーザの顔と係合させるために、ハウジング３２０を位置付ける。しかし、支持アーム３１０における複数の継手３１２は、受動的に及び／又は能動的に（図３Ｃにて示すように、時計方向にて）回転するように構成されてよく、支持アーム３１０がユーザの左側周囲を覆うことを可能にする。いくつか又は全ての継手（例えば、シートバックに取り付けられた少なくとも近位肩部継手）は枢動してよく、これにより、支持アームの少なくともいくつかが、一般に単一面内に再位置決めされ、一方で、少なくともいくつかの継手は、球面継手又はその他の好適な継手であってよく、間隙を介した、支持アーム３１０の任意の好適な両手側の再静止を可能にする。例えば、遠位の横捩れ継手及び／又は傾斜軸線は、ユーザの一方の側部からのハウジング３２０のアプローチを調節するために、ハウジング３２０が枢動することを可能にする。

更にその他の変形形態では、図４Ａ〜４Ｃにて示すように、没入型表示４００は、支持フレームにおいてなどの、１つ以上の支持アーム４１０を含むオーバーヘッド組立体を伴い、シートバック（又はヘッドレスト、等）へと連結されてよい。支持アーム４１０は、図４Ａにて示すように、ユーザの頭部上からユーザに接近するように構成されてよく、ユーザがハウジング４２０と係合することを可能にする。図４Ｂにて示すように、支持アーム４１０は、オーバーヘッドを、ヘッドレストの後ろ又はシートバックのその他の部分へと更に揺動させてよく、また支持アーム４１０及び／又はハウジング４２０は、保管目的のためなどで、シートバックに対して折り重ねられてよい（例えば、図４Ｃ）、又はシートバックの空洞内へと折りたたまれてよく、若しくは引き込まれてよい。

いくつかの変形形態では、ハウジング及び／又は支持アームは、衝突回避に役立つ１つ以上のセンサを含んでよい。例えば、少なくとも１つの近接センサ（例えば、超音波、レーザ、等）は、座席（例えば、シートバック、アームレスト、ヘッドレスト）、開放型表示モニタ、ユーザの顔若しくはその他の身体部分等との潜在的な衝突を検出するために、ハウジング及び／又は支持アームの少なくとも一部分に配置されてよい。潜在的な衝突を検出する際に、没入型表示は、触覚型モニタを介して、聴覚音声、視覚信号、触覚フィードバックなどの警告を発してよく、及び／又は、支持アームは、「保持」位置に留まる、又は反対方向にて移動するように作動してよく、これにより、支持アームとその他の物体との間で衝突を回避する。

いくつかの変形形態では、支持アームは、ユーザが手動でアームを動かすのに役立つ構造を、含んでよい。例えば、図５にて示すように、支持アームは、ハンドルを押圧する及び／又はハンドルを引き寄せる結果として、支持アームを再位置決め及び静止させるために把持され得る、ハンドル５１２を含んでよい。なお、ハンドルは、更に後述のように、没入型表示の更なる制御のためのユーザ入力を受信するためのセンサ（例えば、圧力センサ又は接触センサ、静電容量型センサ、等）を含んでよい。

その他の変形形態では、支持アームは、天井若しくは天井固定具、柱若しくは壁、又はテーブル若しくはカートなどの移動可能な備品などの別の好適な固定構造に、ハウジングを連結させてよい。例えば、図１６Ａにて示すように、没入型表示１６００は、天井又はその他の上部固定具に取り付けられた天井ブーム式アーム１６１０、及びアーム１６１０の遠位端部に取り付けられたハウジング１６２０を含んでよい。このような設定では、アーム１６１０は、テーブル１０又はロボットアーム２０を伴うその他の表面上の患者にオーバーヘッドを取り付けてよく、これにより、ユーザは、自分が外科的処置を直接監督し得る位置において、（没入型表示が搭載されている座席に座っているよりもむしろ）立ちながら、没入型表示１６００と接続する。その他の変形形態では、アーム１６１０は、天井、壁、柱、等における任意の好適な配置にて取り付けられてよい。近接するカート３０は、ロボット手術システムを制御するための、手持形ユーザインターフェース装置などの追加の構成要素を、提供してよい。あるいは、図１６Ｂにて示すように、没入型表示１６００’の別の変形形態では、支持アーム１６１０’は、表示ハウジング１６２０’を、カート３０などの移動可能なアイテムへと連結させてよく、これは、異なる手術室間における没入型表示の運搬を、可能にする。いくつかの変形形態では、没入型表示１６００’は、図１６Ｂにて示すようなものなどの、固定型又はデスク型のユーザコンソールと共に使用されてよく、ユーザは、没入型表示１６００’から離れて立ちながら又は椅子に座りながら、開放型表示１６３４、手持形ユーザインターフェース装置１６２０、及び足踏み式制御部１６３８と接触してよく、並びに、所望の場合に、没入型表示と選択的に係合してよい。別の実施例として、支持アームは、デスク搭載されてよく、又は手術室若しくはその他の部屋における使用のため、及び／又はオフィス設定におけるトレーニング目的のために、独立した椅子（例えば、腰掛け若しくはオフィス用椅子）に着座しているユーザに関して位置決め可能な、別のブーム上に取り付けられてよい。なお、支持アームは、このような固定構造のいずれかから取り外し可能であってよく、これにより、異なる設定間で交換（例えば、椅子搭載没入型表示、天井装着型没入型表示、壁掛け型没入型表示、頭部装着型表示等との間での移行）されてよい。

更にその他の変形形態では、支持アームは省略されてよく、また表示ハウジングは、デスク若しくはその他のコンソールシステム上に直接定置させるなどの任意の好適な様式にて取り付けられてよく、又は頭部搭載（例えば、ヘルメットの一部、若しくはヘッドバンドを含む、等）するように構成されてよい、と理解すべきである。例えば、本明細書に記載された概念の多く（例えば、頭部挙動の認識、ハウジング内の移動可能な支持クッション又は圧力感知支持クッション、眼球追跡、等）は、支持アーム構造を有することなく、固定された両眼表示において利用されてよい。

ハウジング
図２Ａ及び２Ｂにて示すように、ハウジング２２０は、顔フレーム２２２を介して、ユーザの顔と係合させるためのインターフェースを提供し、ハウジング２２０は少なくとも部分的に取り囲んで接眼レンズ組立体及びその他の表示構成要素を保護する。例えば、図２Ｂの部分的な分解図にて最良に示されるように、ハウジング２２０は、少なくとも左の接眼レンズ組立体２３０Ｌ及び右の接眼レンズ組立体２３０Ｒを受容する内容積を含む収容部であってよい。ハウジング２２０は、製造方法（例えば、射出成形、機械加工、３Ｄ印刷、等）の任意の好適な組み合わせを介して収容部へと形成される、比較的軽量の材料（例えば、プラスチック）から作製されてよい。ハウジング２２０は、１つの一体式部品であってよく、又は締着具、エポキシ等と共に収容部へと連結されたハウジング外殻などの、組み立てられた部品の組み合わせであってよい。

いくつかの変形形態では、図２Ｂにて最良に示すように、ハウジング２２０は、ハウジング２２０の内容積の冷却を促進するための開口部又は通気口２４６を含んでよい。例えば、ハウジング内に配置された１つ以上の送風機２４４があってよく、これは、ハウジング内の空気の流れを、ハウジング２２０から排出させるために、通気口２４６に向かって方向づけるように、構成される。このようにして、送風機は、ユーザの顔から離すように通気口２４６に向かって空気を引き込むための負圧を発生させてよく、それにより、ユーザの顔を快適な温度に保ち、並びに、ハウジング内の構成要素のための好適な温度環境を維持する。

図２Ａ及び２Ｂにて示すように、ハウジング２２０は、顔フレーム２２２又は眼覆い部を含んでよく、又はこれらに連結してよい。顔フレーム２２２は、ハウジング２２０とユーザの顔との間に、快適な、人間工学的インターフェースを提供するように構成されてよい。顔フレーム２２２は、ヒトの顔（例えば、一般に凹面）を受容するように輪郭づけられ、また（例えば、開放型又は可視光線に対して透過的な）窓部２２６を含んで、ユーザの目線を、遮られていない接眼レンズ組立体へと留めさせてよい。顔フレーム２２２は、切り抜き又はその他の開口部２２８を含んで、ユーザの鼻及び／又は口のための隙間を提供してよい。顔フレーム２２２は、いくつかの変形形態では、一般に、ユーザの目の領域を覆い包むように構成されてよい。

なお、顔フレーム２２２は、適切に焦点の合わせされた画像等のために、接眼レンズ組立体光学素子からの正確な又は理想的な距離における、ユーザの顔（及びユーザの眼）の一貫した位置決めのための、標準的な誘導を提供するように構成されてよい。例えば、顔フレーム２２２の寸法は、ユーザの顔が顔フレーム２２２に係合する場合に、ユーザの眼を、接眼レンズ組立体から離れた所定の距離に定置させるように、選択されてよい。所定の距離は、粗調整（例えば、一方で、深さの微調整を提供するために、接眼レンズ組立体の位置を僅かに再位置決めしてよい）されてもよく、及び／又は、所定の距離は、ユーザが、個々の顔形状（例えば、大頭骨若しくは頬骨、比較的平坦な面、等）を適合させるように、カスタマイズされてよい。

いくつかの変形形態では、顔フレーム２２２は、快適性及び／又は人間工学性を向上させるための、形状適合性材料又は適合材料を含んでよい。例えば、顔フレーム２２２は、顔フレームの患者インターフェース側上の、緩衝材、発泡体（例えば、形状記憶発泡体）、膨張可能構造等などのパディング、及び／又は、顔フレーム２２２をハウジング２２０の残部に連結させるゴムのガスケット若しくはバネなどのその他の適合材料を含んでよい。従って、顔フレーム２２２（及び／又は顔フレーム２２とハウジング２２０との間の）一体的な適合は、ユーザが、ハウジングから自分の顔を係合解除することなく、軽度の位置調節を行うことを可能にする。例えば、ユーザは、ワークフローを中断することなく、僅かに自分の姿勢を調整してよい。このような軽度の調節は、３Ｄ表示におけるユーザの没入型体験を向上させ得、かつ人体工学性を向上させ得る。

追加的に又は代替的に、顔フレーム２２２は、ユーザの顔の形状に整合又は適合させるための、その他の機構を含んでよい。例えば、顔フレーム２２２の患者のインターフェース側は、ユーザの顔の表面からの圧力に応答して、個別に軸方向に移動可能である、複数の要素（例えば、軟らかい先端のついたピン）を含んでよい。別の実施例として、顔フレーム２２の患者のインターフェース側は、ユーザの顔の表面からの圧力に応答して折り重なる、顔フレームの外周周囲のアコーディオン状構造を含んでよい。ユーザの顔に適合する（例えば、没入表示の設定段階中の）初期構成は、適合機構における基準状態に対する任意の変化が、ユーザ対話（例えば、更に後述する頭部挙動）として解釈され得る基準状態を、提供してよい。ユーザの顔への適合は、比較的繊細な顔の表情又はその他の合図の検出及び認識を可能にし得、これは、システム制御のためのユーザ対話として、解釈されてよい。あるいは、いくつかの変形形態では、顔フレーム２２２とユーザの顔との間の距離は、所定の量の隙間を組み込んでよく、これにより、光学式センサにより検出された頭部挙動のための追跡可能なワークスペースを収容する。

１つの変形形態では、図５にて示すように、没入型表示５００は、（例えば、軸受との）摺動式又はネスト式の係合を介してなどの、互いに対して移動可能な、第１ハウジング部分５２０ａ及び第２ハウジング５２０ｂを含んでよい。例えば、第１ハウジング部分５２０ａは、隙間により第２ハウジング部分５２０ｂの一部を受容するように構成された外側シェルを含んでよく、これにより、第２ハウジング部分５２０ｂは、横方向の側面移動が自由であり得る、及び／又は、第１ハウジング部分５２０ａに対する前進後退移動が自由であり得る。このような相対的な移動は、１つ以上のバネ５２１及び／又はその他の好適な適合機構故に、適合され得る。支持アーム５２０は、第１ハウジング部分５２０ａ（例えば、第１ハウジング部分５２０ａの後部、又は第１ハウジング部分５２０ａの側部上）に取り付けられてよく、一方で、顔フレーム５２２は、第２ハウジング部分５２０ｂに取り付けられてよい。その他の変形形態では、追加のネスティング式ハウジング部分又は伸縮式ハウジング部分が、没入型表示に含まれてよい。従って、第１及び第２ハウジング部分間の相対運動における一体的な適合は、ユーザが、ハウジングから自分の顔を係合解除することなく、軽度の位置調節を行うことを可能にする。例えば、ユーザは、ワークフローを中断することなく、僅かに自分の姿勢を調整してよい。このような軽度の調節は、３Ｄ表示におけるユーザの没入型体験を向上させ得る。なお、姿勢調整が、ユーザ及び本システムの延長された長期間の使用にわたる歪みを減少させる鍵となる故に、互いに対して移動可能に適合する複数のハウジング部分は、没入型表示５００の人間工学的特性を向上させるのに役立ち得る。第１及び第２ハウジング部分の運動学（及び／又は、支持アームの運動学）は、没入型表示の回転の遠隔中心が、一般に、ユーザの首であると推定された若しくは予測された地点に一致するように構成されてよい。これは、例えば、更なる向上した人間工学的緩衝のために、ユーザが、自分の頭部を動かした際に、支持アーム及び表示の自然な調節を可能にしてよい。

いくつかの変化形態では、顔フレーム２２２は、滅菌（例えば、滅菌溶液により拭き取られる、加圧滅菌器における滅菌、等）のためなどで、ハウジング２２０から取り外し可能であってよく、及び／又は、異なる顔の形状タイプのためにカスタマイズされた異なる顔フレーム２２２の交換を、可能にしてよい。顔フレーム２２２は、例えば、締着具（例えば、スクリュー、接着剤、等）により、取り外し可能にハウジングに連結されてよい。追加的に又は代替的に、顔フレーム２２２は、単一の使用後又は限定された回数の使用後などに、使い捨て可能であってよい。

１つ以上のセンサ（例えば、センサ２２４）は、顔フレーム２２２上に含まれてよく、又は顔フレーム２２２に近接して含まれてよい。例えば、少なくとも１つのセンサ（例えば、圧力センサ、光学式ＩＲ系センサなどの近接センサ若しくは距離センサ、接触センサ、温度センサ、静電容量型センサ、等）は、ユーザが顔フレーム２２２と係合しているかどうかを検出するために、使用されてよい。以下に更に記載されているように、ロボット手術システムの操作を制限するために、ユーザ係合の不存在又は存在の判定は、安全ロックアウト又はインターロック機構の一部として使用されてよい。更に、没入型表示と係合したユーザの不存在が検出された場合、主要な表示（例えば、内視鏡カメラ視野、又はその他の主要な画像内容）として機能する別の開放型表示（例えば、図１Ａにて示すような表示１２８）を自動的にもたらし得るが、一方で、没入型表示は、要求により、第２の表示（第２の画像内容を伴う）として機能する。対照的に、没入型表示と係合したユーザの存在が検出された場合、没入型表示が自動的に主要な表示となり得るが、一方で、別の開放型表示が、要求により、第２の表示又は補助表示として機能する。追加的に又は代替的に、顔フレーム２２２上又は顔フレーム２２２に近接する少なくとも１つのセンサは、ユーザと没入型表示との係合のいずれかの誤整列若しくは非最適位置決めを検出するために使用されてよく、誤整列の自己補正のために、ユーザに信号伝達するように誘導する、又は（例えば、誤整列が補正されるまで、支持アームを作動させることにより）自動調節を誘導する。１つ以上の近接センサは、追加的に又は代替的に、係合のために、顔フレーム２２２及びユーザの顔が互いにアプローチした際に、緩衝された又は緩慢にされた「ソフトランディング」効果の作動を誘発することによるなどで、顔フレーム２２２による、ユーザの顔との適合した係合を提供するために使用されてよい。

別の実施例として、１つ以上のセンサは、ユーザ対話（例えば頭部挙動）を検出するために使用されてよく、これは、システムにおける制御の変更、没入型表示内容の修正、ハウジング構成又は支持アーム構成の調節等のために使用されてよい。例えば、このようなセンサは、圧力センサ、静電容量型センサ、光学式センサ等を含んでよく、ここで、システムにおける変化が、ユーザの頭部の動きを示し得る。例えば、ユーザが、自分の頭部を右へと動かした場合、この動きは、一般に、顔フレーム２２２の右側上で圧力の増大をもたらし、また顔フレーム２２２の左側上で圧力の低下をもたらす。圧力におけるこれらの変化を検出するセンサを使用して、右に向かった頭部挙動を決定してよい。別の実施例として、接触センサは、１つ以上のクッションの表面、又は頭部の回転挙動を示すために使用されてよいその他の表面における剪断力を検出してよい。任意の数の好適なセンサを使用してよく、また没入型表示上、没入型表示に沿った、又は没入型表示内の、任意の好適な位置に定置させてよい。

いくつかの変形形態では、図１５Ａ及び１５Ｂにて示すように、１つ以上のセンサ１５３２は、頭部挙動を介したユーザ対話の検出のために、代替的に又は追加的に（例えば、充足のために）、ユーザの頭部の後ろのヘッドレスト１５３０内に含めてよい。例えば、没入型表示のハウジング１５２０は、一般に、ハウジング１５２０の左側に、中心に近接して、及び／若しくは、右側に配置される、１つ以上のセンサ１５２２を含んでよく、並びに／又は、ヘッドレスト１５３０は、一般に、ヘッドレスト１５３０の左側に、中心に近接して、及び／若しくは、右側に配置される、１つ以上のセンサ１５３２を含んでよいが、その他の好適な分布センサの配置が、没入型表示及び又はヘッドレストに含まれてよい。これらのヘッドレストセンサ１５３２からの情報は、没入型表示センサ１５２２からの情報と比較されてよく、又は没入型表示センサ１５２２からの情報と組み合わされて、ユーザの意図を誘導してよい。例えば、ユーザの頭部挙動及びその他の頭部の動きにより、頭部の裏面は、ハウジング１５２０上のセンサ１５２２への入力を補完する、ヘッドレスト１５３０におけるセンサ１５３２への入力を提供し得る（例えば、ユーザが、自分の頭部を右へと動かした場合、この動きは、一般に、ハウジングの右側及びヘッドレストの右側の両方における圧力の増大をもたらす）が、これは、センサが充足することを可能にする。別の実施例として、ヘッドレストに対する感知圧力の不足と、没入型表示に対する感知圧力との組み合わせは、ユーザの第１の意図（例えば、姿勢の調節）を示し得、一方で、ヘッドレストに対する感知圧力と没入型表示に対する感知圧力との組み合わせは、ユーザの第１の意図とは異なるユーザの第２の意図を示し得る。

更に別の実施例として、顔フレーム２２２（又は没入型表示のハウジング若しくはその他の構成要素に連結されたいずれかの部分）上の１つ以上のセンサは、ユーザのパラメータを監視するための、１つ以上の生体計測センサを含んでよい。例えば、没入型表示は、心臓活動を測定するための１つ以上の心電図センサ、温度センサ、心拍センサ、血圧センサ、（例えば、ユーザの側頭に定置される）脳波を測定するための脳波センサ、発汗センサ、その他のストレスセンサ等を含んでよい。没入型表示を利用しながらのこのようなユーザの生体計測監視は、ユーザのストレスレベルを監視すること、研究のためにデータを収集すること、又は訓練目的等に関して、有用であり得る。この生体計測データは、没入型表示（例えば、ハウジング）内に配置された局部記憶装置、ユーザコンソールのその他の部分、ロボット手術システムのその他の構成要素（例えば、カート上の中央ユニット、テーブル、若しくは制御ユニット）などの、任意の好適なメモリ又は記憶装置に記憶されてよい。記憶装置のその他の例としては、ポータブル・フラッシュ・メモリ（例えば、ＵＳＢドライブ）、リモート・コンピュータ又はサーバ、クラウドストレージ等が挙げられる。

図５及び６にて示すように、ハウジングのその他の変形形態は、没入型表示を操作する（例えば、再位置決めする）ための、１つ以上のハンドルを含んでよい。例えば、少なくとも１つのハンドル５２４（図５）又は６２４（図６）は、ハウジング５２０又は６２０の側部上に含まれて（例えば、動きにおける制限なく、若しくは動きにおける制限が比較的少ない、ハウジング及び／又は支持アームにおける多数の自由度を可能にするなどの、大きい位置調節が実施される、総位置決めモードを促進して）よく、並びに／又は、図６の没入型表示６００にて示すような、少なくとも１つのハンドル６２６（例えば、動きにおける制限が総位置決めモードにおけるよりも更に多い、ハウジング及び／又は支持アームにおけるより少ない自由度を可能にするなどの、小さい若しくは僅かな位置調節が実施される、細密な位置決めモードを促進する）は、ハウジング６２０の側部上に含まれてよい。ハンドルのためのその他の好適な位置はまた、ハウジング６２０の上部及び下部の、外部表面も含む。いくつかの変形形態では、いくつかのハンドルが、ハウジングの両側に配置されてよく、これにより、両手側での使用（例えば、左側のハンドル６２６及び右側のハンドル６２６）が可能となる。ハンドルのいくつか又は全ては、図６にて示すような把持部若しくはバー、及び／又は図５にて示すようなノブを含んでよいが、その他の変形形態では、ハンドルは、リング、レバー、及び把持用のその他の好適な形状を含んでよい。なお、ハンドルの少なくともいくつかは、フィンガグローブ、リブ付け、又はバンプなどの、把持するための組織構造的形成部を含んでよい。以下でより詳細に記載するように、ハンドルの少なくとも一部は、没入型表示とのユーザ対話のため、及び／又は、生体計測データ（例えば、心拍）を収集するための、追加の入力を提供するための、センサ（例えば、圧力センサ、静電容量型センサ、等）を含んでよい。

図７に示すように、没入型表示７００のいくつかの変形形態では、ハウジング７２０は、（ハウジング外部からの）周辺光がユーザの視界に入ることを遮断するのに役立ち、及び／又はユーザの視覚錯乱を減少させるのに役立つように構成され、それにより、ユーザが没入型表示を介して見る場合に没入型体験を向上させる、ハウジングに連結した少なくとも１個のシールド（例えば、側部シールド７３２、下部シールド７３４）を含んでよい。しかし、場合によっては、ユーザは、自分の視界を遮る部分を見る若しくはそれらと対話するために、シールドを取り除く又は再位置決めすることを希望し得る。例えば、ユーザは、没入型表示の外側の、（例えば、手持形ユーザインターフェース装置を配置させる、又は把持するために）自分の手若しくは（例えば、ペダル、又はその他の足踏み式制御部を配置させるために）足を見ることを希望し得る。このような場合に適用するために、シールドは、シールドがユーザの視界の少なくとも一部を覆い隠すように構成される第１位置と、シールドがユーザの視界の一部を露呈するように構成される第２位置との間で、移動可能であってよい。そのようなものであるから、ハウジングは、第１位置と第２位置との間でシールドを移動させるための、１つ以上の好適なアクチュエータを搭載してよい。シールド・アクチュエータは、眼球追跡センサ、頭部挙動、手持形ユーザインターフェース装置又は足踏み式ユーザインターフェース装置などのユーザ装置への入力、音声指示、等に基づいて、誘導されてよい。

例えば、図７にて示すように、ハウジング７２０は、ハウジングの側部上に配置された、少なくとも１つの側部シールド７３２を含んでよい。側部シールド７３２が第１部分（図７の実線での輪郭で示されている）において係合する場合、側部シールド７３２は、ユーザの視界の横方向の周辺部を遮断するように、構成されてよい。側部シールド７３２は、第２部分（図７の破線で示されている）内へと、横方向で外向きに揺動又は枢動するように作動して、先に遮られていた、ユーザの視界の横方向の周辺部を露呈してよい。その他の変形形態では、第２部分に向かって外向きに横方向で揺動する代わりに、側部シールド７３２は、上部水平軸線の周囲で上向きに、又は下部水平軸線の周囲で下方へと、揺動してよい。更に別の変形形態では、側部シールド７３２は、ハウジングの側部に沿って（例えば、ハウジング７２０の側壁に沿って、又はハウジング７２０の側壁におけるスロット内にて）収縮する又は折りたたまれて、第２位置へと移行してよい。

別の実施例では、ハウジング７２０は、ハウジングの下部上に配置された、少なくとも１つの下部シールド７３４を含んでよい。下部シールド７３４が第１部分（図７の実線での輪郭で示されている）において係合する場合、下部シールド７３４は、ユーザの視界の下部周辺部を遮断するように構成されてよい。下部シールド７３４は、第２部分（図７の破線で示されている）内へと、下方へと揺動又は枢動するように作動して、先に遮られていた、ユーザの視界の下部周辺部を露呈してよい。その他の変形形態では、下部シールド７３４は、ハウジングの下部部分に沿って（例えば、ハウジング７２０の下部壁に沿って、又はハウジング７２０の下部壁に沿ったスロット内にて）収縮する又は折りたたまれて、第２位置へと移行してよい。同様に、没入型表示のためのハウジングは、ハウジングの任意の好適な部分内に配置された、及び／又は、ハウジングの任意の好適な部分の周辺の、シールドを含んでよい。図７に示すシールドが一般にフラップ状であるにもかかわらず、アコーディオン状、折り畳み式の布地製覆い部などの、その他の種類のシールドが可能である。

１つ以上のシールドの作動は、ユーザ対話の結果として生じ得る。例えば、眼球追跡を実行するセンサは、（例えば、少なくとも所定の期間の間、及び／又は、シールドに向かった特定の方向での）ユーザの一見を検出してよく、またその後、第２位置に向かった１つ以上のシールドの作動を誘導して、先に遮られていた視界を露呈する。例えば、１つ以上のセンサは、ユーザが、下部シールド７３４により遮断されている領域に向かって下方へと一見する場合に検出してよく、また第２位置に向かった下部シールド７３４の作動を誘導してよい。別の実施例として、顔フレームの側部上の圧力センサ又は力センサは、ユーザが、自分の頭部を、側部シールド７３２に向かって、顔フレームの側部に対して押し付けた場合に、検出してよく、また第２位置に向かった側部シールド７３２の作動を誘導してよい。従って、種々のセンサは、没入型表示からの係合解除を必要とせずに、ユーザが、自分の没入型環境外の現実環境を見ることを、可能にし得る。追加的に又は代替的に、１つ以上のシールドは、第１及び第２位置との間で、手動にて移動させてよい。なお、１つ以上のシールドは、バネ又はその他の好適な付勢機構（図示せず）によるなどで、第１位置又は第２位置のどちらかに向かって付勢されてよい（例えば、手動力若しくは作動力により、付勢力が克服されない限り、シールドは、ユーザの視界の一部を遮断し得る）。

図７にて示すように、ハウジング７２０の一変形形態は、ハウジングの側部上に配置されて接眼レンズ組立体７３０の反対側で外向きに面しているカメラ７２２などの、１つ以上のカメラを含んでよい。外向きに面しているカメラは、周辺の実際の環境の画像を撮影してよく、また表示のためのこれらの画像又は映像フィードを、没入型表示上でユーザへ表示するために提供し、これにより、ユーザは、要求する場合、没入型表示から係合解除することなく、周辺の実際の環境の少なくとも一部分を（例えば、透明又は透けて見えるハウジングを介して目視を模擬する「仮想ウィンドウ」モードにおいて）見ることができる。外向きに面しているカメラ７２２は、それらの位置に応じて異なる映像フィードを提供するように構成されてよい。例えば、図７にて示すように、外向きに面しているカメラ７２２は、ハウジング７２０の前面上に配置されており、また従って、ハウジング７２０の前面の前において直接、現実環境の状況に対する認識をユーザに提供するように、構成される。別の実施例として、１つ以上の外向きに面しているカメラは、ハウジング７２０の側部上に配置されてよく、これにより、ハウジング７２０の側部に直接隣接し、現実環境の状況に対する認識をユーザに提供する。このような周囲部の画像は、ユーザに、自分の現実環境の拡大可能な視界を提供するのに役立ち得る。いくつかの変形形態では、ユーザは、外向きに面しているカメラ７２２により提供される透けて見える視界の表示と、没入型表示のその他の表示（例えば、内視鏡カメラ視野）との間で、センサにより検出されたユーザ対話により、選択的にスイッチ切り替えしてよい。例えば、ユーザが、自分の足に近接して位置付けられた足踏み式制御部を、視覚的に配置させることを希望する場合、ユーザは、「仮想ウィンドウ」モードを選択して、自分の顔を（ハウジング７２０と係合させつつ）足踏み式制御部に向かって下向きに傾斜させて、外向きに面しているカメラ７２２により提供された映像フィードを介して、足踏み式制御部を「見て」よい。

図８にて示すように、いくつかの変形形態では、没入型表示８００において、ハウジング８２０は、触覚フィードバックを提供するように構成された、１つ以上の触覚作動装置８４０を含んでよい。例えば、触覚作動装置は、少なくとも１つの振動装置（例えば、振動モータ、圧電アクチュエータ、共振器、等）を含んでよい。触覚作動装置８４０は、ユーザに情報を伝達するために、個別に又は一括的に起動してよい。例えば、触覚作動装置８４０は、開放型表示上又は没入型表示上に表示されたグラフィカル・ユーザ・インターフェースに関する情報（例えば、警告、警報、メニュー項目選択の確認、等）を、伝達してよい。別の実施例として、触覚作動装置８４０は、没入型表示の構成（例えば、振動して、機械的戻り止機構及び／又は筋アーム若しくはハウジングを配向させる若しくは位置決めするための変動可能な抵抗力を与える）に関連する触覚フィードバックを提供してよく、これは、（更に後述するように）例えば、没入型表示によるより人間工学的な設定へとユーザを誘導することを手助けするのに有用であり得る、及び／又は、没入型表示を見ながら、手−眼の共同作用のための、頭部−腕／手の最適な相対的配置へとユーザを誘導するのを支援するのに、有用であり得る。

いくつかの変形形態では、複数の触覚作動装置８４０は、ハウジング８２０の周囲で分布様式にて配置されてよく、またロボット手術システムからのその他の構成要素の状態に関連する方向指示を、提供してよい。例えば、ロボット手術システムにわたるユーザ制御を提供する手持形ユーザインターフェース装置は、制限されたワークスペースを有してよく、その内部で、その動きが間隙を介して追跡され得て、かつロボット手術システムのための指示へと変換される。手持形ユーザインターフェース装置が、その追跡可能なワークスペースの境界に接近している、又はその追跡可能なワークスペースの境界に到達した場合、１つ以上の触覚作動装置８４０は、ユーザインターフェース装置の操作である方向的警報又は警告が、間もなく追跡具不可能になる、若しくは現在追跡不可能である際に、起動してよい（例えば、追跡可能なワークスペースの左側境界に接近し、ハウジング上の対応する左側の触覚作動装置８４０が起動してよい）。別の実施例として、ロボットアームが、没入型表示と係合しながらユーザの動作の結果として操作される際に、ロボットアームは、その物理的可動域の限界に接近又は到達し得る。このような場合、１つ以上の触覚作動装置８４０は、ロボットアームの動きに関する現在の指示が、動きのその物理的限界に到達する危険にあることをユーザに示す方向警報又は警告として、起動してよい。別の実施例として、使用時、ロボットアームは、別のロボットアーム、患者のテーブル、近くの外科アシスタント等などの、その他の物体と衝突する、又はそれらにより物理的に干渉される危険を伴い得る。上述の例と同様に、１つ以上の触覚作動装置８４０は、ロボットアームが衝突の危険にあることをユーザに示す方向警報又は警告として、起動してよい。

いくつかの変形形態では、ハウジングは、１つ以上の音声装置を含んでよい。例えば、図９にて示すように、没入型表示９００は、少なくとも１つのマイクロフォン９５２を含む、ハウジング９２０を含んでよい。マイクロフォン９５２は、例えば、ユーザの口の近くに位置付けされるハウジングの一部上（例えば、図９にて示すように、ハウジングの下面）に配置されてよいが、ハウジング上のその他の位置が好適であり得る。その他の変形形態では、個別のマイクロフォン（例えば、クリップ式マイクロフォン）は、ハウジング上又は支持アーム上に配置された引き込み口内へ接続してよい。マイクロフォン９５２は、外科的処置に携わる外科手術スタッフなどのその他の人員と通信するため、及び／又は、音声録音（例えば、外科手術スタッフとの連絡、医療記録などの記述に関する口授、等）を可能にするために、使用されてよい。追加的に又は代替的に、マイクロフォン９５２は、ロボット手術システムの音声制御、表示の対話制御等のための音声指示（例えば、口頭による指示、又はクリック音、吹き込み音、笛声音等などのノイズ）を受信してよい。例えば、音声制御は、ＧＵＩにおける適用若しくはタスクを切り替える、又は音楽の選択、ＧＵＩの視界若しくは画面の切り替え等などの、ＧＵＩ上の適用における特定の特徴を制御するために、使用されてよい。なお、マイクロフォン９５２は、外部の音声制御装置（例えば、個人の携帯電話、等）に連結されて、外部の音声制御装置のハンドフリー操作を可能にしてよい。いくつか又は全ての、これらの上述の音声指示は、クラッチに類似して動作する、別のユーザ入力（例えば、フットペダル、又はその他の足踏み式制御部の作動）を伴ってよい。あるいは、いくつか又は全ての、これらの音声指示は、同時のユーザ入力クラッチを用いずに、実施されてよい。

別の実施例として、図１０にて示すように、没入型表示１０００は、少なくとも１つのスピーカ１０５０を含む、ハウジング１０２０を含んでよい。１つ以上のスピーカ１０５０は、例えば、顔フレーム１０２２の少なくとも１つの側部上に配置されて、ユーザがハウジング１０２０と係合している場合に、ユーザの耳に向かって音を一方向に送り出すように、構成されてよい。例えば、ハウジングの左側と右側の両方上のスピーカ１０５０は、ステレオ音を提供してよい。しかし、ハウジング上のその他の位置（例えば、上部、下部）が好適であり得る。スピーカ１０５０は、音を伴う表示映像内容、ノイズ、及びグラフィカル・ユーザ・インターフェースと関係した音響効果（例えば、グラフィカル・ユーザ・インターフェースにおける項目選択を示すクリック音若しくは音調、警報若しくは警告、等）、及び／又は、強化されたより豊富な体験のために触覚作動装置の作動を増大させる音などの追加情報を、ユーザに提供するように構成されてよい。スピーカ１０５０はまた、外科手術スタッフなどのその他の人員との通信を受信する（例えば、上記のマイクロフォン９５２と関連して、スピーカ１０５０は、双方向通信を促進し得る）ために、又は電話装置に接続した場合の電話通話のために、使用されてよい。別の実施例として、１つ以上のスピーカ１０５０は、ユーザのための、ホワイトノイズ又はアクティブノイズによる取り消しを発生させるように、構成されてよい。なお、スピーカ１０５０は、１つ以上の外部の音声装置（例えば、ラジオ、個人の音楽再生装置、等）に連結されてよい。

いくつかの変形形態では、没入型表示１１００は、接眼レンズ組立体により提供される３Ｄ表示から独立して配置された、１つ以上の補助表示を伴うハウジング１１２０を含む。このような表示は、例えば、外科的処置中の参照として有用であり得る、補足的内容（訓練動画、ＣＴ又はＭＲＩ走査などの術前の医用画像、等）を表示し得る。その他のモードでは、表示は、追加的又は代替的に、（内視鏡カメラ映像フィード、グラフィカル・ユーザ・インターフェース情報等などの）主要な内容を表示し得る。例えば、ハウジングは、接眼レンズ組立体に隣接して配置された１つ以上の側部表示１１４０を含んでよく、これにより、ユーザは、自分の横方向の周辺視力にて（又は側部の一見により）、側部表示１１４０上の内容を見ることが可能である。別の実施例として、ハウジングは、ハウジング１１２０の上部外部表面上に配置された１つ以上の上部表示１１３０であってよく、これにより、ユーザは、自分の上方の周辺視力にて（又は上向きの一見により）、上部表示１１４０上の内容を見ることが可能である。補助表示は、図７に関して上述したシールドと類似して、可視位置と隠れ位置又は保管位置との間で、作動可能であってよい。例えば、側部表示１１４０は、ユーザが表示上の内容を見ることを希望するかどうかに応じて、横方向に内向き及び外向きに揺動するように、構成されてよい。同様に、上部表示１１３０は、枢軸の周囲で跳ね上がる及び跳ね下がる、又は、所望に応じてポケット若しくはスロットから摺入する又は摺出するように、構成されてよい。

図１２にて示すように、更にその他の変形形態では、没入型表示１２００は、間隙を介してハウジング１２２０の位置を監視する、１つ以上の追跡装置を伴う、ハウジング１２２０を含んでよい。追跡装置は、例えば、電磁送信器、オーバーヘッド又は近接する光学式センサと共に使用される光学式基準マーカ（例えば、光学追跡ボール１２３２）、慣性測定ユニット等を含んでよい。追加的に又は代替的に、ハウジング１２２０に連結された支持アームは、ハウジングを追跡するために、支持アーム上の継手又は位置符号器、電位差計等を含んでよい。ハウジング１２２０の位置を追跡することは、位置に基づいた、没入型表示の内容における、自動変更を可能にする。例えば、ハウジング１２２０がユーザの顔との係合から係合解除へと移動して、ユーザの側部へと押しのかれたことを、追跡装置により検出した後、没入型表示は、主要な表示（例えば、手術部位又は外科用器具の内視鏡カメラ視野）から、第２の表示（例えば、参照画像、等）へと、移行してよい。別の実施例として、ハウジング１２２０が、座席についているユーザ及び／又は隣接する開放型表示モニタにより、アクセス不可能な位置へと移動したことを、追跡装置により検出した後、没入型表示は、開放型表示若しくはその他の表示ユニットと協働して、デュアルコンソール表示へと移行してよい。更に別の実施例として、ハウジング１２２０が側部（例えば、保管位置）へと極端に移動したこと、又はユーザから離れた面へと反転したことを、追跡装置により検出した後、没入型表示は、自動的に電源を切る、又は自動的にアイドリング状態又はスタンバイ状態に戻ってよい。

追跡装置情報はまた、延長使用並びに快適性のために、人間工学的な最適化及び没入型表示とのユーザアライメントを可能にするのに役立ち得る。例えば、追跡装置１２２０は、状況次第では、ハウジングが僅かにユーザの眼及び／若しくは手のレベルに至っていない、又は僅かにユーザの眼及び／若しくは手とずれており、かつ応答して、支持アームを介して自動的に微小な位置調節を誘導し、ユーザに対するハウジングの位置を補正し得ること（例えば、ハウジングのレベルをユーザの眼に対してもっていき、没入型表示を見るために、ユーザに適切な視野線を提供するように補正すること、等）を示してよい。

いくつかの変形形態では、ハウジング及び／又は支持アームは、製品検査係により引き起こされる振動などの不注意な僅かな動き等にもかかわらず、ハウジング及び接眼レンズ組立体が、概ね水平で、ユーザと位置合わせされた状態を維持するように構成されてよい。そのようなものであるから、ハウジング又は没入型表示のその他の好適な部分は、意図的なユーザの対話よりもむしろ収差に関連する、ハウジング及び／又は支持アームの動きを検出するための、加速度計若しくはその他の好適なセンサを含んでよい。このような僅かな動きの検出に応答して、支持アームにおける１つ以上のアクチュエータは、アクティブサスペンションの一部として起動して、僅かな振動を補正し、かつ表示を比較的安定させ、またユーザと位置合わせさせてよい。

その他の変形形態では、図１３にて示すように、没入型表示は、ワークスペースにおける１つ以上の基準指標を提起するための、少なくとも１つの外向きに面した光照射器１３２２を有するハウジング１３２０を含んでよい。光照射器１３２２は、例えば、レーザ、ＬＥＤ、その他のライト等を含んでよい。例えば、光照射器１３２２は、グリッド、アイコン、又は没入型表示における接眼レンズに対するユーザの手持形ユーザインターフェース装置に関して、（例えば、更に後述のように、内視鏡カメラ外科用器具の関係を最適に適合させるために）最適な位置を強調する、その他の基準を提起してよい。別の実施例として、外向きの照明は、追加的に又は代替的に、ドックされた若しくは手持形ユーザインターフェース装置を書き留める事前設定位置、ペダル組立体若しくはその他の足踏み式制御部の位置等などの、特定の目標又はシステムのその他の構成要素の視認性を向上させるために使用されてよい。このような向上した視認性は、例えば、強調された若しくは目的とされた構成要素のグラフィカルアイコン又はアウトラインの照明投影を伴ってよく、またユーザが没入型表示と係合しているが、自分の周辺視において照明投影を見ることができる場合（例えば、図７に関連して記載されたシールドは、ユーザの視界を遮らない）などの状況において有用であり得、これは、ユーザが目的の構成要素を配置させるのに役立つ。

接眼レンズ及び表示
図２Ｂにて示すように、左側の接眼レンズ組立体２３０Ｌ及び右側の接眼レンズ組立体２３０Ｒを含む、少なくとも２つの接眼レンズ組立体は、ハウジング２２０内に配置され、かつ双眼鏡様式にて配列される。接眼レンズ組立体は、ＬＣＤ及び／又はＬＥＤパネル表示、光学素子（例えば、レンズ、鏡、等）、並びに電子機器を含む。例えば、いくつかの変形形態では、接眼レンズ組立体は、仮想環境及び補完現実環境（例えば、軍事目的及び／又はゲーム目的）を含む用途のために市販されている、任意の好適な接眼レンズ組立体に類似していてよく、また、当業者によく知られている。総じて、接眼レンズ組立体は、ユーザに３Ｄ表示（例えば、立体視）を提供するように構成される。３Ｄ表示は更に、２Ｄ内容を表示するように構成されてよい。１つ以上のアクチュエータは、接眼レンズ組立体間の相対位置を調節するため（例えば、眼幅の調節のため）、及び／又は、ハウジング内の深さを調節するため（例えば、ユーザの眼へと距離の調節のため）等などで、少なくとも１つの接眼レンズ組立体と一体化されてよく、又は連結してよい。ハウジングにおける、接眼レンズ組立体に関連したその他の電子機器又はその他の構成要素は、画像信号の表示及び種々の構成要素への電気供給の制御及び管理に関連してよい。いくつかの変形形態では、電子機器は、没入型表示の電気部品へと電力を供給するための、１つ以上の無線バッテリ又はその他の電源を含んでよいが、追加的に又は代替的に、没入型表示は、有線主要電源又は優先バックアップ電源に連結されてよい。

いくつかの変形形態では、一連の複数のレンズは、追加的に又は代替的に、ハウジング内に含まれてよく、また連続的に広範な視覚フレームにわたる曲面画像又はパノラマ画像を提供するように、構成されてよい。あるいは、一連の複数のレンズはまた、利用可能な視覚フレームにわたって離散的内容を示す、２つ以上の、分けられ分割された画面内へと、構成されてよい。なお、接眼レンズ組立体と共に、レンズ又はその他の補正機構が選択的に提供されて、（例えば、近視、遠視、乱視等のための）視力補正を提供してよい。

典型的に、接眼レンズ組立体は、ユーザが没入型表示と係合している場合に、３Ｄ情報、映像、静態像、ＧＵＩｓ、対話制御等を含むがこれらに限定されない、ユーザへの情報の範囲を表示するように、構成される。接眼レンズ組立体２３０は、開放型表示（例えば、図１Ｂにて示すような、表示１２８）、没入型表示上の補助表示（例えば、図１１にて示すような、側部及び／又は上部表示１１４０及び１１３０）、並びに任意のその他の補助表示（例えば、ユーザコンソールにおける座席に連結した開放型表示、等）などの、ロボット手術システムに関連しているその他の表示への補足表示として機能してよい。そのようなものであるから、１つ以上のこれらの表示は、主要な目視のために意図される主要な表示に指定されてよい。主要な表示の一例は、図１７にて示すものなどのＧＵＩである。例えばＧＵＩは、（例えば、患者内に位置付けられた内視鏡カメラからの）内視鏡画像データ１７００、及び／又は、（例えば、氏名、医療記録番号、生年月日、種々の好適な記述等の）患者データ１７１０を表示してよい。主要な表示は、制御パネル１７１２、及び１つ以上の医用画像１７１４（例えば、患者組織の術前画像）を更に含んでよい。制御パネル１７１２は、左の器具番号、左の器具名、左の器具機能等などの情報を含んでよい。同様の情報が、右の器具アームに関して供給され得る。しかし、その他の好適なＧＵＩ又はその他の表示内容が、主要な表示上に現れてよい。なお、１つ以上の表示は、補足的内容（例えば、基準画像又は基準映像）を提供するための、第２の表示を指定してよい。種々のユーザ対話は、更に後述のように、主要表示、第２表示（又はその他の好適な表示の分類）として、表示に、それらの指定を変更させ、また従って、それらの表示された内容の種類を変更させてよい。

ハウジングは、（図２Ａ及び図２Ｂにて示す接眼レンズ組立体２３０に配置された、又は接眼レンズ組立体２３０に近接した）眼球追跡センサ又はカメラを含んでよく、これは、没入型表示及び／又はロボット手術システムの使用を評価するための別の好適な測定基準として、（例えば、更に後述のように、アイリスコードの検出により）ユーザの注視を検出するため、ロボット手術システムの操作を制限するため、システムにおける制御を変更するため、没入型表示内容を修正するため、表示のうち１つにおけるＧＵＩのナビゲーションのためのユーザ入力として変換するために、安全ロックアウト又はインターロック機構用に使用されてよい。追加的に又は代替的に、眼球追跡又は瞳孔感知は、更に後述のように、ユーザの瞳孔間で検出された距離に基づいて、２つの接眼レンズ間の瞳孔間距離（ＩＰＤ）を自動的に調節するために、使用されてよい。眼球追跡はまた、いくつかの変形形態では、ロボット手術システムの延長使用中におけるなどの、ユーザの疲労レベルを監視するために、使用されてよい。

没入型表示におけるセンサの種類、センサの位置、及びセンサの機能のいくつかの具体例が上述されてきたにもかかわらず、ユーザに関する情報を捕捉するために、及び／又は、対話式ユーザ制御としてのユーザ入力を受信するために、多種多様なその他のセンサ及びセンサの種類が、追加的に又は代替的に、没入型表示の種々の構成要素（例えば、支持アーム、ハウジング）全体にわたって設置されてよい、と理解すべきである。例えば、没入型表示システムは、更に後述のように、使用のための種々のセンサ及びその他の構成要素を含んでよい。

制御装置
没入型表示は、没入型表示の挙動を制御する、制御システムを含んでよい。例えば、制御システムは、１つ以上のプロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、及び／又はその他の論理回路）を含む、１つ以上の制御装置１９００を含んでよい。制御装置１９００は、ユーザコンソール１９４０の１つ以上のその他の構成要素（例えば、手持形ユーザインターフェース装置、足踏み式ユーザインターフェース装置、開放型表示、等）と連通してよい。制御装置１９００は、ユーザの生体計測、ユーザの性能、ユーザのプロファイル等などの種々の項目をメモリ内に記憶させるための記憶装置１９３０と更に連通してよい。制御装置１９００は、支持アームを作動させるための種々のモータ１９１２を含むがこれらに限定されない、支持アームの構成要素を制御するように構成された、支持アーム制御装置１９１０、及び種々のセンサ１９１４、並びに本明細書にて記載されたようなものなどの、支持アームの任意のその他の構成要素などの、副制御モジュールと更に連通してよい。なお、制御装置１９００は、接眼レンズ組立体１９２２、センサ１９２４、モータ１９２６、及び本明細書にて記載されたようなものなどの、表示ハウジング内の任意のその他の構成要素を含むがこれらに限定されない、没入型表示のハウジングの構成要素を制御するように構成された、ハウジング制御装置１９２０と連通してよい。あるいは、制御装置１９００は、支持アーム及び／又はハウジングの構成要素と直接インターフェース接続し、これにより、支持アーム及びハウジングのための副制御モジュール１９１０及び１９２０が、それぞれ省略されてよい。

没入型ディスプレイの操作
一般に、没入型表示は、いくつかのモード又は状態のうち１つ以上にて、操作されてよい。これらのモード及び／又は任意のその他のモード間の移行は、没入型表示の（例えば、支持アーム及び／又はハウジングにおける）センサとの相互作用、及び、追加的に又は代替的に、没入型表示に関係するユーザコンソールにおけるその他の補助センサを介して、ユーザにより指示されてよい。そのようなものであるから、種々のモード間の切り換えは、例えば、状態マシン／制御装置により取り扱ってよい。

セットアップモードでは、ユーザが没入型表示システムと対話する場合に、ユーザのために没入型表示が初期化される。本モードは、例えば、関連したロボット手術システムにより実施される外科的処置の準備の間、又は外科的処置の開始時において、好適であり得る。本モードはまた、ユーザが没入型表示と係合する場合にはいつでも、初回に関して、特定の外科的処置に関して、及び／又は、いくつかの変形形態ではその後の選択された暫定時間（例えば、没入型表示の不使用期間後）にて、好適であり得る。

いくつかの変形形態では、セットアップモードは、没入型表示に搭載された安全ロックアウト又はインターロック機構により特徴づけられてよく、これにより、１つ以上のセンサが、ロボット手術システムの操作を可能にし得る。一変形形態では、１つ以上のセンサは、ロボット手術システムの操作を認証するために、ユーザを識別するように構成されてよい。例えば、このようなセンサは、ユーザのアイリスコードを検出するように構成されたカメラに組み込まれてよく、ここで、制御装置が検出されたアイリスコードを比較して、認証済ユーザに関連するデータベースにアイリスコードを記憶させ、かつ検出されたアイリスコードが認証済ユーザに関連すると応答した場合に、ロボット手術システムの操作を可能にする。独自の生体計測パラメータの検出に好適なその他のセンサには、追加的に又は代替的に、加熱特徴を検出するためのＩＲセンサ、音声認識を実施するための電子機器等などが、ユーザ識別に関して含まれる。当該ユーザがロボット手術システムの認証済ユーザであることが示されない場合、ロボット手術システムの操作をユーザが試みたとしても、没入型表示及び／又はユーザコンソールのその他の構成要素は、電源オフ、アイドリング状態、あるいは非応答状態に留まる。なお、アイリスコード検出及び認識を介してユーザを識別する際に、制御装置は、ユーザコンソールにおける座席組立体のための座席位置調節設定、好みのＧＵＩ表示等などの、ユーザに関連した事前設定及び／又は基準を読み込んでよい。

その他の変形形態では、１つ以上のセンサは、ハウジング、接眼レンズ組立体、又は没入型表示のその他の好適な部分を伴う、ユーザの顔の適切なアライメント又は位置決めを決定するように、構成されてよい。例えば、このようなセンサは、眼球追跡を実施するように構成された光学式センサであってよく、ここで、制御装置がユーザの注視を分析して、ユーザの眼が接眼レンズ組立体に対して最適な位置にあるかどうかを決定する。適切な位置決め（例えば、接眼レンズ組立体からの距離、及び／又は、横方向のアライメント）が決定された場合、制御装置は、ロボット手術システムの操作を可能にし得る。ユーザの眼が適切に位置付けられていることが示されない場合、ロボット手術システムの操作をユーザが試みたとしても、没入型表示及び／又はユーザコンソールのその他の構成要素は、電源オフ、アイドリング状態、あるいは非応答状態に留まる。追加的に又は代替的に、不適切な位置決めが存在する場合、次に、没入型表示は、自動的に調節してよい（例えば、支持アームを作動させて、増分した量だけハウジングを移動させて、誤整列を補正する）、及び／又は、ユーザに指標を提供して、没入型表示に対する自分の位置を調節してよい。没入型表示に対するユーザの存在及び／又は没入型表示に対するユーザの位置の指標を提供する、圧力センサ、距離センサ、又は温度センサ等などのその他のセンサが、追加的に又は代替的に、ハウジング（例えば、顔フレームのユーザインターフェース側上）に含まれてよい。これらのその他の種類のセンサは、例えば、追加的に利用されて、安全目的のために、眼球追跡センサにより充足性を提供してよい。

いくつかの変形形態では、セットアップモードは、２つの接眼レンズ組立体との間の眼幅（ＩＰＤ）の調節により特徴づけられて、異なるユーザ間の人体計測範囲に適応させてよい。制御装置は、眼球追跡を使用してユーザのＩＰＤを決定すること、及び接眼レンズ組立体間のＩＰＤがほぼ合致するまで、接眼レンズ組立体を近づける又は離すように作動させることなどにより、このような調整を自動的に行ってよい。追加的に又は代替的に、ＩＰＤ調整は、ノブ又は電子スイッチにより制御されるギア配置と共に、手動であってよい。一変形形態では、特定のユーザのためのＩＰＤ距離はメモリ内に記憶されてよく、またユーザ設定及びユーザ選択の一部として、データベース内のユーザプロファイルに関連付けられ、これにより、没入型表示のユーザとしてユーザが認証される又はログインする、続く時間において、制御装置は、ユーザのプロファイルを検索し得て、また接眼レンズ間のＩＰＤを自動的に調節して、ユーザのＩＰＤと適合させ得る。いくつか又は全ての、これらのユーザ設定及び選択は、追加的に又は代替的に、ユーザに適用されるアイリスコード認識に基づいて、決定されてよい。

その他の変形形態では、セットアップモードは、ユーザのプロファイル内に記憶されたユーザの設定及び選択に従った、その他の没入型表示設定の調節により、特徴づけられてよい。例えば、ユーザを識別して、記憶されたユーザのプロファイルのデータベースからユーザのプロファイルを検索した後、制御装置は、好ましい配置（例えば、ユーザ、支持アーム及びハウジングの位置に対して、左側又は右側の支持アーム配置）へと支持アームを調節してよい。

没入型表示がユーザ用にセットアップされた後、没入型表示は、ロボット手術システムに関する情報をユーザに提示する。なお、少なくとも１つのセンサ（例えば、ユーザの注視を追う眼球追跡センサ及び／若しくは圧力センサ、又はハウジング内に含まれるその他のセンサ、等）は、ユーザの頭部挙動を検出するように構成されてよく、また制御装置は、ユーザの頭部挙動を解釈し得て、ユーザの頭部挙動の解釈に従って、解釈された頭部挙動に応答し得る。眼球追跡などのその他のセンサは、その他のユーザの意図を示し得る。

いくつかの変形形態では、検出されたユーザの頭部挙動に応答して、支持アームは、ハウジングを移動させて頭部挙動を追跡するように構成されてよく、これにより、ユーザが、没入型表示のハウジングと係合しつつ、自分自身を再位置付けした場合に、支持アームがハウジングを作動させて、係合を保持する様式に従って、ハウジングを移動させる。例えば、ユーザが、自分の座席において寄りかかる、又は自分の頭部を左又は右に曲げた場合、次に、ストラップ等によりハウジングがユーザの頭部に直接連結した際に、支持アームは、ユーザの頭部を追うようにハウジングを作動させてよい。この頭部挙動の追跡は、ユーザが、没入型表示から係合解除することなく、自分の姿勢を調節することを可能にし、これにより、ユーザは、自分の姿勢をより頻繁に調節することができ、それにより、システムの人間工学的品質を向上させる。制御装置は、動きの量及び／又は速度などのパラメータに基づき、姿勢の調節に関連した頭部の動きと、意図的な係合解除に関連した頭部挙動とを区別してもよい（例えば、比較的著しくかつ迅速な頭部挙動は、没入型表示からの意図的な係合解除として解釈されてよい）。制御装置が、ユーザが没入型表示からの係合解除を希望する（例えば、開放型表示を見る、休憩をとる、等）と判断した場合、支持アームは頭部挙動の追跡を控え、かつユーザが没入型表示から離れることを許容してよい。

没入型表示はまた、任意の上述のセンサ（例えば、圧力センサ、距離センサ、接触センサ、スイッチセンサ、眼球追跡センサ、等）を使用して、システムにおける制御を変更するため、表示を修正するため、ハウジング配置又は支持アーム配置を調節するため、ロボット手術システムのその他操作等のために意図される、頭部挙動を監視してよい。例えば、ユーザの迅速な上向きの揺れは、没入型表示に表示される光景を上向きに面したカメラからの映像フィードに変更する「仮想ウィンドウ」モードの選択をもたらし得る。別の実施例として、ユーザの、左若しくは右への僅かな頭部の曲げ、及び／又は、表示アイコンにおける持続的な注視は、没入型表示若しくはその他の表示上に表示されたＧＵＩを介した、ナビゲーション（ＧＵＩ画面にわたるスワイプ、アイコンの選択、等）を可能にする。更に別の実施例として、没入型表示により感知された１つ以上のユーザ対話（頭部挙動、眼球追跡、等）の別の組み合わせは、「カメラクラッチ」モードにおける、内視鏡カメラを操作するために使用されるロボットアームと、外科用器具を操作するために使用される別のロボットアームとの間などの、異なるロボットアームの制御間でのトグル継ぎを可能にする。更に別の実施例として、没入型表示により感知された１つ以上のユーザ対話の別の組み合わせは、主要な表示として没入型表示を使用することと、主要な表示として開放型表示（例えば、図１Ｂにて示す、表示１２８）を使用することとの間でのトグルを可能にする。

いくつかの変形形態では、（所望により、別のセンサへの別の同時入力、又は、フットペダルの押下、若しくはセンサを伴うハンドル上での保持などの、クラッチとしての操作制御と組み合わされた）ユーザの意図的な方向的頭部挙動は、表示される内視鏡カメラ視野の修正をもたらし得る。例えば、クラッチを同時に作動させながら、ユーザは、カメラ視野のズームインを指示するようにリーンインし、カメラ視野のズームアウトを指示するようにリーンアウトし、自分の頭部を左若しくは右に曲げてカメラ視野を左右に動かす、又は彼の頭部を前後に傾けて、カメラ視野を前後に傾けるように、指示してよい。このようにして、ユーザは、２つの手持形ユーザインターフェース装置を保持しつつ、少なくとも３つの器具を同時に動作してよい（例えば、２つの手持形ユーザインターフェース装置により制御される２つの器具が、ユーザの２つの手により保持され、またカメラ器具は、ユーザの頭部挙動により制御される）。

しかし、制御装置は、ユーザの意図を決定するための任意の好適な様式にて、センサの種々の組み合わせからの入力を解釈し得る。なお、頭部挙動及び／又はその他の感知されたユーザ対話の種々の組み合わせが、特定の制御指示にマッピングされ、異なるユーザのためにカスタマイズされてよく、またユーザのプロファイルにおいてユーザの好みとして記憶され、没入型表示のセットアップ中に読み込まれる。

なお、図１４にて示すようないくつかの変形形態では、没入型表示は、ハウジング１４２０及びユーザの手の位置１４３０の相対的空間関係と、内視鏡カメラ１４４０及び外科用器具１４５０の相対的空間関係との間の応答を維持するための誘導を提供するように、構成されてよい。ユーザが没入型表示に係合した場合、ユーザは、手術部位における遠隔制御された外科用器具に関して、（表示された内視鏡カメラ映像フィードを介して）手術部位及び保持された手持型ユーザインターフェース装置を同時に見ることができる。ユーザが十分に正確な固有受容（例えば、ユーザの没入環境と実際の手術部位環境との間の実質的に正確な空間マッピング）を維持するために、ユーザの頭部とユーザの手との相対位置は、好ましくは、内視鏡カメラと遠隔制御された外科器具との相対位置と、実質的に同じである。この応答を維持する誘導を提供するために、没入型表示は、例えば、ユーザが、自分の手を現在のハウジング位置又は配向に位置させなければならないグラフ表示又はアイコンを、ユーザに表示してよい。このようなグラフ表示は、現在の表示画像と重ね合わされてよく、又は個別に表示（例えば、較正モード）されてよい。追加的に又は代替的に、没入型表示は、ユーザの頭部及び手が適切な関係にある場合に、（例えば、ユーザの手の再調節を提案する聴覚音声などの）音声合図、又は触覚的合図を提供して通知してよい。いくつかの変形形態では、制御装置は、ハウジング１４２０及びユーザの手の位置１４３０の相対的空間関係と、内視鏡カメラ１４４０及び外科用器具１４５０の相対的空間関係との間の好適な応答を維持するのに役立つよう、（例えば、没入型表示の調節位置の）補正調節を実行してもよい。なお、１つ以上の没入型表示構成要素（ハウジング、支持アーム、等）の位置に関係した、その他のロボット手術システム構成要素（例えば、手持形ユーザインターフェース装置、足踏み式制御部、等）に対する、その他の運動連結、付勢、及び／又はフィードバックアルゴリズムが、含まれてよい。このようなアルゴリズムは、例えば、数学的変換における最適な手−眼の共調運動因子を適用して、種々の構成要素間の関係をマップしてよい。

いくつかの変形形態では、没入型表示は、目的位置（例えば、手持形又は足踏み式ユーザインターフェース装置の位置）に対して、ユーザの手の位置及びユーザの足の位置の少なくとも１つを再位置決めするために、１つ以上の視覚的合図をユーザに提供するように構成されてよい。没入型表示からの、音声及び／又は触覚アクチュエータ合図（例えば、確定した位置的配置を示すための、顔フレームにおけるビープ又は振動）は、追加的に又は代替的に、このような目的のために提供されてよい。例えば、図１８Ａにて示すように、没入型表示は、手持形ユーザインターフェースのためのドック又は静止場所の位置などの、目的の手の位置の１つ以上のグラフ表示１８１４（例えば、バブル若しくは外郭線）に対する、１つ以上の手の位置の視覚的表現（例えば、シルエット１８２４）を示してよい。別の実施例として、図１８Ｂにて示すように、没入型表示は、手持形ユーザインターフェースのためのドック又は静止場所の位置などの、目的の手の位置の１つ以上のグラフ表示１８１４（例えば、バブル若しくは外郭線）に対する、１つ以上の足の位置の視覚的表現（例えば、シルエット１８２２）を示してよい。ユーザの手及び／又は足の位置の視覚的表現は、例えば、３Ｄカメラ若しくはセンサから得られたソースデータ、ＩＲ投影、ＬＩＤＡＲ等から誘導され、ユーザの手及び足が存在するユーザワークスペースにおいて、目的とされる。これらの視覚的グラフ表示は、既存の、主要な表示画像（例えば、カメラ視野）と重ね合っていてよい。同様の視覚的表現及びグラフ表示がまた、特定の指定位置（例えば、ユーザコンソールの構成要素上、又は没入型表示の支持アーム及び又はハウジングの指定されたフック上若しくはドッキング位置）において、手持形ユーザインターフェース装置をドックするように、ユーザに視覚的注意を提供するために、使用されてよい。

１つ以上のセンサは、追加的に又は代替的に、外科用器具の操作を行うユーザが、十分に休息をとっておりかつ禁酒していることの確認などの、座席組立体におけるユーザの能力指標を検出するように、構成されてよい。例えば、眼球追跡を実施するための光学式センサは、ユーザが睡眠不足である、又は疲労しているかどうかを（眼の動き、まばたき率等に基づいて）予測するために使用されてよい。なお、化学センサ（例えば、呼気分析計）が、エタノール追跡等に基づいた禁酒の確認に含まれてよい。これらの種類の事象は、例えば、少なくとも可聴／可視アラーム若しくはその他の警告、及び／又は、外科的処置を受ける患者を保護するために制御不能にすることを誘導し得る。

いくつかの変形形態では、没入型表示は、位置決めされる場合に、総位置決めモード及び／又は微細位置決めモードにおいて操作され得る。総位置決めモードでは、支持アーム及び／又はハウジングは、比較的多数の自由度（例えば、全ての支持アーム継手が自由に移動するように制限がない、又は、傾斜防止のみなどの、動きの僅かな制限）にて、移動可能である。対照的に、微細位置決めモードでは、支持アーム及び／又はハウジングは、総位置決めモードにおけるよりも比較的少数の自由度にて、移動可能である。例えば、微細位置決めは、支持アーム継手の一部のみを自由に移動（例えば、傾斜及び／又は高さ調節）させることができる。

ロボット手術システムの制御への特定の言及を伴って、没入型表示が本明細書に記載されているにもかかわらず、本没入型表示の特徴（例えば、人間工学的な再位置決め）は、その他の適用に対しても適切である、と理解すべきである。例えば、本支持アームは、仮想現実環境におけるゲーム及び／又は工業技術開発のためなどで、仮想現実ヘッドセットと共に使用してよい。なお、軍事目的用などの、その他の頭部搭載表示によるユーザの疲労の低減に役立つように、本明細書に記載された支持アームを使用して負荷の低減を手助けし、かつ「浮動」配置を維持して頭部搭載表示を自由に動かすことを可能にしつつ、重力バランス又は同様の重量補正を介して、頭部搭載表示の重量を支持してよい。更になお、本明細書に記載されるような没入型表示ハウジングは、本ハウジングを頭部搭載表示として使用するために、取り外しが可能（又は支持アームが省略されている）である。

前述の説明は、説明目的であり、特定の専門用語を使用して、本発明の徹底した理解を提供するものである。しかし、特定の詳細が、本発明の実施のために必ずしも必要ではないことが、当業者に明らかであろう。従って、本発明の特定の実施形態の前述の説明は、例示及び説明の目的で提示されている。それらは、発明を網羅していること又は開示された正確な形態に発明を制限することを意図するものではなく、上記の教示の観点から、明らかに多くの変更及び変形形態が可能である。本実施形態は、本発明の原理及びその実際的な用途の最良の説明を提供し、またそれにより、それらは、当業者が本発明を種々の実施形態にて、また企図される特定の用途に適するように種々の変更を行って最良に利用できるように、選択されかつ説明された。

Claims (20)

1. ロボット手術システムにおいて使用するための没入型表示であって、
   支持アームと、
   前記支持アームに取り付けられ、かつユーザの顔と係合するように構成されたハウジングと、
   前記ハウジング内に配置され、かつ三次元表示を提供するように構成された、少なくとも２つの接眼レンズ組立体と、
   前記ロボット手術システムの操作を可能にする、少なくとも１つのセンサと、を含み、
   前記支持アームが、人間工学的位置決めのために、前記ハウジングを移動させるように作動可能な、没入型表示。
2. 前記支持アームが関節構造を呈し、かつ複数の継手を備える、請求項１に記載の没入型表示。
3. 前記ハウジングに連結された少なくとも１つのシールドを更に備え、前記シールドが前記ユーザの視界の少なくとも一部を覆い隠すように構成される第１位置と、前記シールドが前記ユーザの前記視界の一部を露呈するように構成される第２位置との間で、前記シールドが移動可能である、請求項１に記載の没入型表示。
4. 前記ハウジングが、前記ユーザの前記顔に係合するように構成された、輪郭形成された顔フレームに連結される、請求項１に記載の没入型表示。
5. 前記支持アームが、前記ハウジングの第１部分に連結し、また前記顔フレームが、前記ハウジングの前記第１部分に対して移動可能である、前記ハウジングの第２部分に連結する、請求項４に記載の没入型表示。
6. 前記ハウジングに連結された少なくとも１つの補助表示を更に備える、請求項１に記載の没入型表示。
7. 少なくとも１つの前記接眼レンズ組立体が、左眼の立体視画像を表示するように構成され、また少なくとも１つの前記接眼レンズ組立体が、右目の立体視画像を表示するように構成される、請求項１に記載の没入型表示。
8. 前記センサが、前記ロボット手術システムの操作を認証するために、ユーザを識別するように構成される、請求項１に記載の没入型表示。
9. 前記ハウジングに連結され、前記ハウジングの位置を監視する、少なくとも１つの追跡装置を更に備える、請求項１に記載の没入型表示。
10. 少なくとも１つのセンサが、前記ユーザの頭部挙動を検出するように構成される、請求項１に記載の没入型表示。
11. 前記ユーザの検出された頭部挙動に応答して、前記支持アームが前記ハウジングを移動させて、前記頭部挙動を追跡する、請求項１０に記載の没入型表示。
12. 前記センサが、前記ロボット手術システムの操作のために、前記ユーザの頭部挙動を監視するように構成される、請求項１０に記載の没入型表示。
13. 前記三次元表示が、前記ロボット手術システムにて使用される内視鏡カメラからの、少なくとも１つの画像を表示するように構成される、請求項１に記載の没入型表示。
14. 前記没入型表示が、前記接眼レンズ組立体及びユーザの手の位置の相対的空間関係と、前記内視鏡カメラ及び外科用器具の相対的空間関係との間の応答を維持するための、誘導を提供するように構成される、請求項１３に記載の没入型表示。
15. 前記ユーザの頭部挙動を検出する少なくとも１つのセンサに応答して、前記三次元表示が、前記内視鏡カメラからの修正画像を表示するように構成される、請求項１３に記載の没入型表示。
16. 前方向の頭部挙動を検出するセンサに応答して、前記三次元表示が、内視鏡からのズームイン画像を表示するように構成され、また後方向の頭部挙動を検出するセンサに応答して、前記三次元表示が、前記内視鏡カメラからのズームアウト画像を表示するように構成される、請求項１５に記載の没入型表示。
17. 横方向の頭部挙動を検出するセンサに応答して、前記三次元表示が、前記内視鏡からのパンニング画像を表示するように構成され、また傾斜頭部挙動を検出するセンサに応答して、前記三次元表示が、前記内視鏡カメラからの傾斜画像を表示するように構成される、請求項１５に記載の没入型表示。
18. 前記三次元表示が、グラフィカル・ユーザ・インターフェースを表示するように構成され、また少なくとも１つのセンサが、前記グラフィカル・ユーザ・インターフェースのナビゲーションために、頭部挙動を検出するように構成される、請求項１に記載の没入型表示。
19. 前記三次元表示が、少なくとも１つの目的位置に対する、ユーザの手の位置及びユーザの足の位置のうち少なくとも１つの視覚的表現を表示するように構成される、請求項１に記載の没入型表示。
20. 前記ハウジングに連結された少なくとも１つの外部カメラを更に含み、前記外部カメラが、前記ハウジングの外部環境の少なくとも１つの画像を提供するように構成される、請求項１に記載の没入型表示。
    

Images