JP2020523102A - 滅菌野及び他の作業環境のためのユーザインターフェースシステム - Google Patents

Abstract

滅菌野及び他の作業環境のためのユーザインターフェースシステムが本明細書で開示される。いくつかの実施形態では、ユーザインターフェースシステムは、グラフィカルユーザインターフェースを、作業環境内に配設されたデータボード又は他の基材上に投影するプロジェクタを含み得る。システムはまた、データボード又は基材とのユーザ対話を検出するカメラ又は他のセンサを含み得る。検出されたユーザ対話は、作業環境の外に配設された装置とインターフェースするコントローラによって処理又は解釈され得るが、それにより、作業環境内からこのような装置とのユーザ対話が可能となる。データボードは、システムのうちの容易に滅菌され得る安価で使い捨て可能なシングルユースの構成要素、又は滅菌野において使用するために適切に準備された別の構成要素であり得る。

Description

（関連出願の相互参照）
本願は２０１７年６月８日に出願された米国仮特許出願第６２／５１６，８９７号の利益を主張するものである。この出願は参照によりその全体が本明細書に組み込まれる。

（発明の分野）
滅菌野及び他の作業環境のためのユーザインターフェースシステムが本明細書で開示され、これは例えば、作業環境内から作業環境の外に配置された機器との対話を可能にするためのものである。

コンピュータシステム、モバイルデバイス、電子機器、及び他の装置は、日常生活の一般的な部分となっており、このような装置を使用することは、多くの医療、商業、及び産業プロセスにおいて貴重なツールとなっている。このような装置の使用は、特定の作業環境においては困難であり得る。

外科手術室では、例えば、患者の感染又は他の合併症のリスクを低減するために滅菌野を維持することが重要であり得る。手術に使用されるいかなる装置も、滅菌野に持ち込まれる前に滅菌されなければならず、又は滅菌野の外に留まらなければならない。電子デバイスなどのいくつかの装置は、滅菌することが非常に困難であり、費用がかかり、あるいは時間を要することになり得る。これらの問題は、装置を滅菌野の外に維持することによって回避され得るが、そうすることにより、滅菌野内から装置と対話することが困難となる。

例えば、滅菌野内の外科医は単純にノブに触れて回転させること、ボタンを押すこと、又は装置の非滅菌部分のタッチスクリーンに触れることができない。むしろ、外科医は典型的には、滅菌野の外の装置操作者に口頭の指示又はジェスチャを与えなければならず、その装置操作者が次いで外科医の所望する装置対話を実行する。このやり取りは、外科医にとって気が散ることにもなり得、外科医は現在の作業から一時的に注意をそらすことが必要となる。また、例えば、装置操作者が装置を使用することに関して外科医と同程度に熟達していない場合、あるいは、装置操作者が外科医の要求を誤解した場合、関係者全員にとって苛立たしいことになり得る。いくつかの例では、外科医は、装置の非滅菌部分と対話するために、滅菌野から退出する。次いで、外科医は、滅菌野に再び入る前に、手、手袋、衣類などを再滅菌する面倒な手順を経なければならない。適切な手順に従った場合であっても、滅菌野から退出すること及び滅菌野に再入することは、汚染のリスクを増大させ得る。典型的には滅菌野の外に配設され、外科医が対話することを望み得る例示的な装置としては、外科用ナビゲーションシステム、画像伝送システム（Picture Archiving and Communication Systems、ＰＡＣＳ）、カメラ、電気外科用発生器、注入ポンプ、真空弁、音楽プレーヤなどが挙げられ得る。

電子ディスプレイスクリーンなどの非接触使用が可能な装置であっても、滅菌野内から使用するには不便となり得る。例えば、外科医は、ディスプレイスクリーンを見るために、自身の頭部を無理な姿勢に向けたり、患者又は外科医の手から目を離したりすることが必要となり得る。

外科手術室の環境について上述されているが、これらの課題は、除染室、湿潤環境、クリーンルーム、湿度、粉塵、振動、放射線、化学物質、温度幅、圧力、電磁干渉（ＥＭＩ）、静電放電（ＥＳＤ）を伴うエリア、及び／又は他の過酷な環境など、多くの他の作業環境にも存在し得ることが理解されよう。

これら及び他の課題を考慮すると、滅菌野及び他の作業環境のための改善されたユーザインターフェースシステムが必要とされている。

滅菌野及び他の作業環境のためのユーザインターフェースシステムが本明細書で開示される。いくつかの実施形態では、ユーザインターフェースシステムは、グラフィカルユーザインターフェースを、作業環境内に配設されたデータボード又は他の基材上に投影するプロジェクタを含み得る。システムはまた、データボード又は基材とのユーザ対話を検出するカメラ又は他のセンサを含み得る。検出されたユーザ対話は、作業環境の外に配設された装置とインターフェースするコントローラによって処理又は解釈され得るが、それにより、作業環境内からこのような装置とのユーザ対話が可能となる。データボードは、システムのうちの容易に滅菌され得る安価で使い捨て可能なシングルユースの構成要素であり得る。データボードは、作業環境内の条件に対して、又は作業環境（例えば、滅菌野）に持ち込むためにデータボードを準備するのに必要な処置（例えば、滅菌）に対して、敏感であり得る電子機器又は他の構成要素を含まなくてもよい。他の実施形態では、しかしながら、データボードは、滅菌野での使用のために好適に準備された電子構成要素（例えば、電子ペーパー画面、液晶画面、タブレットコンピュータなど）を含み得る。

いくつかの実施形態では、ユーザインターフェースシステムは、基材が配設される作業環境の画像をキャプチャするように構成されたカメラと、キャプチャされた画像から、作業環境の基材の位置及び向き、並びに位置及び向きの変化を判定するコントローラと、基材上に投影画像を投影するプロジェクタであって、投影画像又は投影画像の位置は、基材の判定された位置又は向きの変化に応答して、コントローラによって調節される、プロジェクタと、を含んでもよく、コントローラは、キャプチャされた画像から、ユーザが基材と対話しているかどうか及びどのように対話しているかを更に判定する。

作業環境は、外科手術室内の滅菌野を含み得る。基材は、データボードを含み得る。データボードは、一意の識別子を含むことができる。データボードは位置マーカーを含むことができる。データボードは、静的な非投影型のユーザインターフェース要素を含むことができる。いくつかの実施形態では、データボードは電子機器を含まない。基材は、患者の皮膚表面、手袋、又は無菌包帯を含んでもよい。基材は外科用器具を含んでもよい。投影画像は、外科用器具が所定の軌道に沿って配設されているかどうかに関するインジケータを含んでもよい。投影画像は、外科用器具若しくはその一部分、又は外科用器具に連結されたインプラントが、所定の手術部位に隣接しているか、又は手術部位の線引きされた近接範囲内にあるかに関するインジケータを含んでもよい。投影画像は、グラフィカルユーザインターフェースを含んでもよい。投影画像は、アクセスデバイスを通して患者に挿入されたカメラからのカメラフィードを含んでもよい。投影画像は、いくつかの実施形態では、警告又はエラーメッセージを含む情報の表示を含んでもよい。投影画像は、被制御装置の一部の表示又はその一部から受信された情報を含んでもよい。コントローラは、グラフィカルユーザインターフェースとのユーザ対話に応答して、作業環境の外に配設された装置を制御してもよい。コントローラは、グラフィカルユーザインターフェースとのユーザ対話に応答して、作業環境内に配設された装置を制御してもよい。

いくつかの実施形態では、ユーザインターフェースの方法は、基材が配設されている作業環境の１つ以上の画像をキャプチャすることと、コントローラを用いて、キャプチャされた１つ以上の画像から基材の位置及び向きを判定することと、検出された位置及び向きに基づいて、基材上に投影画像を投影することと、コントローラを用いて、キャプチャされた１つ以上の画像に基づいて、ユーザが基材と対話しているかどうか及びどのように対話しているかを判定することと、を含んでもよい。

本方法は、コントローラを用いて、コントローラによって判定されたとおりの基材とのユーザ対話に基づいて、作業環境の外に配設された装置を制御することを含んでもよい。本方法は、コントローラを用いて、コントローラによって判定されたとおりの基材とのユーザ対話に基づいて、作業環境内に配設された装置を制御することを含んでもよい。本方法は、基材の位置又は向きの変化を検出し、それに応じて投影画像の位置又は向きを調節することを含んでもよい。ユーザ対話は、ハンドジェスチャ又はスタイラスの使用を含んでもよい。

手術室で使用されているユーザインターフェースシステムの概略図である。 図１のユーザインターフェースシステムの例示的なデータボード及びデータボードと対話するユーザの斜視図である。 図１のユーザインターフェースシステムのコントローラの概略的ハードウェア図である。 図３のコントローラの機能ブロック図である。 図１のシステムを使用する例示的な方法を示すフローチャートである。 患者に対するデータボード及び関連する可視化平面を示す。 患者に対する可視化平面の位置を調節するために、患者に対して図６Ａのデータボードの位置を調節しているところを示す。 患者に対するデータボード及び関連する可視化平面を示す。 患者に対する可視化平面の向きを調節するために、患者に対して図６Ｃのデータボードの向きを調節しているところを示す。

滅菌野及び他の作業環境のためのユーザインターフェースシステムが本明細書で開示される。いくつかの実施形態では、ユーザインターフェースシステムは、グラフィカルユーザインターフェースを、作業環境内に配設されたデータボード又は他の基材上に投影するプロジェクタを含み得る。システムはまた、データボード又は基材とのユーザ対話を検出するカメラ又は他のセンサを含み得る。検出されたユーザ対話は、作業環境の外に配設された装置とインターフェースするコントローラによって処理又は解釈され得るが、それにより、作業環境内からこのような装置とのユーザ対話が可能となる。データボードは、システムのうちの容易に滅菌され得る安価で使い捨て可能なシングルユースの構成要素であり得る。データボードは、作業環境内の条件に対して、又は作業環境（例えば、滅菌野）に持ち込むためにデータボードを準備するのに必要な処置（例えば、滅菌）に対して、敏感であり得る電子機器又は他の構成要素を含まなくてもよい。他の実施形態では、しかしながら、データボードは、滅菌野での使用のために好適に準備された電子構成要素（例えば、電子ペーパー画面、液晶画面、タブレットコンピュータなど）を含み得る。

以下に、本明細書で開示する装置及び方法の構造、機能、製造、及び使用の原理の全体的な理解が得られるように、特定の例示的な実施形態を説明する。これらの実施形態のうちの１つ以上の実施例が、添付の図面に例示されている。当業者であれば、本明細書で詳細に説明され、添付の図面に例示される装置及び方法は、非限定的で例示的な実施形態である点を理解するであろう。１つの典型的な実施形態に関連して例示又は説明される特徴は、他の実施形態の特徴と組み合わせることができる。

図１は、例示的なユーザインターフェースシステム１００を示している。このシステムは、プロジェクタ１０２と、カメラ又はセンサ１０４と、データボード又は基材１０６と、コントローラ１０８とを含み得る。使用中、カメラ１０４は、作業環境（例えば、図示のような手術室の滅菌野）の画像をキャプチャすることができる。コントローラ１０８は、キャプチャされた画像内のデータボード１０６を検出することができ、また滅菌野内のデータボードの位置及び向きを判定することができる。コントローラ１０８は、それによって滅菌野内のデータボード１０６の移動を追跡することができる。この位置及び向きの情報を知らされると、コントローラ１０８はプロジェクタ１０２を制御して、画像をデータボード１０６上に投影することができる。投影された画像は、データボードが作業環境内で移動される際に、データボード１０６と共に移動し得る。コントローラ１０８はまた、ユーザ又はユーザの一部分（例えば、ユーザの手、指、指先など）、外科用器具、外科用インプラント、ユーザによって保持されたスタイラス又は他の器具など、キャプチャされた画像内の他の対象物を検出することもできる。コントローラ１０８は、検出された対象物の情報から、ユーザがデータボード１０６上に投影されたインターフェースと対話しているかどうか又はどのように対話しているか、及び器具又はインプラントが患者に対してどのように動かされているかなどを判定することができる。

いくつかの実施形態では、データボード１０６のみが作業環境内に配設される。プロジェクタ１０２、カメラ１０４、及びコントローラ１０８のうちの１つ以上が作業環境から隔離され得る。このような隔離は、処置的であっても、物理的であっても、それ以外であってもよい。例えば、このような構成要素は、手術室内に配設されることによって、処置的に隔離され得るが、滅菌野内に存在しないように、非滅菌又は非接触の構成要素として指定され得る。更なる例として、このような構成要素は、例えば、作業環境から離れて配置されること、作業環境に対して物理的障壁の反対側に配設されることなどによって、作業環境から物理的に隔離され得る。

プロジェクタ１０２は、プロジェクタがコントローラから画像又は映像信号を受信することができる入力ポートによって、コントローラ１０８に動作可能に連結され得る。プロジェクタ１０２は、光源と、受信した画像又は映像信号に基づいてデータボード１０６上に画像を投影するためのレンズシステムとを含むことができる。プロジェクタ１０２は、投影が方向付けられるべき標的位置を示す制御信号をコントローラ１８０から受信することができる。したがって、プロジェクタ１０２は、例えば、作業環境内でのデータボード１０６の移動に基づいて、投影画像の位置及び／又は向きをシフトするように構成され得る。プロジェクタ１０２は、調節可能なレンズシステム（例えば、焦点距離、レンズ角度、レンズ位置）を有してもよく、ジンバル、ガントリ、若しくは他の可動マウントシステム上に取り付けられてもよく、又は別様に、データボードが作業環境内で移動する際にデータボード１０６上へ投影画像を照準することを容易にするように構成されてもよい。プロジェクタ１０２は、データボード１０６よりもはるかに大きい画像を投影するように構成されてもよく、また、データボードの現在の場所及び／又は向きに対応する画素のみをアクティブ化するように制御されてもよい。このような構成では、プロジェクタ１０２及び／又はレンズシステムは、作業環境内に固定されてもよいが、依然としてデータボード１０６上に投影画像を「照準する」ことができる。

カメラ又はセンサ１０４は、作業環境の様々な属性を検出するように構成されてもよい。例えば、カメラ又はセンサ１０４は、データボード１０６の位置及び／又は向きを検出するように構成されてもよい。別の例として、カメラ又はセンサ１０４はまた、ユーザ又はユーザの一部分（例えば、ユーザの手、指、指先など）、外科用器具、外科用インプラント、ユーザによって保持されたスタイラス又は他の器具などの位置及び／又は向きを検出するように構成されてもよい。カメラ１０４は、作業環境の画像をキャプチャすることができ、この画像は、データボード１０６、ユーザ、又はキャプチャされた画像内の他の対象物を認識する処理及びそのような対象物がどのように作業環境内で移動しているか又は配置されているかをそのような情報に基づいて判定する処理のためにコントローラ１０８に通信され得る。ＲＧＢカメラ、ＲＧＢ−Ｄカメラ、赤外線カメラ、ステレオカメラなどを含む、様々なカメラ又はカメラシステムのいずれかが使用され得る。例示的なＲＧＢカメラには、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔカメラ及びＭｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ Ｖ２カメラが挙げられる。カメラ又はセンサ１０４は、カメラと撮影画像の各画素又は領域との間の距離を判定するために、構造化光、飛行時間、又は当該技術分野において既知の他の手法を用い得る。この情報は、カメラ１０４とデータボード１０６との間、カメラとユーザとの間などの距離を判定するために、コントローラ１０８によって、認識された対象物の情報と組み合わされ得る。

データボード又は基材１０６は、様々な形態を取ることができ、プロジェクタ１０２によって投影された光を反射するように構成され得る。データボード１０６は、安価なシングルユースの使い捨て品であってもよい。データボード１０６は、可撓性であってもよい。データボード１０６は、紙、プラスチック、厚紙、金属、又はこれらの組み合わせから形成され得る。データボード１０６は、例えば、蒸気浴、放射線、及び他の既知の技術を介して、効率的かつ非破壊的な滅菌が可能であり得る。データボード１０６は、いくつかの実施形態では電子部品を含まなくてもよく、他の実施形態では、電子構成要素が利用されてもよい（例えば、電子ペーパーディスプレイなどのより単純なディスプレイから液晶ディスプレイ及びタブレットコンピュータまで）。

データボード１０６は、部分的に又は完全に透明であってもよい。いくつかの実施形態では、データボード１０６は、とりわけ、ユーザがデータボード１０６の透明性を動的に制御することを可能にし得る電子ペーパー又は液晶ディスプレイを含み得る。これにより、データボード１０６が作業環境（例えば、患者、外科用器具など）内の関心対象物の上に配置され、データボード上に投影される画像が、関心対象物を著しく不明瞭にすることなく、拡張現実又はヘッドアップディスプレイ効果をもたらす使用事例が可能となり得る。データボード１０６が関心対象物の上に置かれると、データボード１０６は、データボード１０６の１つ以上の透明なセクションを通して関心対象物を観察するために、データボード１０６の能動的な透過閲覧を可能にし得る。いくつかの実施形態では、データボード１０６は、神経、器官、及び／又は他の関心対象物などの身体構造の輪郭を描くことができ、それにより、データボードが身体構造の上に配置されると、ボードは、関心対象物の見え方を不明瞭にしないように少なくとも部分的な透明性を維持しながら、身体構造の輪郭を表示することができる。

データボード１０６は、ホログラフィーフィルムでコーティングされてもよく、又は光反射及び投影画像の改善された表示を円滑にするための様々な他の表面コーティング又は処理を含み得る。データボード１０６は、作業環境内で自由に移動可能であり得る。データボード１０６は、作業環境内の患者若しくは他の表面上に載置されてもよく、又は移動可能な支持アーム、例えば外科用ロボットのアーム上に取り付けられてもよい。

専用のデータボード１０６が示されているが、他の構成では、ユーザインターフェースは、患者（例えば、患者の皮膚又は外科的に露出した解剖学的要素）、患者を覆う外科用ドレープ、器具（例えば、外科医によって保持される）、外科医又は他のユーザによって着用される手袋（単数又は複数）、滅菌包帯、ブルーラップ、インプラント、手術台、ホワイトボード、又は作業環境内の任意の他の表面など、他の基材上に投影されることができる。

図２は、システム１００で使用され得る例示的なデータボード１０６を示す。

データボード１０６は、位置マーカー１１０を含み得る。位置マーカー１１０は、キャプチャされた画像内のデータボード１０６の位置マーカーの認識を容易にするために、既知のサイズ、形状、又は他の特徴を有する記号又は画像であり得る。単一の位置マーカー１１０が示されているが、データボード１０６は、例えば、各端部に１つといった複数のマーカーを含んでもよい。複数のマーカー１１０の使用により、追跡精度、視野、又は冗長性が改善され得る。

位置マーカー１１０の構造及び操作は、使用されるナビゲーションシステムの種類に応じて異なり得ることが理解されるであろう。いくつかの実施形態では、位置マーカー１１０は、光ナビゲーションシステム、例えばロボットナビゲーションシステムと共に使用するための、１つ以上の球体形状又は他の基準を含み得る。基準は、互いに対して所定の位置及び向きで配置され得る。基準は、互いに直交する平面内に位置するように位置合わせされて、デカルト座標系を定め得る。基準は、ナビゲーションシステムの視野内に配置されてもよく、またナビゲーションシステムによってキャプチャされた画像内で識別されてもよい。例示的な基準としては、赤外線反射器、ＬＥＤ、球面反射マーカー、点滅ＬＥＤ、拡張現実マーカーなどが挙げられる。位置マーカー１１０は、慣性測定ユニット（inertial measurement unit、ＩＭＵ）、加速度計、ジャイロスコープ、磁力計、他のセンサ、又はこれらの組み合わせであってもよく、又はそれらを含んでもよい。センサは、位置及び／又は向き情報をナビゲーションシステムに、例えば、ナビゲーションシステムの処理ユニットに送信することができる。

位置マーカー１１０はナビゲーションシステムによって検出されてもよく、ナビゲーションシステムと通信してもよく、又は、データボード１０６及びその下にある解剖学的構造の位置及び／又は向きがナビゲーションシステムに登録され、ナビゲーションシステムによって追跡されるようにするため、別様にナビゲーションシステムに動作可能に連結されてもよい。位置マーカー１１０は、例えば、データボードの全体寸法又は境界に対して既知の、データボード１０６上の既知の位置を有し得る。位置マーカー１１０は、カメラ１０４に対する位置マーカーの向きが位置マーカーの補足画像から判定され得るように、非対称的であってもよい。位置マーカー１１０は、データボード１０６に接着されても、データボード上に印刷されても、又は別様にデータボードに固着若しくは付着されてもよい。いくつかの実施形態では、データボード１０６の形状自体が、データボードの位置を示す位置マーカー１１０として機能し得る。位置マーカー１１０は、後述するように、データボード１０６の位置及び／又は向きを判定するために、あるいは作業環境内でかつ／又はカメラ１０２に対してデータボードを追跡するために使用され得る。

データボード１０６は一意の識別子１１２を含むことができる。一意の識別子１１２は、特定のデータボード又はデータボードの特定のグループを一意に識別するＱＲコード、バーコード、シリアル番号、ＩＤ番号、又は他のマーキング若しくはタグであり得る。一意の識別子１１２は、コントローラ１０８によって読み取り可能なＲＦＩＤタグであってもよい。コントローラ１０８は、キャプチャされた画像内のデータボード１０６の一意の識別子１１２を認識し、一意の識別子から、作業環境において実行されているタスクに関連する情報を判定することができる。例えば、一意の識別子１１２は、ネットワーク接続サーバ、クラウドストレージなどのデータベースから情報を取得するためにコントローラ１０８によって使用され得るルックアップキーとして機能することができる。一意の識別子１１２に基づいてコントローラ１０８によって取得され得る例示的な情報としては、患者の名前、患者の年齢、患者の性別、患者の誕生日、患者のＩＤ、患者の画像（例えば、術前スキャン、ＣＴ、ＭＲ、Ｘ線、又はＰＥＴ画像）、ＰＡＣＳ画像、術前計画、外科用在庫リスト、外科用チェックリスト又は技術ガイドなどが含まれ得る。一意の識別子１１２はまた、データボード１０６が以前に使用されているかどうかを判定するために使用されてもよく、その場合、コントローラ１０８は、データボードの使用を拒否し、それによって単回使用ポリシーを強いるように構成されてもよい。

データボード１０６は、静的な又は非投影型のインターフェース要素１１４を含んでもよい。例えば、図示されたデータボード１０６は、静的アップ／ダウンスクロールバー１１４を含む。例示的な静的インターフェース要素１１４には、スクロールバー、ボタン、キーボード、トラックパッド、スライダ、ラジオボタン、テキストボックス、チェックボックス、アイコンなどを挙げることができる。

データボード１０６は、投影されたインターフェース要素１１６を含んでもよい。例えば、図示されたデータボード１０６は、プロジェクタ１０２によってデータボード上に投影された「ホーム」ボタン１１６の画像を含んでいる。投影される例示的なインターフェース要素１１６には、スクロールバー、ボタン、キーボード、トラックパッド、スライダ、ラジオボタン、テキストボックス、チェックボックス、アイコンなどを挙げることができる。

データボード１０６は、図示のように、患者のＸ線画像などの他の投影されたコンテンツ１１８を含んでもよい。

データボード１０６は、任意の多様な形状又は外形を有し得る。データボード１０６は、凹部又は凸部を有し得る。凹部又は凸部は、例えば投影画像を向上させるために、プロジェクタ位置に関連し得る。

コントローラ１０８は、カメラ１０４及びプロジェクタ１０２に動作可能に連結され得る。コントローラ１０８は、カメラ１０４によってキャプチャされた画像内のデータボード１０６を検出することができ、作業環境内のデータボードの位置及び向きを判定することができる。コントローラ１０８は、それによって、作業環境内でのデータボード１０６の移動を追跡することができる。この位置及び向きの情報により知らされると、コントローラ１０８はプロジェクタ１０２を制御して、画像をデータボード上に投影することができる。投影された画像は、データボードが作業環境内で移動される際に、データボード１０６と共に移動し得る。コントローラ１０８はまた、ユーザ又はユーザの一部分（例えば、ユーザの手、指、指先など）、外科用器具、外科用インプラント、ユーザによって保持されたスタイラス又は他の器具など、キャプチャされた画像内の他の対象物を検出することもできる。コントローラ１０８は、検出された対象物の情報から、ユーザがデータボード１０６上に投影されたインターフェースと対話しているかどうか又はどのように対話しているか、及び器具又はインプラントが患者に対してどのように動かされているかなどを判定することができる。コントローラ１０８は、被制御装置１２０の１つ以上の部分に動作可能に連結されたバックエンドを含んでもよく、それにより、コントローラは、データボード１０６とのユーザの対話に基づいて装置と対話することができる。コントローラ１０８が対話し得る例示的な被制御装置１２０には、外科用ナビゲーションシステム、ＰＡＣＳ（画像伝送システム）、カメラ、電気外科用発生器、注入ポンプ、真空弁、音楽プレーヤなどが挙げられ得る。被制御装置１２０は、作業環境の外に配設され得る（例えば、作業環境から処置的又は物理的に隔離され得る）。被制御装置１２０は、代替的に、作業環境内に配設されてもよく、又は被制御装置は、作業環境内に配設される装置と、作業環境の外に配設される装置とを含んでもよい。

図３は、コントローラ１０８の例示的な実施形態の物理的構成要素のブロック図を示す。本明細書には例示的なコントローラ１０８が図示及び説明されているが、これは一般概念及び便宜のためであることが理解されるであろう。他の実施形態では、コントローラ１０８は、本明細書で図示及び説明されるものとはアーキテクチャ及び動作が異なる場合がある。コントローラ１０８は、タブレットコンピュータ、モバイルデバイス、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータ、クラウドベースのコンピュータ、サーバコンピュータ、上記のうちの複数などであり得る。

図示されたコントローラ１０８は、例えば、組み込みソフトウェア、オペレーティングシステム、デバイスドライバ、アプリケーションプログラムなどを実行することによってコントローラの動作を制御するプロセッサ１２２を含み得る。プロセッサ１２２は、プログラム可能な汎用若しくは専用プロセッサ、及び／又は様々な私有若しくは市販のシングル若しくはマルチプロセッサシステムのいずれかを含む、任意の種類のマイクロプロセッサ又は中央処理装置（ＣＰＵ）を含み得る。本明細書で使用するとき、プロセッサという用語は、マイクロプロセッサ、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡ、ＰＩＣ、内部又は外部メモリ又はレジスタからプログラム命令を読み取り、解釈するプロセッサなどを指すことができる。コントローラ１０８は、プロセッサ１２２によって実行されるコード又はプロセッサによって処理されるデータのための一時的な又は永久的な記憶装置となり得るメモリ１２４を含んでもよい。メモリ１２４は、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）の１つ以上の種類、及び／又はメモリ技術の組み合わせを含むことができる。コントローラ１０８の様々な構成要素は、任意の１つ以上の個別の配線、物理バス、通信回線などを介して相互接続され得る。

コントローラ１０８は、通信インターフェース又はＩ／Ｏインターフェースなどのインターフェース１２６を含んでもよい。通信インターフェースは、コントローラ１０８がネットワーク又は通信バス（例えば、ユニバーサルシリアルバス）を介して遠隔デバイス（例えば、他のコントローラ又はコンピュータシステム）と通信することを可能にし得る。Ｉ／Ｏインターフェースは、１つ以上の入力デバイス、１つ以上の出力デバイス、及びコントローラ１０８の様々な他の構成要素間の通信を円滑にすることができる。例示的な入力装置としては、カメラ１０４、プロジェクタ１０２、タッチスクリーン、機械式ボタン、キーボード、及びポインティングデバイスが挙げられる。例示的な出力装置には、カメラ１０４、プロジェクタ１０２、電子表示画面、及びスピーカが含まれる。コントローラ１０８は、不揮発性方式及び／又は非一時的な方式でデータを記憶するための任意の従来式媒体を含み得るストレージデバイス１２８を含み得る。ストレージデバイス１２８はしたがって、永続的状態でデータ及び／又は命令を保持することができる（すなわち、その値は、コントローラ１０８への電力の中断にもかかわらず保持される）。ストレージデバイス１２８は、１つ以上のハードディスクドライブ、フラッシュドライブ、ＵＳＢドライブ、光学ドライブ、様々なメディアディスク若しくはカード、及び／又はこれらの任意の組み合わせを含むことができ、コントローラ１０８のその他の構成要素に直接接続されても、通信インターフェースを介するなどして遠隔接続されてもよい。コントローラ１０８は、ディスプレイ１３０を含んでもよく、またその上に表示されることになる画像を生成することができる。いくつかの実施形態では、ディスプレイ１３０は、真空蛍光ディスプレイ（ＶＦＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は液晶ディスプレイ（ＬＣＤ）であり得る。コントローラ１０８は、電源１３２と、適切な調整及び調節回路とを含み得る。例示的な電源としては、ポリマーリチウムイオン電池などの電池、又はコントローラ１０８をＤＣ若しくはＡＣ電源（例えば、ＵＳＢアダプタ若しくはウォールアダプタ）に連結するためのアダプタが挙げられる。

コントローラ１０８によって実行される様々な機能は、１つ以上のモジュールによって実行されるものとして論理的に説明され得る。このようなモジュールは、ハードウェア、ソフトウェア、又はそれらの組み合わせで実現され得ることが理解されるであろう。ソフトウェアで実現される場合、モジュールは、単一のプログラム又は１つ以上の個別のプログラムの一部とすることができ、様々なコンテキスト（例えば、組み込みソフトウェアパッケージ、オペレーティングシステム、デバイスドライバ、スタンドアロンアプリケーション、及び／又はそれらの組み合わせの一部として）実現できることが更に理解されるであろう。更に、１つ以上のモジュールを具現化するソフトウェアが、１つ以上の非一時的コンピュータ可読記憶媒体上の実行可能プログラムとして記憶され得る。特定のモジュールによって実行されるものとして本明細書に開示される機能はまた、任意の他のモジュール又はモジュールの組み合わせによって実行されてもよく、またコントローラは、本明細書に示され説明されるものよりも少数又は多数のモジュールを含んでもよい。１つ以上のモジュールが、カメラ１０４によって、プロジェクタ１０２によって、別のデバイスによって、又はそれらの組み合わせによって実装され得る。

図４は、コントローラ１０８の例示的な一実施形態のモジュールの概略図である。

コントローラ１０８は、データボード識別モジュール１３４を含み得る。データボード識別モジュール１３４は、データボード１０６のキャプチャされた１つ以上の画像を受信することができ、画像内のデータボードの一意の識別子１１２を認識することができる。代替的に又は追加的に、データボード識別モジュール１３４は、ＲＦＩＤリーダー又はコントローラ１０８に連結された他のデバイスから一意の識別子を受信してもよい。判定されると、固有識別子は、上述のように、データボード１０６、作業環境、又は作業環境内の対象物に関する様々な情報を取得するために、コントローラ１０８によって使用され得る。

コントローラ１０８は、データボード追跡モジュール１３６を含んでもよい。データボード追跡モジュール１３６は、基準、例えばカメラ１０４の座標系、又は作業環境の座標系に対するデータボード１０６の位置及び／又は向きを判定することができる。データボード追跡モジュール１３６は、位置及び／又は向きの変化を判定することができる。

データボード追跡モジュール１３６は、カメラ１０４によってキャプチャされた作業環境の画像を受信することができる。データボード追跡モジュール１３６は、キャプチャされた画像内のデータボード１０６又はその一部分、例えば位置マーカー１１０を検出することができる。カメラ１０４が鳥瞰図において作業環境の上方に位置付けられる典型的な構成では、作業環境のＸ軸及びＹ軸に沿ったデータボード１０６の位置決めは、キャプチャされた画像全体内のデータボードの位置によって決定され得る。作業環境のＺ軸に沿ったデータボード１０６の位置決めは、データボードとカメラ１０４との間の距離に基づいて決定され得る。キャプチャされた画像は、例えば、ＲＧＢ−Ｄカメラによってキャプチャされた画像の場合、明示的な距離情報を含み得る。カメラ画像データが必ずしも明示的な距離情報を含まない実施形態では、画像内の位置マーカー１１０又はデータボード１０６のサイズ、位置マーカー又はデータボードの縁部又は他の特徴部のサイズ又は角度などを判定することによって、奥行が計算又は推測され得る。

データボード１０６のピッチ及びヨー（例えば、Ｘ軸及びＹ軸の周りの回転）は、データボード画像の複数の点に対して、対カメラ距離の情報を比較することによって判定され得る。位置マーカー又はデータボード画像の１つの領域と別の領域との間における対カメラ距離の差は、データボード１０６がカメラに向かう方向又はカメラから離れる方向に傾斜されていること、及びその傾斜の方向を示し得る。データボード１０６のロール（例えば、Ｚ軸の周りの回転）は、キャプチャされた画像内の位置マーカー１１０又はデータボード１０６の２Ｄ配向を、物理的データボード上の位置マーカーの所定の２Ｄ配向と比較することによって判定され得る。

データボード追跡モジュール１３６は、経時的にキャプチャされた複数のカメラ画像を比較して、上記パラメータのいずれかにおける変化、すなわち、データボード１０６の位置及び／又は向きの変化を判定及び追跡することができる。

データボード追跡モジュール１３６はしたがって、例えば、リアルタイムで又は実質的にリアルタイムで、データボード１０６の位置及び／又は向きを追跡することができる。

コントローラ１０８は、投影制御モジュール１３８を含んでもよい。投影制御モジュール１３８は、データボード１０６上に投影されるべき画像データをプロジェクタ１０２に送信し得る。画像データは、データボード１０６の判定された位置及び／又は向きに基づいてコントローラ１０８によって調節され得る。代替的に又は追加的に、例えば、投影画像をデータボード１０６上に方向付けるため、データボード上のみに画像を投影するため、及び／又はプロジェクタに対するデータボードのなんらかの傾斜又は回転に対して投影画像を補正するため、投影制御モジュール１３８は、プロジェクタ１０２に制御信号を送信して投影画像の場所及び／又は向きを制御してもよい。

例えば、データボード追跡モジュール１３６が、データボード１０６がＸ又はＹ方向にシフトされたと判定すると、投影画像はＸ又はＹ方向において対応する程度にシフトされ得る。別の例として、データボード追跡モジュール１３６が、データボード１０６がＺ方向にシフトされたと判定すると、投影画像は、データボードの移動と一致するように、それに従ってスケーリングされ得る。別の例として、データボード追跡モジュール１３６が、データボード１０６がＺ軸を中心に回転されたと判定すると、投影画像はそれに従って回転され得る。更に別の例として、データボード追跡モジュール１３６が、データボード１０６が傾斜されたと判定すると、投影画像が傾斜されたデータボードに歪みなく正確にマッピングされるように、台形補正アルゴリズムが画像データに適用され得る。

したがって、投影制御モジュール１３８は、データボードが作業環境内で１つ以上の自由度で移動する際に、データボード１０６上の正確な投影画像を維持することができる。投影画像は、リアルタイムで又は実質的にリアルタイムで、データボードの動きに追従することができる。

コントローラ１０８は、入力検出モジュール１４０を含み得る。入力検出モジュール１４０は、ユーザがデータボード１０６と対話しているかどうか及びどのように対話しているかを、カメラ１０４によってキャプチャされた画像データから判定することができる。例えば、入力検出モジュール１４０は、カメラ１０４によってキャプチャされた画像内のユーザ又はユーザの一部分を識別するために、様々な既知の画像処理ルーチンを使用することができる。例示的な画像処理ルーチンとしては、エッジ検出、ブロブ検出などが挙げられる。いくつかの実施形態では、ユーザは、キャプチャされた画像内のユーザの指の識別を容易にするために、所定の色又はパターンを有する手袋を着用してもよい。明示的な対カメラ距離情報を有する画像の場合、入力検出モジュール１４０は、ユーザの指とデータボード１０６との間における対カメラ距離の差を計算することができる。対カメラ距離の差が閾値量を下回る場合、入力検出モジュール１４０は、ユーザの指がデータボード１０６に接触していると判定することができる。明示的な対カメラ距離情報を必ずしも含まない画像の場合、入力検出モジュール１４０は、ユーザがデータボード上でタップしていると判定するために、ユーザの指がデータボード１０６の上に重ねられたときに、指のＺ方向の移動を探してもよい。ユーザの指がデータボード１０６と接触していると判定されている間のユーザの指のＸ又はＹ位置の変化は、入力検出モジュール１４０によって、スワイプ、ピンチ、ドラッグ、又は他の入力ジェスチャとして解釈され得る。システムと対話するためのハンドジェスチャの使用が概して上述されているが、ユーザが代替的に又は追加的にスタイラス又は他の器具を使用してシステムと対話し得ることが理解されよう。例えば、ユーザは、図らずもその時点で保持している任意の器具を使用してシステムと対話することができる。システムと対話するための専用スタイラス又は他の器具の場合、そのスタイラス又は器具は、使い捨て型又は再使用型であってよく、また電子機器を含んでもよく、又は電子機器を含まなくてもよい。

いくつかの実施形態では、データボード１０６は、ユーザの視点及び／又は場所、例えば、仮想現実追跡に基づいて制御され得る。ユーザは、観察者の動的な視点を制御するために、目の動き又は頭部の位置及び／若しくは向きの変化を使用して、データボード１０６と対話することができる。例えば、位置マーカー１１０は、ユーザの頭部上にあるか、又はそれに関連する位置に、固定されるか、配置されるか、又は別様に固着され得る。頭部の動き、傾き、又は他の位置の変化は、ユーザが見ている視点を変化させ得る。いくつかの実施形態では、頭の位置の変化は、画面上の二次元レンダリングの視点を三次元で現れるように変更するために、以下で更に説明するように、クリッピング平面の視点を制御し得る。患者の位置、データボード１０６、及びユーザの頭部の位置を知ると、レンダリングされた斜視図により、ユーザは、関心の対象、例えば患者の解剖学的構造の三次元斜視図を見ることが可能となる。いくつかの実施形態では、目の動きを考慮するために、眼鏡、コンタクトレンズなどの上に位置マーカー１１０が配置されて、視点が追跡及び／又は制御され得る。他の実施形態では、ユーザの目の動きを監視及び追跡するために、１つ以上のカメラが使用され得る。例えば、ユーザの眼の位置及びその注視の方向を監視するために、ＲＧＢ及び赤外線カメラのいずれかが利用され得る。頭部の位置及び目の動きを追跡するために、複数のユーザに位置マーカーを配置することによって、観察者の動的な視点の変化が複数のユーザに対して追跡され得ることが理解されるであろう。いくつかの実施形態では、そのような追跡されるユーザのそれぞれは、自身の追跡される頭部の位置、注視の方向などに基づいて固有の視点を提供する、画像を投影された自身のデータボード１０６を有し得る。

コントローラ１０８は、グラフィカルユーザインターフェースモジュール１４２を含んでもよい。グラフィカルユーザインターフェースモジュール１４２は、グラフィカルユーザインターフェースを表す画像データを生成することができる。画像データは、投影制御モジュール１３８に通信されて、データボード１０６上に投影され得る。入力検出モジュール１４０によって検出されたユーザ入力は、それらの入力をユーザインターフェースに適用し、それに応じてユーザインターフェースを更新することができるグラフィカルユーザインターフェースモジュール１４２に通信され得る。例えば、データボード１０６上に投影されたボタンの上でのユーザのクリック又はタップジェスチャを検出すると、グラフィカルユーザインターフェースモジュール１４２は、ボタンクリックに関連付けられたイベントハンドラを実行して、例えば、ボタンに関連付けられたダイアログボックスを表示するか、又はボタンに関連付けられた装置１２０を制御することができる。グラフィカルユーザインターフェースモジュール１４２は、データボード１０６上に投影するためのユーザインターフェース制御部を提示することができ、制御部は、コントローラ１０８が動作可能に連結されている装置１２０の制御部に対応している。

投影された制御部とユーザが対話するとき、グラフィカルユーザインターフェースモジュール１４２は、被制御装置１２０の一部と対話するように出力モジュール１４４に命令することができる。例えば、出力モジュール１４４は、制御装置１０８に動作可能に連結された装置１２０に対話を適用するための制御信号を生成することができる。例えば、ナビゲーションシステム、ＰＡＣＳなど、コントローラ１０８が連結されているデジタル装置１２０の一部分の設定変更を生じさせるために、信号ライン上の電圧がトグルされ得る。

更に、ユーザがデータボード上に投影されたグラフィカルユーザインターフェースを介して機器を制御することを可能にするために、データボード１０６上に表示される情報は、（例えばメニューなどを介した）データボード１０６とのユーザの対話、及び／又は他の機器との物理的な対話に基づいて動的に更新され得る。例えば、データボード１０６は、ユーザが直接タッチする又はグラフィカルユーザインターフェース内で選択する任意の装置に対し、データボード１０６上のナビゲーション設定を示すことによって、三次元ナビゲーションのためのセットアップ又は較正手順の間に利用されてもよい。このような技術は、器具の動作パラメータにも同様に適用され得る。例えば、ユーザが、特定の機器又はその一部分を直接的に、又はグラフィカルユーザインターフェース内で（例えば、計器の投影画像上のメニュー選択又は直接選択を介して）タッチすると、器具の様々な設定がデータボード１０６上に投影され、ユーザがそのような設定を見ること及び／又は調節することが可能となる。例えば、ユーザは、バールツールの遠位部分に直接タッチするか、あるいはデータボード１０６上に投影されたツールの画像のバールにタッチして、バール速度などに関する調整可能な設定と共に提示させてもよい。関連データを動的に表示し、データボード１０６（又は、インターフェースが投影されるあらゆる場所、例えば、患者に掛けられた外科用ドレープなど）上にユーザ制御インターフェースを提供する能力は、処置で利用される任意の器具に適用され得る。これにより、ユーザは、滅菌野内の任意の器具の設定にアクセスし、調整することが可能となり得る。

図５は、システム１００を使用する例示的な方法を示している。工程Ｓ１では、例えばカメラ１０４を使用して、作業環境の１つ以上の画像がキャプチャされ得る。工程Ｓ２では、キャプチャされた画像が使用されて、基材、例えば、データボード１０６の位置及び／又は向きが判定され得る。位置及び／又は向きは、カメラ１０４に対して、作業環境に対して、あるいは何らかの他の基準フレームに対して判定され得る。工程Ｓ３では、投影画像が基材上に投影され得る。例えば、プロジェクタ１０２が使用されて、データボード１０６上にグラフィカルユーザインターフェースが投影され得る。投影画像は、基材の判定された位置及び／又は向きと協調して移動され、スケーリングされ、角度付けされ、又は別様に調節され得る。工程Ｓ４では、基材とのユーザの対話が判定され得る。例えば、コントローラ１０８は、キャプチャされた画像を処理して、例えば、タッチ、タップ、スワイプ、スライド、ドラッグ、ピンチ、又は他の入力ジェスチャを適用することによってユーザが基材１０６と対話しているかどうかを判定することができる。工程Ｓ５では、工程Ｓ４で検出されたユーザ対話に基づいて装置が制御され得る。例えば、コントローラ１０８は、投影されたグラフィカルユーザインターフェースとのユーザ対話に基づいて、作業環境の外に配設された装置１２０を制御することができる。いくつかの実施形態では、コントローラ１０８は、そのような情報をグラフィカルユーザインターフェース上に投影することによって、装置１２０に関連付けられたエラー又は警告メッセージを表示することができる。他の実施形態では、エラー又は警告などの情報は、通知を確実にするために、手術部位の周囲にパターン又は他のインジケータを投影することによって、ユーザに伝達され得る。そのような通知は、例えば、データボード１０６上に投影されたグラフィカルユーザインターフェースを介して伝達されるより詳細な情報を伴い得る。

システム１００は、外科の環境において使用され得る。例えば、データボードは、患者及び外科医に近接して滅菌野内に配置され得る。外科医は、データボード上に投影されたグラフィカルユーザインターフェースと対話することができる。外科医は、被制御装置の種々の部分に関連付けられた種々のタブをスクロール又はクリックすることができる。各タブは、装置を調節するための又は装置と対話するためのグラフィカルユーザインターフェース制御部を含んでもよい。

データボードは、患者データ又はＰＡＣＳシステムにリンクされたＱＲコードを含んでもよい。フルオロショット（fluoro shot）又は他の患者画像がキャプチャされるとき、それは、Ｃアーム又は撮像デバイスに入力された患者ＩＤによって患者データとリンクされてもよく、また外科医によって参照されるために、データボード上に自動的に表示されてもよい。外科医は、脊椎手術における角度補正などの単純な解剖学的測定値を取るために、データボードと対話することができる。外科医は、データボードと対話して、患者の解剖学的構造の３Ｄデータセット表現を操作することができる。カメラ１０４は、手術部位内の固有のインプラントを認識するために使用されてもよく、システムは、例えば患者データベースにある患者ＩＤにそれらのインプラントをリンク又は関連付けることができる。

データボードが上述されているが、システム１００はまた、他の表面又は対象物上に情報を投影することができる。例えば、情報は、ユーザによって着用又は使用される外科用顕微鏡、眼鏡、ルーペなどの観察源（図示せず）上に投影されてもよい。一意の識別子１１２は、患者のドレープ又は患者に対する別の場所に取り付けることができ、それにより、システム１００に対する患者の位置及び／又は向きが規定され得る。入力検出モジュール１４０は、カメラ１０４によってキャプチャされた画像内のユーザ又はユーザの一部分を識別して、処置中に用いられているユーザの手又は外科用ツールの位置、並びに、患者及び他の構成要素、例えば、その上に投影された情報を有し得るデータボード又はドレープの位置を判定することができる。システム１００は、これらの他の構成要素に対する患者の相対的な位置及び／又は向きを判定することができ、グラフィカルユーザインターフェースモジュール１４２は、画像を患者の解剖学的構造と同期させるために、データボード１０６などの基材の代わりに、又はそれに加えて、観察源上に画像又は他のデータを投影することができる。投影画像は患者の上に重ね合わされてもよく、いくつかの実施形態では、投影画像は、観察源を通して患者を見ることができるように、透明であってもよいことが理解されるであろう。更に、投影画像は、ユーザのすぐ前に配されることもなく、又は患者に重ねられることもなく、ユーザの視野内に表示されてもよい。いくつかの実施形態では、警告、エラーメッセージなどの情報は、ユーザが十分に通知されることを確実にするために、パターン、並びに他の警報、音、点滅光などを介して手術部位全体に投影されてもよい。これらの警告はまた、エラー、警告などの性質をユーザに通知するために、データボード１０６上により詳細に投影されてもよい。

いくつかの実施形態では、システム１００は、外科用ナビゲーションシステムから入力を受信することができ、また外科医によって使用されている器具上にナビゲーションフィードバックを投影することができる。例えば、システムは、器具が所定の目標軌道と位置合わせされたときに、器具上に第１のインジケータ、例えば、緑色の円を投影してもよい。システムは、器具が所定の目標軌道から逸脱したときに、第２のインジケータ、例えば、赤色の文字「Ｘ」を器具上に投影してもよい。システムは、器具の現在の先端の方向又は向きを示すために、インジケータ、例えば、矢印又は三角形を器具上に投影することができる。上述のインジケータは、器具のハンドル、器具のシャフト、又は器具の任意の他の部分上に投影されてよい。別の外科用ナビゲーションシステムが上述されているが、システム１００はまた、統合されたナビゲーションシステムを含んでもよく、又は他の患者参照源からの入力を受信してもよい。

いくつかの実施形態では、システム１００は、事前に計画された処置を実行するために使用されてもよい。例えば、外科的環境において、システム１００は、手術前計画ソフトウェア、例えば、Ｓｕｒｇｉｍａｐに接続され得る一方で、作業環境の外で、実行される処置の計画をマッピングすることができる。次いで、計画が作業環境内の基材１０６上に投影されて、処置が実施され得る。システム用途のいくつかの非限定的な例としては、外科用ツールの所定の軌道の設定、外科用ツールの軌道の補正、使用される手術用具のリストアップなどを挙げることができる。いくつかの実施形態では、ユーザが上述のタッチ及び／又はハンドジェスチャを用いてチェックリストの項目をチェックし、それらを進めることを可能にするために、計画は、システム１００が基材１０６上に投影し得るチェックリストを含んでもよい。

システム１００は、外科用アクセス装置の作業チャネル内に配設された内視鏡又は小型カメラなどの外科用カメラの出力をデータボード上に投影することができる。データボード１０６はまた、作業チャネルに対するカメラの場所についてユーザに通知するための、カメラ用のナビゲーション画面を示すことができる。システム１００は、例えば、着色ハイライト又は他のインジケータをカメラフィードにおいて検出された神経又は他の繊細な構造の上に投影することによって、あるいはカメラフィードの上に測定スケールを投影することによって、表示されるカメラフィード、並びに、統合された装置に由来するフィードを増強することができる。いくつかの実施形態では、データボード１０６は、タブレットコンピュータ又は他のディスプレイ上に同様に表示され得る他の任意のものと共に、システムによって取得されたＥＫＧ若しくはＥＣＧ及び／又は他の神経モニタリング測定値を表示することができる。システム１００は、患者の仮想的な解剖学的構造が患者の物理的な解剖学的構造と整列するように画像が調節されることを確実にするため、データボード１０６及び患者の位置及び／又は向きの情報を用い得ることが理解されるであろう。

ユーザによるデータボードの物理的移動は、ユーザ入力ジェスチャとして解釈され得る。例えば、データボードは、移動に従ってデータボード上に表示されるデータボード分割３Ｄデータの移動によって、クリッピング平面のように機能することができる。図６Ａ〜図６Ｄは、データボード上に表示される可視化平面１４８（例えば、患者の３Ｄデータモデル内の可視化平面）を変化させるために、データボード１０６が患者１４６に対して動かされる例を示している。図６Ａ及び図６Ｂに示されるように、患者１４６に対するデータボード１０６の位置を調節することは、比例する量又は等しい量だけ可視化平面１４８の位置を調節するのに有効であり得る。例えば、矢印によって示されるように、データボード１０６を患者１４６に向かって移動させることにより、可視化平面１４８は患者の中へとより深く移動することになり得る。同様に、図６Ｃ及び図６Ｄに示されるように、患者１４６に対するデータボード１０６の向きを調節することは、比例する量又は等しい量だけ可視化平面１４８の向きを調節するのに有効であり得る。例えば、矢印によって示されるように、データボード１０６の一方の側を患者１４６に向かって傾けることにより、可視化平面１４８も同様に傾くことになり得る。

タブレットコンピュータが使用され得る用途では、データボードは、タブレットコンピュータに完全に代わるものとなり、作業環境内に電子部品又は敏感な構成要素を配置する必要が排除され得る。タブレットコンピュータを含む実施形態では、タブレットコンピュータは、作業環境で使用されるように、滅菌ドレープ又はカバーに袋詰め又は包装されてもよい。ユーザは、上述のように、ユーザが受動的データボードと対話し得る方法と同様の方式で、手術環境内のタブレットと対話して外科作業を実施することができる。システムは、表示される患者の解剖学的構造の視点を変化させ、外科用ツールを追跡するなどするため、タブレットコンピュータを追跡することができる。処置の完了時に、タブレットコンピュータは、必要に応じて、作業環境から取り出され、滅菌され、再使用され得る。

受動的データボードを利用する実施形態では、システム１００は、作業環境内にいかなる電子機器も配置する必要なく、作業環境内に対話型タッチスクリーンユーザインターフェースを提供することができる。

システム１００は、作業環境内で実行されるワークフローに関連して使用され得る多くの異種のシステムと対話するための単一のユーザインターフェースを提供することができる。外科手術室の場合、ユーザは、全てデータボードを介して、滅菌野内又は滅菌野の外の多くの異なるシステムと対話することができる。データボードは、術前フィルムを表示し、ＰＡＣＳ上で測定を行い、滅菌野の外のデバイスの設定を調節し、外科用ナビゲーションシステム及びそのユーザインターフェースと対話し、患者に直接近接させて又は外科医の視線内に、デジタル情報のディスプレイを配置するなどするために使用され得る。

上記の説明若しくは添付図面において表現された又は示唆された方法工程の任意の順序は、開示された方法を、その順序で工程を実施することに限定するものと解釈すべきではないことに留意すべきである。むしろ、本明細書で開示された方法のそれぞれの様々な工程は、任意の様々な順序で行うことができる。更に、説明された方法は、例示的な実施形態に過ぎず、追加の工程を含む、又はより少ない工程を含む、様々な他の方法もまた本開示の範囲内である。

本明細書に開示する装置は、様々な既知の材料のうちのいずれかから構成されることができる。例示的な材料としては、例えば、ステンレス鋼、チタン、ニッケル、コバルトクロム、又はそれらの合金及び組み合わせのような金属、ＰＥＥＫなどのポリマー、セラミックス、炭素繊維などを含む、外科用途で使用するのに適した材料が挙げられる。本明細書で開示された装置の様々な構成要素は、剛性又は可撓性であり得る。装置の１つ以上の構成要素又は部分は、蛍光透視法及び他の画像処理技法の下での視覚化を容易にするために、放射線不透過性材料から形成することができ、又は他の構造物の可視化を干渉しないように放射線透過性材料から形成することができる。例示的な放射線透過性の材料としては、炭素繊維及び高強度のポリマーが挙げられる。

本明細書で開示された装置及び方法は、低侵襲手術及び／又は切開手術で用いることができる。本明細書で開示された装置及び方法は、概して、ヒト患者の脊椎手術の文脈において説明されているが、本明細書で開示された方法及びデバイスは、ヒト対象又は動物対象の任意の種類の手術において、手術以外の用途において、無生物に対してなどで用いられ得ることが理解されるであろう。

以上、特定の実施形態を記載したが、記載された概念の趣旨及び範囲内で多くの変更がなされ得る点を理解されたい。

〔実施の態様〕
（１） ユーザインターフェースシステムであって、
基材が配設される作業環境の画像をキャプチャするように構成されたカメラと、
キャプチャされた前記画像から、前記作業環境内の前記基材の位置及び向き、並びに前記位置及び向きの変化を判定するコントローラと、
前記基材上に投影画像を投影するプロジェクタであって、前記投影画像又は前記投影画像の位置は、前記基材の判定された前記位置又は向きの変化に応答して、前記コントローラによって調節される、プロジェクタと、を備え、
前記コントローラは、前記キャプチャされた画像から、ユーザが前記基材と対話しているかどうか及びどのように対話しているかを更に判定する、システム。
（２） 前記作業環境は外科手術室内の滅菌野を含む、実施態様１に記載のシステム。
（３） 前記基材はデータボードを含む、実施態様１に記載のシステム。
（４） 前記データボードは一意の識別子を含む、実施態様３に記載のシステム。
（５） 前記データボードは位置マーカーを含む、実施態様３に記載のシステム。

（６） 前記データボードは、静的で非投影型のユーザインターフェース要素を含む、実施態様３に記載のシステム。
（７） 前記データボードは電子機器を含まない、実施態様３に記載のシステム。
（８） 前記基材は、患者の皮膚表面、手袋、又は無菌包帯を含む、実施態様１に記載のシステム。
（９） 前記基材は外科用器具を含む、実施態様１に記載のシステム。
（１０） 前記投影画像は、前記外科用器具が所定の軌道に沿って配設されているかどうかに関するインジケータである、実施態様９に記載のシステム。

（１１） 前記投影画像は、前記外科用器具若しくはその一部分、又は前記外科用器具に連結されたインプラントが、所定の手術部位に隣接しているか、又は前記手術部位の線引きされた近接範囲内にあるかに関するインジケータである、実施態様９に記載のシステム。
（１２） 前記投影画像はグラフィカルユーザインターフェースを含む、実施態様１に記載のシステム。
（１３） 前記投影画像は、アクセスデバイスを通して患者に挿入されたカメラからのカメラフィードを含む、実施態様１に記載のシステム。
（１４） 前記投影画像は、被制御装置の一部の表示又は前記一部から受信された情報を含む、実施態様１に記載のシステム。
（１５） 前記コントローラは、前記グラフィカルユーザインターフェースとのユーザ対話に応答して、前記作業環境の外に配設された装置を制御する、実施態様１に記載のシステム。

（１６） 前記コントローラは、前記グラフィカルユーザインターフェースとのユーザ対話に応答して、前記作業環境内に配設された装置を制御する、実施態様１に記載のシステム。
（１７） ユーザインターフェースの方法であって、
基材が配設されている作業環境の１つ以上の画像をキャプチャすることと、
コントローラを用いて、キャプチャされた前記１つ以上の画像から前記基材の位置及び向きを判定することと、
検出された前記位置及び向きに基づいて、前記基材上に投影画像を投影することと、
前記コントローラを用いて、前記キャプチャされた１つ以上の画像に基づいて、ユーザが前記基材と対話しているかどうか及びどのように対話しているかを判定することと、を含む、方法。
（１８） 前記コントローラを用いて、前記コントローラによって判定されたとおりの前記基材とのユーザ対話に基づいて、前記作業環境の外に配設された装置を制御することを更に含む、実施態様１７に記載の方法。
（１９） 前記コントローラを用いて、前記コントローラによって判定されたとおりの前記基材とのユーザ対話に基づいて、前記作業環境内に配設された装置を制御することを更に含む、実施態様１７に記載の方法。
（２０） 前記基材の前記位置又は向きの変化を検出し、それに応じて前記投影画像の前記位置又は向きを調節することを更に含む、実施態様１７に記載の方法。

（２１） 前記ユーザ対話は、ハンドジェスチャ又はスタイラス若しくは他の器具の使用を含む、実施態様１７に記載の方法。

Claims (21)

1. ユーザインターフェースシステムであって、
   基材が配設される作業環境の画像をキャプチャするように構成されたカメラと、
   キャプチャされた前記画像から、前記作業環境内の前記基材の位置及び向き、並びに前記位置及び向きの変化を判定するコントローラと、
   前記基材上に投影画像を投影するプロジェクタであって、前記投影画像又は前記投影画像の位置は、前記基材の判定された前記位置又は向きの変化に応答して、前記コントローラによって調節される、プロジェクタと、を備え、
   前記コントローラは、前記キャプチャされた画像から、ユーザが前記基材と対話しているかどうか及びどのように対話しているかを更に判定する、システム。
2. 前記作業環境は外科手術室内の滅菌野を含む、請求項１に記載のシステム。
3. 前記基材はデータボードを含む、請求項１に記載のシステム。
4. 前記データボードは一意の識別子を含む、請求項３に記載のシステム。
5. 前記データボードは位置マーカーを含む、請求項３に記載のシステム。
6. 前記データボードは、静的で非投影型のユーザインターフェース要素を含む、請求項３に記載のシステム。
7. 前記データボードは電子機器を含まない、請求項３に記載のシステム。
8. 前記基材は、患者の皮膚表面、手袋、又は無菌包帯を含む、請求項１に記載のシステム。
9. 前記基材は外科用器具を含む、請求項１に記載のシステム。
10. 前記投影画像は、前記外科用器具が所定の軌道に沿って配設されているかどうかに関するインジケータである、請求項９に記載のシステム。
11. 前記投影画像は、前記外科用器具若しくはその一部分、又は前記外科用器具に連結されたインプラントが、所定の手術部位に隣接しているか、又は前記手術部位の線引きされた近接範囲内にあるかに関するインジケータである、請求項９に記載のシステム。
12. 前記投影画像はグラフィカルユーザインターフェースを含む、請求項１に記載のシステム。
13. 前記投影画像は、アクセスデバイスを通して患者に挿入されたカメラからのカメラフィードを含む、請求項１に記載のシステム。
14. 前記投影画像は、被制御装置の一部の表示又は前記一部から受信された情報を含む、請求項１に記載のシステム。
15. 前記コントローラは、前記グラフィカルユーザインターフェースとのユーザ対話に応答して、前記作業環境の外に配設された装置を制御する、請求項１に記載のシステム。
16. 前記コントローラは、前記グラフィカルユーザインターフェースとのユーザ対話に応答して、前記作業環境内に配設された装置を制御する、請求項１に記載のシステム。
17. ユーザインターフェースの方法であって、
    基材が配設されている作業環境の１つ以上の画像をキャプチャすることと、
    コントローラを用いて、キャプチャされた前記１つ以上の画像から前記基材の位置及び向きを判定することと、
    検出された前記位置及び向きに基づいて、前記基材上に投影画像を投影することと、
    前記コントローラを用いて、前記キャプチャされた１つ以上の画像に基づいて、ユーザが前記基材と対話しているかどうか及びどのように対話しているかを判定することと、を含む、方法。
18. 前記コントローラを用いて、前記コントローラによって判定されたとおりの前記基材とのユーザ対話に基づいて、前記作業環境の外に配設された装置を制御することを更に含む、請求項１７に記載の方法。
19. 前記コントローラを用いて、前記コントローラによって判定されたとおりの前記基材とのユーザ対話に基づいて、前記作業環境内に配設された装置を制御することを更に含む、請求項１７に記載の方法。
20. 前記基材の前記位置又は向きの変化を検出し、それに応じて前記投影画像の前記位置又は向きを調節することを更に含む、請求項１７に記載の方法。
21. 前記ユーザ対話は、ハンドジェスチャ又はスタイラス若しくは他の器具の使用を含む、請求項１７に記載の方法。

Images