JP2020515891A

JP2020515891A - 仮想環境における訓練および共同作業のためのシステムおよび方法

Info

Publication number: JP2020515891A
Application number: JP2019552005A
Authority: JP
Inventors: ゲリ，アロン，ヤコブ; アヴィサル，モルデチャイ
Original assignee: サージカルシアターエルエルシー
Priority date: 2017-03-24
Filing date: 2018-03-23
Publication date: 2020-05-28
Also published as: IL269521A; US20200038119A1; EP3593344A4; WO2018175971A1; CN109643530A; TW201835878A; EP3593344A1

Abstract

共同作業を支援するためのシステムは、内容物を格納するためのデータベースを含む。このシステムは、複数の頭部搭載ディスプレイをさらに含む。このシステムは、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読有形ストレージ装置と、１つまたは複数のプロセッサのうちの少なくとも１つのプロセッサにより実行されるために１つまたは複数のストレージ装置のうちの少なくとも１つのストレージ装置上に格納されたプログラムモジュールと、を含むコンピュータサーバを、さらに含む。これらのプログラムモジュールは、データベースから内容物を取得するための第１プログラムモジュールを含む。これらのプログラムモジュールは、複数の頭部搭載ディスプレイに内容物を同期的に送達するための第２プログラムモジュールをさらに含む。これらのプログラムモジュールは、内容物に対する相互作用を表現するデータを受け取るための第３プログラムモジュールをさらに含む。これらのプログラムモジュールは、受け取られた相互作用に基づいて複数の頭部搭載ディスプレイに更新済み内容物を同期的に送達するための第４プログラムモジュールをさらに含む。【選択図】図３

Description

関連出願の相互参照
本願は２０１７年３月２４日に出願された米国仮特許出願整理番号第６２／４７６２５９号の優先権を主張するものであり、米国仮特許出願整理番号第６２／４７６２５９号の全体は参照することにより本願に援用される。

本開示は、訓練および共同作業の分野に関し、さらに詳細には、仮想環境における訓練および共同作業のためのシステムおよび方法に関する。

特定の手術手順は複雑であり得、したがって特定的な訓練、大規模な計画、および準備を要求し得る。例えば、脳動脈瘤修復手術などの高リスク手術の過程において、執刀医が動脈瘤エリアにアプローチするために組織を押し、切除するにつれて、脳組織の絶対方向は顕著に変化させられる。さらに、動脈瘤修復などの手術は、動脈瘤エリアに対して一時的に血管をクランプする様々な処置のために、時間的に極めて大きい制約を受ける。したがって、処置の確度および効率は極めて重要であり、患者の特定的な局所的幾何学的形状および動脈瘤の物理的特性に基づく綿密な計画が必須である。

参照することにより本願に組み込まれる米国特許出願第８，３１１，７９１号において以前に説明された、手術リハーサルおよび準備ツールは、静的なＣＴおよびＭＲＩ医用画像を、リアルタイムで医療処置をシミュレートするために医師により使用可能である、動的かつ相互作用的な多次元全球形仮想現実６自由度モデル（「ＭＤ６ＤＭ」）に変換するために、開発された。ＭＤ６ＤＭは、医師が全球形仮想現実環境において介入の経験、計画、実施、およびナビゲートを実行することを可能にする、グラフィカルシミュレーション環境を提供する。特にＭＤ６ＤＭは、全容積球形仮想現実モデルにおける６つの自由度（すなわち、並進のｘ、ｙ、ｚと、角度のヨー、ピッチ、ロール）を与える、従来の２次元患者医療スキャンから構築された他に類を見ない多次元モデルを使用して、外科医がナビゲートする能力を提供する。

ＭＤ６ＤＭは、ＣＴ、ＭＲＩ、ＤＴＩ、その他を含む患者自身の医用画像のデータセットから構築され、患者固有のものである。Ａｔｌａｓデータなどの代表的な脳モデルは、外科医の希望に応じて、部分的に患者固有のモデルを作るために統合され得る。このモデルはＭＤ６ＤＭ上の任意の地点からの３６０度球形ビューを与える。ＭＤ６ＤＭを使用すると、観察者は仮想的に解剖学的組織の内部に位置することとなり、あたかも患者の身体内部に立っているかのように、解剖学的構造および病理学的構造の両方を閲覧および観察することが可能である。観察者は、上下方向および肩越しに見ることなどが可能であり、患者の体内で見られるように正確に互いに対して本来の構造を見るであろう。内部構造間の空間的関係が保存され、ＭＤ６ＤＭを使用して評価されることが可能である。

ＭＤ６ＤＭのアルゴリズムは、医用画像情報を取り込み、係る医用画像情報を、球形モデルへと、すなわち、解剖学的構造体の内部を「飛行」しながら、任意の角度から観察可能である完全に連続的なリアルタイムモデルへと構築する。特に、ＣＴ、ＭＲＩ、その他が、実際の臓器を取り込み、その取り込み結果を、数千の地点から構築された数百の薄いスライスに分解した後、ＭＤ６ＤＭはそれを、内部および外部の両方からそれらの地点の３６０度ビューを表すことにより、それを３Ｄモデルに戻す。

複数の医療専門家、学生、および他の関係者が、係る外科訓練および準備に共同作業という形態で参加することは望ましいものとなり得る。上述の手術リハーサルおよび準備ツールなどのツールは、複数の関係者の係る共同作業を効率的かつ効果的に支援する能力は有し得ない。

共同作業を支援するためのシステムは、内容物を格納するためのデータベースを含む。このシステムは、複数の頭部搭載ディスプレイをさらに含む。このシステムは、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読有形ストレージ装置と、１つまたは複数のプロセッサのうちの少なくとも１つのプロセッサにより実行されるために１つまたは複数のストレージ装置のうちの少なくとも１つのストレージ装置上に格納されたプログラムモジュールと、を含むコンピュータサーバを、さらに含む。これらのプログラムモジュールは、データベースから内容物を取得するための第１プログラムモジュールを含む。これらのプログラムモジュールは、複数の頭部搭載ディスプレイに内容物を同期的に送達するための第２プログラムモジュールをさらに含む。これらのプログラムモジュールは、内容物に対する相互作用を表現するデータを受け取るための第３プログラムモジュールをさらに含む。これらのプログラムモジュールは、受け取られた相互作用に基づいて複数の頭部搭載ディスプレイに更新済み内容物を同期的に送達するための第４プログラムモジュールをさらに含む。

共同作業を支援するための方法は、コンピュータがデータベースから内容物を取得することを含む。この方法は、コンピュータが複数の頭部搭載ディスプレイに同期的に内容物を送達することをさらに含む。これの方法は、コンピュータが、内容物との相互作用を表現するデータを受け取ることをさらに含む。この方法は、コンピュータが、受け取られた相互作用に基づいて複数の頭部搭載ディスプレイに更新済み内容物を同期的に送達することをさらに含む。

共同作業を支援するためのシステムは、複数の頭部搭載ディスプレイを含む。このシステムは、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読有形ストレージ装置と、１つまたは複数のプロセッサのうちの少なくとも１つのプロセッサにより実行されるために１つまたは複数のストレージ装置のうちの少なくとも１つのストレージ装置上に格納されたプログラムモジュール、すなわちプログラムモジュールと、を含むコンピュータサーバを、さらに含む。これらのプログラムモジュールは、仮想環境を表現するデータ内容物を受け取るための第１プログラムモジュールを含む。これらのプログラムモジュールは、複数の頭部搭載ディスプレイに内容物を同期的に送達するための第２プログラムモジュールをさらに含む。これらのプログラムモジュールは、仮想環境における運動を表現するデータを受け取るための第３プログラムモジュールを含む。これらのプログラムモジュールは、運動に関連付けられた仮想環境のビューの更新済みパースペクティブに基づいて複数の頭部搭載ディスプレイに更新済み内容物を同期的に送達するための第４プログラムモジュールをさらに含む。

添付の図面では、以下で提供される詳細な説明とともに、請求される発明の典型的な実施形態を説明する構造が図示される。同様の要素は、同じ参照番号を用いて特定される。単一の構成要素として示される要素は、複数の構成要素と置き換えられ得ること、および複数の構成要素として示される要素は単一の構成要素と置き換えられ得ること、が理解されるべきである。これらの図面は必ずしも縮尺が一定であるとはかぎらず、特定の要素の比率は例示目的のために誇張される場合がある。

例示的な仮想スタジアムシステムを示す図である。例示的な仮想ＳＮＡＰコンピュータを示す図である。例示的な仮想スタジアムシステムを示す図である。例示的な仮想スタジアムにおける例示的な仮想手術室を示す図である。例示的な仮想スタジアムシステムを示す図である。例示的な仮想スタジアムシステムを示す図である。例示的な仮想３Ｄモデルディスプレイを示す図である。

以下の頭文字および定義は、詳細な説明を理解する上での一助となるであろう。

ＡＲ−拡張現実−要素が音、ビデオ、またはグラフィックなどのコンピュータにより生成された感覚要素により強化された物理的かつ現実世界の環境のライブビュー。

ＶＲ−仮想現実−様々な度合いにおいて人により調査および相互作用されることが可能である３次元のコンピュータにより生成された環境。

ＨＭＤ−頭部搭載ディスプレイは、ＡＲまたはＶＲの環境において使用が可能であるヘッドセットを指す。これは有線式またはワイヤレス式であり得る。ＨＭＤは、ヘッドフォン、マイクロフォン、ＨＤカメラ、赤外線カメラ、ハンドトラッカー、ポジショントラッカー、その他などの１つまたは複数のアドオンも含み得る。

コントローラ−ボタンおよび方向コントローラを有する装置。これは有線式またはワイヤレス式であり得る。この装置の例としては、Ｘｂｏｘゲームパッド、ＰｌａｙＳｔａｔｉｏｎゲームパッド、オキュラスタッチ、その他が挙げられる。

ＳＮＡＰケース−ＳＮＡＰは、ＤＩＣＯＭファイルフォーマットにおいて患者の１つまたは複数のスキャン（ＣＴ、ＭＲ、ｆＭＲ、ＤＴＩ、その他）を使用して作られた３Ｄテクスチャまたは３Ｄオブジェクトを指す。これは、３Ｄテクスチャにおいて特定範囲にフィルタ処理を施し、他の範囲に着色を施すためのセグメント化の異なるプリセットも含む。これは、対象となる特定の地点または解剖学的組織をマークするための３Ｄ形状、３Ｄラベル、３Ｄ測定マーカ、案内のための３Ｄ矢印、および３Ｄ手術ツールを含む、シーン内に配置される３Ｄオブジェクトも含み得る。手術ツールおよび装置は、教育および患者固有のリハーサルのために、特に、動脈瘤クリップの寸法を適切に決定するために、モデル化されてきた。

アヴァター−アヴァターは仮想環境内のユーザを表す。

ＭＤ６ＤＭ−多次元全球形仮想現実６自由度モデル。これは、医師が全球形仮想現実環境において介入の経験、計画、実施、およびナビゲーションを実行することを可能にする、グラフィカルシミュレーション環境を提供する。

仮想環境における訓練および共同作業を支援するためのシステムおよび方法が本明細書で説明される。このシステムは、複数のユーザ（指導員および参加者を含む）が、仮想環境内の多様な種類の内容物とリアルタイムで相互作用することを可能にする。内容物は、例えば、患者全身の３Ｄモデル、臓器の３Ｄモデル、仮想手術室、および仮想ライブラリを含み得る。指導員は例えば、３Ｄ患者モデルの周囲を移動し、患者の３Ｄ身体の内部に進入し、より細かく検査するために３Ｄモデル臓器を取り上げ、仮想手術室の周囲を移動し、仮想手術室の内部において仮想手術手順を実施し、または、仮想ライブラリにおける内容物に対して関与し得る。指導員が内容物をナビゲートするにつれて、参加者が指導員に随行して、学習および共同作業することが可能となるよう、参加者には、指導員に対して同期的に同一の内容物が示される。参加者は、各参加者が、指導員および他の参加者とともに依然として随行している間に、一意的かつ個人的なパースペクティブおよび経験を有することができ得るよう、個々のアヴァターとして表現されて、内容物の周囲および内容物の内部の移動に関してある程度の自律性が与えられ得る。指導員は、訓練および共同作業セッションの間に、覚え書きを書き、図面を追加し、可聴注解を提供するなどを行い得、参加者はこれらをリアルタイムで見ることが可能である。

訓練および共同作業のための仮想環境（以後、「仮想スタジアム」または「ＶＲスタジアム」と呼ぶ）１１４を可能にする仮想スタジアムシステム１００が図１に示されている。仮想スタジアム１１４は、指導員ならびに相互から学習するために、さらには特定問題を解決するために共同作業するためにも、複数の人が仮想スタジアム１１４内で相互作用することを可能にする。例えば医師または他の指導員は特定の医療処置に関してユーザを訓練するために仮想スタジアム１００内の学生と相互作用し得る。医師は、患者の治療に関して共同作業するために、仮想スタジアム１００内の他の医師または他の専門医とも相互作用し得る。

ＶＲスタジアムシステム１００は、ＶＲスタジアム１１４を生成し支援するハードウェア上で実行可能であるハードウェアおよび専用ソフトウェアを含むＶＲスタジアムサーバ１０２を含む。特にＶＲスタジアムサーバ１０２は、ＨＭＤ１０４を介して、１名または複数名のユーザ１０６ａ〜１０６ｇ（以後、ユーザ１０６と呼ぶ）に内容物を送達するために、および、ユーザ１０６からデータを受け取るために、１つまたは複数の頭部搭載ディスプレイ１０４ａ〜１０４ｇ（以後「ＨＭＤ」１０４と呼ぶ）と通信する。ＶＲスタジアムサーバ１０２は、ＨＭＤ１０４に送達するために、ＶＲスタジアムデータベース１０８から内容物を取得する。

ＶＲスタジアムデータベース１０８から取得された内容物が、多様な種類の医療状態および手順に関して訓練および共同作業を実施するための任意の好適な種類の内容物を含み得ることは、理解されるべきである。この内容物は、例えば２０１０年１０月１９日に出願され、かつ、参照することにより本願に援用される米国特許第８，３１１，７９１号に記載の医療撮像手順を介して、１名または複数名の特定患者から取得された臓器または他の組織の画像および医療パラメータを含み得る。同特許では、特定患者の医用画像（例えばＣＴスキャン、ＭＲＩ、Ｘ線、その他）が、隣接組織およびあらゆる欠陥とともに当該特定患者の実際の臓器の実形状画像に変換されることが説明されている。この内容物は、患者において実際の医療処置を実施するために医師により使用される実際の手術ツールまたは他の医療ツールの画像およびパラメータも含み得る。特に、内容物がＨＤＭ１０４に送達されると、ユーザ１０６のグループは、全員が同一の仮想スタジアム１１４内に入り込んでいる間、可視化し、議論し、入力を提供し、フィードバックを受け取り、相互から学習し得る。

１つの事例では、指導員１０６ｇなどの首席ユーザまたは先導ユーザは、議論または訓練のセッションを先導するために、送達された内容物と相互作用すること、および送達された内容物を通してナビゲートすること、に関する制御を与えられ得る。係る事例では、他のユーザ１０６の全員はＨＤＭ１０４を介して指導員１０６ｇと同一のパースペクティブから同一の内容物を見る。指導員１０６ｇは、仮想内容物を通してナビゲートするために指導員１０６ｇが使用するハンドヘルド型コントローラ１１０を有する。指導員１０６ｇが、仮想内容物および仮想オブジェクトをナビゲートおよび操作するために、ジェスチャを使用して、または任意の他の好適な手段を使用して、仮想内容物を通してナビゲートし得ることも理解すべきである。指導員以外のユーザ１０６は（ユーザ１０６の一部または全員は指導員１０６ｇから遠隔位置にあり得る（例えば、別室にいる場合もあり、さらには他の地理学的場所にいる場合さえあり、または、多様な位置にいる場合もある））は、指導員１０６ｇがそこを通してナビゲートする内容物に沿って随行し、係る内容物を見る。指導員は、ハンドヘルド型コントローラ１１０を使用して、注釈、マーク、図面、その他を作成してもよく、その場合、他のユーザ１０６も、それぞれのＨＤＭ１０４を介して、それらを閲覧するであろう。ＶＲスタジアムサーバ１０２は、各ユーザ１０６が、指導員１０６ｇが見ているのと同時に同一の内容物（任意の注釈、マーク、その他を含む）を見ることが保証されるよう、各ＨＤＭ１０４に送達される内容物を同期する。

１つの事例では、各ユーザ１０６は、自分自身のコントローラ（図示せず）を有し得る。係る事例では、ユーザ１０６は、仮想スタジアム１１４の周囲を自由に移動する自律性を有し得る。１つの事例では、ユーザ１０６は仮想スタジアム１１４の周囲を移動し得るが、指導員１０６ｇにより課せられた制限に基づいて特定の機能または内容物に制限され得る。例えば、指導員１０６ｇは、指導員１０６ｇが最初に仮想スタジアム１１４内の特定の仮想内容物にナビゲートした後に同一の仮想内容物にナビゲートする許可をユーザに与え得る。

他の事例では、ユーザ１０６が、他のユーザ１０６と共有するために、テキストおよび／または図面を、および／またはグラフィック画像を、含み得る注釈作成し得、このことは、共同作業および学習をさらに支援し得る。１つの事例では、指導員１０６ｇは、ユーザ１０６が共有し得る注釈および入力の種類を制限してもよく、または、係る注釈および入力が共有され得るタイミングを制限してもよい。例えば、指導員は、指導員１０６ｇが話し終わって入力または質問を求めたときにのみ、ユーザ１０６が自分自身のコントローラ（図示せず）を介して注釈などの入力を形成するよう、制限してもよい。指導員１０６ｇは、特定ユーザ１０６からの入力が、他の全ユーザ１０６の内容物と即時に同期され、全ＨＤＭ１０４に送達されることを許可することを選択してもよく、または、指導員１０６ｇは、係る入力が指導員１０６ｇ自身のＨＤＭ１０４ｇのみに送達されることを選択してもよい。ＶＲスタジアムサーバ１０２は、任意の適切なルールおよび制限を実装し、それにしたがって各ＨＤＭ１０４に送達される内容物を同期するよう機能する。

仮想スタジアムシステム１００が、仮想スタジアム１１４内におけるナビゲーションを可能にするための、および、入力およびフィードバックを提供するための、他の特徴を含み得ることを理解すべきである。例えば、仮想スタジアム１１４を通してナビゲートするためのコントローラ１１０について説明したが、１つの例示的な仮想スタジアムシステム１００はユーザ１０６の移動を追跡するためのセンサ（図示せず）を含み得る。例えば、ＨＤＭ１０４上に配置された１つまたは複数のセンサは、ユーザ１０６の頭部の移動を追跡し、係る移動をＶＲスタジアムサーバ１０２に通信し得る。次に、ＶＲスタジアムサーバ１０２は係るセンサ情報を使用して仮想内容物がそれぞれのＨＤＭ１０４に送達されることを判定する。他の事例では、物理的空間の内部に配置されたセンサがユーザ１０６の物理的移動を追跡し、係る情報をＶＲスタジアムサーバ１０２に通信し、次にそれにしたがってＶＲスタジアムサーバ１０２が仮想内容物ユーザ１０６のＨＤＭ１０４に送達してもよい。

１つの事例では、ＶＲスタジアムシステム１００は、ユーザ１０６が可聴フィードバックをスタジアムサーバ１０２に提供することを可能にするマイクロフォン（図示せず）をさらに含み得、次に、係る可聴フィードバックは、他のユーザ１０６と共有され、分散された仮想内容物と同期され得る。これらの可聴録音は将来の再生のために電子的に記録され得る。

ＶＲスタジアム１００は、ＨＤＭ１０４ｇを介して指導員１０６ｇにより経験された内容物を表示するためのディスプレイ１１２ｂをさらに含む。したがって、ＨＤＭ１０４に対するアクセスを有し得ない追加的ユーザも、依然として内容物を見て、１つまたは複数のディスプレイ１１２ｂを介して、随行および参加し得る。ディスプレイ１１２が、指導員１０６ｇの物理的近傍内に、または遠隔位置に、配置され得ることが理解されるべきである。

ＶＲスタジアムサーバ１０２が、ワイヤレス（例えばＷｉＦｉもしくはＢｌｕｅｔｏｏｔｈなどにより）で、または、有線接続（例えばイーサネットなど）を介して、ＨＤＭ１０４、コントローラ１１０、ディスプレイ１１２、および、他の好適な構成要素と通信し得ることが理解されるべきである。

例示的なＶＲスタジアムシステム１００が特に医療分野における訓練および共同作業に関して説明され得るが、ＶＲスタジアムシステム１００が同様に、多様な種類の職業人の訓練および共同作業を可能にするために、他の分野においても使用され得ることが理解されるべきである。

１つの事例では、ＶＲスタジアムサーバ１０２はＶＲスタジアム１１４内に仮想コンピュータ（図示せず）を提供し得る。指導員１０６ｇは、その仮想コンピュータにナビゲートし、ローカル位置または遠隔位置にあるデータベースまたは他のコンピュータシステムにより提供され得る仮想ライブラリ（図示せず）を閲覧し得るこのライブラリは、訓練目的のためにＶＲスタジアムデータベース１０８から取得されることが可能である事前構築されたＳＮＡＰケースなどの多様な種類の格納された内容物を含み得る。例えば、指導員１０６ｇは、他のユーザ１０６とともに閲覧および討論するために、仮想コンピュータにナビゲートし、仮想ライブラリを開き、特定のＳＮＡＰケースを選択し得る。指導員１１６ｇは、例えば特定の教示セッションの準備のために、ＳＮＡＰケース内で注釈を作成し、または必要に応じてＳＮＡＰケースを編集し得る。図２には、仮想スタジアム１１４内の仮想ディスプレイ２０２上に表示するための例示的なＳＮＡＰケースをロードするために使用される例示的な仮想ＳＮＡＰコンピュータ２００が示されている。

１つの事例では、訓練セッションは、ＶＲスタジアムサーバ１０２により記録され、後に取得するためにＶＲスタジアムデータベース１０８に格納され得る。例えば指導員１０６ｇは、２つの別個のグループのユーザ１０６と、異なる時間において、さらには異なる場所においてさえ、同一のＳＮＡＰケースを精査することを希望し、第１回目を提示する際に作製されたものと同一の注釈、マークアップ、可聴録音、その他を第２の提示の際に再利用することを希望する場合もあり、その一方で、追加的な提示において追加的な注釈、および／または聴覚録音を開発する場合もある。所望に応じて、それらも記録され得る。係る提示は、所望により任意回数反復され得る。したがって指導員１０６ｇは、仮想コンピュータ２００にナビゲートし、記録されたセッションを取得し、次いで、同一のセッションを使用して、第２、第３、または他のグループの訓練を開始し得る。

１つの事例では、図３において図示されているように、ＶＲスタジアムシステム１００は、処置をシミュレートするために指導員１０６ｇにより使用されることが可能である１つまたは複数のツール３０２を含む。ツール３０２は、物理的世界においてツール３０２を使用して指導員１０６ｇにより実行された移動または活動を、ＶＲスタジアム１１４内における同一または同様の移動または活動に、変換するためにＶＲスタジアムサーバ１０２と通信する。係るツール３０２は実際の医療ツール（例えば手術ツールなど）であり得る。係る医療ツールは、例えば、システム１００と通信するよう変更されたものであり得る。１つの事例では、ユーザ１０６の全員は、同一の移動または活動の実行を学習および訓練するために、同一のツールが与えられてもよく、またはユーザ１０６は同一のツール１０６を順番に使用してもよい。１つの事例では、ＶＲスタジアムサーバ１０２は、ツール３０２の移動および活動を、ＳＮＡＰケースに基づいてＶＲスタジアムサーバ１０２により生成されたＭＤ６ＤＭモデル内の仮想的な移動および活動に、変換する。他の事例では、ＶＲスタジアムサーバ１０２は、図４において示される仮想手術室４００を生成する。仮想手術室４００は、ＶＲスタジアム１１４内でナビゲートされること、および、訓練および共同作業のために相互作用されること、が可能である。例えば、仮想スタジアム１１４内に入った後、指導員１０６ｇは、仮想手術室４００内の仮想患者ベッド４０２にユーザ１０６を誘導し得、仮想患者ベッド４０２において指導員１０６ｇは仮想患者（図示せず）に対して医療処置をリアルタイムで実演し得る。さらに詳細には、指導員が、ツール３０２とともに特定の移動または活動をなすと、係る移動または活動は、ＶＲスタジアムサーバ１０２により、仮想手術室４００内の対応する仮想的な移動または活動に変換され得る。次にユーザ１０６はＨＤＭ１０４を介して観察し、指導員１０６ｇから学習し、いくつかの場合では、仮想医療処置に参加し得る。ツール１０６の仮想表現はシステム１００のディスプレイ上に提供され得る。

１つの事例では、ユーザ１０６は、仮想手術室の特定のビューおよびパースペクティブに制限され、指導員１０６ｇにより閲覧されるものと同一のパースペクティブに沿ってのみ随行し得る。他の事例では、ユーザ１０６は、仮想手術室のビューの、および、仮想患者ベッド４０２上に横たわる仮想患者の、自分のパースペクティブを自由に変更し得る。例えば、コントローラ１１０を介して、または運動センサを介して、ＶＲスタジアムサーバ１０２は移動を検出し得、次に、その移動を仮想手術室４００内の対応する移動に変換し得る。したがって指導員が仮想医療処置を実施する間、ユーザ１０６が他の角度からの閲覧が有益かつ教育的であると考えた場合には、ユーザ１０６は、患者の反対側面まで歩き、実施されている処置を異なる角度から閲覧し得る。

１つの事例では、ユーザ１０６は、ユーザ１０６が他のユーザ１０６の移動を視覚化することが可能となり、それにより、さらなる相互作用および共同作業が可能となり得るよう、ＶＲスタジアム１１４内のアヴァターにより表され得る。

ユーザ１０６は全員が仮想スタジアム１１４に参加するために同一の部屋または物理的位置にいてもよく、またはいなくてもよいことが理解されるべきである。例えば、図５において示されているように、１名または複数名のユーザ５０６は遠隔位置５０２に物理的にいて、遠隔ＨＤＭ５０４を使用することにより仮想スタジアム１１４内の訓練セッションまたは共同作業セッションに参加し得る。遠隔ＨＤＭ５０４は、例えば内容物を取得し、他のＨＤＭ１０４と同期するために、インターネット５０８を介してＶＲスタジアムサーバ１０２と通信し得る。したがって、遠隔ユーザ５０６は、まさに他のユーザ１０６と同一の内容物を見て、訓練セッションまたは共同作業セッションに参加し得る。１つの事例では、遠隔ＨＤＭ５０６は、ローカルの計算装置またはサーバ５１０と通信し得、次にサーバ５１０はＶＲスタジアムサーバ１０２と通信し得る。１つの事例では、これらユーザの全員は指導員１０６ｇの物理的位置とは異なる物理的位置に配置され得る。

１つの事例では、図６において示されているように、ＶＲスタジアムシステム１００はインターネット５０８を介して遠隔病院６０２に対する接続を有する。特にＶＲスタジアムサーバ１０２は、遠隔病院６０２内の物理的手術室内からのライブリアルタイムフィードを受け取る。次にライブリアルタイムフィードは仮想スタジアム１１４内のＨＤＭ１０４を介して仮想スタジアムサーバ１０２によりユーザ１０６に提示される。したがって指導員１０６ｇは、手術室内部の貴重な空間を占めることなく、教育目的のために実施中の処置の詳細をユーザ１０６とともに閲覧し討論し得る。加えて、異なる部屋、異なる建物、さらに異なる地理学的位置（例えば異なる州、さらには異なる国など）にさえいる、１名または複数名の遠隔ユーザ５０６も、仮想スタジアムシステム１００を利用して、病院６０２に物理的に存在し、医療処置を実施している医師に対して案内および支持を提供し得る。したがって、リアルタイム共同作業が、様々な物理的位置にいる数名の医療専門家の間で促進され、それにより、多数の異なる位置に物理的に存在し得る専門家間の共同作業が可能となる。

病院６０２からのライブデータフィードは、例えば患者に配置された内視鏡からキャプチャされたリアルタイムビデオフィードであり得る。このライブデータフィードは、ＨＤＭ１０４を装着し、かつ、遠隔病院６０２に配置されたＳＮＡＰコンピュータ（図示せず）を介して仮想ＭＤ６ＤＭモデルをナビゲートする、遠隔病院６０２に位置する医師のパースペクティブからのＶＲフィードまたはＡＲフィードも含み得る。

１つの事例では、ユーザ１０６は多様な３Ｄモデルと相互作用し得る。例えば図７において示されているように、ＶＲスタジアム１１４は仮想３Ｄモデルディスプレイ７００を含み得る。なお、この仮想３Ｄモデルディスプレイ７００では、ユーザ１０６は、多様な３Ｄモデルまでナビゲートまたは歩いて行くこと、係る３Ｄモデルを拾い上げること、係る３Ｄモデルを回転させること、係る３Ｄモデルを異なる角度から調査すること、および、係る３Ｄモデルから学習すること、を実行し得る。１つの事例では、これらの３Ｄモデルは、ＳＮＡＰケースからエクスポートされ得、患者固有であり得、より早い時刻において発生したものであり得る医療撮像手順を使用して得られた臓器または他の組織の画像を含み得る。他の事例では、これらの３Ｄモデルは、特定の患者には当てはまらない全般的なモデルであり得る。例示的な３Ｄモデルディスプレイ７００は、頭部７０２、動脈瘤７０４、腫瘍７０６、皮質７０８、ＤＴＩトラクト７１０ならびに７１２を含む。図示された例示的な３Ｄモデルディスプレイ７００が特定セットの３Ｄモデルを含むが、３Ｄモデルディスプレイ７００が、特定患者に、または、特定患者に基づかない全般的なモデルに、基づいたものであり得る、任意の好適な個数および種類の３Ｄモデルを含み得ることが理解されるべきである。

特定患者に関しては、当該患者の臓器および組織の３Ｄモデルは、結果的に生成される３Ｄモデルが、当該の特定患者の実際の組織および臓器の構造を反映するよう、当該の特定患者に対して実施された医用画像から生成される。それにより、あたかも当該の特定患者に対してこれらの処置が実施されているかのように、医療処置のシミュレーションを実施することが可能である。

上記の説明は、複数名のユーザが遠隔位置からログインしアヴァターとしてＶＲスタジアム１１４に進入する具体例のシナリオを参照することでさらに理解され得る。内部に進入した後、これらのユーザは、３Ｄモデルディスプレイ７００までナビゲートし、相互作用するモデルを選択し得る。ユーザは、モデルと相互作用するための１つまたは複数の仮想ツールも選択し得る。実際の医療ツールに基づくものであり得る係るツールは、システムと通信し得、ツールの仮想表現として表現され得る。例えば図８において示されているように、ユーザは、仮想ツール８０２または仮想ハンドを使用して相互作用するための腫瘍モデル７０６を選択し得る。仮想ハンド８０２は、例えば移動を追跡するためのセンサまたは他の類似した装置を使用して、現実世界の人間ジェスチャにより制御され得る。他の事例では、仮想ハンド８０２はコントローラ８０４により制御され得る。例示的なシナリオが特定のモデルを参照して説明され得るが、ユーザが、ＶＲスタジアム１１４内における多様な種類の手術手順に対する準備において、多様な種類のモデルと相互作用しうることが、理解されるべきである。例えばＶＲスタジアム１１４は、動脈瘤または脳腫瘍、身体の他の部分、すなわち脊髄、心臓、その他における腫瘍などの、頭脳に関する手術手順を準備することと、係る手術手順を実施するよう訓練することと、の関連において使用され得る。

３Ｄモデルが選択された後、ユーザは、モデルをＶＲスタジアム１１４内部で移動させること、回転させること、その他により、当該モデルと相互作用し得る。これらのユーザのうちの１名のユーザ（例えば指導員）がモデルと相互作用する間、その他のユーザは、その相互作用を観察し、モデルの周囲を移動し得る。１つの事例では、遠隔ユーザは、交替しながらモデルと相互作用し、その一方で、他のユーザはその相互作用を観察し得る。このようにして仮想的な共同作業環境が支援される。モデルとの相互作用は、例えば、モデルを他のユーザに説明すること、質疑応答すること、測定すること、モデルに注釈を加えること、および手術デモンストレーションを実施することを含み得る。これらのうちの任意は、将来の再生のために記録され得る。相互作用が、現実世界のジェスチャまたは動作をＶＲスタジアム１１４内の仮想活動に変換するための他の利用可能な入力ツールを使用することにより支援され得ることが、理解されるべきである。

１つの事例では、ユーザは、図９において示されているようにアヴァター９０２とともにモデル９０２の内部に行きモデル９０２の内部を探索することにより、選択されたモデルとさらに相互作用し得る。したがって指導員は、モデル９０２の非常に特定的な内部エリアに対してズームインして、はるかに近接した状態でフォーカスし、その一方で、ユーザに対して、それぞれのアヴァター９０２を用いて係る内部の周囲をナビゲートし、それぞれの選択したパースペクティブから観察する機会を、与え得る。

他の事例では、ユーザは、患者の臓器または他の組織に相互作用するためのデータベースに格納されたツールライブラリから選択された１つまたは複数の仮想ツールを使用することにより、選択されたモデルと相互作用し得る。これらの仮想ツールは、システムと通信する実際の医療ツールの表現であり得る。なお、これらの仮想ツールは、ユーザが、自分の仮想表現を仮想空間において同様に反応させるために、実際の空間で操作する。組織モデルに対するツールの相互作用は、’７９１特許において説明されているようにリアルな様式で実施される。それにより、実際の医療処置をリアルにシミュレートするために、ユーザツール（例えば手術ツール、プローブ、埋入可能な医療装置、その他）のツールモデルが、組織のリアルの動的画像と動的に相互作用し、入力インターフェースに対するユーザ入力が、組織および臓器のリアルな画像と動的に相互作用することが示されるリアルなユーザツール画像を動的に操作するために使用されることが、示される（例えば、実際の特定患者の組織および臓器を反映するシミュレートされた組織および臓器に対するユーザ入力など）。このようにして、実施される、または特定患者に対して実施されるべき、医療処置のシミュレーションは、例えば、訓練、準備、または教育目的のためにシミュレートされ得る。

仮想３Ｄモデルとの相互作用を補足するために、ユーザは、図１０において示されているように、腫瘍などの特定のケースに関する特定のライブラリ資源１００２にアクセスし得る。ライブラリ資源は、ビデオ、書籍、定期刊行物、可聴録音、その他を含み得、これらのライブラリ資源は、３Ｄモデルに対する調査および研究に対して同時に、または並行して、ユーザのグループ間で仮想的に精査および研究され得る。１つの事例では、ユーザは、ライブラリから、事前構築されたＳＮＡＰケースも取得し、ＶＲスタジアム１１４内の仮想ディスプレイ１１０４上に表示するために仮想コンピュータ１１０２上にロードし得る。

３Ｄモデルおよびライブラリ資源を使用して準備を完了した後、ユーザは、手術に対する追加的な教育および準備のために、それぞれのアヴァターを介して、仮想スタジアム１１４内の仮想手術室１２０２へとナビゲートし得る。特に、仮想手術室１３０２内部に入った後、ユーザまたはユーザのグループは、ユーザまたはユーザのグループが仮想患者に対して３Ｄモデルおよびライブラリ資源を使用して準備してきた仮想手術手順を実施し得る。追加的ユーザは仮想手術室１３０２内の仮想手術手順を観察し得る。ユーザは、３６０度ビューおよび仮想患者に対するアクセスを有し、したがって手術手順を実施または観察するために患者の周囲をナビゲートすることが可能である。ユーザは、たとえユーザの全員が様々な遠隔位置に分散されていたとしても、あたかもユーザの全員が同一の物理的な手術室にいるかのように、例えば個々のマイクロフォンを使用して仮想的に相互に話し得、仮想手術室１３０２の内部で共同作業し得る。仮想手術室１３０２が、仮想手術手順の間にユーザが相互作用し得る、ユーザが物理的世界の手術室において見慣れ、かつ使用し馴れている、様々な仮想機器（ＳＮＡＰコンピュータを、および、事前構築されたＳＮＡＰケースを表示するためのディスプレイを、含む）を含み得ることを、さらに理解されるべきである。

手術手順に対する準備が完了した後も、遠隔ユーザは、たとえ様々な遠隔位置に存在していたとしても、実際の手術手順が実施される間に仮想的に存在するために、仮想スタジアム１１４を依然として活用して得る。ユーザはＶＲスタジアム１１４に遠隔的にログインし、それぞれのアヴァターを介して、手術手順がその中で実施されている物理的手術室の内部の複数の位置から流されるリアルタイム３６０度ビデオおよび可聴フィードにアクセスする。したがって遠隔ユーザは、あたかも自分自身が手術室内に物理的に存在しているかのように、物理的手術室に存在する医師および他の医療専門スタッフを観察することが可能であり、さらには係る医師および他の医療専門スタッフとともに共同作業し、係る医師および他の医療専門スタッフを支援することさえ可能である。

ＶＲスタジアムシステム１００内で通信される全データ、および外部の病院６０２と通信される全データは、不正アクセスを防止するため、および、それぞれの国の該当する政府規制を満足するために、暗号化されることが可能であり、例えばＨＩＰＰＡに準拠し得ることが理解されるべきである。

図１４は、図１、図３、図５、および図６の例示的なＡＶＲスタジアムサーバ１０２を実装するための例示的なコンピュータを示す概略図である。例示的なコンピュータ１４００は、ラップトップ、デスクトップ、ハンドヘルド型コンピュータ、タブレットコンピュータ、スマートフォン、サーバ、および他の同様の種類の計算装置を含む、様々な形態のデジタルコンピュータを表すことを意図したものである。コンピュータ１４００は、プロセッサ１４０２と、メモリ１４０４と、ストレージ装置１４０６と、バス１４１２を介してインターフェース１４１０により動作可能に接続される通信ポート１４０８と、を含む。
［０００１］プロセッサ１４０２は、コンピュータ８００内で実行するためにメモリ１４０４を介して命令を処理する。例示的な実施形態では、複数のメモリとともに複数のプロセッサが使用され得る。

［０００２］メモリ１４０４は揮発性メモリであってもよく、または不揮発性メモリであってもよい。メモリ１４０４は、磁気ディスクまたは光ディスクなどのコンピュータ可読媒体であり得る。ストレージ装置１４０６は、フロッピディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリ、位相変化メモリ、または他の同様のソリッドステートメモリデバイスなどのコンピュータ可読媒体であってもよく、または、他の構成のストレージエリアネットワーク内の装置を含む、装置のアレイであってもよい。コンピュータプログラム製品は、メモリ１４０４またはストレージ装置１４０６などのコンピュータ可読媒体において有形の形態で具体化され得る。
［０００３］コンピュータ１４００は、ディスプレイ１４１４、プリンタ１４１６、スキャナ１４１８、およびマウス１４２０などの、１つまたは複数の入力装置および出力装置に接続され得る。

当業者により理解されるであろうように、例示的な実施形態は、方法、システム、コンピュータプログラム製品、またはこれらの組み合わせとして具体化され、またはこれらを全般的に利用し得る。したがって、これらの実施形態のうちの任意の実施形態は、コンピュータハードウェア上で実行するためにストレージ装置に格納された実行可能命令を含む専用ソフトウェアの形態を取り得る。なお、ソフトウェアは、媒体において具体化されたコンピュータ使用可能プログラムコードを有するコンピュータ使用可能ストレージ媒体上に格納され得る。

データベースは、開示されたサーバ上でまたは追加的なコンピュータサーバ上で動作し得るＭｙＳＱＬなどのオープンソースソリューションまたはＭｉｃｒｏｓｏｆｔＳＱＬのようなクローズドソリューションなどの市販のコンピュータアプリケーションを使用して実装され得る。データベースは、上記で開示した例示的な実施形態に対して使用されるデータ、モデル、およびモデルパラメータを格納するためにリレーショナルまたはオブジェクト指向のパラダイムを利用し得る。係るデータベースは、本明細書で開示されるように専用適用可能性のために既知のデータベースプログラミング技術を使用してカスタマイズされ得る。

任意の好適なコンピュータ使用可能（コンピュータ可読）媒体は、実行可能命令を含むソフトウェアを格納するために利用され得る。コンピュータ使用可能媒体またはコンピュータ可読媒体は、例えば、電子、磁気、光、電磁、赤外線、または半導体のシステム、装置、デバイス、または伝搬媒体であり得るが、これらに限定されない。コンピュータ可読媒体のさらなる具体例（非網羅的一覧）は、１つまたは複数のワイヤを有する電気連結部、有形媒体（例えば、ポータブル型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、コンパクトディスク・リード・オンリー・メモリ（ＣＤＲＯＭ）、または他の有形の光もしくは磁気記憶装置など）、またはインターネットまたはイントラネットをサポートする媒体などの伝送媒体を含み得る。

本明細書の文脈において、コンピュータ使用可能媒体またはコンピュータ可読媒体は、１つまたは複数のプログラム可能または専用のプロセッサ／コントローラ（単数または複数）を含む任意の好適なコンピュータ（またはコンピュータシステム）を含み得る、命令実行システム、プラットフォーム、装置、またはデバイスにより使用されるための、または、係る命令実行システム、プラットフォーム、装置、またはデバイスと通信する、プログラム命令を、含む、格納する、通信する、伝搬する、または輸送することが可能である、任意の媒体であり得る。コンピュータ使用可能媒体は、ベースバンドにおいて、またはキャリア波の一部として、それとともに埋め込まれたコンピュータ使用可能プログラムコードを有する、伝搬されたデータ信号を含み得る。コンピュータ使用可能プログラムコードは、インターネット、ワイヤライン、光ファイバケーブル、ローカル通信バス、無線周波数（ＲＦ）または他の手段を含み得るがこれらに限定されない任意の好適な媒体を使用して伝送され得る。

例示的な実施形態の動作を実行するための実行可能命令を有するコンピュータプログラムコードは、インタープリタ型またはイベントドリブン型の言語（例えばＢＡＳＩＣ、Ｌｉｓｐ、ＶＢＡ、もしくはＶＢＳｃｒｉｐｔ、またはｖｉｓｕａｌｂａｓｉｃなどのＧＵＩ具体化）、コンパイル型のプログラム言語（例えばＦＯＲＴＲＡＮ、ＣＯＢＯＬ、またはＰａｓｃａｌなど）、オブジェクト指向、スクリプト型、または非スクリプト型の言語（例えばＪａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、ＯｂｊｅｃｔＰａｓｃａｌ、その他など）、人工知能言語（例えばＰｒｏｌｏｇなど）、リアルタイム埋め込み言語（例えばＡｄａなど）、またはさらには、ラダーロジックを使用する、より直接的または簡略化されたプログラミング、アセンブラ言語、または、適切な機械語を使用する直接的プログラミングさえを含むがこれらに限定されない任意のコンピュータ言語を使用して従来の手段により書かれ得る。

「含む」または「含んでいる」という用語が本明細書または請求項において使用されるかぎりにおいて、この用語は、使用されるときには、請求項における移行句として解釈されるため、「包含する」という用語と同様に包括的であることが意図される。さらに、「または」という用語が使用される（例えばＡまたはＢ）かぎりでは、この用語は「ＡまたはＢまたはその両者」を意味することが意図される。出願者が「ＡまたはＢのいずれかであって、両方ではない」を示すことを意図する場合、「ＡまたはＢのいずれかであって、両方ではない」という用語が使用されるであろう。したがって本開示における「または」という用語の使用は、包括的な用法であって、排他的な用法ではない。ＢｒｙａｎＡ．Ｇａｒｎｅｒ，ＡＤｉｃｔｉｏｎａｒｙｏｆＭｏｄｅｒｎＬｅｇａｌＵｓａｇｅ６２４（２ｄ．Ｅｄ．１９９５）を参照されたい。「〜における」または「〜に」という用語が本明細書または請求項において使用されるかぎりでは、この用語は「〜の上」または「〜の上に」を追加的に意味することが意図される。さらに、「接続する」という用語が本明細書または請求項において使用されるかぎりでは、この用語は、「〜に直接的に接続する」ことを意味するのみではなく、「〜に対して間接的に接続する」（例えば他の構成要素（単数または複数）を通して接続する）も意味することが意図される。

本願について本願の様々な実施形態を説明することにより例示してきたが、また、様々な実施形態についてかなり詳細に説明してきたが、添付の請求項の範囲を係る詳細に、限定またはいかなる方法においても制限することは、出願者の意図するところではない。追加的な利点および変更は当業者には明らかとなるであろう。したがって本願は、その広範な態様において、図示および説明された、特定の詳細、代表的な装置ならびに方法、および具体例に限定されない。したがって、出願者の全般的な発明概念の趣旨または範囲からそれることなく、係る詳細からの逸脱が可能である。

Claims

共同作業を支援するためのシステムであって、
複数名の患者に対応する複数の仮想３次元解剖学的モデルを表現する内容物を格納するためのデータベースと、
先導者頭部搭載ディスプレイおよび複数の参加者頭部搭載ディスプレイを含む、複数の頭部搭載ディスプレイと、
１つまたは複数のプロセッサ、１つまたは複数のコンピュータ可読有形ストレージ装置、および、前記１つまたは複数のプロセッサのうちの少なくとも１つのプロセッサにより実行されるための、前記１つまたは複数のストレージ装置のうちの少なくとも１つのストレージ装置上に格納されたプログラムモジュールを含むコンピュータサーバであって、前記プログラムモジュールは、
前記複数の前記仮想３次元解剖学的モデルのうちの対応する１つの仮想３次元解剖学的モデルを、前記複数名の患者のうちの１名の患者に対する共同作業を始動する要求に応答して、前記データベースから選択するための、第１プログラムモジュール、
前記選択された仮想３次元解剖学的モデルを表現する内容物を、前記複数の頭部搭載ディスプレイに同期的に送達するための、第２プログラムモジュール、
前記仮想３次元解剖学的モデルとの相互作用であって、前記先導者頭部搭載ディスプレイに関連付けられた相互作用を表現するデータを受け取るための第３プログラムモジュール、および
前記受け取られた相互作用に基づいて、更新済み内容物を前記複数の頭部搭載ディスプレイに同期的に送達するための、第４プログラムモジュール
を含む、コンピュータサーバと
を含む、システム。
前記内容物は仮想医療ライブラリおよび仮想手術室のうちの少なくとも１つをさらに含み、前記第３プログラムモジュールは、前記仮想医療ライブラリおよび前記仮想手術室のうちの少なくとも１つとの相互作用を表現するデータをさらに受け取る、請求項１に記載のシステム。
前記頭部搭載ディスプレイのうちの少なくとも１つの頭部搭載ディスプレイは遠隔に配置された頭部搭載ディスプレイを含む、請求項１〜請求項２のうちのいずれかに記載のシステム。
前記第３プログラムモジュールは、前記先導者頭部搭載ディスプレイに関連付けられた前記相互作用であって、前記仮想３次元解剖学的モデルに対する移動を表現する前記相互作用を表現するデータをコントローラから受け取り、それにより、前記移動に関連付けられた前記仮想３次元解剖学的モデルの更新済みパースペクティブビューに基づいて、更新済み内容物を前記先導者頭部搭載ディスプレイに送達するようさらに構成され、前記第４プログラムモジュールは、前記移動に関連付けられた前記仮想３次元解剖学的モデルのビューの前記同一の更新済みパースペクティブを、前記複数の参加者頭部搭載ディスプレイのうちの全部に、同期的に送達するよう、さらに構成されている、請求項１〜請求項３のうちのいずれかに記載のシステム。
前記第３プログラムモジュールは、前記複数の参加者頭部搭載ディスプレイに関連付けられた複数のコントローラのうちの１つのコントローラから、前記仮想３次元解剖学的モデルの内部の移動を表現するデータを受け取るよう、さらに構成され、前記第４プログラムモジュールは、前記複数のコントローラのうちの関連付けられた１つのコントローラにより表現される前記移動に基づいて、前記仮想３次元解剖学的モデルの前記内部のビューの更新済みパースペクティブを、前記複数の参加者頭部搭載ディスプレイのうちの前記１つの参加者頭部搭載ディスプレイに送達するよう、さらに構成されている、請求項１〜請求項４のうちのいずれかに記載のシステム。
前記複数の頭部搭載ディスプレイの各頭部搭載ディスプレイは運動を追跡するためのセンサを含み、前記第３プログラムモジュールは、前記複数の頭部搭載ディスプレイのうちの１つの頭部搭載ディスプレイの前記センサから、前記複数の頭部搭載ディスプレイのうちの前記１つの頭部搭載ディスプレイの運動を表現するデータを受け取るよう、さらに構成され、前記第４プログラムモジュールは、前記複数の頭部搭載ディスプレイの前記関連付けられた１つの頭部搭載ディスプレイにより表現される前記移動に基づいて、前記仮想３次元解剖学的モデルのビューの更新済みパースペクティブを前記複数の頭部搭載ディスプレイのうちの前記１つの頭部搭載ディスプレイに送達するよう、さらに構成されている、請求項１〜請求項５のうちのいずれかに記載のシステム。
前記プログラムモジュールは、前記それぞれの複数の頭部搭載ディスプレイを表現する複数のアヴァターを前記仮想３次元解剖学的モデル内部に生成するための第５プログラムモジュールをさらに含み、更新済み内容物を同期的に送達するための前記第４プログラムモジュールは、前記複数の頭部搭載ディスプレイのうちの前記１つの頭部搭載ディスプレイの前記移動を表現するアヴァターの更新済み表現を送達するようようさらに構成されている、請求項６に記載のシステム。
前記第３プログラムモジュールは、ユーザにより生成された注釈、マーク、および図面のうちの少なくとも１つを受け取るようさらに構成され、前記第４プログラムモジュールは、前記ユーザにより生成された注釈、マーク、および図面のうちの前記少なくとも１つを前記複数の頭部搭載ディスプレイに同期的に送達するようさらに構成されている、請求項１〜請求項７のうちのいずれかに記載のシステム。
少なくとも１つのマイクロフォンをさらに含み、前記第３プログラムモジュールは前記内容物に関連付けられた可聴入力を受け取るようさらに構成され、前記第４プログラムモジュールは、前記内容物とともに前記可聴入力を前記複数の頭部搭載ディスプレイに同期的に送達するようさらに構成されている、請求項１〜請求項８のうちのいずれかに記載のシステム。
前記プログラムモジュールは、前記共同作業を記録すること、および前記データベースに前記共同作業を格納すること、を実行するための第６プログラムモジュールをさらに含む、請求項１〜請求項９のうちのいずれかに記載のシステム。
物理的活動を実行するよう構成されたツールをさらに含み、前記第３モジュールは、前記ツールにより実行された前記物理的活動を解釈すること、および、前記物理的活動を、前記内容物との対応する相互作用に変換すること、を実行するようさらに構成され、前記第４プログラムモジュールは、前記変換された物理的活動に対応する前記相互作用を前記複数の頭部搭載ディスプレイに同期的に送達するようさらに構成されている、請求項１〜請求項１０のうちのいずれかに記載のシステム。
共同作業を支援するための方法であって、
コンピュータが、複数名の患者に対応する前記複数の仮想３次元解剖学的モデルのうちの対応する１つの仮想３次元解剖学的モデルを、前記複数名の患者のうちの１名の患者に対する共同作業を始動する要求に応答して、データベースから選択することと、
前記コンピュータが、前記選択された仮想３次元解剖学的モデルを表現する内容物を複数の頭部搭載ディスプレイに同期的に送達することと、
前記コンピュータが、前記仮想３次元解剖学的モデルとの相互作用であって前記複数の頭部搭載ディスプレイのうちの先導者頭部搭載ディスプレイに関連付けられている相互作用を表現するデータを受け取ることと、
前記コンピュータが、更新済み内容物を、前記受け取られた相互作用に基づいて、前記複数の頭部搭載ディスプレイのうちの複数の参加者頭部搭載ディスプレイに、同期的に送達することと
を含む、方法。
前記コンピュータが更新済み内容物を前記複数の参加者頭部搭載ディスプレイに同期的に送達することは、前記コンピュータが、更新済み内容物を、少なくとも１つの遠隔に配置された参加者頭部搭載ディスプレイに同期的に送達することを含む、請求項１２に記載の方法。
前記コンピュータが相互作用を表現するデータを受け取ることは、前記コンピュータが、前記先導者頭部搭載ディスプレイと関連付けられたデータであって、前記仮想３次元解剖学的モデルに対する移動を表現するデータをコントローラから受け取り、それにより、更新済み内容物を、前記移動に関連付けられた前記仮想３次元解剖学的モデルの更新済みパースペクティブビューに基づいて、前記先導者頭部搭載ディスプレイに送達することを含み、前記コンピュータが、更新済み内容物を前記複数の参加者頭部搭載ディスプレイに同期的に送達することは、前記コンピュータが、前記移動に関連付けられた前記仮想３次元解剖学的モデルのビューの前記同一の更新済みパースペクティブを前記複数の参加者頭部搭載ディスプレイのうちの全参加者頭部搭載ディスプレイに同期的に送達することを含む、請求項１２に記載の方法。
前記コンピュータが相互作用を表現するデータを受け取ることは、前記コンピュータが、ユーザにより生成された注釈、マーク、および図面のうちの少なくとも１つを受け取ることを含み、前記コンピュータが更新済み内容物を前記複数の参加者頭部搭載ディスプレイに同期的に送達することは、前記コンピュータが、前記ユーザにより生成された注釈、マーク、および図面のうちの少なくとも１つを前記複数の参加者頭部搭載ディスプレイに同期的に送達することを含む、請求項１２に記載の方法。
前記コンピュータが相互作用を表現するデータを受け取ることは、前記コンピュータが前記内容物に関連付けられた可聴入力を受け取ることを含み、前記コンピュータが更新済み内容物を前記複数の参加者頭部搭載ディスプレイに同期的に送達することは、前記コンピュータが、前記内容物とともに前記可聴入力を前記複数の参加者頭部搭載ディスプレイに同期的に送達することを含む、請求項１２に記載の方法。
前記コンピュータが相互作用を表現するデータを受け取ることは、前記コンピュータが、ツールにより実行された物理的活動を解釈し、前記物理的活動を、前記仮想３次元解剖学的モデルとの対応する相互作用に変換することを含み、前記コンピュータが更新済み内容物を前記複数の参加者頭部搭載ディスプレイに同期的に送達することは、前記コンピュータが、前記変換された物理的活動に対応する前記相互作用を前記複数の参加者頭部搭載ディスプレイに同期的に送達することを含む、請求項１２に記載の方法。
前記コンピュータが相互作用を表現するデータを受け取ることは、前記コンピュータが、前記複数の頭部搭載ディスプレイのうちの１つの頭部搭載ディスプレイの運動を表現するデータを前記複数の頭部搭載ディスプレイのうちの前記１つの頭部搭載ディスプレイのセンサから受け取り、前記仮想３次元解剖学的モデルのビューの更新済みパースペクティブを、前記複数の頭部搭載ディスプレイのうちの前記関連付けられた１つの頭部搭載ディスプレイにより表現される前記移動に基づいて、前記複数の頭部搭載ディスプレイのうちの前記１つの頭部搭載ディスプレイに送達すること、を含む、請求項１２に記載の方法。
共同作業を支援するための方法であって、
１つまたは複数のプロセッサを、１つまたは複数のコンピュータ可読有形ストレージ装置を、少なくとも１つのデータベースを、および、前記１つまたは複数のプロセッサのうちの少なくとも１つのプロセッサにより実行されるために前記１つまたは複数のストレージ装置のうちの少なくとも１つのストレージ装置上に格納された、少なくとも１つのプログラムモジュールを、含むコンピュータサーバを提供するステップと、
各頭部搭載ディスプレイが、３次元ディスプレイを、および、前記頭部搭載ディスプレイのうちの各頭部搭載ディスプレイに関連付けられた少なくとも１つの入力装置を、含む、複数の頭部搭載ディスプレイを提供するステップと、
前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行することにより、前記頭部搭載ディスプレイのうちの１つの頭部搭載ディスプレイが先導者頭部搭載ディスプレイとなるよう構成するステップと、
前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行することにより、前記複数の頭部搭載ディスプレイのうちの複数の他の頭部搭載ディスプレイがユーザ頭部搭載ディスプレイとなるよう構成するステップと、
前記先導者頭部搭載ディスプレイの前記関連付けられた入力装置のユーザ入力を先導ユーザから受け取り、それにより前記ユーザ頭部搭載ディスプレイのうちのいくつかのユーザ頭部搭載ディスプレイに対して異なる場合もありまたは異ならない場合もある制限された範囲の機能を有する前記ユーザ頭部搭載ディスプレイのうちの各ユーザ頭部搭載ディスプレイを構成するために、前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行するステップと、
前記複数の頭部搭載ディスプレイのうちの各頭部搭載ディスプレイにおいて表示するために前記先導者頭部搭載ディスプレイの前記ユーザにより誘導される３次元シミュレーション処理を実行するために、前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行するステップであって、前記シミュレーション処理は、
前記少なくとも１つのデータベースにおいてデータとして格納される、実際のツールの物理的特性に関する情報から生成された前記実際のツールのリアルな３次元ツールモデルを提供するステップであって、前記画像モデルは、前記先導者頭部搭載ディスプレイの前記関連付けられた入力装置を使用する前記先導ユーザにより制御される、ステップ、
複数の実際の物体のうちの各実際の物体のリアルな３次元物体モデルであって、前記少なくとも１つのデータベースにおいてデータとして格納される、前記実際の物体のうちの各実際の物体の物理的特性に関する情報から生成された物体モデルを提供するステップ、および
前記先導者頭部搭載ディスプレイの前記入力装置を使用する前記先導ユーザからの入力に基づいて、前記物体モデルに対する前記ツールモデルのリアルな視覚的相互作用であって、現実世界における前記実際の物体に対する前記実際のツールの実体的な相互作用を示す、リアルな視覚的相互作用を生成するステップ
を含む、ステップと
を含み、
それぞれの関連付けられた入力装置を使用する前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイのユーザは、前記制限された機能の範囲に基づいて、前記シミュレーションにおける参加が制限される、
方法。
前記実際のツールは手術ツールである、請求項１９に記載の方法。
前記実際の物体はヒトの臓器および／または組織である、請求項１９または請求項２０に記載の方法。
前記実際の物体は特定患者の撮影された医用画像に基づく前記特定患者の臓器および／または組織である、請求項１９〜請求項２１のうちのいずれかに記載の方法。
前記シミュレーションは患者に対する手術手順のシミュレーションである、請求項１９〜請求項２２のうちのいずれかに記載の方法。
前記手術手順はリアルタイムで患者に対して実施される実体的な手術手順である、請求項２３に記載の方法。
前記先導者頭部搭載ディスプレイの前記ユーザは前記患者に対して前記実体的な手術手順の少なくとも一部を実施する医師である、請求項２４に記載の方法。
前記システムは、前記シミュレーションと相互作用する特定の許可を、前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイの１名または複数名のユーザに与えるための入力を、前記先導者頭部搭載ディスプレイの前記ユーザから受け取るよう構成されている、請求項１９〜請求項２５のうちのいずれかに記載の方法。
前記システムは、前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイの前記１名または複数名のユーザが、前記先導者頭部搭載ディスプレイの前記ユーザの前記パースペクティブから前記シミュレーションを閲覧することを実行させる入力を、前記先導者頭部搭載ディスプレイの前記ユーザから受け取るよう構成されている、請求項１９〜請求項２６のうちのいずれかに記載の方法。
前記頭部搭載ディスプレイに関連付けられた前記入力装置は、前記頭部搭載ディスプレイから分離されたコントローラを含む、請求項１９〜請求項２７のうちのいずれかに記載の方法。
前記頭部搭載ディスプレイに関連付けられた前記入力装置は、前記頭部搭載ディスプレイに一体化されたコントローラを含む、請求項１９〜請求項２８のうちのいずれかに記載の方法。
前記頭部搭載ディスプレイに関連付けられた前記入力装置は、それぞれのユーザの手（単数または複数）および／または前記ユーザにより保持されるツールの移動を追跡するよう構成された入力装置を含む、請求項１９〜請求項２９のうちのいずれかに記載の方法。
前記先導ユーザの前記入力装置は、前記相互作用を制御するために、前記先導ユーザの片手または両手の運動を、および／または、前記先導ユーザにより保持されるツールの運動を、検出するよう構成された運動検出入力装置を含む、請求項１９〜請求項３０のうちのいずれかに記載の方法。
前記先導ユーザの前記入力装置は、前記相互作用を制御するために、前記先導ユーザにより保持される手術ツールの運動を検出するよう構成された入力装置を含む、請求項１９〜請求項３１のうちのいずれかに記載の方法。
前記シミュレーションは、前記物体モデルの周囲を動くための、より細かく検査するために前記物体モデルを持ち上げるための、部屋の周囲を移動するための、前記部屋の内部で前記物体モデルに対して手順を実施するための、および／または、前記サーバにより提供される仮想ライブラリ内の内容物と関与するための、前記先導ユーザの能力を提供することを含む、請求項１９〜請求項３２のうちのいずれかに記載の方法。
前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイのうちの少なくともいくつかの頭部搭載ディスプレイの前記ユーザは、前記先導者頭部搭載ディスプレイの前記ユーザから遠隔に配置されている、請求項１９〜請求項３３のうちのいずれかに記載の方法。
共同作業を支援するための方法であって、
特定患者の医用画像を、前記特定患者の臓器および組織のリアルな３次元モデルを表現するデータに変換するステップと、
１つまたは複数のプロセッサを、１つまたは複数のコンピュータ可読有形ストレージ装置を、少なくとも１つのデータベースを、および、前記１つまたは複数のプロセッサのうちの少なくとも１つのプロセッサにより実行されるために前記１つまたは複数のストレージ装置のうちの少なくとも１つのストレージ装置上に格納された、少なくとも１つのプログラムモジュールを、含むコンピュータサーバを提供するステップと、
前記特定患者の臓器および組織のリアルな３次元モデルを表現する前記データを、前記臓器および組織の物理的特性を含む少なくとも１つのデータベースに格納するステップと、
前記実際の手術ツールの物理的特性を含む実際の手術ツールのリアルな３次元モデルを表現する前記データを、前記少なくとも１つのデータベースに格納するステップと、
各頭部搭載ディスプレイが、３次元ディスプレイを、および、前記頭部搭載ディスプレイのうちの各頭部搭載ディスプレイに関連付けられた少なくとも１つの入力装置を、含む、複数の頭部搭載ディスプレイを提供するステップと、
前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行することにより、前記頭部搭載ディスプレイのうちの１つの頭部搭載ディスプレイが先導者頭部搭載ディスプレイとなるよう構成するステップと、
前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行することにより、前記複数の頭部搭載ディスプレイのうちの複数の他の頭部搭載ディスプレイがユーザ頭部搭載ディスプレイとなるよう構成するステップと、
前記先導者頭部搭載ディスプレイの前記関連付けられた入力装置のユーザ入力を先導ユーザから受け取り、それにより前記ユーザ頭部搭載ディスプレイのうちのいくつかのユーザ頭部搭載ディスプレイに対して異なる場合もありまたは異ならない場合もある制限された範囲の機能を有する前記ユーザ頭部搭載ディスプレイのうちの各ユーザ頭部搭載ディスプレイを構成するために、前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行するステップと、
前記複数の頭部搭載ディスプレイのうちの各頭部搭載ディスプレイにおいて表示するために前記先導者頭部搭載ディスプレイの前記ユーザにより誘導される３次元手術シミュレーション処理を実行するために、前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行するステップであって、前記シミュレーション処理は、
前記データベースから取得された実際の手術ツールのリアルな３次元モデルを表現する前記データから生成された前記実際の手術ツールのリアルな３次元手術ツールを提供するステップであって、前記画像モデルは、前記先導者頭部搭載ディスプレイの前記関連付けられた入力装置を使用する前記先導ユーザにより制御される、ステップ、
前記特定患者の臓器および組織のリアルな３次元臓器・組織モデルであって、前記データベースから取得された前記特定患者の臓器および組織の前記リアルな３次元モデルを表現するデータから生成された、臓器・組織モデルを提供するステップ、および
前記先導者頭部搭載ディスプレイの前記入力装置を使用する前記先導ユーザからの入力に基づいて、前記臓器・組織モデルに対する前記手術ツールのリアルな視覚的相互作用であって、前記患者の前記実際の臓器および組織に対する前記実際の手術ツールの実体的な相互作用を示す、リアルな視覚的相互作用を生成するステップ
を含む、ステップと
を含み、
それぞれの関連付けられた入力装置を使用する前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイのユーザは、前記手術シミュレーションに参加する、
方法。
前記手術手順はリアルタイムで前記特定患者に対して実施される実体的な手術手順である、請求項３５に記載の方法。
前記先導者頭部搭載ディスプレイの前記ユーザは前記特定患者に対して前記実体的な手術手順の少なくとも一部を実施する医師である、請求項３６に記載の方法。
前記システムは、前記シミュレーションと相互作用する特定の許可を、前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイの１名または複数名のユーザに与えるための入力を、前記先導者頭部搭載ディスプレイの前記ユーザから受け取るよう構成されている、請求項３５〜請求項３７のうちのいずれかに記載の方法。
前記システムは、前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイの前記１名または複数名のユーザが、前記先導者頭部搭載ディスプレイの前記ユーザの前記パースペクティブから前記シミュレーションを閲覧することを実行させる入力を、前記先導者頭部搭載ディスプレイの前記ユーザから受け取るよう構成されている、請求項３５〜請求項３８のうちのいずれかに記載の方法。
前記頭部搭載ディスプレイに関連付けられた前記入力装置は、それぞれのユーザの手（単数または複数）および／または前記ユーザにより保持されるツールの移動を追跡するよう構成された入力装置を含む、請求項３５〜請求項３９のうちのいずれかに記載の方法。
前記先導ユーザの前記入力装置は、前記相互作用を制御するために、前記先導ユーザの片手または両手の運動を、および／または、前記先導ユーザにより保持されるツールの運動を、検出するよう構成された運動検出入力装置を含む、請求項３５〜請求項４０のうちのいずれかに記載の方法。
前記先導ユーザの前記入力装置は、前記相互作用を制御するために、前記先導ユーザにより保持される手術ツールの運動を検出するよう構成された入力装置を含む、請求項３５〜請求項４１のうちのいずれかに記載の方法。
前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイのうちの少なくともいくつかの頭部搭載ディスプレイの前記ユーザは、前記先導者頭部搭載ディスプレイの前記ユーザから遠隔に配置されている、請求項３５〜請求項４２のうちのいずれかに記載の方法。
前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイのうちの少なくともいくつかの頭部搭載ディスプレイの前記ユーザは、前記それぞれの頭部搭載ディスプレイの前記関連付けられた入力装置を使用して前記手術シミュレーションに参加する、請求項３５〜請求項４３のうちのいずれかに記載の方法。
前記シミュレーションは、前記患者の臓器および組織を含む３Ｄ患者モデルの周囲を移動するための、前記患者の３Ｄ身体の内部に進入するための、より細かく検査するために３Ｄモデル臓器を取り上げるための、仮想手術室の周囲を移動するための、前記仮想手術室の内部で仮想手術手順を実施するための、および／または、前記サーバにより提供される仮想ライブラリにおける内容物に対して関与するための、前記指導員の能力を提供することを含む、請求項３５〜請求項４４のうちのいずれかに記載の方法。
共同作業を支援するための方法であって、
特定患者の医用画像を、前記特定患者の臓器および組織のリアルな３次元モデルを表現するデータに変換するステップと、
１つまたは複数のプロセッサを、１つまたは複数のコンピュータ可読有形ストレージ装置を、少なくとも１つのデータベースを、および、前記１つまたは複数のプロセッサのうちの少なくとも１つのプロセッサにより実行されるために前記１つまたは複数のストレージ装置のうちの少なくとも１つのストレージ装置上に格納された、少なくとも１つのプログラムモジュールを、含むコンピュータサーバを提供するステップと、
前記特定患者の臓器および組織のリアルな３次元モデルを表現する前記データを、前記臓器および組織の物理的特性を含む少なくとも１つのデータベースに格納するステップと、
前記実際の手術ツールの物理的特性を含む実際の手術ツールのリアルな３次元モデルを表現する前記データを、前記少なくとも１つのデータベースに格納するステップと、
各頭部搭載ディスプレイが、３次元ディスプレイを、および、前記頭部搭載ディスプレイのうちの各頭部搭載ディスプレイに関連付けられた少なくとも１つの入力装置を、含む、複数の頭部搭載ディスプレイを提供するステップと、
前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行することにより、前記頭部搭載ディスプレイのうちの１つの頭部搭載ディスプレイが先導者頭部搭載ディスプレイとなるよう構成するステップと、
前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行することにより、前記複数の頭部搭載ディスプレイのうちの複数の他の頭部搭載ディスプレイがユーザ頭部搭載ディスプレイとなるよう構成するステップと、
前記先導者頭部搭載ディスプレイの前記関連付けられた入力装置として構成された前記実際の手術ツールを使用する医師からユーザ入力を受け取り、それにより前記ユーザ頭部搭載ディスプレイのうちのいくつかのユーザ頭部搭載ディスプレイに対して異なる場合もありまたは異ならない場合もある制限された範囲の機能を有する前記ユーザ頭部搭載ディスプレイのうちの各ユーザ頭部搭載ディスプレイを構成するために、前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行するステップと、
前記複数の頭部搭載ディスプレイのうちの各頭部搭載ディスプレイにおいて表示するためにリアルタイムで前記医師により少なくとも部分的に実施される実際の手術手順をキャプチャするために前記先導者頭部搭載ディスプレイの前記医師により誘導される３次元手術過程を表示するために、前記サーバが、前記少なくとも１つのプログラムモジュールにおいてソフトウェア命令を実行するステップであって、
前記データベースから取得された実際の手術ツールのリアルな３次元モデルを表現する前記データから生成された前記実際の手術ツールのリアルな３次元手術ツールモデルであって、前記手術手順において前記実際の手術ツールを使用する前記医師により制御される、ツールモデルを提供するステップ、
前記特定患者の臓器および組織のリアルな３次元臓器・組織モデルであって、前記データベースから取得された前記特定患者の臓器および組織の前記リアルな３次元モデルを表現するデータから生成された、臓器・組織モデルを提供するステップ、および
前記先導者頭部搭載ディスプレイの前記入力装置を使用する前記先導ユーザからの入力に基づいて、前記臓器・組織モデルに対する前記手術ツールのリアルな視覚的相互作用であって、前記手術手順の間の前記患者の前記実際の臓器および組織に対する前記実際の手術ツールの実体的な相互作用を示す、リアルな視覚的相互作用を生成するステップ
を含む、ステップと
を含み、
前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイのユーザは、前記頭部搭載ディスプレイを使用して前記手術過程を閲覧することが可能である、
方法。
前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイのうちの少なくともいくつかの頭部搭載ディスプレイの前記ユーザは、前記ユーザのそれぞれの頭部搭載ディスプレイの前記関連付けられた入力装置を使用して前記特定患者に対する前記実体的な手術手順に参加する、請求項４６に記載の方法。
前記頭部搭載ディスプレイのうちの前記他の頭部搭載ディスプレイのうちの少なくともいくつかの頭部搭載ディスプレイの前記ユーザは、前記医師から遠隔に配置されている、請求項４６〜請求項４７のうちのいずれかに記載の方法。
前記シミュレーションは、前記患者の臓器および組織を含む３Ｄ患者モデルの周囲を移動するための、前記患者の３Ｄ身体の内部に進入するための、より細かく検査するために３Ｄモデル臓器を取り上げるための、仮想手術室の周囲を移動するための、前記仮想手術室の内部で仮想手術手順を実施するための、および／または、前記サーバにより提供される仮想ライブラリにおける内容物に対して関与するための、前記医師の能力を提供することを含む、請求項４６〜請求項４８のうちのいずれかに記載の方法。