JP2022540898A

JP2022540898A - 外科手術を遠隔監督するための拡張現実システムおよび方法

Info

Publication number: JP2022540898A
Application number: JP2022502413A
Authority: JP
Inventors: アヴィサル，モルデチャイ; ゲリ，アロン，ヤコブ; レゲフ，ネイト
Original assignee: サージカルシアター，インコーポレイテッド
Priority date: 2019-07-15
Filing date: 2020-07-15
Publication date: 2022-09-20
Also published as: IL289855A; WO2021011668A1; EP3986314A1; US20210015583A1; TW202103646A; CN114173693A

Abstract

外科手術を遠隔監督するためのシステムは、拡張現実頭部装着型ディスプレイおよびコンピュータを含む。コンピュータは、拡張現実頭部装着型ディスプレイを介して現場の医師の両眼が経験するビジュアルを受信し、拡張現実頭部装着型ディスプレイを介して現場の医師が経験する付加的コンテンツを受信し、現場の医師の両眼が経験するビジュアルおよび付加的コンテンツを、現場の医師が経験する単一の統合ビューに統合し、統合ビューを遠隔ディスプレイに表示するために遠隔コンピュータに伝達し、遠隔コンピュータを介して遠隔医師による統合ビューとのインタラクションを受信し、拡張現実頭部装着型ディスプレイを介してインタラクションを現場の医師に提示するように構成される。【選択図】図１

Description

関連出願の相互参照
本出願は、参照によってその全体が本願に組み込まれる、２０１９年７月１５日に出願された米国仮特許出願第６２／８７４，３１５号からの優先権を主張するものである。

本開示は、外科手術の分野に関し、具体的には、外科手術の遠隔監督の分野に関する。

外科手術は複雑であり、その成功は、患者の健康状態にとって非常に重要であり得る。よって、外科手術を行うために、医師は一般に、先輩かつ熟練の医師の指導および監督の下で外科手術を行うこと、または外科手術に参加することを含む広範囲の訓練を受けることが求められる。また、初期の訓練および指導を過ぎても、先輩医師は、後輩医師によって行われている外科手術を監視し、後輩医師によって特定の手技、決定、または技法が選択または実行されていることを確認することが求められる。たとえば、開頭を伴う外科手術は、実際の手術が開始される前に、後輩医師によって付けられた、手術が行われるべき場所を示すマークを先輩医師が認可することを必要とし得る。

様々な通信技術が進歩し、その可用性が高まったことにより、遠隔監督または遠隔支援はますます一般的な選択肢になりつつあり、個人またはチームが遠隔位置から他の個人またはチームに訓練、指導、および支援を遠隔で提供する。また、遠隔の個人がローカルユーザの現実世界ビューの上に命令を重ねることを可能にすることによって２人の個人間の遠隔インタラクションを容易にするために、拡張現実技術が用いられることが増えている。たとえば、マイクロソフト社のＤｙｎａｍｉｃ３６５ＲｅｍｏｔｅＡｓｓｉｓｔなどの拡張現実技術は、そのような遠隔インタラクションを可能にし得る。しかし、特に外科手術を遠隔監督するためにそのような拡張現実技術を用いることは、手術室内に存在する特定の環境条件により、可能または実用的ではない場合がある。

外科手術を遠隔監督するためのシステムは、拡張現実頭部装着型ディスプレイと、１または複数のプロセッサ、１または複数のコンピュータ可読有形記憶デバイス、および１または複数のプロセッサの少なくとも１つによって実行するために１または複数の記憶デバイスの少なくとも１つに格納されたプログラム命令を含むコンピュータとを含む。プログラム命令は、拡張現実頭部装着型ディスプレイを介して現場の医師の両眼が経験するビジュアルを受信し、拡張現実頭部装着型ディスプレイを介して現場の医師が経験する付加的コンテンツを受信し、現場の医師の両眼が経験するビジュアルおよび付加的コンテンツを、現場の医師が経験する単一の統合ビューに統合し、統合ビューを遠隔ディスプレイに表示するために遠隔コンピュータに伝達し、遠隔コンピュータを介して遠隔医師による統合ビューとのインタラクションを受信し、拡張現実頭部装着型ディスプレイを介してインタラクションを現場の医師に提示するように構成される。

外科手術を遠隔監督するための方法は、拡張現実頭部装着型ディスプレイを介して現場の医師の両眼が経験するビジュアルを受信するステップと、拡張現実頭部装着型ディスプレイを介して現場の医師が経験する付加的コンテンツを受信するステップと、現場の医師の両眼が経験するビジュアルおよび付加的コンテンツを、現場の医師が経験する単一の統合ビューに統合するステップと、統合ビューを遠隔ディスプレイに表示するために遠隔コンピュータに伝達するステップと、遠隔コンピュータを介して遠隔医師による統合ビューとのインタラクションを受信するステップと、拡張現実頭部装着型ディスプレイを介してインタラクションを現場の医師に提示するステップとを含む。

添付図面において、後述する詳細な説明と共に、特許請求の範囲に記載の発明の典型的な実施形態を説明する構造が示される。同様の要素は、同じ参照番号で識別される。理解すべき点として、単一の構成要素として示される要素が複数の構成要素に置き換えられてよく、複数の構成要素として示される要素が単一の構成要素に置き換えられてよい。図面は一定の縮尺ではなく、図解のために特定の要素の比率が大きくされ得る。

拡張現実遠隔監督システムの例を示す。拡張現実遠隔監督システムの例を示す。拡張現実遠隔監督システムの例を示す。拡張現実遠隔監督システムの例を示す。外科手術を遠隔監督するための方法例を示す。図１～４の拡張現実遠隔監督システム例を実装するコンピュータの例を示す。

以下の頭字語および定義は、詳細な説明を理解する助けとなる。

ＡＲ（拡張現実）。たとえば音声、映像、またはグラフィックなどのコンピュータ生成感覚要素によって要素が強調されている物理的な現実世界環境のライブビューである。

ＶＲ（仮想現実）。様々な程度で人間によって探索およびインタラクトされ得る３次元コンピュータ生成環境である。

ＨＭＤ（頭部装着型ディスプレイ）は、ＡＲまたはＶＲ環境において用いられ得るヘッドセットを指す。ＨＭＤは有線または無線であってよい。またＨＭＤは、たとえばヘッドフォン、マイクロフォン、ＨＤカメラ、赤外線カメラ、ハンドトラッカ、位置トラッカなどの１または複数の付属品も含んでよい。

コントローラ。ボタンおよび方向コントローラを含むデバイスである。コントローラは、有線または無線であってよい。このデバイスの例は、Ｘボックスゲームパッド、プレイステーションゲームパッド、オキュラスタッチなどである。

ＳＮＡＰモデル。ＳＮＡＰケースは、ＤＩＣＯＭファイル形式で患者の１または複数のスキャン（ＣＴ、ＭＲ、ｆＭＲ、ＤＴＩなど）を用いて生成された３Ｄテクスチャまたは３Ｄオブジェクトを指す。またこれは、３Ｄテクスチャにおいて特定の範囲をフィルタリングし、他を色付けするためのセグメント化の様々な事前設定も含む。またこれは、対象となる特定の点または解剖学的構造をマークするための３Ｄ形状、３Ｄラベル、３Ｄ測定マーカ、指導のための３Ｄ矢印、および３Ｄ外科ツールを含む、シーン内に配置された３Ｄオブジェクトも含んでよい。外科ツールおよびデバイスは、育成および患者別リハーサルのため、特に動脈クリップを適切にサイズ決めするためにモデル化されている。

アバタ。アバタは、仮想環境内のユーザを表現する。

ＭＤ６ＤＭ（６自由度モデルの多次元全方向仮想現実）。ＭＤ６ＤＭは、医師が全方向仮想現実環境において介入を経験、計画、実行、およびナビゲートすることを可能にするグラフィカルシミュレーションを提供する。

参照によって本出願に組み込まれる米国特許出願第８，３１１，７９１号において過去に説明された手術リハーサルおよび準備ツールは、医師によって医療処置をリアルタイムでシミュレートするために用いられ得る予め構築されたＳＮＡＰモデルに基づいて、動的かつインタラクティブな多次元全方向仮想現実である６自由度モデル（「ＭＤ６ＤＭ」）に静的ＣＴおよびＭＲＩ医療画像を変換するために開発されたものである。ＭＤ６ＤＭは、医師が全方向仮想現実環境への介入を経験、計画、実行、およびナビゲートすることを可能にするグラフィカルシミュレーションを提供する。特に、ＭＤ６ＤＭは、ボリュメトリック球形仮想現実モデル全体において球形仮想現実６自由度（すなわち、直線ｘ、ｙ、ｚ、および角度方向、ヨー、ピッチ、ロール）を付与する、従来の２次元患者医療スキャンから構築された独自的な多次元モデルを用いてナビゲートする能力を外科医に付与する。

ＭＤ６ＤＭは、ＣＴ、ＭＲＩ、ＤＴＩなどを含む患者個人の医療画像のデータセットから構築されたＳＮＡＰモデルを用いてリアルタイムでレンダリングされ、患者固有である。たとえばＡｔｌａｓデータなどの典型的な脳モデルは、外科医が所望する場合、部分的に患者固有のモデルを作成するために統合され得る。このモデルは、ＭＤ６ＤＭ上の任意の点からの３６０°の球形ビューをもたらす。ＭＤ６ＤＭを用いると、見ている者は、仮想的に人体の内部に位置し、患者の体内に立っているかのように解剖学的構造および病理学的構造の両方を目視および観察することができる。見ている者は、見上げる、見下ろす、肩越しに見るなどが可能であり、患者の中に存在するのとまったく同じように、互いに関連する自然構造を見る。内部構造間の空間関係は維持され、ＭＤ６ＤＭを用いて認識され得る。

ＭＤ６ＤＭのアルゴリズムは、医療画像情報を撮影し、解剖学的構造内を「飛行」しながらあらゆる角度から見ることができる完全な連続的リアルタイムモデルである球形モデルにそれを組み込む。特に、ＣＴ、ＭＲＩなどが実際の有機体を撮影し、それを数千の点で構築された何百もの薄いスライスに分解した後、ＭＤ６ＤＭはこれを、内側および外側の両方からそれらの点の各々の３６０°ビューを表現することによって３Ｄモデルに戻す。

本明細書で説明するものは、外科手術を遠隔監督するための、ＭＤ６ＤＭモデルを活用する拡張現実（「ＡＲ」）システムである。特にＡＲシステムは、拡張現実ヘッドセットを介して、現場の医師の目が経験するビジュアルおよびたとえば予め構築されたＭＤ６ＤＭモデルなどの付加的に統合されたコンテンツを含む、現場の医師が経験しているものと同じビューを遠隔医師に提供すること、ならびに、現場の医師がインタラクションを経験するようにビューとインタラクトするための手段を遠隔医師に提供することによって、遠隔に位置する医師が、現場の医師によって患者に行われている外科手術とインタラクトし、それを監督することを可能にするものである。したがって、現場の位置および医療従事者の都合によって入手不可能であったはずの治療および専門技術が患者に提供される。

本明細書で詳しく説明するように、ＡＲシステム例に付加的なコンテンツおよび特徴を統合することにより、ＡＲＨＭＤは、顕微鏡を見る、他のルーペを装着するなどのために取り外す必要なく外科手術中終始装着され得るので、外科医の快適性の向上と共に採用の増加が可能である。また本明細書で説明されるシステムは、医師の適切なマルチタスクも可能にする。最後に、このシステムは、遠隔参加する医師が外科手術に更に関与することを可能にすることにより、手術の安全性を高め、手術中の過誤の危険性を低減する。

理解すべき点として、本明細書で説明されるシステム例は、術前計画、手術室における準備、および実際の外科手術中に用いられ得る。更に理解すべき点として、開頭手術中に用いるための応用例が本明細書で説明され得るが、システム例は、任意の適当な外科手術に関して提起され得る。

図１は、病院１０４（または任意の同様の適切な場所）内に所在し、患者１０６に外科手術を行っている現場の医師１０２が、遠隔位置１１０に所在する遠隔医師１０８と意思疎通およびインタラクトすることを可能にするＡＲ遠隔監督システム１００を示す。特に、ＡＲシステム１００は、遠隔医師１０８が、遠隔位置１１０から外科手術を監督および支援することを可能にする。外科手術を監督することは、たとえば外科手術中に質問に回答すること、どのように手術を行うかに関する提案を行い、または指示を提供すること、および現場の医師１０２が行っている動作が正確かつ適切であることを確認することを意味し得る。理解すべき点として、ＡＲシステム１００は外科手術中に用いられるものとして説明されるが、術前計画および準備のために用いられてもよい。

ＡＲシステム１００は、付加的に統合されたコンテンツと共に患者１０６のライブ実在ビジュアルを含むＡＲビューを現場の医師１０２に提供するためのＡＲ頭部装着型ディスプレイ（「ＨＭＤ」）１１２を含む。たとえばＡＲシステム１００は、ＳＮＡＰデータベース１１６からＳＮＡＰモデルを検索し、ＭＤ６ＤＭモデル１１８をレンダリングし、ＭＤ６ＤＭモデル１１８をＡＲＨＭＤ１１２に提供するためのＭＤ６ＤＭコンピュータ１１４を含む。ＭＤ６ＤＭコンピュータ１１４は、ＡＲＨＭＤ１１２を介して患者１０６のＡＲビュー（不図示）を生成するために、ＡＲＨＭＤ１１２と共に、ＭＤ６ＤＭモデルと同期し、それを患者１０６のライブ実在ビジュアルの上に重ねるように構成される。

ＡＲシステム１００は更に、現場の医師１０２が経験するＡＲビューを遠隔コンピュータ１２２に伝達するように構成されたテレコンピュータ１２０を含む。特に、テレコンピュータ１２０は、現場の医師１０２が見ている患者１０６のライブ実在ビジュアルを捕捉し表現するＡＲＨＭＤ１１２のカメラからのライブビデオフィードを受信するように構成される。テレコンピュータ１２０は更に、付加的に統合されたコンテンツを受信し、付加的に統合されたコンテンツをＡＲＨＭＤ１１２からのライブビデオフィードと同期化するように構成される。たとえばテレコンピュータ１２０は、レンダリングされたＭＤ６ＤＭモデル１１８をＭＤ６ＤＭコンピュータ１１４から受信し、ＭＤ６ＤＭモデル１１８をライブビデオフィードと同期化するように構成される。

遠隔コンピュータ１２２は、患者のライブビデオフィード１２４およびライブビデオフィード１２４と同期化された遠隔ＭＤ６ＤＭモデル１２８を含むＡＲビューを遠隔ディスプレイ１２６に伝達するように構成される。理解すべき点として、遠隔ディスプレイ１２６は、頭部装着型ディスプレイ（不図示）を含む任意の適当な種類のディスプレイであってよい。遠隔医師１０８は、現場の医師１０２が経験しているものと同じ、患者１０６のライブ実在ビジュアルおよび付加的に統合されたコンテンツを含むビューを、遠隔ディスプレイ１２６を介してリアルタイムで経験することができる。

一例において、遠隔位置１１０は、たとえば遠隔データベース（不図示）からのＳＮＡＰモデルなどの付加的に統合されたコンテンツを検索するために、たとえばＭＤ６ＤＭコンピュータ（不図示）などの遠隔統合コンテンツコンピュータを含む。したがって、テレコンピュータ１２２は、任意の付加的コンテンツをＡＲＨＭＤ１１２から受信したライブビデオフィードと同期化または統合する必要がない。この場合、テレコンピュータ１２２は、追加のコンテンツなしでライブビデオフィードを遠隔コンピュータ１２２に伝達するので、通信帯域幅が節減される。そのような例において、遠隔コンピュータ１２２は、遠隔統合コンテンツコンピュータから追加のコンテンツを検索し、遠隔位置１１０において、ライブビデオフィードとの統合および同期化を行う。たとえば遠隔コンピュータ１２２は、遠隔ＳＮＡＰデータベース（不図示）からＳＮＡＭモデルを検索し、遠隔ＭＤ６ＤＭモデル１２８をレンダリングするように構成される。遠隔コンピュータ１２２は更に、遠隔ＭＤ６ＤＭモデル１２８をライブビデオフィード１２４と同期化し、遠隔ディスプレイ１２６に２つを統合して、現場の医師１０２が経験しているものと同じビューを表すビューを形成するように構成される。

遠隔コンピュータ１２２は更に、ディスプレイ１２６を介して、または追加の周辺入力デバイス（不図示）を介して、遠隔医師１０８からビューとのインタラクションを受信するように構成される。たとえば遠隔コンピュータ１２２は、遠隔医師１０８から、患者のライブビデオフィード１２４およびたとえば遠隔ＭＤ６ＤＭモデル１２８などの付加的に統合され同期化されたコンテンツの両方へのマークアップ、メモ書き、および他の適当な入力インタラクションを受信してよい。インタラクションは、たとえば、遠隔医師１０８が切開位置を示すために遠隔ＭＤ６ＤＭモデル１２８を操作することまたは遠隔ＭＤ６ＤＭモデル１２８にマークを付けることを含んでよい。遠隔コンピュータ１２２は更に、ライブビデオフィード１２４とのインタラクションと、たとえば遠隔ＭＤ６ＤＭモデル１２８などの付加的に統合されたコンテンツとのインタラクションとを区別することが可能である。

遠隔コンピュータ１２２は更に、テレコンピュータ１２０に遠隔医師１０８の遠隔インタラクションを伝達するように構成され、また、対応するコンテンツと関連するＡＲＨＭＤ１１２に受信した遠隔インタラクションを伝達し、適切にレンダリングするように構成される。遠隔テレコンピュータ１２０は、インタラクション間で識別された区別に基づいて、受信したそれぞれのコンテンツとの遠隔インタラクションをレンダリングするように構成される。たとえばテレコンピュータ１２０は、現場の医師１０２が、遠隔医師１０８によって提供されたようにＭＤ６ＤＭモデル１１８内でマーク付きビューを経験することができるように、遠隔ＭＤ６ＤＭモデル１２８とのインタラクションをＭＤ６ＤＭモデル１１８と同期化および統合するように構成され得る。他の例において、ＭＤ６ＤＭモデルコンピュータ１１４は、テレコンピュータ１２０からのインタラクションを受信し、遠隔インタラクションをＭＤ６ＤＭモデル１１８と同期化および統合するように構成され得る。理解すべき点として、ＭＤ６ＤＭコンピュータ１１４およびテレコンピュータ１２０は２つの個別のコンピュータとして説明されるが、ＭＤ６ＤＭコンピュータ１１４およびテレコンピュータ１２０は単一のコンピュータに結合されてもよい（不図示）。

遠隔医師１０８からのマーキングおよび他の適当なインタラクションを現場の医師１０２に伝達することによって、ＡＲシステム１００は、たとえばどこから手術を開始すべきかに関する入口点を医師がマークすることが必要な開頭手術の監督を容易にすることが可能である。そのようなマークの提供は、実在ライブビューのみに基づいて常に実行可能または実用的であるわけではなく、多くの場合、たとえば頭蓋骨の上に重ねたＭＤ６ＤＭモデルのオーバレイなどの付加的に統合されたコンテンツの支援を必要とする。付加的に統合されたコンテンツを含む遠隔ビューを提供することにより、現場の医師１０２と遠隔医師１０８とが互いにインタラクトし、実在ライブビューおよび付加的に統合されたコンテンツの両方に関してリアルタイムフィードバックを提供することができるので、監督能力および協働性の向上が可能である。

図２に示すような１つのＡＲシステム例２００において、患者１０６のライブ実在ビジュアルと統合され、現場の医師が経験するビューに含まれる付加的コンテンツは、内視鏡２０２によって生成されたビデオを含む。たとえば現場の医師１０２は、患者１０６の近接体内ビューを得るために内視鏡を用いてよい。内視鏡２０２からの近接ビューは、ＡＲＨＭＤ１１２を介して、現場の医師１０２が経験するビューに組み込まれる。たとえば、現場の医師１０２が、患者の実在ライブビューまたは内視鏡からの近接ビューを全て同じＡＲＨＭＤ１１２内で容易に前後して見られるように、内視鏡からの近接ビューは、ＡＲＨＭＤ１１２のレンズ部において現場の医師１０２に提示され得る。

したがって、遠隔医師１０８が現場の医師１０２と同じビューを経験するために、テレコンピュータ１２０は更に、ＡＲＨＭＤ１１２のカメラによって捕捉されたライブビデオフィードに加えて、内視鏡２０２によって生成された同じビデオを遠隔コンピュータ１２２に伝達するように構成される。一例において、遠隔コンピュータ１２２は、現場の医師１０２が経験するのと同じ遠隔医師１０８のための統合ビューをディスプレイ１２６上に生成するために、追加のコンテンツ（たとえば内視鏡２０２によって生成されたビデオ）をＡＲＨＭＤ１１２のカメラからのライブビデオフィードと統合するように構成される。特に、遠隔コンピュータ１２２は、スクリーン１２６において、ＨＭＤ１１２のカメラから受信した実在ビューをディスプレイ１２６の第１の部分に、内視鏡２０２から受信した近接ビューをディスプレイ１２６の第２の部分に、両方同時に提示してよい。

他の例において、遠隔コンピュータ１２２は、遠隔コンピュータ１２２によって提供されたインタフェースを介した遠隔医師１０８の選択に依存して、ＨＭＤ１１２のカメラから受信した実在ビューまたは内視鏡２０２から受信した近接ビューのいずれか１つを表示するように構成され得る。たとえば遠隔医師は、常時、ＨＭＤ１１２のカメラから受信した実在ビューまたは内視鏡２０２から受信した近接ビューを見ることを選択的に切り換え、いずれか１つと選択的にインタラクトしてよい。他の例において、遠隔コンピュータ１２２は、現場の医師１０２が行う動作に依存して、ＨＭＤ１１２のカメラから受信した実在ビューと内視鏡２０２から受信した近接ビューとの間でディスプレイを自動的に切り換えるように構成され得る。たとえばＡＲＨＭＤ１１２は、現場の医師１０２の眼運動を追跡するように構成され得る。特に、ＡＲＨＭＤ１１２は、現場の医師１０２の眼がＡＲビュー内に提示された近接ビューに焦点を合わせる時、および現場の医師１０２の眼がＡＲビュー内の他の箇所に焦点を合わせる時を決定するように構成され得る。したがって、現場の医師１０２の眼の焦点に基づいて、遠隔コンピュータ１２２は、同じ対応するビューをディスプレイ１２６に自動的に提示するように構成され得る。

一例において、ＭＤ６ＤＭコンピュータ１１４は、内視鏡２０２からの近接ビデオフィードを受信し、結合された統合近接ビデオフィードをＡＲＨＭＤ１１２に伝達する前に、近接ビデオフィードの上にＭＤ６ＤＭモデル１１８の近接ビューを同期化し重ねるように構成され得る。そのような例において、テレコンピュータ１２２は、内視鏡２０２によって生成されたＭＤ６ＤＭオーバレイと統合および同期化された近接ビュー、ならびにＡＲＨＭＤ１１２のカメラから受信した実在ライブビューを含む、現場の医師１０２が経験するものと同じビューを遠隔医師１０８に提供するように構成され得る。

上述したように、遠隔コンピュータ１１４は、遠隔医師１０８によるビューとの様々な種類のインタラクションを受信し区別して、区別したインタラクションをテレコンピュータ１２０に通信するように、また、対応するコンテンツと関連するインタラクションを適切にレンダリングするように構成される。

図３に示すような１つのＡＲシステム例３００において、患者１０６のライブ実在ビジュアルと統合され、現場の医師が経験するビューに含まれる付加的コンテンツは、顕微鏡３０２によって生成されたビデオを含む。顕微鏡３０２によって生成されたビデオは、上記例において説明したように、ＭＤ６ＤＭモデルと同期化されてもされなくてもよい。また上記例と同様、顕微鏡３０２によって生成されたビデオは、ＭＤ６ＤＭとの統合がある場合もない場合も、ＡＲＨＭＤ１１２を介して拡張ビューで現場の医師１０２に提示され、経験され得る。内視鏡ビデオの上記例に関する説明と同様、顕微鏡３０２からの追加のビデオコンテンツは、経験中のビューの一部として遠隔医師１０８に提示され得る。

一例において、顕微鏡３０２からのビデオフィードを、ＡＲＨＭＤ１１２を介してＡＲビュー内に提供するのではなく、現場の医師は、顕微鏡と直接インタラクトすることによって顕微鏡ビューを使用することを選択してよい。たとえば現場の医師１０２は、患者１０６の近接ビューを見るために、ビューアを通して顕微鏡３０２を見てよい。ただし、現場の医師１０２はＡＲＨＭＤ１１２を装着したままであり、同じビューを経験するように遠隔医師１０８を向けようとする。したがって、そのような例においても、遠隔コンピュータ１２２が、遠隔医師１０８のために現場の医師１０２が経験するものと同じビューを生成することを可能にするために、顕微鏡３０２からのビデオフィードはテレコンピュータ１２０によって遠隔コンピュータ１２２に提供され得る。

上記例において説明したように、遠隔コンピュータ１２２は、遠隔コンピュータ１２２によって提供されるインタフェースを介した遠隔医師１０８の選択に依存して、ＨＭＤ１１２のカメラから受信した実在ビューまたは顕微鏡３０２から受信した近接ビューのいずれか１つを表示するように構成され得る。

他の例において、遠隔コンピュータ１２２は、現場の医師１０２が行う行動に依存して、ＨＭＤ１１２のカメラから受信した実在ビューと顕微鏡３０２から受信した近接ビューとの間でディスプレイを自動的に切り換えるように構成され得る。たとえばテレコンピュータ１２０は、ＡＲＨＭＤ１１２の動きセンサまたは他の適当な種類のセンサに基づいて、およびＡＲＨＭＤ１１２から受信したビデオに基づいて、現場の医師１０２の頭部の位置／場所を決定するように構成され得る。特に、現場の医師１０２の頭部が顕微鏡３０２のビューアの上に傾けられ、または顕微鏡３０２のビューアの位置またはその付近にあることが決定されると、遠隔コンピュータ１２２は、顕微鏡からのビューフィードをディスプレイ１２６に自動的に提示し、現場の医師１０２の頭部が他の場所に位置する時、ＡＲＨＭＤ１１２からの実在ビデオフィードを提示するように構成され得る。

一例において、ＭＤ６ＤＭコンピュータ１１４は、顕微鏡３０２からの近接ビデオフィードを受信し、結合された統合近接ビデオフィードをＡＲＨＭＤ１１２に伝達する前に、近接ビデオフィードの上にＭＤ６ＤＭモデル１１８の近接ビューを同期化し重ねるように構成され得る。他の例において、ＭＤ６ＤＭコンピュータ１１４は、顕微鏡３０２のファインダをのぞき込むことによって経験するビュー内に直接、ＭＤ６ＤＭモデル１１８の近接ビューを導入し、同期化し、重ねるように構成され得る。そのような例において、テレコンピュータ１２２は、顕微鏡３０２によって生成されたＭＤ６ＤＭオーバレイと統合および同期化された近接ビューならびにＡＲＨＭＤ１１２のカメラから受信した実在ライブビューを含む、現場の医師１０２が経験するものと同じビューを遠隔医師１０８に提供するように構成され得る。

上述したように、遠隔コンピュータ１１４は、遠隔医師１０８によるビューとの様々な種類のインタラクションを受信および区別し、区別されたインタラクションをテレコンピュータ１２０に伝達するように構成され、また、対応するコンテンツと関連するインタラクションを適切にレンダリングするするように構成される。

一例において、図４に示すように、ＡＲＨＭＤ４０２は、現場の医師１０２が患者１０６の近接ビューを得ることを可能にするための一体型（または取外し可能／着脱可能）ルーペ４０４を有してよい。たとえば現場の医師１０２は、患者１０６の実在ライブビューを経験するために、ＡＲＨＭＤ４０２を通して前方を見る。現場の医師１０２は、近接ビューを得るためにルーペ４０４を通して前方を見ることをいつでも選択してもよい。したがって、現場の医師が見るものと同じ経験を遠隔医師１０８に提供するために、ＡＲＨＭＤ４０２から受信され遠隔コンピュータ１２２に提供されたライブビデオのズームレベルは、ＡＲＨＭＤ４０２によって決定された、ルーペ４０４に対する現場の医師１０２の眼の位置に従って調整される。特に、ＡＲＨＭＤ４０２が、現場の医師の目がルーペ４０４を通して見ていることを決定すると、ＡＲＨＭＤ４０２のカメラによって受信され遠隔コンピュータ１２２に提供されたライブビデオは、ルーペ４０４の拡大強度に基づいて、より近いビューにズームされる。一例において、ＡＲＨＭＤ４０２のカメラは、決定された眼の位置に基づいて自動的にズームするように構成される。他の例において、テレコンピュータ１２０は、決定された眼の位置に基づいて、ＡＲＨＭＤ４０２のカメラから受信したライブビデオを調整するように構成される。

一例において、ＡＲＨＭＤ４０２を介して経験される実在ライブビューは、同期化ＭＤ６ＤＭモデルによって拡張され得る。そのような例において、ＭＤ６ＤＭモデルは、現場の医師１０２の眼の位置に依存して、適宜、調整およびズームインされ得る。同様に、ＡＲＨＭＤ４０２のカメラから受信され遠隔コンピュータ１２２に提供された実在ライブビデオは、遠隔現場１１０において、または遠隔現場１１０に伝達される前に病院１０４において、ＭＤ６ＤＭモデルと同期化され得る。加えて、遠隔現場１１０での提示のために実在ライブビデオと同期化されたＭＤ６ＤＭモデルもまた、現場の医師１０２の眼の位置に依存してズームされ得る。

上述したように、遠隔コンピュータ１１４は、遠隔医師１０８によるビューとの様々な種類のインタラクションを受信および区別し、区別されたインタラクションをテレコンピュータ１２０に伝達するように構成され、テレコンピュータ１２０は、対応するコンテンツと関連するインタラクションを適切にレンダリングする。

図５は、外科手術を遠隔監督するための方法例を示す。５０２において、ＡＲヘッドセットを介して外科手術の現場の医師の目が経験するビジュアルが受信される。５０４において、ＡＲヘッドセットを介して現場の医師が経験する追加のコンテンツが受信される。５０６において、現場の医師の目が経験するビジュアルおよび追加のコンテンツが、現場の医師が経験する単一のビューに統合される。５０８において、ビューが遠隔医師に提供される。５１０において、遠隔医師からのインタラクションが受信される。５１２において、ＡＲヘッドセットを介してインタラクションが現場の医師に提示される。

図６は、図１のテレコンピュータ１１４、ＭＤ６ＤＭコンピュータ１１６、および遠隔コンピュータ１２２を実装するためのコンピュータ例の概略図である。コンピュータ例６００は、ラップトップ、デスクトップ、ハンドヘルドコンピュータ、タブレットコンピュータ、スマートフォン、サーバ、および他の同様の種類のコンピューティングデバイスを含む様々な形式のデジタルコンピュータを表すことが意図される。コンピュータ６００は、バス６１２を介してインタフェース６１０によって動作可能に接続された、プロセッサ６０２、メモリ６０４、記憶デバイス６０６、および通信ポート６０８を含む。

プロセッサ６０２は、メモリ６０４を介して、コンピュータ６００内で実行するための命令を処理する。実施形態例において、複数のメモリと共に複数のプロセッサが用いられ得る。

メモリ６０４は、揮発性メモリまたは不揮発性メモリであってよい。メモリ６０４は、たとえば磁気ディスクまたは光学ディスクなどのコンピュータ可読媒体であってよい。記憶デバイス６０６は、たとえばフロッピーディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、テープデバイス、フラッシュメモリ、相変化メモリ、または他の同様のソリッドステートメモリデバイス、または他の構成の記憶域ネットワーク内のデバイスを含むデバイスアレイなどのコンピュータ可読媒体であってよい。コンピュータプログラム製品は、たとえばメモリ６０４または記憶デバイス６０６などのコンピュータ可読媒体において有形に具体化され得る。

コンピュータ６００は、たとえばディスプレイ６１４、プリンタ６１６、スキャナ６１８、マウス６２０、およびＨＭＤ６２４などの１または複数の入力および出力デバイスに結合され得る。

当業者には理解されるように、実施形態例は、方法、システム、コンピュータプログラム製品、または上記の組み合わせとして実現され、またはそれらを一般に用いてよい。したがって、実施形態はいずれも、コンピュータハードウェアでの実行のために記憶デバイスに格納された実行可能命令を備える専用ソフトウェアの形式であってよく、その場合ソフトウェアは、その媒体で具体化されるコンピュータ使用可能プログラムコードを有するコンピュータ使用可能記憶媒体に格納され得る。

データベースは、たとえばＭｙＳＱＬなどのオープンソースソリューション、または開示されたサーバまたは追加のコンピュータサーバで動作し得るＭｉｃｒｏｓｏｆｔＳＱＬのようなクローズドソリューションなど、市販のコンピュータアプリケーションを用いて実装され得る。データベースは、上記で開示された実施形態例のために用いられるデータ、モデル、およびモデルパラメータを格納するためのリレーショナルまたはオブジェクト指向パラダイムであってよい。そのようなデータベースは、本明細書で開示されるような専門的適用性のために既知のデータベースプログラミング技術を用いてカスタマイズされ得る。

実行可能命令を備えるソフトウェアを格納するために、任意の適当なコンピュータ使用可能（コンピュータ可読）媒体が用いられ得る。コンピュータ使用可能またはコンピュータ可読媒体は、たとえば電子、磁気、光学、電磁、赤外線、または半導体システム、装置、デバイス、または伝搬媒体であってよいが、これに限定されない。コンピュータ可読媒体のより具体的な例（非網羅的なリスト）は、１または複数のワイヤを有する電気接続、たとえばポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、コンパクトディスク読取専用メモリ（ＣＤＲＯＭ）、または他の有形光学または磁気記憶デバイスなどの有形媒体、または、たとえばインターネットやイントラネットに対応する伝送媒体を含む。

本明細書の文脈において、コンピュータ使用可能またはコンピュータ可読媒体は、１または複数のプログラマブルまたは専用プロセッサ／コントローラ（複数も可）を含む任意の適当なコンピュータ（またはコンピュータシステム）を含み得る命令実行システム、プラットフォーム、装置、またはデバイスによって用いるための、またはそれらと接続状態にあるプログラム命令を包含、格納、伝達、伝搬、または搬送し得る任意の媒体であってよい。コンピュータ使用可能媒体は、ベースバンドで、または搬送波の一部としてそこで具体化されるコンピュータ使用可能プログラムコードを有する伝搬データ信号を含んでよい。コンピュータ使用可能プログラムコードは、インターネット、ワイヤライン、光ファイバケーブル、ローカル通信バス、無線周波（ＲＦ）、または他の手段を含むがこれに限定されない任意の適切な媒体を用いて伝送され得る。

実施形態例の動作を実行するための実行可能命令を有するコンピュータプログラムコードは、たとえばＢＡＳＩＣ、Ｌｉｓｐ、ＶＢＡ、またはＶＢＳｃｒｉｐｔなどのインタプリタまたはイベントドリブン言語、またはたとえばビジュアルベーシックなどのＧＵＩ実施形態、たとえばＦＯＲＴＲＡＮ、ＣＯＢＯＬ、またはＰａｓｃａｌなどのコンパイル型プログラミング言語、たとえばＪａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、Ｃ＃、ＯｂｊｅｃｔＰａｓｃａｌなどのスクリプトまたはアンスクリプトプログラミング言語、たとえばＰｒｏｌｏｇなどの人工知能言語、たとえばＡｄａなどのリアルタイム埋込み型言語、またはラダーロジックを用いたより直接的かつ単純なプログラミング、アセンブラ言語、または適切な機械言語を用いた直接プログラミングを含むがこれに限定されない任意のコンピュータ言語を用いて従来の手段で書かれてよい。

「含む」または「含んでいる」という用語が本明細書または特許請求の範囲において用いられる場合、これは、クレーム内で従来の言葉として用いられる場合に「備える」という用語が解釈されるのと同様に包括的であることが意図される。また、「または」という用語が用いられる場合（たとえばＡまたはＢ）、これは、「ＡまたはＢまたはそれら両方」を意味することが意図される。出願者が「両方ではなくＡまたはＢのみ」を示すことを意図する場合、「両方ではなくＡまたはＢのみ」という言葉が用いられる。したがって、本明細書における「または」という用語の使用は、排他的ではなく包括的な用法である。ＢｒｙａｎＡ．Ｇａｒｎｅｒ著、ＡＤｉｃｔｉｏｎａｒｙｏｆＭｏｄｅｒｎＬｅｇａｌＵｓａｇｅ６２４（２ｄ．Ｅｄ．１９９５）を参照されたい。また、「～内」または「～内に」という用語が本明細書または特許請求の範囲において用いられる場合、これは、「～上」または「～上に」を更に意味することが意図される。加えて、「接続する」という用語が本明細書または特許請求の範囲において用いられる場合、これは、「直接的に接続された」状態だけではなく、たとえば他の１または複数の構成要素を介して接続されるような「間接的に接続された」状態も意味することが意図される。

本出願は、その実施形態の説明によって例示され、実施形態は極めて詳細に説明されたが、特許請求の範囲をそのような詳細に制限またはいかなるようにも限定することは出願者の意図するものではない。当業者には、追加の利点および修正が容易に明らかとなる。よって本出願は、その広い態様において、図示および説明された詳細、それぞれの装置および方法、および具体例に限定されるものではない。したがって、出願者の一般的な発明概念の主旨または範囲から逸脱することなく、そのような細部からの逸脱がなされ得る。

Claims

外科手術を遠隔監督するためのシステムであって、
拡張現実頭部装着型ディスプレイと、
１または複数のプロセッサ、１または複数のコンピュータ可読有形記憶デバイス、および前記１または複数のプロセッサの少なくとも１つによって実行するために前記１または複数の記憶デバイスの少なくとも１つに格納されたプログラム命令を備えるコンピュータと
を備え、前記プログラム命令は、
前記拡張現実頭部装着型ディスプレイを介して現場の医師の両眼が経験するビジュアルを受信し、
前記拡張現実頭部装着型ディスプレイを介して前記現場の医師が経験する付加的コンテンツを受信し、
前記現場の医師の両眼が経験する前記ビジュアルおよび前記付加的コンテンツを、前記現場の医師が経験する単一の統合ビューに統合し、
前記統合ビューを遠隔ディスプレイに表示するために遠隔コンピュータに伝達し、
前記遠隔コンピュータを介して遠隔医師による前記統合ビューとのインタラクションを受信し、
前記拡張現実頭部装着型ディスプレイを介して前記インタラクションを前記現場の医師に提示する
ように構成される、システム。
前記付加的コンテンツは、動的かつインタラクティブな多次元解剖学的モデルを備え、前記コンピュータは、前記拡張現実頭部装着型ディスプレイを介して経験する患者の人体の実ビジュアルに前記解剖学的モデルを同期化およびオーバレイすることによって、前記経験するビジュアルおよび前記付加的コンテンツを統合するように構成される、請求項１に記載のシステム。
前記拡張現実頭部装着型ディスプレイは、前記現場の医師が経験する患者の人体のライブ実在ビジュアルを表現するライブビデオフィードを捕捉するように構成されたカメラを備え、前記コンピュータは、前記ライブビデオフィードおよび前記付加的コンテンツを前記遠隔コンピュータに伝達するように構成される、請求項１に記載のシステム。
前記インタラクションは、マークアップおよび短文の少なくとも１つを備え、外科手術を行うための指示を示す、請求項１に記載のシステム。
前記コンピュータは、前記現場の医師の両眼が経験する前記ビジュアルとのインタラクションと前記付加的コンテンツとのインタラクションとを特異性を識別するために区別するように構成される、請求項１に記載のシステム。
前記コンピュータは、前記識別された特異性に基づいて前記受信したインタラクションをレンダリングするように構成される、請求項５に記載のシステム。
前記付加的コンテンツは、内視鏡によって生成された近接ビデオを備え、前記コンピュータは、前記ライブビデオフィードおよび前記近接ビデオを前記遠隔コンピュータに伝達するように構成される、請求項３に記載のシステム。
前記拡張現実頭部装着型ディスプレイは、前記拡張現実頭部装着型ディスプレイを介した近接ビューを可能にするための拡大ルーペを備え、前記拡張現実頭部装着型ディスプレイは、前記ルーペに対する前記現場の医師の眼位置を決定するように構成され、前記コンピュータは、前記決定された眼位置に基づいて、前記遠隔コンピュータに伝達された前記ライブビデオフィードのズームレベルを調整するように構成される、請求項３に記載のシステム。
外科手術を遠隔監督するための方法であって、
拡張現実頭部装着型ディスプレイを介して現場の医師の両眼が経験するビジュアルを受信することと、
前記拡張現実頭部装着型ディスプレイを介して前記現場の医師が経験する付加的コンテンツを受信することと、
前記現場の医師の両眼が経験する前記ビジュアルおよび前記付加的コンテンツを、前記現場の医師が経験する単一の統合ビューに統合することと、
前記統合ビューを遠隔ディスプレイに表示するために遠隔コンピュータに伝達することと、
前記遠隔コンピュータを介して遠隔医師による前記統合ビューとのインタラクションを受信することと、
前記拡張現実頭部装着型ディスプレイを介して前記インタラクションを前記現場の医師に提示することと
を備える方法。
前記付加的コンテンツは、動的かつインタラクティブな多次元解剖学的モデルを備え、前記経験するビジュアルおよび前記付加的コンテンツを統合するステップは、前記拡張現実頭部装着型ディスプレイを介して経験する患者の人体の実ビジュアルに前記解剖学的モデルを同期化およびオーバレイするステップを備える、請求項９に記載の方法。
前記統合ビューを伝達することは、前記拡張現実頭部装着型ディスプレイのカメラによって捕捉された前記現場の医師が経験する患者の人体のライブ実在ビジュアルを表現するライブビデオフィードと統合された付加的コンテンツを伝達することを備える、請求項９に記載の方法。
前記インタラクションは、マークアップおよび短文の少なくとも１つを備え、外科手術を行うための指示を示す、請求項９に記載の方法。
前記現場の医師の両眼が経験する前記ビジュアルとのインタラクションと前記付加的コンテンツとのインタラクションとを特異性を識別するために区別するステップを更に備える、請求項９に記載の方法。
前記インタラクションを提示するステップは、前記識別された特異性に基づいて前記受信したインタラクションをレンダリングするステップを含む、請求項１３に記載の方法。
前記付加的コンテンツは、内視鏡によって生成された近接ビデオを備え、前記統合ビューを伝達するステップは、前記ライブビデオフィードおよび前記近接ビデオを前記遠隔コンピュータに伝達するステップを含む、請求項１１に記載の方法。
前記拡張現実頭部装着型ディスプレイに設けられたルーペに対する前記現場の医師の眼位置を決定することを更に備え、前記統合ビューを伝達することは、前記決定された眼位置に基づいて、前記遠隔コンピュータに伝達された前記ライブビデオフィードのズームレベルを調整することを備える、請求項１１に記載のシステム。
外科手術を遠隔監督するための方法であって、
拡張現実頭部装着型ディスプレイを介して現場の医師の両眼が経験するビジュアルを受信することと、
前記拡張現実頭部装着型ディスプレイを介して前記現場の医師が経験する動的かつインタラクティブな多次元解剖学的モデルを含む付加的コンテンツを受信することと、
前記現場の医師の両眼が経験する前記ビジュアルと、前記拡張現実頭部装着型ディスプレイを介して経験する患者の人体の実ビジュアルに前記解剖学的モデルを同期化およびオーバレイすることを含む前記付加的コンテンツとを、前記現場の医師が経験する単一の統合ビューに統合することと、
前記拡張現実頭部装着型ディスプレイに設けられたルーペに対する前記現場の医師の眼位置を決定することと、
前記拡張現実頭部装着型ディスプレイのカメラによって捕捉された前記現場の医師が経験する患者の人体のライブ実在ビジュアルを表現するライブビデオフィードと統合された付加的コンテンツを伝達すること、および前記決定された眼位置に基づいて、前記遠隔コンピュータに伝達された前記ライブビデオフィードのズームレベルを調整することによって、前記統合ビューを遠隔ディスプレイに表示するために遠隔コンピュータに伝達することと、
前記現場の医師の両眼が経験する前記ビジュアルとのインタラクションと前記付加的コンテンツとのインタラクションとを特異性を識別するために区別することと、
前記遠隔コンピュータを介して遠隔医師による前記統合ビューとのインタラクションを受信することと、
前記識別された特異性に基づいて前記受信したインタラクションをレンダリングすることによって、前記拡張現実頭部装着型ディスプレイを介して前記インタラクションを前記現場の医師に提示することと
を備える方法。
前記付加的コンテンツは、内視鏡によって生成された近接ビデオを更に備え、前記統合ビューを伝達するステップは、前記ライブビデオフィードおよび前記近接ビデオを前記遠隔コンピュータに伝達するステップを含む、請求項１７に記載の方法。
前記インタラクションは、マークアップおよび短文の少なくとも１つを備え、外科手術を行うための指示を示す、請求項１７に記載の方法。