JP2021501939A - オブジェクトの拡張現実ドラッグ及びドロップ - Google Patents

Abstract

拡張現実ディスプレイ４１と、拡張現実ドラッグ及びドロップコントローラとを備える、拡張現実ドラッグ及びドロップデバイス４０である。動作時、拡張現実ディスプレイ４１は、仮想オブジェクト（例えば仮想コンテンツ又は仮想アイテム）を、物理世界の中の物理オブジェクトのビュー（例えば物理コンテンツ又は物理アイテム）に対して表示し、拡張現実ドラッグ及びドロップコントローラ４３は、仮想オブジェクト及び物理オブジェクトを伴うドラッグ及びドロップ動作を制御する。ドラッグ及びドロップ動作は、物理オブジェクトへの仮想オブジェクトのドラッグ、及び／又は仮想オブジェクトへの物理オブジェクトのドラッグを伴う。

Description

本開示は、全般に、特に医療環境における拡張現実の利用に関する。本開示は、具体的には、仮想世界からコンテンツをドラッグしてそのコンテンツを物理世界の中にドロップすること、及び物理世界からコンテンツをドラッグしてそのコンテンツを仮想世界の中にドロップすることに関する。

医療手順中に医療従事者が利用することができ、医療従事者によって必要とされる情報の度合いがかつてなく増大している。当該情報は、処置室の中で利用可能な物理画面上の限られた空間を競合している。処置室の拡張現実ビューを提供する装着可能眼鏡は、処置室内のどこにでも配置することが可能で、眼鏡のユーザによって動的に構成される、より柔軟性の高い画面の可能性を生み出す。

仮想画面の将来性にも関わらず、依然として物理画面及びそのインターフェースを処置室に備えておく主要な理由がいくつかある。

第１に、物理画面の画像品質は、仮想画面の画像品質よりも良好であり得る。

第２に、安全性の理由から、特定の画像を常に物理画面に提示しておくことが必要であり得る（例えばライブＸ線画像）。

第３に、物理画面は、処置室内の全員が拡張現実眼鏡を装着しているのではない場合に、情報と医療従事者間の対話の主要な供給源となる。

その結果、処置室内の物理画面、仮想画面、及び他のオブジェクト間で情報のシームレスな流れ、特に、医療手順のワークフローを複雑化せず、ワークフローの負担になることがない流れを作り出す必要性が存在する。

拡張現実（ＡＲ）は、一般に、デバイスが、追加的なコンピュータ生成の情報で補われたライブ画像ストリームを表示することを言う。より詳細には、ライブ画像ストリームは、目、カメラ、スマートフォン、タブレット等を介して行われ、眼鏡、コンタクトレンズ、投影、又はライブ画像ストリームデバイス自体（例えばスマートフォン、タブレット等）を介して、ＡＲユーザに対するディスプレイを介して増強される。本開示の発明は、仮想世界からコンテンツをドラッグして、そのコンテンツを物理世界の中にドロップすること、及び物理世界からコンテンツをドラッグしてそのコンテンツを仮想世界の中にドロップすることを前提とし、それにより、手順、特に医療手順のワークフローへの中断を最小にする。

本開示の発明の一実施形態は、拡張現実ディスプレイと、拡張現実ドラッグ及びドロップコントローラとを備えた、拡張現実ドラッグ及びドロップデバイスである。動作時、拡張現実ディスプレイは、物理世界の中の物理オブジェクトのビューに対して仮想オブジェクトを表示し、拡張現実ドラッグ及びドロップコントローラは、仮想オブジェクト及び物理オブジェクトを伴うドラッグ及びドロップ動作を制御するように構成される。

本開示の発明の第２の実施形態は、仮想オブジェクトの表示の中の物理オブジェクトを、物理世界の中での物理オブジェクトのビューに対して輪郭付けするオブジェクト輪郭付けモジュールを備えた、拡張現実ドラッグ及びドロップコントローラである。拡張現実ドラッグ及びドロップコントローラは、仮想オブジェクト及び物理オブジェクトを伴うドラッグ及びドロップ動作を制御するように構成されたオブジェクトマネジャを備える。

本開示の発明の第３の実施形態は、物理世界の中の物理オブジェクトのビューに対する仮想オブジェクトの表示と、仮想オブジェクト及び物理オブジェクトを伴うドラッグ及びドロップ動作の制御とを有する、拡張現実ドラッグ及びドロップ方法である。

本開示の発明を説明し、特許請求する目的で、
（１）これらに限定されないが、「仮想オブジェクト」、「仮想画面」、「仮想コンテンツ」、「仮想アイテム」、「物理オブジェクト」、「物理画面」、「物理コンテンツ」、「物理アイテム」、並びに「ドラッグ及びドロップ」を含む当技術分野の用語は、本開示の技術分野において知られるように、かつ本開示に例示的に記載されるように、解釈されるものとする。
（２）用語「拡張現実デバイス」は、本開示の技術分野において知られるように、また以後に着想されるように、物理世界のカメラ画像に基づく物理世界のビュー上に仮想オブジェクトを重畳する拡張現実を実施するすべてのデバイスを広く包含する。拡張現実デバイスの例には、これらに限定されないが、拡張現実頭部装着ディスプレイ（例えば、ＧＯＯＧＬＥ ＧＬＡＳＳ（商標）、ＨＯＬＯＬＥＮＳ（商標）、ＭＡＧＩＣ ＬＥＡＰ（商標）、ＶＵＳＩＸ（商標）、及びＭＥＴＡ（商標））が含まれる。
（３）用語「拡張現実ドラッグ及びドロップデバイス」は、本開示に例示的に記載されるように、仮想オブジェクト及び物理オブジェクトを伴うドラッグ及びドロップ動作を対象とする本開示の発明原理を実施する、任意のすべての拡張現実デバイスを広く包含する。
（４）用語「物理デバイス」は、本開示の技術分野において知られるような、また以後に着想されるような、拡張現実デバイス以外のすべてのデバイスを広く包含する。医療手順に関連する物理デバイスの例には、これらに限定されないが、医療撮像モダリティ（例えば、Ｘ線、超音波、コンピュータ断層撮影、磁気共鳴撮像等）、医療ロボット、医療診断／監視デバイス（例えば心電図モニタ）、及び医療ワークステーションが含まれる。医療ワークステーションの例には、これらに限定されないが、スタンドアロン・コンピューティング・システム、サーバシステムのクライアントコンピュータ、デスクトップ、ラップトップ、又はタブレットの形態である、１つ又は複数のコンピューティングデバイスと、ディスプレイ／モニタと、１つ又は複数の入力装置（例えば、キーボード、ジョイスティック、及びマウス）との組立体が含まれる。
（５）用語「物理ドラッグ及びドロップデバイス」は、本開示に例示的に記載されるように、仮想オブジェクト及び物理オブジェクトを伴うドラッグ及びドロップ動作を対象とする本開示の発明原理を実施する、すべての任意の物理デバイスを広く包含する。
（６）用語「コントローラ」は、本開示の技術分野において理解されるように、また本開示に例示的に記載されるように、本開示の様々な発明原理の適用を制御するための、特定用途向け主基板又は特定用途向け集積回路のすべての構造的構成を広く包含する。コントローラの構造的構成は、これらに限定されないが、プロセッサ、コンピュータ使用可能／コンピュータ可読記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺デバイスコントローラ、スロット、及びポートを含む。コントローラは、拡張現実ドラッグ及びドロップデバイス又は物理ドラッグ及びドロップデバイスの中に収容されるか、又はそれに通信的に接続される。
（７）本明細書に記載され、特許請求されるコントローラに関する記述ラベルは、用語「コントローラ」に対する追加的な制限を指定又は示唆することなく、本明細書に記載され、特許請求されるコントローラ同士の区別を容易にする。
（８）用語「アプリケーションモジュール」は、特定のアプリケーションを実行するための電子回路（例えば電子部品及び／若しくはハードウェア）、並びに／又は実行可能プログラム（例えば、非一時的コンピュータ可読媒体に記憶された実行可能ソフトウェア及び／若しくはファームウェア）からなるコントローラの内部に組み込まれた、又はコントローラによりアクセス可能な、アプリケーションを広く包含する。
（９）本明細書に記載され、特許請求されるアプリケーションモジュールに関する記述ラベルは、用語「アプリケーションモジュール」に対する追加的な制限を指定又は示唆することなく、本明細書に記載され、特許請求されるアプリケーションモジュール同士の区別を容易にする。
（１０）用語「信号」、「データ」、及び「コマンド」は、本開示の以後に記載されるような本開示の様々な発明原理の適用を支援する情報及び／又は命令を送信するための、本開示の技術分野において知られ、本開示に例示的に記載されるような、あらゆる形態の検出可能な物理的数量又はインパルス（例えば、電圧、電流、又は磁場強度）を広く包含する。本開示の信号／データ／コマンド通信の様々な構成要素は、本開示の技術分野において知られるような任意の通信方法を伴ってよく、それらには、これらに限定されないが、任意種類の有線又は無線のデータリンクを介した信号／データ／コマンド送信／受信と、コンピュータ使用可能／コンピュータ可読記憶媒体にアップロードされた信号／データ／コマンドの読み出しとが含まれる。
（１１）本明細書に記載され、特許請求される信号／データ／コマンドに関する記述ラベルは、用語「信号」、「データ」及び「コマンド」に対する追加的な制限を指定又は示唆することなく、本明細書に記載され、特許請求される信号／データ／コマンド同士の区別を容易にする。

本開示の発明の上述した実施形態及び他の実施形態、並びに本開示の発明の様々な構造及び利点は、添付図面と併せて読まれる、以下の本開示の発明の様々な実施形態の詳細な説明からさらに明らかになろう。図面の詳細な説明は、本開示の発明を制限するのではなく、単に例示するものであり、本開示の発明の範囲は、添付の特許請求の範囲及びその均等物によって定義される。

本開示の発明原理による拡張現実ドラッグ及びドロップ方法の例示的実施形態を説明する図である。 図１の拡張現実ドラッグ及びドロップ方法による、仮想世界からの仮想オブジェクトのドラッグ、及び物理世界の物理画面への仮想オブジェクトのドロップの例示的実施形態を説明する図である。 図１の拡張現実ドラッグ及びドロップ方法による、仮想世界からの仮想オブジェクトのドラッグ、及び物理世界の物理アイテムへの仮想オブジェクトのドロップの例示的実施形態を説明する図である。 図１の拡張現実ドラッグ及びドロップ方法による、物理世界からの物理オブジェクトのドラッグ、及び仮想世界の仮想画面への物理オブジェクトのドロップの例示的実施形態を説明する図である。 図１の拡張現実ドラッグ及びドロップ方法による、物理世界からの物理オブジェクトのドラッグ、及び仮想世界の仮想アイテムへの物理オブジェクトのドロップの例示的実施形態を説明する図である。 図１の拡張現実ドラッグ及びドロップ方法による、混合型ドラッグ及びドロップ動作の例示的実施形態を説明する図である。 図１の拡張現実ドラッグ及びドロップ方法による、混合型ドラッグ及びドロップ動作の追加的な例示的実施形態を説明する図である。 本開示の発明原理による、拡張現実ドラッグ及びドロップデバイス並びに物理ドラッグ及びドロップデバイスの例示的実施形態を説明する図である。 患者の解剖学的構造のＸ線撮像のコンテキストにおける、本開示の拡張現実ドラッグ及びドロップデバイスの例示的実装形態を説明する図である。

本開示の様々な発明の理解を容易にするために、以下の図１の説明は、本開示の拡張現実ドラッグ及びドロップ方法の基本的な発明原理を教示する。この説明から、当分野における通常の技術を有する者は、本開示の拡張現実ドラッグ及びドロップ方法の追加的な実施形態を作成し、使用するために、どのように本開示の発明原理を適用するかを認識されよう。

概して、本開示の拡張現実ドラッグ及びドロップ方法は、一般に、仮想コンテンツ／コンテンツへのリンク（例えば、画像、テキスト、グラフィック、ビデオ、サムネイル、プロトコル／レシピ、プログラム／スクリプト等）、及び／又は仮想アイテム（例えば、２Ｄ画面、ホログラム、及び仮想世界における物理オブジェクトの仮想表現）の形態の、表示された仮想オブジェクトとして具現化される情報で増強される、目、カメラ、スマートフォン、タブレット等を介した物理世界内の物理オブジェクトのライブビューを伴う。

より詳細には、物理世界のライブビデオフィードは、物理世界への仮想世界のマッピングを容易にし、それにより、仮想世界のコンピュータ生成の仮想オブジェクトが、物理世界の中で物理オブジェクトのライブビューの上に位置的に重畳される。本開示の拡張現実ドラッグ及びドロップ方法は、コンピュータビジョン、空間マッピング、及び物体認識のような高度な技術、並びに、対話型ツール／機構（例えば、ジェスチャ認識（トーテムを含む）、音声コマンド、頭部追跡、視線追跡、及びトーテム（マウスなど））を介した物理世界と仮想世界との間のオブジェクトのドラッグ及びドロップ動作を容易にするための手動の輪郭付けのような、カスタマイズされる技術を利用する。

より詳細には、図１を参照すると、本開示の拡張現実ドラッグ及びドロップ方法は、拡張現実ディスプレイ１０によって仮想画面に表示された仮想世界の仮想オブジェクトが物理世界にプッシュされるドラッグ及びドロップ動作１１と、物理オブジェクトが物理世界から、拡張現実ディスプレイ１０によって仮想画面に表示された仮想世界にプルされるドラッグ及びドロップ動作１２と、を提供する。

実践において、本開示の拡張現実ドラッグ及びドロップ方法に関して、仮想オブジェクトは、拡張現実ディスプレイ１０を介した情報の任意のコンピュータ生成表示であり、これは、仮想コンテンツ／コンテンツへのリンク（例えば、画像、テキスト、グラフィック、ビデオ、サムネイル、プロトコル／レシピ、プログラム／スクリプト等）、並びに／又は仮想アイテム（例えば、ホログラム、及び仮想世界における物理オブジェクトの仮想表現）の形態である。例えば、医療手順のコンテキストでは、仮想オブジェクトは、これらに限定されないが以下を含む。
（１）医療撮像装置の設定の表示テキスト；
（２）患者の解剖学的構造を通る計画経路の表示グラフィック；
（３）医療手順のライブビューの以前の録画の表示ビデオ；
（４）テキスト、グラフィック、又はビデオにリンクされた表示サムネイル；
（５）患者の解剖学的構造の一部又は全体のホログラム；
（６）手術ロボットの仮想表現；
（７）医療イメージャ（超音波、介入的ｘ線等）からのライブ画像フィード；
（８）監視機器（例えばＥＣＧモニタ）からのライブデータトレース；
（９）任意の画面ディスプレイのライブ画像；
（１０）第三者（例えば、別の部屋にいる別の拡張現実デバイス着用者、ウェブカメラを介して自身のオフィスにいる医療従事者、及び機器の遠隔サポート）への表示ビデオ（又は聴覚）接続；
（１１）テキスト、アイコン、又はオブジェクトのホログラムのいずれかとして視覚化されたオブジェクトの、それが収納されている位置における呼び出された位置；
（１２）所与の手順のために利用可能な、又は提案される医療デバイスの視覚的在庫。

また、ドラッグ可能な仮想オブジェクト２０及びドロップ可能な仮想オブジェクト３０は、本開示にさらに記載されるように、ドラッグ及びドロップ動作１１及び１２の実行のために拡張現実ディスプレイ１０のユーザインターフェースを介して作動可能な仮想オブジェクトである。

さらに実践において、本開示の拡張現実ドラッグ及びドロップ方法に関して、物理オブジェクトは、物理ディスプレイ、掲示板等（図示せず）を介した情報の任意のビューであり、これは、コンテンツ／コンテンツへのリンク（例えばテキスト、グラフィック、ビデオ、サムネイル等）、及び／又は任意の物理アイテムの形態である。例えば、医療手順のコンテキストでは、仮想オブジェクトは、これらに限定されないが以下を含む。
（１）患者の解剖学的構造の表示画像を含む物理画面；
（２）患者の解剖学的構造を通るツール／器具の追跡経路の表示グラフィックを備えたテーブルサイドモニタ；
（３）医療手順の以前の実行の表示ビデオ；
（４）テキスト、グラフィック、又はビデオにリンクされた表示サムネイル；
（５）医療手順を行うための任意の医療デバイス及び／又は装置（例えば、ｘ線システム、超音波システム、患者監視システム、テーブルサイド制御パネル、サウンドシステム、照明システム、ロボット、モニタ、タッチ画面、タブレット、電話機、医療機器／ツール／器具、追加的な拡張現実デバイス、及び画像処理、再構成、画像融合等のような医療ソフトウェアを実行するワークステーション）。

また、ドラッグ可能な物理オブジェクト２１及びドロップ可能な物理オブジェクト３４は、本開示にさらに記載されるように、ドラッグ及びドロップ動作１１及び１２の実行のためにユーザインターフェースを介して作動可能な物理オブジェクトである。

引き続き図１を参照すると、ドラッグ及びドロップ動作１１は、ドロップ可能な物理オブジェクト２１のライブビューへの、又は（例えばドロップ可能な物理オブジェクト２１のコンピュータビジョンを介した）ドロップ可能な物理オブジェクト２１の指定エリア２２への、又はドロップ可能な物理オブジェクト２１に関連付けられた物理的な／表示されたタグ２３のオブジェクト輪郭付けへの、拡張現実ディスプレイ１０を介して仮想画面に表示されているドラッグ可能な仮想オブジェクト２０のドラッグ／ドロップ２６を包含する。

代替として又は同時に、ドラッグ及びドロップ動作１１は、物理世界の指定領域２４のライブビュー（例えば指定領域２４のコンピュータビジョン）への、又は指定領域２４に関連付けられた物理的な／表示されたタグ２５の物体認識への、拡張現実ディスプレイ１０を介して仮想画面に表示されているドラッグ可能な仮想オブジェクト２０のドラッグ／ドロップ２７を包含する。

ドラッグ及びドロップ動作１１の例として、図２Ａは、タグ付けされた／タグ付けされていないドロップ可能な物理画面２１ａへの、ドラッグ可能な仮想コンテンツ２０ａのドラッグ／ドロップ２６ａを例示している。

ドラッグ及びドロップ動作１１のさらなる例として、図２Ｂは、タグ付けされた／タグ付けされていないドロップ可能な物理画面２１ａの指定エリア２２への、ドラッグ可能な仮想コンテンツ２０ａのドラッグ／ドロップ２６ｂを例示している。

ドラッグ及びドロップ動作１１のさらなる例として、図２Ｃは、タグ付けされた／タグ付けされていないドロップ可能な物理画面２１ａを取り囲む物理世界のタグ付けされた／タグ付けされていない指定領域２４ａへの、ドラッグ可能な仮想コンテンツ２０ａのドラッグ／ドロップ２７ａを例示している。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１１のこれら３つの（３）例に関して、ドラッグ可能な仮想コンテンツ２０ａは、医療撮像モダリティ（例えば、Ｘ線撮像モダリティ又は超音波撮像モダリティ）の物理画面へと、又はＸ線撮像モダリティの物理画面の指定エリア（例えば物理画面の左上隅）へと、又は物理世界の指定領域（例えばＸ線撮像モダリティを取り囲む処置室の一領域）へと、表示のためにドラッグ及びドロップされる、患者の解剖学的構造を通る計画経路の仮想画面であってよい。

ドラッグ及びドロップ動作１１のさらなる例として、図２Ｄは、タグ付けされた／タグ付けされていないドロップ可能な物理画面２１ａへの、ドラッグ可能な仮想アイテム２０ｂのドラッグ／ドロップ２６ｃを例示している。

ドラッグ及びドロップ動作１１のさらなる例として、図２Ｅは、タグ付けされた／タグ付けされていないドロップ可能な物理画面２１ａの指定エリア２２への、ドラッグ可能な仮想アイテム２０ｂのドラッグ／ドロップ２６ｄを例示している。

ドラッグ及びドロップ動作１１のさらなる例として、図２Ｆは、タグ付けされた／タグ付けされていないドロップ可能な物理画面２１ａを取り囲む物理世界のタグ付けされた／タグ付けされていない指定領域２４ｂへの、ドラッグ可能な仮想アイテム２０ｂのドラッグ／ドロップ２７ｂを例示している。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１１のこれら３つの（３）例に関して、ドラッグ可能な仮想アイテム２０ｂは、医療撮像モダリティ（例えば、Ｘ線撮像モダリティ又は超音波撮像モダリティ）の物理画面へと、又は物理画面の指定エリア（例えば物理画面の左上隅）へと、又は物理世界の指定領域（例えばＸ線撮像モダリティを取り囲む処置室の一領域）へと、表示のためにドラッグ及びドロップされる患者の解剖学的構造のホログラムであってよい。

ドラッグ及びドロップ動作１１のさらなる例として、図３Ａは、タグ付けされた／タグ付けされていないドロップ可能な物理アイテム２１ｂへの、ドラッグ可能な仮想コンテンツ２０ａのドラッグ／ドロップ２６ｅを例示している。

ドラッグ及びドロップ動作１１のさらなる例として、図３Ｂは、タグ付けされた／タグ付けされていないドロップ可能な物理アイテム２１ｂの指定エリア２２ｂへの、ドラッグ可能な仮想コンテンツ２０ａのドラッグ／ドロップ２６ｆを例示している。

ドラッグ及びドロップ動作１１のさらなる例として、図３Ｃは、タグ付けされた／タグ付けされていないドロップ可能な物理アイテム２１ｂを取り囲む物理世界のタグ付けされた／タグ付けされていない指定領域２４ｃへの、ドラッグ可能な仮想コンテンツ２０ａのドラッグ／ドロップ２７ｃを例示している。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１１のこれら３つの（３）例に関して、ドラッグ可能な仮想コンテンツ２０ａは、医療撮像機器を設定するために（獲得設定、位置決め情報等）、医療撮像モダリティ（例えば、Ｘ線撮像モダリティ又は超音波撮像モダリティ）へと、又はＸ線撮像モダリティの物理画面の指定エリア（例えば物理画面の左上隅）へと、又は物理世界の指定領域（例えばＸ線撮像モダリティを取り囲む処置室の一領域）へと、ドラッグ及びドロップされる、拡張現実ディスプレイ１０に表示される仮想手順カード上で輪郭付けされるデバイス構成であってよい。

また、ドラッグ可能な仮想コンテンツ２０ａは、追加的なタグ付けされた／タグ付けされていない拡張現実デバイス（すなわち、拡張現実ディスプレイ１０のライブビュー内の追加的物理オブジェクト）へとドラッグ及びドロップされる、コンテンツの仮想画面又はコンテンツの仮想画面の合成であってもよく、そこで、コンテンツは、拡張現実デバイスのユーザによって共有される場合も共有されない場合もある。コンテンツの共有は、本開示の技術分野において知られるように拡張現実デバイスのディスプレイすべてを仮想的に結合することにより、又は仮想画面の間欠的又は連続的ドラッグ及びドロップを伴う拡張現実デバイスごとの共通の画面レイアウトにより、実現される。

ドラッグ及びドロップ動作１１のさらなる例として、図３Ｄは、タグ付けされた／タグ付けされていないドロップ可能な物理アイテム２１ｂへの、ドラッグ可能な仮想アイテム２０ｂのドラッグ／ドロップ２６ｇを例示している。

ドラッグ及びドロップ動作１１のさらなる例として、図３Ｅは、タグ付けされた／タグ付けされていないドロップ可能な物理アイテム２１ｂの指定エリア２２ｂへの、ドラッグ可能な仮想アイテム２０ｂのドラッグ／ドロップ２６ｇを例示している。

ドラッグ及びドロップ動作１１のさらなる例として、図３Ｆは、タグ付けされた／タグ付けされていないドロップ可能な物理アイテム２１ｂを取り囲む物理世界のタグ付けされた／タグ付けされていない指定領域２４ｃへの、ドラッグ可能な仮想アイテム２０ｄのドラッグ／ドロップ２７ｂを例示している。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１１のこれら３つの（３）例に関して、ドラッグ可能な仮想アイテム２０ｂは、これから行われるガイドワイヤの撮像の医療撮像モダリティを通知するために、医療撮像モダリティ（例えば、Ｘ線撮像モダリティ又は超音波撮像モダリティ）へと、又は医療撮像モダリティの指定エリア（例えば物理画面の左上隅）へと、又は医療撮像モダリティの指定領域（例えばＸ線撮像モダリティを取り囲む処置室の一領域）へと、ドラッグ及びドロップされる医療ツール（例えばガイドワイヤ）の仮想表現であってよい。

再度図１を参照すると、ドラッグ及びドロップ動作１２は、ドロップ可能な仮想オブジェクト３０の表示への、又はドロップ可能な仮想オブジェクト３０の指定エリア３１への、拡張現実ディスプレイ１０上でライブで閲覧されているドラッグ可能な物理オブジェクト３４のドラッグ／ドロップ３６を包含してよい（例えば、ドロップ可能な仮想オブジェクト３０のコンピュータビジョンを介する）。

代替として又は同時に、物理世界の表示指定領域３２への、又は物理的な／表示されたタグ３３のオブジェクト輪郭付けへの、拡張現実ディスプレイ１０上でライブで閲覧されているドラッグ可能な物理オブジェクト３４のドラッグ／ドロップ３７もある。

ドラッグ及びドロップ動作１２の例として、図４Ａは、ドロップ可能な仮想画面３０ａへの、ドラッグ可能な物理コンテンツ３４ａのドラッグ／ドロップ３６ａを例示している。

ドラッグ及びドロップ動作１２のさらなる例として、図４Ｂは、ドロップ可能な仮想画面３０ａの指定エリア３１ａへの、ドラッグ可能な物理コンテンツ３４ａのドラッグ／ドロップ３６ｂを例示している。

ドラッグ及びドロップ動作１２のさらなる例として、図４Ｃは、物理世界のタグ付けされた／タグ付けされていない指定領域３２ａ（例えばドロップボックス）への、ドラッグ可能な物理コンテンツ３４ａのドラッグ／ドロップ３７ａを例示している。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１２のこれら３つの（３）例に関して、ドラッグ可能な物理コンテンツ３４ａは、拡張現実ディスプレイ１０の仮想画面へと、又は拡張現実ディスプレイ１０の仮想画面の指定エリアへと、又は物理世界のタグ付けされた／タグ付けされていない指定領域３２ａへと、表示のためにドラッグ及びドロップされる、物理画面に表示された患者の解剖学的構造の画像であってよい。

ドラッグ及びドロップ動作１２のさらなる例として、図４Ｄは、ドロップ可能な仮想画面３０ａへの、ドラッグ可能な物理アイテム３４ｂのドラッグ／ドロップ３６ｃを例示している。

ドラッグ及びドロップ動作１２のさらなる例として、図４Ｅは、ドロップ可能な仮想画面３０ａの指定エリアへの、ドラッグ可能な物理アイテム３４ｂのドラッグ／ドロップ３６ｄを例示している。

ドラッグ及びドロップ動作１２のさらなる例として、図４Ｆは、物理世界のタグ付けされた／タグ付けされていない指定領域３２ｂ（例えばドロップボックス）への、ドラッグ可能な物理アイテム３４ｂのドラッグ／ドロップ３７ｂを例示している。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１２のこれら３つの（３）例に関して、ドラッグ可能な物理アイテム３４ｂは、解剖学的モデルのホログラムの生成のために、拡張現実ディスプレイ１０の仮想画面へと、又は拡張現実ディスプレイ１０の仮想画面の指定エリアへと、又は物理世界のタグ付けされた／タグ付けされていない指定領域３２ａへと、ドラッグ及びドロップされる解剖学的モデルであってよい。

ドラッグ及びドロップ動作１２のさらなる例として、図５Ａは、ドロップ可能な仮想アイテム３０ｂへの、ドラッグ可能な物理コンテンツ３４ａのドラッグ／ドロップ３６ｅを例示している。

ドラッグ及びドロップ動作１２のさらなる例として、図５Ｂは、ドロップ可能な仮想アイテム３０ｂの指定エリア３１ｂへの、ドラッグ可能な物理コンテンツ３４ａのドラッグ／ドロップ３６ｆを例示している。

ドラッグ及びドロップ動作１２のさらなる例として、図５Ｃは、物理世界のタグ付けされた／タグ付けされていない指定領域３２ｂ（例えばドロップボックス）への、ドラッグ可能な物理コンテンツ３４ａのドラッグ／ドロップ３７ｃを例示している。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１２のこれら３つの（３）例に関して、ドラッグ可能な物理コンテンツ３４ａは、患者の解剖学的構造の画像を解剖学的モデルのホログラム上に重畳するために、解剖学的モデルのホログラムへと、又は解剖学的モデルのホログラムの指定エリアへと、又は物理世界のタグ付けされた／タグ付けされていない指定領域３２ａへと、ドラッグ及びドロップされる患者の解剖学的構造の画像であってよい。

ドラッグ及びドロップ動作１２のさらなる例として、図５Ｄは、ドロップ可能な仮想アイテム３０ｂへの、ドラッグ可能な物理アイテム３４ｂのドラッグ／ドロップ３６ｇを例示している。

ドラッグ及びドロップ動作１２のさらなる例として、図５Ｅは、ドロップ可能な仮想アイテム３０ｂの指定エリア３１ｂへの、ドラッグ可能な物理アイテム３４ｂのドラッグ／ドロップ３６ｈを例示している。

ドラッグ及びドロップ動作１２のさらなる例として、図５Ｆは、物理世界のタグ付けされた／タグ付けされていない指定領域３２ｂ（例えばドロップボックス）への、ドラッグ可能な物理コンテンツ３４ｂのドラッグ／ドロップ３７ｄを例示している。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１２のこれら３つの（３）例に関して、ドラッグ可能な物理アイテム３４ｂは、針の仮想表現の生成のために、解剖学的モデルのホログラムへと、又は解剖学的モデルのホログラムの指定エリアへと、又は物理世界のタグ付けされた／タグ付けされていない指定領域３２ａへと、ドラッグ及びドロップされる医療ツール（例えば針）であってよい。

再度図１を参照すると、本開示の拡張現実ドラッグ及びドロップ方法の追加的実施形態は、ドラッグ及びドロップ動作１１及び１２の組み合わせ／合併を伴う。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１１及び１２の組み合わせ／合併の例として、本開示の拡張現実ドラッグ及びドロップ方法は、術前撮像ワークステーションと術中撮像ワークステーションとの間にワイヤレス接続を確立するために拡張現実デバイスが操作されることを伴ってよい。医療手順中に、医師が術中画像を術前画像と比較したい場合、医師は、術中画像を、拡張現実ディスプレイ１０上でライブで閲覧されている術中撮像ワークステーションから、画像融合のために指定された仮想画面エリア又は物理世界領域へとドラッグ及びドロップし、その後、画像融合のために仮想術中画像を術前撮像ワークステーションにドラッグ及びドロップする。拡張現実デバイスは、このように、術前撮像ワークステーションと術中撮像ワークステーションとの間の仲介役として働く。画像融合の結果は、拡張現実デバイスにドラッグ及びドロップされ、ユーザの決定に従って仮想画面又は物理画面に表示される。

この例として、図６Ａ〜図６Ｃは、術前撮像ワークステーションに表示されているドラッグ可能な物理コンテンツ３３ａを例示し、これは、ドロップ可能な仮想画面３０ａ（図６Ａ）へと、又は仮想画面３０ａの指定エリア３１ａ（図６Ｂ）へと、又は物理世界の指定領域３２ａ（図６Ｃ）へと、ドラッグ及びドロップされる。ドラッグ可能な物理コンテンツ３３ａは、拡張現実ディスプレイに表示されるドラッグ可能な仮想コンテンツ２０ａに変換可能であり、それにより、ドラッグ可能な仮想コンテンツ２０ａは、術中撮像ワークステーションのドロップ可能な物理画面２１ａ（図６Ａ〜図６Ｃ）へとドラッグ及びドロップされ得る。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１１及び１２の組み合わせ／合併のさらなる例として、本開示の拡張現実ドラッグ及びドロップ方法は、物理世界の中で物理オブジェクトを移動させるために拡張現実デバイスが操作されることを伴う。より詳細には、拡張現実ディスプレイ１０上で閲覧されているドラッグ可能な物理オブジェクトは、物理世界の中の物理オブジェクトのライブビューにおける現在の位置で掴まれ、それにより、ドラッグ可能な仮想表現又はホログラムが生成され、物理世界の中の新しい位置へとドロップされる。新しい位置は、物理オブジェクトを現在の位置から新しい位置に移動するために別の医療従事者に通信され、又は、機械装置（例えばロボット）が、物理オブジェクトを現在の位置から新しい位置に移動するように指令される。

医療手順（例えば、患者の解剖学的構造の撮像、診断、及び／又は治療）のコンテキストにおけるドラッグ及びドロップ動作１１及び１２の組み合わせ／合併のさらなる例として、本開示の拡張現実ドラッグ及びドロップ方法は、１つの物理オブジェクトの動作を別の物理オブジェクトに基づいて制御するために拡張現実デバイスが操作されることを伴う。より詳細には、拡張現実ディスプレイ１０上で閲覧されている物理オブジェクト（例えば超音波トランスデューサ）が、物理世界の中の物理オブジェクトのライブビューにおける現在の位置で掴まれ、それにより、ドラッグ可能な仮想表現が生成され、ドロップ可能な物理オブジェクト（例えばＦｌｅｘＶｉｓｉｏｎ（商標）モニタ）へとドロップされる。これにより、２つの物理オブジェクト間の正確な対話（例えば、その特定の超音波トランスデューサによって生成された超音波画像の、モニタによる正確な表示）が容易になる。

ドラッグ及びドロップ動作１１及び１２の組み合わせ／合併のこれら２つの（２）例に関して、図７は、物理世界の中で拡張現実ディスプレイ１０を介してライブで閲覧されているドラッグ可能な物理コンテンツ３３ａを例示し、これは、拡張現実ディスプレイ１０の仮想画面に表示されるドラッグ可能な仮想コンテンツ２０ａに変換可能であり、それにより、ドラッグ可能な仮想コンテンツ２０ａを、ドロップ可能な物理画面２１ａへとドラッグ及びドロップすることができる。

本開示の様々な発明のさらなる理解を助けるために、以下の図８の説明は、本開示の拡張現実ドラッグ及びドロップデバイス、並びに本開示の物理現実ドラッグ及びドロップデバイスの基本的な発明原理を教示する。この説明から、当分野における通常の技術を有する者は、本開示の拡張現実ドラッグ及びドロップデバイス並びに本開示の物理現実ドラッグ及びドロップデバイスの追加的な実施形態を作成し、使用するために、どのように本開示の発明原理を適用するかを認識されよう。

図８を参照すると、本開示の拡張現実ドラッグ及びドロップデバイス４０は、本開示の技術分野において知られるように、物理オブジェクトを含んでいる物理世界のライブビューに対して仮想オブジェクトを生成し、それを表示することによって物理世界のライブビューを増強するために、拡張現実ディスプレイ４１、拡張現実カメラ４２、拡張現実コントローラ４３、並びに対話型ツール／機構（図示せず）（例えば、ジェスチャ認識（トーテムを含む）、音声コマンド、頭部追跡、視線追跡、及びトーテム（マウスなど））を用いる。

拡張現実ドラッグ及びドロップデバイス４０はさらに、対話型ツール／機構を介して本開示で先述したように本開示の１つ又は複数の拡張現実ドラッグ及びドロップ方法を実施するために、本開示のドラッグ及びドロップコントローラ４４を用いる。

実践において、コントローラ４３及び４４は、図示されるように分割されるか、又は部分的に若しくは全体が一体化される。

引き続き図８を参照すると、物理ドラッグ及びドロップデバイス５０は、本開示の技術分野において知られるように１つ又は複数のアプリケーションを実施するために、物理ディスプレイ５１及びアプリケーションコントローラ５２を用いる。

物理ドラッグ及びドロップデバイス５０はさらに、本開示で先述したように本開示の１つ又は複数の拡張現実ドラッグ及びドロップ方法を実施するために、本開示のドラッグ及びドロップコントローラ５３を用いる。

実践において、コントローラ５２及び５３は、図示されるように分割されるか、又は部分的に若しくは全体が一体化される。同じく実践において、コントローラ５３は、デバイス５０にリモート接続されてよい。

引き続き図８を参照すると、各コントローラは、１つ又は複数のシステムバスを介して相互接続された、プロセッサ、メモリ、ユーザインターフェース、ネットワークインターフェース、及びストレージを含む。

各プロセッサは、メモリ又はストレージに記憶された命令を記憶する、又はその他の形でデータを処理することが可能な、本開示の技術分野において知られる、又は以後に着想されるような、任意のハードウェアデバイスである。非制限的な例において、プロセッサは、マイクロプロセッサ、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途集積回路（ＡＳＩＣ）、又は他の同様のデバイスを含む。

メモリは、これらに限定されないが、Ｌ１、Ｌ２、若しくはＬ３キャッシュ又はシステムメモリを含む、本開示の技術分野において知られる、又は以後に着想されるような、様々なメモリを含む。非制限的な例において、メモリは、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、読出し専用メモリ（ＲＯＭ）、又は他の同様のメモリデバイスを含む。

ユーザインターフェースは、管理者などのユーザとの通信を可能にする、本開示の技術分野において知られる、又は以後に着想されるような、１つ又は複数のデバイスを含む。非制限的な例において、ユーザインターフェースは、ネットワークインターフェースを介してリモート端末に提示され得る、コマンドラインインターフェース又はグラフィカルユーザインターフェースを含む。

ネットワークインターフェースは、他のハードウェアデバイスとの通信を可能にする、本開示の技術分野において知られる、又は以後に着想されるような、１つ又は複数のデバイスを含む。非制限的な例において、ネットワークインターフェースは、イーサネットプロトコルに従って通信するように構成されたネットワークインターフェースカード（ＮＩＣ）を含む。また、ネットワークインターフェースは、ＴＣＰ／ＩＰプロトコルに従った通信のためにＴＣＰ／ＩＰスタックを実施してもよい。ネットワークインターフェースの様々な代替の又は追加的なハードウェア又は構成が明らかであろう。

ストレージは、これらに限定されないが、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気記憶媒体、光学記憶媒体、フラッシュメモリデバイス、又は同様の記憶媒体を含む、本開示の技術分野において知られる、又は以後に着想されるような、１つ又は複数の機械可読記憶媒体を含む。様々な非制限的実施形態において、ストレージは、プロセッサにより実行される命令、又はプロセッサが作用するデータを記憶する。例えば、ストレージは、ハードウェアの様々な基本的動作を制御する基本オペレーティングシステムを記憶する。ストレージは、本開示にさらに記載されるようなコントローラの様々な機能を実施するための、実行可能ソフトウェア／ファームウェアの形態のアプリケーションモジュールも記憶する。

引き続き図８を参照すると、ドラッグ及びドロップコントローラ４３は、拡張現実デバイスディスプレイ４１によって表示される仮想画面内で物理オブジェクトを輪郭付けするオブジェクト輪郭付けモジュール４５を用いる。

実践において、オブジェクト輪郭付けモジュール４５は、拡張現実デバイスディスプレイ４１によって表示される仮想画面内の物理オブジェクトを輪郭付けするために、本開示の技術分野において知られる任意の技術を実施する。そのような技術の非制限的な例には、本開示の技術分野において知られるように、コンピュータビジョン、空間マッピング、及び物体認識技術、並びに本開示にさらに記載されるように本開示の手動輪郭付けが含まれる。

ドラッグ及びドロップコントローラ４３はさらに、１つ又は複数のオブジェクトマネジャを用い、それらには、本開示で例示的に先述したように、物理オブジェクトへの仮想オブジェクトのプッシュを伴う本開示のドラッグ及びドロップ動作（例えば図１のドラッグ及びドロップ動作１１）を制御するためのオブジェクト・プッシュ・マネジャ４６と、本開示で例示的に先述したように、仮想オブジェクトへの物理オブジェクトのプルを伴うドラッグ及びドロップ動作（例えば図１のドラッグ及びドロップ動作１２）を制御するためのオブジェクト・プル・マネジャ４７と、が含まれる。

同様に、ドラッグ及びドロップコントローラ５３は、１つ又は複数のオブジェクトマネジャを用い、それらには、本開示で例示的に先述したように、物理オブジェクトへの仮想オブジェクトのプッシュを伴う本開示のドラッグ及びドロップ動作（例えば図１のドラッグ及びドロップ動作１１）を制御するためのオブジェクト・プッシュ・マネジャ５４と、本開示で例示的に先述したように、仮想オブジェクトへの物理オブジェクトのプルを伴うドラッグ及びドロップ動作（例えば図１のドラッグ及びドロップ動作１２）を制御するためのオブジェクト・プル・マネジャ５５と、が含まれる。

ドラッグ及びドロップコントローラ４４はさらに通信モジュール４８を用い、ドラッグ及びドロップコントローラ５３はさらに通信モジュール５６を用い、これらは、本開示で例示的に先述したように、物理オブジェクトへの仮想オブジェクトのプッシュを伴う、オブジェクト・プッシュ・マネジャ４６とオブジェクト・プッシュ・マネジャ５４との間の通信（例えば図１のドラッグ及びドロップ動作１１）を協働して確立し、その通信を支援し、及び、本開示で例示的に先述したように、仮想オブジェクトへの物理オブジェクトのプルを伴う、オブジェクト・プル・マネジャ４７とオブジェクト・プル・マネジャ５５との間の通信（例えば図１のドラッグ及びドロップ動作１２）を協働して確立し、その通信を支援する。

実践において、通信モジュール４８及び５６は、そのような通信を確立し、支援するために、本開示の技術分野において知られる任意の通信技術を実施する。そのような通信技術の非制限的な例には、インターネット・プロトコル・スイート／リアルタイム・マルチメディア転送プロトコル（例えばユーザ・データグラム・プロトコル（ＵＤＰ））が含まれる。

引き続き図８を参照すると、オブジェクト・プッシュ・マネジャ４６及びオブジェクト・プッシュ・マネジャ５４による物理オブジェクトへの仮想オブジェクトのプッシュは、オブジェクト・プッシュ・マネジャ４６が、拡張現実ディスプレイ４１の仮想画面及び対話型ツール／機構を介した仮想オブジェクトのドラッグ態様を容易にするためのユーザインターフェースを提供することを伴う。このために、オブジェクト・プッシュ・マネジャ４６は、拡張現実ディスプレイ４１に合わせてカスタマイズされたドラッグ技術を実施するハードウェア／回路及び／又は実行可能ソフトウェア／ファームウェアを含む。

オブジェクト・プッシュ・マネジャ４６及びオブジェクト・プッシュ・マネジャ５４による物理オブジェクトへの仮想オブジェクトのプッシュはさらに、オブジェクト・プッシュ・マネジャ４６が、仮想オブジェクトをオブジェクト・プッシュ・マネジャ５４に通信することを伴い、そのような通信は、オブジェクト・プッシュ・マネジャ５４による物理オブジェクトへの仮想オブジェクトのドロップを容易にするための仮想オブジェクトのメタデータを含み、それは、物理ディスプレイ５１及び／又はアプリケーションコントローラ５３に合わせてカスタマイズされたドロップ技術を実施する、ハードウェア／回路及び／又は実行可能ソフトウェア／ファームウェアを含む。

例えば、拡張現実ドラッグ及びドロップ方法は、オブジェクト・プッシュ・マネジャ４６が、通信モジュール４９及び５６を介してオブジェクト・プッシュ・マネジャ５４との通信を確立することを伴い、それにより、図９Ａに示すように、オブジェクト・プッシュ・マネジャ４６は、拡張現実ディスプレイ４１を介したＸ線医療手順７０のライブビュー４１ａ及び物理ディスプレイ５１に基づいて、物理ディスプレイ５１のドロップ可能な物理画面２１ａに、ドラッグ可能な仮想コンテンツ２０ａを表示するように、オブジェクト・プッシュ・マネジャ５４に指令することができる。

再度図８を参照すると、同様に、オブジェクト・プル・マネジャ４７及びオブジェクト・プル・マネジャ５５による仮想オブジェクトへの物理オブジェクトのプルは、オブジェクト・プル・マネジャ４７が、拡張現実ディスプレイ４１の仮想画面及び対話型ツール／機構を介した物理オブジェクトのドラッグ態様を容易にするためのユーザインターフェースを提供することを含む。このために、オブジェクト・プル・マネジャ４７は、拡張現実ディスプレイ４１に合わせてカスタマイズされたドラッグ技術を実施するハードウェア／回路及び／又は実行可能ソフトウェア／ファームウェアを含む。

オブジェクト・プル・マネジャ４７及びオブジェクト・プル・マネジャ５５による仮想オブジェクトへの物理オブジェクトのプルはさらに、オブジェクト・プル・マネジャ４７が、物理オブジェクトについての要求をオブジェクト・プル・マネジャ５５に通信することを伴い、それにより、オブジェクト・プル・マネジャ５５は、物理コンテンツと、それに関連付けられた、オブジェクト・プル・マネジャ４７による仮想オブジェクトへの物理オブジェクトへのドロップを容易にするメタデータとをもって応答し、これはさらに、拡張現実ディスプレイ４１に合わせてスタマイズされたドロップ技術を実施するハードウェア／回路及び／又は実行可能ソフトウェア／ファームウェアを含む。

例えば、拡張現実ドラッグ及びドロップ方法は、オブジェクト・プル・マネジャ４７が、通信モジュール４９及び５６を介して物理ドラッグ及びドロップデバイス５０のオブジェクト・プル・マネジャ５５との通信を確立することを伴い、それにより、図９Ｂに示すように、オブジェクト・プル・マネジャ４７及びオブジェクト・プル・マネジャ５５は、ハンドシェークプロトコルを実行して、ここでも拡張現実ディスプレイ４１を介したＸ線医療手順７０のライブビュー４１ａ及び物理ディスプレイ５１に基づいて、拡張現実ディスプレイ４１のドロップ可能な仮想画面エリア２０ａに、ドラッグ可能な物理画面２１ａを表示する。

再度図８を参照すると、実践において、マネジャ４７、４８、５４、及び５５は、ユーザインターフェースを多くの形態で取り込む。

例えば、その最も自然な形態において、ユーザインターフェースはジェスチャに基づくものであり、その場合、ユーザは、仮想オブジェクトを手でつまむか又は掴み、次いで物理オブジェクトの上のそれを持って行きたい場所にドラッグする。１つの実施形態では、オブジェクトは、何らかの種類の初期化コマンドでのみドラッグ及びドロップを「ロック解除」することができる。より詳細には、オブジェクトは、必ずしも室内のどのオブジェクトにもドラッグ及びドロップできる訳ではなく、そのため、ドラッグ及びドロップが初期化されると、ユーザが見ることができ、ドラッグ及びドロップの「対象となる」オブジェクトは、その表示においてユーザに対して標識され得る（強調表示、及びオーラ、又はユーザが仮想オブジェクトを「ドロップ」すべき目標オブジェクトの近くに現れるターゲットを通じて）。ドラッグ及びドロップのために手のジェスチャを使用する代わりに、先述したように、拡張現実ドラッグ及びドロップ方法は、音声、頭部追跡、視線追跡、トーテム、又はスタイラスなどの、他のユーザ対話ツールを介して実施されてもよい。物理世界から仮想世界の中へのオブジェクトのドラッグは、ドラッグ可能なオブジェクトに一致する該当領域上でのタップ又は他の同様のジェスチャによって実現することができる。

引き続き、図８、より詳細には手動輪郭付けの設定段階を参照すると、オブジェクト輪郭付けモジュール４５は「ｄｅｖモード」を有し、これにより、ＡＲドラッグ及びドロップデバイス４０のユーザは、ＡＲディスプレイ４１を介して、「ドラッグ可能な領域」及び／又は「ドロップ可能な領域」の２次元又は３次元表現を見る。オブジェクト輪郭付けモジュール４５のｄｅｖモードは、ユーザが、ドラッグ可能な領域表現（例えば立方体）及び／又はドロップ可能な領域表現（例えば立方体）を、物理世界に対して任意の位置及び／又は向きに位置付けることを可能にする。実践において、領域の位置付けは、物理世界内の任意の物理オブジェクトに固有であっても、又は物理世界内の物理オブジェクトに関係して任意であってもよく、また任意の度合いだけ重なっても、そうでなくてもよい。

例えば、ドラッグ可能な表現は、物理世界内の１つの物理ドラッグ及びドロップデバイス５０（例えばテーブルサイドモニタ）と位置合わせされ、ドロップ可能な領域は、物理世界内の異なる物理ドラッグ及びドロップデバイス５０（例えば医療撮像モダリティのディスプレイ）と位置合わせされる。さらなる例として、ドラッグ可能な表現は、物理世界のよく使われる領域と位置合わせされ、ドロップ可能な領域は、物理世界のあまり使用されない領域と位置合わせされる。

手動輪郭付けの適用段階は、輪郭付けされたドロップ可能領域に重なっているＡＲディスプレイ４１の仮想オブジェクト（例えば仮想コンテンツ又はコンテンツの仮想画面）のドラッグを伴い、それによりオブジェクト・プッシュ・マネジャ４６がトリガされて、通信モジュール４８を介して、ＷｉＦｉを通じて（ＵＤＰプロトコルを介して）、オブジェクト・プッシュ・マネジャ５４にコマンドを送信する。コマンドは、どの仮想オブジェクトが輪郭付けされたドロップ可能領域にドロップされたかを示すフラグを含む。オブジェクト・プッシュ・マネジャ５４は、次いで、仮想オブジェクトに従ってデバイス５０を動作させるように変更するアクションを取る（例えば、マネジャ５４が、物理ディスプレイ５０に表示されているものを変更する、又はデバイス５０によって制御されているロボットの姿勢を変更する）。先述したように、ドラッグ及びドロップコントローラ５３は、物理ドラッグ及びドロップデバイス５０から遠隔にあっても（例えば、コントローラ５３が、室内で動作している別個のワークステーション上で動作する）、又は、物理ドラッグ及びドロップデバイス５０の中に収容されてもよい（例えば、デバイス５０が、コントローラ５３を内部に収納したタブレットである）。

引き続き図８を参照すると、手動輪郭付けの適用段階は、オブジェクト・プル・マネジャ４７が、ドラッグ可能な領域をタップしてドロップ可能な領域内の物理オブジェクトを仮想世界の中へと表示することを可能にすることを伴う。より詳細には、ドラッグ可能な領域がタップされると、オブジェクト・プル・マネジャ４７は、どのコンテンツが物理ディスプレイ５１に表示されているか（例えばコンテンツ又はホログラム）を確認するように、通信モジュール４８を介してオブジェクト・プル・マネジャ５５にクエリを送信し、オブジェクト・プル・マネジャ５５は、その情報を、通信モジュール５６を介して送り返す。その通信から、オブジェクト・プル・マネジャ４７は、どの画面又はホログラムをＡＲディスプレイ４１に表示すべきかを知る。

代替として、オブジェクト・プル・マネジャ４７は、物理ディスプレイ５１によって表示されている物理オブジェクトを、本開示の物体認識技術を介して実際に認識するように構成され、それにより、オブジェクト・プル・マネジャ４７は、どの物理オブジェクトをＡＲディスプレイ４１に表示するかを自動的に決定する。

図１〜図９を参照すると、本開示の分野における通常の技術を有する者は、これらに限定されないが、仮想世界の中の仮想オブジェクトと物理世界の中の物理オブジェクトとの間の情報のシームレスな流れを含む、本開示の発明の多数の利益を認識されよう。

例えば、医療手順時の増大した情報は、追加的なデータ処理を行う必要性を要し、これは主として、術前段階と術中段階との間の医療手順の計画段階中に実現される。しばしば、計画段階は、医療従事者が、術前段階の終わりに消毒洗浄して、計画段階を実行するために処置室を離れ、術中段階を行うために再度消毒洗浄することを必要とする。本開示の発明は、医療手順の段階間のワークフローを簡素化し、また医療手順の段階間のワークフローを複雑化することなく医療手順の遂行を助ける新しい処理方法を導入するための、拡張現実ドラッグ及びドロップ方法、コントローラ、及びデバイスを提供する。

さらに、本開示の分野における通常の技術を有する者が、本明細書に提供される教示に照らして認識するように、本開示／明細書に記載される、及び／又は図に描かれる、構造、要素、構成要素等は、ハードウェアとソフトウェアの様々な組み合わせで実施され、単一の要素又は複数の要素として組み合わせられる機能を提供する。例えば、図に示される／例示される／描かれる様々な構造、要素、構成要素等の機能は、専用ハードウェア、並びに付加された機能性に関する適切なソフトウェアとの関連でソフトウェアを実行することが可能なハードウェアの使用を通じて提供され得る。プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は複数の個々のプロセッサによって提供され得、それらの一部は共有及び／又は多重化され得る。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行することが可能なハードウェアを排他的に指すものと解釈すべきではなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するためのメモリ（例えば、読出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、不揮発性ストレージ等）、並びに、プロセスを実行及び／又は制御することが可能な（及び／又はそのように構成可能な）実質的に任意の手段及び／又は機械（ハードウェア、ソフトウェア、ファームウェア、それらの組み合わせ等を含む）を制限なしに暗黙的に含み得る。

さらに、本発明の原理、態様、及び実施形態並びにその具体例を述べる本明細書におけるすべての著述は、その構造的及び機能的両方の均等物を包含することが意図される。加えて、そのような均等物は、現在知られている均等物と、将来開発される均等物（例えば、構造に関係なく、同一の又は実質的に同様の機能を行うことができる、開発される任意の要素）の両方を含むことが意図される。よって、例えば、当分野における通常の技術を有する者には、本明細書に提供される教示に照らして、本明細書に提示される任意のブロック図は、本発明の原理を具現化する、例示的なシステム構成要素及び／又は回路の概念図を表し得ることが認識されよう。同様に、当分野における通常の技術を有する者は、本明細書に提供される教示に照らして、フローチャート、流れ図等は、コンピュータ可読記憶媒体の中に実質的に表され、そのようなコンピュータ又はプロセッサが明示的に示されるか否かに関わらず、処理能力を有するコンピュータ、プロセッサ又は他のデバイスによってそのように実行され得る様々なプロセスを表し得ることを認識するはずである。

本開示の様々な多数の発明の好適及び例示的な実施形態を説明してきたが（それらの実施形態は、例示的なものであり制限的ではないことが意図される）、図を含む本明細書に提供される教示に照らして、変更形態及び変形形態が当業者により作成され得ることが留意される。したがって、本開示の好適な及び例示的な実施形態の中で／それに対して、本明細書に開示される実施の範囲内にある変更を加え得ることを理解すべきである。

さらに、デバイス／システム等を組み込む／実施する、対応する及び／又は関係するシステムが、本開示に係るデバイスと共に使用される／その中で実施されてよく、また、本開示の範囲内にあることが企図され、そのように見なされることが企図される。さらに、本開示に係るデバイス及び／又はシステムを製造する及び／又は使用するための、対応する及び／又は関係する方法も、本開示の範囲内にあることが企図され、そのように見なされる。

Claims (20)

1. 物理世界の中の物理オブジェクトのビューに対して仮想オブジェクトを表示するように動作可能な拡張現実ディスプレイと、
   前記仮想オブジェクト及び前記物理オブジェクトを伴うドラッグ及びドロップ動作を制御する、拡張現実ドラッグ及びドロップコントローラと、
   を備える、拡張現実ドラッグ及びドロップデバイス。
2. 前記拡張現実ドラッグ及びドロップコントローラがさらに、前記物理オブジェクトの前記ビューへの、前記拡張現実ディスプレイによって表示されている前記仮想オブジェクトのドラッグ及びドロップを制御する、請求項１に記載の拡張現実ドラッグ及びドロップデバイス。
3. 前記拡張現実ドラッグ及びドロップコントローラがさらに、前記物理オブジェクトの指定エリアのビューへの、前記拡張現実ディスプレイによって表示されている前記仮想オブジェクトのドラッグ及びドロップを制御する、請求項１に記載の拡張現実ドラッグ及びドロップデバイス。
4. 前記拡張現実ドラッグ及びドロップコントローラがさらに、前記物理世界の指定領域のビューへの、前記拡張現実ディスプレイによって表示されている前記仮想オブジェクトのドラッグ及びドロップを制御する、請求項１に記載の拡張現実ドラッグ及びドロップデバイス。
5. 前記拡張現実ドラッグ及びドロップコントローラがさらに、前記拡張現実ディスプレイによって表示されている前記仮想オブジェクトへの、前記物理オブジェクトのドラッグ及びドロップを制御する、請求項１に記載の拡張現実ドラッグ及びドロップデバイス。
6. 前記拡張現実ドラッグ及びドロップコントローラがさらに、前記拡張現実ディスプレイによって表示されている前記仮想オブジェクトの指定エリアへの、前記物理オブジェクトのドラッグ及びドロップを制御する、請求項１に記載の拡張現実ドラッグ及びドロップデバイス。
7. 前記拡張現実ドラッグ及びドロップコントローラがさらに、前記物理世界の指定領域への、前記物理オブジェクトのドラッグ及びドロップを制御する、請求項１に記載の拡張現実ドラッグ及びドロップデバイス。
8. 拡張現実デバイスディスプレイによる仮想オブジェクトの表示の中の物理オブジェクトを、物理世界の中での前記物理オブジェクトのビューに対して輪郭付けするオブジェクト輪郭付けモジュールと、
   前記オブジェクト輪郭付けモジュールによって輪郭付けされた前記仮想オブジェクト及び前記物理オブジェクトを伴うドラッグ及びドロップ動作を制御するオブジェクトマネジャと、
   を備える、拡張現実ドラッグ及びドロップコントローラ。
9. 前記オブジェクトマネジャがさらに、前記物理オブジェクトの前記ビューへの、前記仮想オブジェクトのドラッグ及びドロップを制御する、請求項８に記載の拡張現実ドラッグ及びドロップコントローラ。
10. 前記オブジェクトマネジャがさらに、前記物理オブジェクトの指定エリアのビューへの、前記仮想オブジェクトのドラッグ及びドロップを制御する、請求項８に記載の拡張現実ドラッグ及びドロップコントローラ。
11. 前記オブジェクトマネジャがさらに、前記物理世界の指定領域のビューへの、前記仮想オブジェクトのドラッグ及びドロップを制御する、請求項８に記載の拡張現実ドラッグ及びドロップコントローラ。
12. 前記オブジェクトマネジャがさらに、前記拡張現実ディスプレイによって表示されている前記仮想オブジェクトへの、前記物理オブジェクトのドラッグ及びドロップを制御する、請求項８に記載の拡張現実ドラッグ及びドロップコントローラ。
13. 前記オブジェクトマネジャがさらに、前記拡張現実ディスプレイによって表示されている前記仮想オブジェクトの指定エリアへの、前記物理オブジェクトのドラッグ及びドロップを制御する、請求項８に記載の拡張現実ドラッグ及びドロップコントローラ。
14. 前記オブジェクトマネジャがさらに、前記物理世界の指定領域への、前記物理オブジェクトのドラッグ及びドロップを制御する、請求項８に記載の拡張現実ドラッグ及びドロップコントローラ。
15. 前記オブジェクトマネジャが、
    前記物理オブジェクトに対する前記仮想オブジェクトのドラッグ及びドロップを制御するオブジェクト・プッシュ・マネジャと、
    前記仮想オブジェクトに対する前記物理オブジェクトのドラッグ及びドロップを制御するオブジェクト・プッシュ・マネジャと、
    のうちの一方である、請求項８に記載の拡張現実ドラッグ及びドロップコントローラ。
16. 物理世界の中の物理オブジェクトのビューに対して仮想オブジェクトを表示するステップと、
    前記仮想オブジェクト及び前記物理オブジェクトを伴うドラッグ及びドロップ動作を制御するステップと、
    を有する、拡張現実ドラッグ及びドロップ方法。
17. 前記ドラッグ及びドロップ動作を制御する前記ステップが、
    前記物理オブジェクトの前記ビューへの、前記仮想オブジェクトのドラッグ及びドロップの制御、
    前記物理オブジェクトの指定エリアへの、仮想オブジェクトのドラッグ及びドロップの制御、及び
    前記物理世界の指定領域への、前記仮想オブジェクトのドラッグ及びドロップの制御
    のうちの少なくとも１つを含む、請求項１６に記載の拡張現実ドラッグ及びドロップ方法。
18. 前記ドラッグ及びドロップ動作を制御する前記ステップが、
    拡張現実ディスプレイによって表示されている前記仮想オブジェクトへの、前記物理オブジェクトのドラッグ及びドロップの制御、
    前記拡張現実ディスプレイによって表示されている前記仮想オブジェクトの指定エリアへの、前記物理オブジェクトの前記ビューのドラッグ及びドロップの制御、及び
    前記物理世界の指定領域への、前記物理オブジェクトの前記ビューのドラッグ及びドロップの制御
    のうちの少なくとも１つを含む、請求項１６に記載の拡張現実ドラッグ及びドロップ方法。
19. 前記仮想オブジェクトが、仮想コンテンツ及び仮想アイテムの一方を含む、請求項１６に記載の拡張現実ドラッグ及びドロップ方法。
20. 前記物理オブジェクトが、物理コンテンツ及び物理アイテムの一方を含む、請求項１６に記載の拡張現実ドラッグ及びドロップ方法。

Images