JP2019534734A - 誘導される処置システム - Google Patents

Abstract

対象の隠れた部分の可視化を支援するために、対象の画像を使用するシステムが開示される。システムは、装着型ディスプレイを用いて画像を示し得る。画像は、拡張または複合現実方式で表示され得る。

Description

[0001]本対象の開示は、画像視認システムに関し、詳細には、画像が関連する実際の対象物に関連して表示された、またはその対象物に重畳された画像を、視認するためのシステムに関する。

[0002]本節は、必ずしも従来技術でない本開示に関する背景情報を提供する。
[0003]処置中、コンピュータ援用外科用（ＣＡＳ）システムが、外科医などのユーザを支援するために使用され得る。処置は、脳における腫瘍切除および／または組織の除去などの外科的処置を含み得る。ＣＡＳシステムは、外科用ナビゲーションシステムと呼ばれることもあり、患者の一部の画像をディスプレイ上に表示することを可能にする。たとえば、外科用ナビゲーションシステムは、米国コロラド州に事業所を有する、Ｍｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ，Ｉｎｃ．によって販売される、Ｓｔｅａｌｔｈ Ｓｔａｔｉｏｎ（登録商標） Ｓ７（登録商標）外科用ナビゲーションシステムを含み得る。外科用ナビゲーションシステムは、ユーザが、患者および画像における基準点を識別するなどの重ね合わせ技術を用いて、画像空間を実空間または患者空間に重ね合わせることを可能にする。重ね合わせは、患者から離れて配置された画面上に表示された画像に適用され得る。ディスプレイは、ブラウン管（ＣＲＴ）モニタおよび／またはＶｉｅｗＳｏｎｉｃ Ｃｏｒｐｏｒａｔｉｏｎによって販売されるビデオモニタなどのバックライトディスプレイを含むフラットパネルモニタなどのモニタであり得る。ディスプレイは患者から離して配置されるため、ユーザがディスプレイ上の画像と、患者とを同時に見ることは、少なくとも同一の実空間にいることを含めて、難しい場合がある。

[0004]本節は、本開示の全般的概要を提供し、その全体範囲の包括的開示またはその特徴の全てを提供するわけではない。

[0005]多様な実施形態によれば、外科用ナビゲーションシステムは、ホログラフのまたは拡張現実のディスプレイを備える。拡張現実ディスプレイは、本明細書で説明されるような、複合現実ディスプレイまたはデバイスを備え得る。複合現実（ＭＲ）デバイスは、選択された実空間で１人または複数のユーザによって、たとえば身につけるなどして装着され得る。ＭＲデバイスにより、ユーザは、実空間と対象物を、実空間における実対象物上に関連して表示された、または重畳された生成画像（たとえばアイコン）と共に、視認することが可能になる。ＭＲデバイスは、ＭＲデバイスが実空間におけるＭＲデバイスの物理的位置を識別し、記憶しておくことを可能にするように構成された形態を、さらに含み得る。

[0006]ＭＲデバイスは、実空間または対象空間上に重畳された画像を表示する構成で機能する、ディスプレイを含み得る。対象空間は、動的対象または静的対象を含み得る。たとえば、動的対象は、人の患者または動物の患者を含み得て、一方、静的対象は、機械的または電気的システムを含み得る。多様な実施形態において、人の対象は、外科的処置を経験することになり得て、ＭＲデバイスは、患者上に重畳される患者の画像を、描写または表示するために使用され得る。静的対象の処置では、ＭＲデバイスは、外部層または筐体によって覆われたシステムの内部構成要素の画像を、重畳するために使用され得る。

[0007]多様な実施形態において、ＭＲデバイスは、本明細書で説明するように、現実世界の対象および形態と組み合わせて、ユーザに視認可能な画像を表示するように構成されたデバイスであり得る。ユーザが視認する画像を表示可能な例示のデバイスには、米国ワシントンに事業所を有する、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎによる、Ｈｏｌｏ Ｌｅｎｓ（登録商標）、および米国カリフォルニアに事業所を有する、Ｍｅｔａ ＣｏｍｐａｎｙによるＭｅｔａ ２（登録商標）デジタルディスプレイ、ならびに他の適切な複合現実表示デバイスなどがある。通常、多様な拡張現実表示デバイスを含み得る、ＭＲデバイスは、ユーザが直接視認可能なヘッドマウントディスプレイデバイスであり、実空間上に画像またはアイコンを重畳するために使用され得る。本明細書で説明されるように、ＭＲデバイスは、選択される処置用に、選択されたアイコンおよび画像を表示するために使用され得る。

[0008]多様な実施形態において、ＭＲデバイスはさらに、拡張現実システムと呼ばれ得るか、または拡張現実システムの要素を含み得る。複合現実システムでは、視認者は、現実世界または実空間（たとえば患者空間）の両方を視認し得て、さらに現実世界上に重畳された表示を視認し得る。たとえば、ユーザは、（１）透明なＭＲデバイスの表示部を通した現実世界、および（２）同様にユーザに視認され得る、表示部上に表示された不透明なまたは半透明な要素（たとえば投影または内蔵された液晶ディスプレイ）の両方を、視認し得る。多様な実施形態において、ユーザは、現実世界と表示された要素との両方を同時に視認し得る。複合現実システムは、本明細書でさらに説明するように、ＭＲデバイスを通して視認されるとき、重ね合わせるあらかじめ取得された表示画像を、対象に重ね合わせることを可能にし得る。したがって、ユーザは、実空間と画像空間とを両方とも同時に視認し得て、画像空間で識別される多様な形態およびアイテムを、あたかもそれらが実空間に存在しているように視認するための、実空間に重ね合わされた画像空間を有し得る。

[0009]さらに、拡張または複合現実システムにより、ユーザは、実空間および／または画像空間上に重畳された、他の画像またはアイコンを視認することが可能になる。アイコンは、アイコンが拡張現実デバイスを用いて表示されるので、対象に関連して計画またはナビゲートされた機器の位置に基づき得る。

[0010]適用可能性のさらなる範囲が、本明細書に示す説明から明白になるであろう。本概要の説明および特定の例は、図解の目的にのみ意図され、本開示の範囲を制限することは意図されない。

[0011]本明細書で説明される図面は、全ての可能な実施態様でなく、選択された実施形態のみの例示を目的とし、本開示の範囲を制限することは意図されない。

[0012]ＭＲデバイスを備える外科用ナビゲーションシステムの概略図である。 [0013]ＭＲデバイスを用いて画像および実対象を視認するユーザの概略図である。 [0014]多様な実施形態による、ＭＲデバイスを用いて実対象および画像を視認するユーザの斜視図である。 [0015]多様な実施形態による、ＭＲデバイスを用いて実対象および画像を視認するユーザの斜視図である。 [0016]画像空間を実空間に重ね合わせる方法を示すフローチャートである。 [0017]多様な実施形態による、ＭＲデバイスを用いて実対象および画像を視認するユーザの斜視図である。 [0018]多様な実施形態による、ＭＲデバイスを用いて実対象および画像を視認するユーザの斜視図である。 [0019]多様な実施形態による、ＭＲデバイスを用いて実対象および画像を視認するユーザの斜視図である。

[0020]対応する参照符号は、図面のいくつかの図の全体にわたって対応する部品を示す。
[0021]例示の実施形態をここで、添付図面を参照してより完全に説明することにする。

[0022]多様な実施形態によれば、手術する部屋すなわち手術室１０は、外科医などのユーザ１２によって、被験者１４などの対象において、選択された処置を実行するために使用され得る。上述したように、しかしながら、対象１４は、被験者である必要はなく、処置は、外科的処置である必要はない。多様な実施形態によれば、対象１４は、筐体内部の電気的または機械的システムなどの静的物体であり得る。本明細書で説明するような、拡張または複合現実システムを含む、多様な構成要素は、処置を実行する対象１４の内側のまたは対象１４の筐体の内部の、多様な構成要素と共に、対象１４の外側を視認するために使用され得る。

[0023]手術室１０では、多様な構成要素が、処置の実行中にユーザ１２を支援するために、設置され得る。多様な実施形態によれば、視認システムは、複合現実表示デバイスまたはシステム１６を含み得る。複合現実表示デバイス１６は、眼鏡またはゴーグルに類似するヘッドマウントデバイスなどの装着型複合現実表示デバイスであり得る。複合現実デバイス１６はまた、ユーザ１２の近傍にもしくは隣接して配置されたデバイスであり、かつ／またはユーザ１２と共に移動可能であり得る。複合現実表示デバイス１６は、対象１４、およびＭＲ画像１８ａ（図２および２Ａで示す）の画像のような他の情報および／または対象１４の他の情報および／または対象１４に関連する多様な部分に関するアイコン２２の他の情報を視認するために、ユーザ１２によって、使用され得る。さらに、外部のまたは複合現実でない表示デバイス２０も、ディスプレイ２０を用いた画像１８として、画像を表示するために、さらに使用され得る。ＭＲ画像１８ａは、本明細書でさらに説明するように、ユーザ１２によって視認されることになる、ＭＲディスプレイ１６を用いて視認可能であり得る。

[0024]本明細書で説明するように、視認可能な画像１８、１８ａは、撮像システム２５などの撮像システムを用いて取得される画像データに基づき得る。画像１８、１８ａは、本明細書でさらに説明するように、対象に重ね合わせられ得て、撮像システム２５からの画像データに基づき得ると理解される。本明細書で説明するように、画像１８は通常、画像データに基づく画像を指し、ＭＲ画像１８ａの具体的な説明は、ＭＲデバイス１６を用いて視認される画像である。

[0025]撮像システム２５は、本明細書で説明するように、画像１８を生成するために、画像データ（たとえば、対象１４を通過したＸ線の透過に基づいて）を取得する撮像システムを含み得る。他の画像データもまた、表示デバイス２０によって視認する画像１８、またはＭＲディスプレイ１６を用いて視認するＭＲ画像１８ａを生成するために使用され得ることもさらに理解される。さらに、１つまたは複数のアイコン２２は、表示デバイス２０およびＭＲディスプレイ１６上に描写され得る。アイコン２２は、多様な実施形態によれば、表示デバイス２０上の画像１８上に重畳され得る。さらに、アイコン２２は、ＭＲデバイス１６を用いて表示され得、ＭＲ画像１８ａ上に重畳され得るかつ／または対象１４上に重畳され得る。本明細書で説明するように、アイコン２２は、ユーザ１２によって視認可能な複合現実画像として、ＭＲデバイス１６上に表示され得て、その結果アイコン２２は、対象１４上に直接配置されたように見える。

[0026]図１への参照を続けると、処置の実行を支援するために、ユーザ１２は、撮像システム２５を使用し、対象１４の画像データを取得し、選択されたシステムが、処置の実行を支援するために、画像を生成または作成することを可能にし得る。モデル（３次元の（３Ｄ）画像などの）が、画像データを用いて生成され、ＭＲディスプレイ１６上のＭＲ画像１８ａおよび／または表示デバイス２０上の画像１８として表示され得る。表示デバイス２０は、物理的または音声入力デバイス（たとえば、キーボード、タッチスクリーン、音声制御）、通常非過渡的メモリシステムを含み得るメモリシステム３０（たとえば、回転するハードディスク、ソリッドステートメモリデバイス、ランダムアクセスメモリ）、およびプロセッサ３２などの、入力デバイス２８を備えるプロセッサシステム２６の一部であり得るかつ／またはそれに接続され得る。プロセッサ３２は、処理システム２６に組み込まれた１つまたは複数のプロセッサまたはマイクロプロセッサを備え得る。電線接続または無線伝達接続などの通信部分は、プロセッサシステム２６の多様な構成要素（たとえば、画像１８を表示もしくは描写するために表示デバイス２０を駆動することを可能にするデータ通信用のプロセッサ３２および表示デバイス２０）間に、ならびに／または本明細書で説明するような手術室１０内部の多様な他の構成要素間に配置されると理解される。

[0027]撮像システム２５は、米国コロラド州ルイビルに事業所を有する、Ｍｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ，Ｉｎｃ．によって販売されているＯ−Ａｒｍ（登録商標）撮像システムを含み得る。Ｏ−Ａｒｍ（登録商標）撮像システムを含む撮像システム２５、または参照により全てが本明細書に組み込まれる、米国特許第９，４１２，２００号、７，１８８，９９８号、７，１０８，４２１号、７，１０６，８２５号、７，００１，０４５号、および６，９４０，９４１号、ならびに米国特許出願公開第２０１２／０２５０８２２号、２０１２／００９９７７２号、および２０１０／０２９０６９０号で説明されている撮像システムなどの、他の適切な撮像システムが、選択された処置中に使用され得る。

[0028]撮像システム２５は、たとえばＯ−Ａｒｍ（登録商標）撮像システムを備えるとき、制御パネルまたはシステム４２を備える可搬カート４０、ならびにソースユニット５２および検出器５４が配置された撮像ガントリ５０を備え得る。制御システム４２は、プロセッサ（たとえば上記のものなど）、メモリ、および多様なヒト入力システムなどの、多様な構成要素を備え得る。したがって、制御システム４２は、対象１４の画像データを取得するために、少なくともガントリ５０、ソース５２、および検出器５４を動作させるために操作され得るか、または動作させるための指示を含み得る。さらに、制御システム４２は、病院または他の看護施設などの内部で、撮像システム２５をある位置から別の位置へ移動させるために、使用されかつ／または運転され得る。

[0029]ガントリ５０は、Ｏ型形状または環状体形状であり得て、ガントリは実質的に環状であり、ソースユニット５２および検出器５４が動作し得る容積を形成する壁を備える。可搬カート４０は、ある手術室から別の手術室に移動され得て、ガントリ５０は、本明細書でさらに説明するように、カート４０に関連して移動し得る。このことにより、撮像システム２５は、対象１４に対して可搬かつ可動であり得、それゆえ、資本支出または固定撮像システム専用の空間を必要とせずに、複数の場所で、複数の処置で、使用されることが可能になる。制御システム４２は、汎用プロセッサまたは特定用途プロセッサなどのプロセッサおよびメモリシステム（たとえば、回転ディスクまたはソリッドステート不揮発性メモリなどの非一時的メモリ）を備え得る。たとえば、メモリシステムは、本明細書で説明するような、機能を実行し結果を決定するために、プロセッサによって実行される指示を含み得る。

[0030]ソースユニット５２は、検出器５４によって検出されることになる、患者１４を通るＸ線を、放射することができるＸ線放射装置であり得る。ガントリ５０は、患者１４の身長方向の軸１４Ｌに関連して動作し得て、ソース５２および検出器５４は、軸１４Ｌの周りを回転し得る。患者１４の正確な画像データを生成するために、患者１４に関連してソース５２および検出器５４を動かすように、撮像装置２５が精密に制御され得る。撮像装置２５はまた、有線もしくは無線接続、または撮像システム２５からプロセッサシステム２６への物理的メディア移送手段を含み得る、接続７０などの選択された接続を介して、プロセッサシステム２６と接続され得る。したがって、撮像システム２５を用いて収集された画像データは、本明細書で説明するような、ナビゲーション、ディスプレイ、再構成、などのための処理システム２６に、移送され得る。

[0031]撮像システム２５は、任意の適切な撮像システムであり得て、上で開示されたＯ−Ａｒｍ（登録商標）撮像システムである必要はないと理解される。他の適切な撮像システムは、磁気共鳴画像法（ＭＲＩ）、機能的ＭＲＩ、拡散テンソル撮像法（ＤＴＩ）、コンピュータ断層撮影（ＣＴ）スキャナ、陽電子放射断層撮影（ＰＥＴ）スキャン、ステレオカメラ、などを含み得る。任意の適切な撮像システムは、対象１４の画像データを取得するために使用され得る。さらに、撮像システム２５は、手術室１０内に存在してもよいし、手術室１０の外に配置され、処置がユーザ１２によって実行中である場所から離れて、画像データを取得してもよい。したがって、画像データは、処置前のデータ、処置中の画像データ（すなわち、処置が完了する前に取得された）、または処置後の画像データであり得る。

[0032]ナビゲートされる処置では、光学的ローカライザ８０および電磁的ローカライザ８２の片方または両方を含む、ローカライザおよび／またはデジタイザが、場を生成するために使用され得て、かつ／または患者１４に関連するナビゲーション領域内部で、信号を送受信し得る。患者１４に関連してナビゲートされる空間またはナビゲーション領域は、画像１８の画像空間に重ね合わされる、患者または実空間である。重ね合わせは、当技術分野で理解されているように、ナビゲーション領域内部で画定されるナビゲーション空間と、画像１８によって画定される画像空間との重ね合わせを可能にする、相関付けに基づく。患者追跡装置すなわち動的基準座標系（ＤＲＦ）９０は、患者１４の画像１８への動的重ね合わせおよび重ね合わせの維持を可能にするために、患者１４に接続され得る。

[0033]患者追跡デバイスまたは動的重ね合わせデバイス９０および器具９４は次に、ナビゲートされる処置を可能にするために、患者１４に関連して追跡され得る。器具９４は、光学的追跡デバイス１００および／または電磁的追跡デバイス１０２などの追跡デバイスを含み得て、光学的ローカライザ８０または電磁的ローカライザ８２の片方または両方を用いた器具９４の追跡を可能にし得る。通信システムは、器具９４とプロセッサシステム２６との間に配置され得て、ナビゲーション／プローブのインタフェースデバイス１１０を使用または経由し得る。また、１つまたは複数のローカライザ８０、８２は、ナビゲーション／プローブのインタフェースデバイス１１０を通して、プロセッサシステム２６と通信し得る。プロセッサシステム２６は、したがって、多様な追跡デバイス９０、１００、１０２に基づいて追跡される患者１４および／または器具９４の位置を組み込むために、ナビゲーションシステムとして他の追跡構成要素と協働して運転し得る。追跡位置は、画像１８および／または患者１４上の追跡位置として示され得る。通信は、有線、無線、物理的メディア伝達または動作、あるいは他の任意の適切な通信であり得ると理解される。それにもかかわらず、適切な通信システムは、それぞれのローカライザ８０、８２を備え得て、患者１４に関連して器具９４を追跡することを可能にし、器具９４の追跡位置を、画像１８および／または処置を実行する患者１４に関連して示すことを可能にする。

[0034]当業者ならば、器具９４は、任意の適切な器具、インプラント、またはプローブであり得ることを理解されよう。たとえば、器具９４は、脳室または血管ステント、脊椎インプラント、神経ステントまたは刺激器具、切除デバイス、などを含み得る。器具９４は、介入器具であり得る、またはインプラント可能なデバイスを含み得る、もしくはそれであり得る。器具９４を追跡することで、患者１４および／または重ね合わされた画像１８（たとえば、器具を表すアイコンを表示すること）に関連する器具９４の位置（ｘ、ｙ、ｚ位置および向きを含む）を決定することかつ／または視認することが、患者１４内部の器具９４を直接視認することなしに、可能になる。

[0035]さらに、撮像システム２５は、１つまたは複数のローカライザ８０、８２を用いて追跡され得る。たとえば、ガントリ５０は、それぞれの光学的ローカライザ８０または電磁的ローカライザ８２を用いて追跡されることになる、光学的追跡デバイス１２０または電磁的追跡デバイス１２４を含み得る。したがって、撮像デバイス２５は、器具９４が追跡され得るように、患者１４に関連して追跡され得て、画像１８に関連する、患者１４の初期重ね合わせ、自動重ね合わせ、または連続重ね合わせを可能にする。さらに、撮像システム２５は、画像が取得され、患者１４が同位置に留まるまたは画像取得後に追跡されるとき、その画像が患者１４に重ね合わされることが可能である場合、撮像部（検出器などの）の位置を「知り」得る。器具９４を重ね合わせ、追跡すると、アイコン２２が、画像１８および／または患者１４に関連して、その上に重畳されることを含めて、表示され得る。

[0036]多様な実施形態において、本明細書で説明するような、重ね合わせおよびナビゲートされた処置は、参照により本明細書に組み込まれる、米国特許第８，２３８，６３１号で開示された処置を含み得る。追跡可能な器具および重ね合わせプロセスを含む、追跡システムは、米国特許第８，６４４，９０７号、米国特許第８，６００，４７８号、米国特許第８，８４２，８９３号、米国特許第８，８９１，８４７号、米国特許出願公開第２０１３／０１８８８４８号、および米国特許出願公開第２０１４／０２７５９８９において、さらに公開され、全て参照により本明細書に組み込まれる。重ね合わせは、実空間または患者空間でのｘ、ｙ、ｚ位置の相関付けを行い、それらを画像空間におけるｘ、ｙ、ｚ位置（すなわち、画像内の画素または３Ｄ画素のｘ、ｙ、ｚ位置）と相関付けする。器具９４の追跡される位置は次に、画像１８上に重畳されるなど、ディスプレイ２０上のアイコン２２として示され得る。多様な実施形態において、しかしながら、重ね合わせにより、ＭＲ画像１８ａもまた、ＭＲディスプレイ１６を用いた複合現実視野内の患者１４上に重畳されることが可能になる。したがって、ユーザ１２は、図２および図２Ａに示したように、ＭＲ画像１８ａおよび患者１４の両方を見ることになる。さらに、アイコン２２は、図２に示したように、ＭＲ画像１８ａと共にＭＲディスプレイ１６を用いて表示されても、図３に示したように、ＭＲ画像１８ａ（患者１４上に重畳される）なしで表示されてもよい。

[0037]重ね合わせの前に、または重ね合わせの後にユーザ１２によって選択される場合、ＭＲ画像１８ａは、対象１４とは別個に視認され得る。たとえば、ユーザ１２は、腫瘍切除などの処置を計画するために、対象１４の画像を表示することを、システム２６に指示し得る。対象１４の存在なしで画像を視認するとき、ユーザ１２は、画像内の腫瘍の全てまたは一部を識別し得る。処理システム２６は、腫瘍の境界を識別するために、画像データをセグメント化し得る。ユーザ１２および／または他のユーザはまた、単独でまたは計画システムと連携して、ＭＲデバイス１６などを用いて視認されるような、器具の軌道、進入位置、画像１８および／または対象１４の注釈などを定義または選択し得る。

[0038]計画の全ては、手術計画としてメモリ３０に保存され得る。選択された時刻に、ユーザ１２は、ＭＲデバイス１６を用いて、手術計画を読出し、手術計画（すなわち、軌道、腫瘍セグメンテーション、インプラント設計図および／またはサイズ、器具選択、処置位置など）の少なくとも一部を表示するようにプロセッサシステム２６に指示し得る。手術計画は、他の画像を用いてまたは用いずに、対象１４上に重畳されて表示され得る。さらに、本明細書で説明するように、多様な内部構造が、アイコン、ＭＲ画像１８ａのセグメント化された部分などとして、図示され得る。たとえば、対象１４の内部にありユーザ１２によって直接視認できないことがある、腫瘍を表すアイコン２２ｂ（図３）がＭＲデバイス１６を用いて表示され得る。

[0039]図２および図２Ａへの初期の参照を用いて、ユーザ１２は、患者１４が手術室１０内に配置された後、ＭＲ画像１８ａを手術室１０内の患者１４に重ね合わせ得る。ユーザ１２は、ＭＲデバイス１６を用いる場合、しかしながら、患者１４が存在することなしに、画像を視認し得る。多様な計画および手順の確認は、ユーザ１２が患者１４の存在を伴う処置を開始する前に、実行され得る。予備計画は、後で読み出すためのメモリに保存され、計画された進入点、識別された疾患領域（たとえば、腫瘍）、器具軌道などを含み得る。

[0040]多様な実施形態において、ＭＲデバイス１６は、装着型ＭＲデバイスであり、ユーザ１２は、ＭＲデバイス１６を装着する。装着型ＭＲデバイスである場合のＭＲデバイス１６は、ヘッドマウント部または装着部１５０および透明または半透明な視野部またはディスプレイ１５２を含み得る。視認部１５２は、透明または半透明部分（たとえば、レンズまたはスクリーン）を含み得て、ユーザ１２は、それを通して、患者１４を含む実空間を視認し得る。視認部１５２は、ＭＲ画像１８ａおよび／または他の形体（たとえば、アイコン２２）を表示するために不透明に作成されてよい液晶部を含む、透明または半透明な視認部を含み得る。透明または半透明である場合、視認部１５２により、ユーザ１２が、対象１４ならびに他の現実世界の対象物および形体を視認することが可能になる。視認部１５２は、処理システム２６からの信号によって、駆動され得る。

[0041]視認部１５２は、しかしながら、画像がユーザ１２の視野内に表示されることを可能にする、多様な形体（一方向視認スクリーンなど）をさらに含み得る。したがって、ユーザ１２は、実患者１４およびＭＲ画像１８ａの両方を、実質的に同時に視認し得る。ユーザ１２は、図２Ａに示したように、患者１４およびＭＲ画像１８ａを視認し得る。図２は、やはりＭＲデバイス１６を装着し、ユーザ１２、患者１４、およびＭＲ画像１８ａを視認する、第２のユーザ（たとえば、手術室内の看護師）の表示を示し得る。図２Ａは、患者１４およびＭＲ画像１８ａを視認するために、ＭＲディスプレイ１６を通して視認するユーザ１２の視野を示し得る。図２Ａに示したように、しかしながら、ＭＲ画像１８ａは、当初、ＭＲ画像１８ａがずれており、患者１４上に重ならないため、患者１４に重ね合わせられ得ない。重ね合わせ処理中、しかしながら、ユーザ１２は、画像１８によって画定される画像空間の患者１４によって画定される患者空間への重ね合わせの実行を支援するように、ＭＲ画像１８ａを移動させるために、ユーザ１２の手１２ａ、１２ｂを用いてＭＲ画像１８ａを把持するように見え得る。ＤＲＦ９０は、患者１４に取り付けられているように、直接患者１４に取り付けられてもよいし、患者の頭部１４ｈを手術室１０内の手術台１５に固定する、クランプ１６０に取り付けられてもよい。

[0042]重ね合わせ処理では、視覚的または音声的合図の一方または両方が、重ね合わせを支援するために、ユーザ１２になされる。上で説明したように、ＭＲディスプレイ１６は、プロセッサシステム２６からの情報を伝えるために、アイコンまたは他の表示（たとえば、数字、単語など）などのユーザ１２への任意の適切な情報を表示し得る。上で説明したように、ＭＲディスプレイ１６は、ナビゲーション、およびＭＲ画像１８ａなどの患者１４に関連する情報の表示を支援するために、プロセッサシステム２６と通信する。上述したように、画像データは、撮像デバイス２５を用いて取得され、処理システム２６へ伝送され、かつ／またはメモリ３０もしくは他の適切なメモリに記憶され、読み出されＭＲディスプレイ１６上に表示され得る。ナビゲーション情報などのさらなる情報は、プロセッサシステム２６の処理に基づいて、ＭＲディスプレイ１６上にさらに表示され得る。

[0043]患者１４に関連する処置のナビゲーションを実行または支援して、画像空間の患者空間への重ね合わせを実行するために、重ね合わせ処理は開始され得る。図２Ａを継続して参照し、さらに図４を参照すると、重ね合わせフローチャート２００が示されている。重ね合わせ処理は、フローチャートプロセス２００の開始ブロック２１０で開始され得る。ユーザ１２は、次にブロック２１４で重ね合わせ処理を開始する。重ね合わせ処理の開始は、ユーザ１２が入力２８を用いることを含み得る。上述したように入力２８は、口頭での入力を含む任意の適切な入力を含み得る。したがって、ユーザ１２は、口頭での命令（たとえば、「重ね合わせのナビゲーション開始」）を供給することによって、重ね合わせを開始し得る。プロセッサシステム２６は、入力を受け取り、画像１８の画像空間を患者１４の患者空間に重ね合わせるために、指示の実行を開始し得る。

[0044]方法２００では、プロセッサシステム２６は、ブロック２１８で対象を視認するようにユーザに指示し得る。指示は、ＭＲディスプレイ１６上に表示されるか、または口頭または処理システム２６からの聴覚的な出力を用いるなどして、別の方法でユーザ１２に提供され得る。したがって、プロセッサシステム２６は、スピーカ２７（図１を参照のこと）など、ディスプレイ２０またはディスプレイ１６に加えての出力をさらに備え得ることが理解されよう。

[0045]指示された後、ユーザ１２は、ユーザ１２による使用のために適切に配置されたＭＲディスプレイ１６を用いて、対象１４を視認し得る。多様な実施形態において、ＭＲディスプレイ１６の適切な位置決めは、ＭＲディスプレイ１６を眼鏡と同様にユーザの頭部へ配置することであり得る。図１および２に示したように、ＭＲディスプレイ１６は、ＭＲディスプレイ１６の表示部１５２をユーザの視野内に固定する任意の適切な方法で、ユーザ１２によって装着され得る。処理システム２６は、次に、ブロック２２０で、ＭＲディスプレイ１６から３Ｄ表面スキャンを受け取ってよい。

[0046]ブロック２２０で受け取られた３Ｄ表面スキャンは、ＭＲディスプレイ１６のスキャン部または距離計測部２２１を用いてなされ得る。多様なスキャンシステムまたは距離計測システムは、実空間における対象１４および他の対象物の部分の１つまたは複数の点（たとえば、ｘ、ｙ、およびｚの３次元座標）を画定するために、対象の表面スキャンを取得するように構成された、レーザースキャナ（たとえば、ライダ）、レーダスキャナ、光学式スキャナ、超音波、ステレオカメラ、または他の距離計測システムを含み得る。図２を参照すると、距離計測部は、スキャン範囲２２３内の対象をスキャンし得る。たとえば、本明細書で述べるように、実空間または対象空間内の点を識別し、重ね合わせる画像１８内の画素または３Ｄ画素と相関付けするために、レーザー（たとえば赤外線レーザー）は、対象１４の表面をスキャンし得る。

[0047]患者１４を視認中のユーザ１２は、ＭＲディスプレイ１６を装着している間、ＭＲディスプレイ１６を適切な位置に配置し、その結果、ＭＲディスプレイ１６の３Ｄスキャンシステムは、患者１４を的確にスキャンし得る。患者１４のスキャン中に、患者１４のポイントクラウドが作成され得る。たとえば、図２および図２Ａに示したように、患者１４の顔部１４ｆの表面スキャンがなされ得る。顔部１４ｆは、鼻先端１４ｔのスキャン、患者の眼窩１４ｏのスキャン、および患者１４の他の解剖学上の特徴を含み得る。加えて、識別された解剖学上の特徴間の点もまた、ポイントクラウド内でスキャンされ得る。ＭＲディスプレイ１６によって３Ｄ表面スキャンとして受け取られたこれらの点は、処理システム２６に伝送され得る。

[0048]ブロック２２０からの３Ｄ表面スキャンの受信開始の後にまたは実質的に同時に、あるいは受信後、処理システム２６は、対象１４近傍のＭＲデバイス１６上に画像データの拡大された３Ｄ画像を表示する。図２Ａへの参照へ戻ると、ＭＲ画像１８ａは、ユーザ１２によってＭＲデバイス１６を通して視認されるとき、対象１４の近傍にまたは部分的に重畳して表示され得る。図２Ａに示したように、ＭＲ画像１８ａは、患者１４に関連して拡大され得る。たとえば、ブロック２２０からの表面スキャンデータは、実空間での患者１４のサイズを識別し得る。したがって、ＭＲ画像１８ａは、患者１４の１：１のスケールにて表示され得る。すなわち、ＭＲ画像１８ａは、撮像システム２５を用いて取得される画像データに基づく３次元描画であり、ブロック２２０から受信された表面スキャンデータに基づいて患者１４にあわせて拡大縮小され得る。ＭＲ画像１８ａは、したがって、対象１４と整合された表面であり得る。それでも、ＭＲ画像１８ａは、ユーザ１２が明らかに同じ空間内に患者１４とＭＲ画像１８ａとの両方を視認可能であるため、ユーザ１２によってＭＲデバイス１６を通して視認されると、複合現実空間内に表示され得る。

[0049]ＭＲ画像１８ａと患者１４との両方を同一空間内で視認しているとき、ユーザ１２は、続行し、患者１４の位置と、ＭＲ画像１８ａの表示されたまたは投影された位置との両方を理解することができる。ＭＲ画像１８ａのみが、ユーザ１２によってＭＲデバイス１６を通して視認可能であり得ると理解されるが、ユーザ１２は、ＭＲ画像１８ａが患者１４と同一空間に存在するように知覚することが理解される。このことにより、ユーザ１２は、対象１４のみを視認し、本明細書で説明するような、画像データ、計画、および／または器具の追跡からの情報を理解かつ知覚することが可能になる。このことは、対象１４と、対象１４から離れて配置されるディスプレイ２０とを視認することの代替となり得る。外科看護師などの他のユーザが、ＭＲデバイス１６に類似のまたは同一のデバイスを有し得て、ＭＲ画像１８ａ、患者１４、およびユーザ１２をさらに知覚し得ることが、さらに理解される。また、画像１８は、選択されれば、ディスプレイ２０上に表示され得ることも理解されよう。

[0050]本明細書でＭＲ画像１８ａと称される、複合現実内での３次元の描画の画像１８を表示しているとき、ユーザ１２は、ＭＲ画像１８ａを患者１４に関連して視認することができる。さらに、ユーザ１２は、他の現実世界の形体およびユーザ１２の手１２ａ、１２ｂなどの対象物を視認することができる。したがって、ユーザ１２は、ＭＲ画像１８ａを把持するように見え得る。ＭＲ画像１８ａを把持しようとしている、または把持しているように見えているとき、ユーザ１２は、ＭＲ画像１８ａを移動させ得る。ＭＲ画像１８ａは、ＭＲデバイス１６から処理システム２６への入力に基づいて、移動し得る。上述したように、ＭＲデバイス１６は、ＭＲデバイス１６に関連する現実世界の位置を識別し決定する特徴を含み得る。したがって、ユーザ１２の手１２ａおよび１２ｂは、現実世界空間内で識別され得て、処理システム２６は、処理システム２６への供給入力として、手１２ａおよび／または１２ｂの位置を理解し得る。しかしながら、ユーザ１２は、手１２ａ、１２ｂが処理システム２６への入力であるかまたは入力を処理システム２６に供給することを理解するために、システムを識別しまたはそれに命令し得ることが、理解されよう。たとえば、ユーザ１２は、命令を、ユーザ入力２８（たとえば、口頭または身体的入力）を通して供給し得る。たとえば、ユーザ１２は、「手入力を受けて」などの口頭命令を供給し得て、その結果、プロセッサシステム２６は、ＭＲ画像１８ａを操作している手１２ａ、１２ｂからの入力を識別し、受け取ることを理解する。

[0051]それでも、ユーザ１２は、複合現実空間内で実質的に感覚的に、ＭＲ画像１８ａを移動させ得る。すなわち、ユーザ１２は、あたかもＭＲ画像１８ａが患者１４などの現実世界の形体であるかのように、ＭＲ画像１８ａを把持し移動させるように見えることがある。ユーザ１２は、したがって、現実世界空間におけるＭＲ画像１８ａの移動および位置を感覚的に理解し得る。ＭＲ画像１８ａは、ＭＲ画像１８ａの操作が開始されることになる、ＭＲ画像１８ａに関連する手１２ａ、１２ｂの既知の位置を通して、プロセッサシステム２６に詳細に識別させるためにタッチもされ得る、ＭＲ画像１８ａ内に投影されるかまたは含まれる、ハンドル、タブ、などのような多様な形体を含み得る。ユーザの手１２ａ、１２ｂおよび／またはユーザ１２によって操作される対象物は、入力をＭＲデバイス１６および／または処理システム２６に提供するために使用され得ることが理解されよう。さらに、距離測定システム２２１は、ユーザ１２および手１２ａ、１２ｂを対象１４に関連して追跡するように構成され得る。

[0052]したがって、ユーザ１２は、多様な目的のために、ＭＲ画像１８ａを移動させ得る。たとえば、ユーザ１２は、ＭＲ画像の異なる特徴を視認するために、ＭＲ画像１８ａを移動させ得る。上述したように、ＭＲ画像１８ａは、対象１４の画像データなどの画像データの３次元の描画である。したがって、ユーザ１２は、処置の計画、処置計画の確認、またはＭＲ画像１８ａの患者１４への重ね合わせなどの多様な処置を支援するために、多様な方法およびユーザ視点に関連した方向で、ＭＲ画像１８ａを視認しようとし得る。ユーザ１２はまた、ＭＲ画像１８ａを、計画のために（たとえば、対象１４における任意の侵襲的処置を実行する前に）、対象１４から離れるように変動させ得る。

[0053]ＭＲ画像１８ａは次に、これも上述したように、重ね合わせを支援または開始するために、ユーザ１２によるＭＲ画像１８ａの操作によって、対象１４上へと移動させられ得る。ＭＲ画像１８ａの対象１４上への移動は、重ね合わせのための少なくとも大まかなまたは開始する点を識別することによって、ＭＲ画像１８ａの対象１４上への移動または重ね合わせの開始を支援し得る。当業者によって一般に理解されるように、画像空間を画定する画像データの実空間または対象空間への重ね合わせは、画像空間および対象空間に存在する１つまたは複数の点を識別することによって開始され得る。ＭＲ画像１８ａを対象１４上へまたはその近傍へ移動させることによって、対象１４上の点と実質的に同様である、ユーザ１２はＭＲ画像１８ａ内の多様な点を、識別することを支援し得る。たとえば、ユーザ１２は、ＭＲ画像１８ａを操作し移動させ、ＭＲ画像１８ａ内の鼻の点およびＭＲ画像１８ａ内の眼窩を患者１４上の鼻先端１４ｔおよび眼窩１４ｏ上へと、実質的に配置し得る。ＭＲ画像１８ａの移動は、ブロック２３０でユーザによって任意選択され得る。ＭＲ画像の移動は、ＭＲ画像１８ａの対象１４によって画定される対象空間への重ね合わせに必要とされないことがある。さらに、ＭＲ画像１８ａは、重ね合わせ以外の目的のために、移動され得ることを理解されたい。したがって、ブロック２３０でのＭＲ画像の移動は、任意選択であることが理解される。

[0054]プロセッサシステム２６は、ブロック２４０で、ＭＲ画像１８ａを対象空間に重ね合わせ得る。ＭＲ画像１８ａの対象１４によって画定される対象空間への重ね合わせは、画像空間を対象空間に重ね合わせる、多様な既存のアルゴリズムおよび処理に基づき得る。当技術分野において、一般に理解されるように、たとえば、ユーザまたはプロセッサシステムは、ローカライザ８０、８２を含む追跡システムを用いて追跡される器具９４を用いるなどして、画像データ内の基準点を識別し、対象１４上の同等または同一の点を定義し得る。重ね合わせ処理は次に、画像データ内の画素または３Ｄ画素に基づいてポイントクラウドを、および患者１４と画像データとの間の表面マッチングを実行するために対象１４上で識別される基準点を作成し、ＭＲ画像１８ａ内の画素または３Ｄ画素の座標を、患者１４によって画定されかつ関連した実空間内の３次元のｘ、ｙ、およびｚ位置に写す剛体変換を含む変換を算出または生成し得る。変換は、回転および並進移動操作からなり、画像データのポイントクラウドを実空間内で定義されたポイントクラウドと整合させ得る。

[0055]患者１４によって定められるポイントクラウドは、ブロック２２０で、受け取られた３Ｄ表面スキャンに基づき得る。ＭＲ画像１８ａを生成するために用いられる画像データは、画像空間およびポイントクラウドを、その内部の画素および３Ｄ画素の位置に基づいて定義する。したがって、ブロック２２０から受け取られた３Ｄ表面スキャンならびに画像データ内の画素および３Ｄ画素の決定された位置によって、ＭＲ画像１８ａの患者１４への重ね合わせが可能になる。

[0056]図５への簡潔な参照により、ユーザ１２によってＭＲデバイス１６を通して知覚される視認により、ユーザ１２は、ユーザの手１２ａ、１２ｂおよび１つまたは複数のアイコン２２、ならびにさらに患者１４に重ね合わせられ得るまたは重ね合わせられないこともあるＭＲ画像１８ａおよび／またはＭＲ画像１８ａに基づく部分を、視認することが可能になる。図５に示したように、画像データの患者１４への重ね合わせにより、ＭＲデバイス１６を通して視認されるとき、患者１４上に重ね合わせられ、患者１４上に重畳される、実質的に不透明なＭＲ画像１８ａ’を視認することが可能になり得る。図５で詳細に示したように、不透明なＭＲ画像１８ａ’は、血管または他の選択された解剖学上の特徴の識別および図解を含み得る。重ね合わせにより、しかしながら、不透明なＭＲ画像１８ａ’または他の適切なＭＲ画像を、ＭＲデバイス１６を用いたユーザ１２の視野内の患者１４上へ重畳することが可能になる。

[0057]さらに、重ね合わせは、ＤＲＦ９０および／または対象１４に関連するＤＲＦ９０の表面スキャンの識別または視認を含み得る。上述したように、ローカライザ８０、８２を含む追跡システムは、器具９４などの器具を追跡するために使用され得る。したがって、ＭＲ画像１８ａの患者１４への重ね合わせは、ＤＲＦ９０に関連する重ね合わせの識別または決定を含み得る。したがって、患者１４に関連する器具９４の追跡位置は、本明細書でさらに説明されるように、アイコン２２を用いるなどして、ＭＲ画像１８ａ上に表示され得る。

[0058]図４への参照に戻ると、ブロック２４０での重ね合わせ後、検証ステップが、重ね合わせを検証するために、ブロック２５０において任意選択で発生し得る。重ね合わせ精度の検証では、ホログラフィック可視化または他の可視化技術が使用され得る。たとえば、ポイントクラウド、ワイヤフレーム、テクスチャーマッピング、または他の画像が、ＭＲデバイス１６を用いて患者１４上に投射され得る。ユーザ１２は、ＭＲ画像１８ａなしに、患者１４と、たとえば患者１４上に重畳されたワイヤフレームとを視認し得る。ワイヤフレームは、鼻先端１４ｔおよび眼窩１４ｏの点などのいくつかの点を含み得て、点を相互接続する線を有し得る。複数の点は、患者１４上に重畳された輪郭を含む表面を模擬するために、提供され得ると理解される。ユーザ１２は、ブロック２５０での検証中、ＭＲデバイス１６を通して複合現実画像を視認し得るが、患者１４上の完全な描画の３ＤのＭＲ画像１８ａを視認できないことがある。ユーザ１２は、患者１４上に重畳され、ＭＲデバイス１６に対してブロック２５０で検証画像を視認して重ね合わせを検証し得る。

[0059]ユーザ１２は次に、多様な入力を通して、ブロック２６０で重ね合わせを確認し得る。ユーザ１２による重ね合わせの確認において、ブロック２６０では、ユーザ１２は、器具９４（または器具は、プローブもしくは非侵襲性器具であってもよい）を実空間内の患者１４の多様な部分に移動させ得る。器具９４を、患者１４上を移動させているとき、プロセッサシステム２６は、器具９４の追跡位置情報を受け取り、アイコン２２を作成または生成し得る。アイコン２２は、ＭＲデバイス１６を用いて追跡位置に表示され得て、ユーザ１２は、患者１４およびアイコン２２ならびに器具９４も視認し得る。ユーザ１２は、重ね合わせが適正または正確であることの視覚的な確認を受け取るために、アイコン２２が器具９４と同じ位置に存在することを視認または判定し得る。たとえば、ユーザ１２は、アイコン２２が器具９４の上に実質的に重畳されており、患者１４に関連する、ユーザ１２が器具９４を指し示す位置にあることを視認し得る。重ね合わせが、適正または正確でない場合（たとえば、視認される器具９４とアイコン２２との間の約０．５ミリメートル（ｍｍ）〜約３ｍｍよりも大きい）、ユーザ１２は、プロセッサシステムに重ね合わせをさらに改善するように指示し得る。

[0060]ブロック２５０での重ね合わせの検証およびブロック２６０での重ね合わせのユーザ確認の後、選択された場合、重ね合わせ処理は、ブロック２７０で終了され得る。上述したように、重ね合わせにより、ＭＲ画像１８ａが実質的に高精度な方法で患者１４に関連して表示されることが可能になる。したがって、表示されたＭＲ画像１８ａ内の解剖学的および生理学的特徴は、ユーザ１２によって、それらがＭＲ画像１８ａ内に存在する場合、患者１４上の同じ解剖学的位置（たとえば、実際の現実世界の位置から約０．１ｍｍ〜約２ｍｍ以内）で、視認され得る。

[0061]上述したようにＭＲ画像１８ａは、多様な特徴を含み得る。たとえば、ＭＲ画像１８ａは、対象１４上に重畳された対象１４の写真画像を含み得る。さらに、ＭＲ画像１８ａは、血管位置、裂溝位置、硬組織もしくは他の軟組織の位置および場所、または疾病の進行などの生理学的または解剖学上のデータを含み得る。たとえば、ＭＲ画像１８ａは、切除や生検等を行うべき腫瘍の識別を含み得る。多様な実施形態において、ＭＲ画像１８ａは、患者１４の脳内の腫瘍の識別された位置および切除のために腫瘍に至る１つまたは複数の軌道を含み得る。したがって、ＭＲ画像１８ａの対象１４への重ね合わせでは、ＭＲ画像１８ａ内で識別される腫瘍の位置は、ＭＲデバイス１６を用いて患者１４上でユーザ１２のために識別され得る。

[0062]上述したように、図１の手術室１０内で示されているシステムは、対象１４での処置を実行するために使用され得る。しかしながら、対象１４で実行される処置は、ヒトまたは他の生きている対象でない対象１４を含む、非外科用または非医療用処置であり得ることが、理解される。それにもかかわらず、多様な実施形態では、対象１４に実行される処置は、脳腫瘍を除去する処置を含むナビゲートされる処置であり得るか、または対象１４の脳内の他の切除もしくは処置を実行し得る。特定の処置に関係なく、しかしながら、ユーザ１２は、ＭＲデバイス１６を用いて複合現実の方法で、対象１４を視認し得る。上述し、図２、２Ａおよび３で図示し、図５および６でさらに図示するように、ユーザ１２は、対象１４を組み合わせてまたは加えて、ＭＲ画像１８ａを視認し得る。多様な実施形態において、ＭＲデバイス１６またはそれと同一のもしくは同等のものは、少なくともＭＲ画像１８ａを視認するために、手術室１０にいないユーザによって使用され得る。たとえば、上役の外科医は、ユーザ１２が手術室１０内で視認中の手術室１０から離れた位置で、ＭＲ画像１８ａを視認し得る。処理システム２６は、ＭＲ画像１８ａを、分離された処理システムおよび／または同一の処理システム２６によって処理されることになる遠隔地に、遠隔地ユーザによって視認されることになる遠隔のＭＲディスプレイ上に表示するために、送出し得る。このようにして、遠隔地ユーザは、室内のユーザ１２が進入点を選択すること、腫瘍を識別すること、外科手術経路もしくは軌道を点検すること、または他の適切なユーザ１２への介助を支援し得る。

[0063]対象１４に関連してＭＲ画像１８ａを視認することは、上述したように、画像の対象１４への重ね合わせに基づき得る。さらに、多様なアイコンの図解は、本明細書で説明するように、１つまたは複数のローカライザ８０、８２を含み得る追跡システムを用いた追跡器具のためであり得る。しかしながら、ＭＲデバイス１６に組み込まれた距離計測または他の位置決めシステムは、ユーザの手１２ａ、１２ｂを含む多様な部分を追跡するために使用され、追跡部分に関するアイコンまたは情報を表示し得ることが、さらに理解される。距離計測システム２２１は、追跡部分の位置を（追跡システムのローカライザによって追跡可能な追跡デバイスを使用してまたはそれなしに）、対象１４および／またはＭＲ画像１８ａに関連して決定し得る。さらに、ＭＲデバイス１６の距離計測システムまたは他の適切な位置決定システムは、唯一の追跡システムであり得、位置情報を処理システム２６へ、対象１４および／またはＭＲデバイス１６を用いたＭＲ画像１８ａ上に表示するために、送出し得る。

[0064]図３、６、および６Ａを参照すると、ＭＲデバイス１６を通して対象１４を視認するユーザ１２は、対象１４に重ね合わせられる、ＭＲ画像１８ａに追加された多様なアイコンおよび画像をさらに視認し得る。重ね合わせ処理は、上述したように、全ての画像データを対象１４に関連して重ね合わせるために使用され得る。上述したように、対象１４は、ＤＲＦ９０を用いても追跡され得る。さらに、対象１４は、上述したようなＭＲデバイス１６に付随する多様な領域スキャン技術を用いたＭＲデバイス１６に関連して、空間内で追跡または識別され、位置決めされ得る。

[0065]それゆえ、ユーザ１２は、ＭＲデバイス１６を通して対象１４を視認し、アイコン２２を視認し得る。アイコン２２は、同時に表示されるかまたはユーザ１２によって選択されるような、１つまたは複数のアイコンとして、含まれ得る。たとえば、器具アイコン２２ａは、患者１４上に重畳されて図示され得る。上述したように、器具アイコン２２ａは、ＭＲ画像１８ａ上に重畳される、またはＭＲ画像１８ａなしで実質的に直接患者１４上に出現し得る。さらに、ユーザ１２は、患者１４およびユーザの手１２ａの外側で視認可能な器具９４を含む現実世界を、ＭＲデバイス１６を通して、さらに視認し得る。ユーザ１２は、器具９４およびユーザの手１２ａに加えて、現実世界の他の部分をさらに視認し得ることが理解される。

[0066]器具アイコン２２ａなどの表示されたアイコン２２は、器具９４の目下の追跡位置または器具９４の延長されるもしくは予想される経路のいずれかを示し得る。たとえば、図３に示したように、アイコン２２ａは、患者１４の頭蓋骨もしくは脳内にある器具９４の部分を示し得るか、または器具９４がその時点で向けられている経路を示し得る。当業者によって理解されるように、器具９４は、生検針を含み得て、その生検針は、針が移動することになる軌道を画定するステージに保持され得る。したがって、器具アイコン２２ａは、器具９４の目下の軸に沿った直線に沿って移動させられる場合、器具９４が取ることになる経路を示し得る。アイコン２２ａは、器具９４の目下のまたは予想される位置を示す異なる部分（たとえば、異なる仕方で配色された部分）を含み得る。ＭＲデバイス１６は、ＭＲデバイスによって表示されている異なる特徴を識別するために、多様な色を示し得る。

[0067]他のアイコンは、腫瘍アイコン２２ｂを含み得る。腫瘍アイコン２２ｂは、患者１４の解剖学的部位を示すために使用され得る任意の適切なアイコンであってよい。図６Ａを簡潔に参照すると、解剖学的アイコンは、血管または裂溝を示し得る他の解剖学的アイコン２２ｅをさらに含み得る。したがって、画像データの多様な部分は、セグメント化され、画像データが患者１４に重ね合わされた後、ＭＲデバイス１６を用いて患者１４上に重畳されて表示され得ることが理解できる。

[0068]図６へのさらなる参照と共に図３への参照に戻ると、ＭＲデバイス１６は、患者１４上に重畳され表示された進入点アイコン２２ｃ、および指示または方向を表すアイコン２２ｄもさらに含み得る。上述したように、進入または目標アイコン２２ｃは、患者１４内部に侵入するための提案または計画された進入点であり得る。上述したように、選択された処置は、患者１４内の腫瘍アイコン２２ｂによって示される腫瘍除去または生検を含み得る。上役の外科医などの遠隔地ユーザは、対象１４に関連して示されている進入点アイコンアイコン２２ｃを移動させることまたは確認することを支援し得る。

[0069]方向を表すまたは指示するアイコン２２ｄは、自動的に処理システム２６によって、および／または選択されたもしくは所定の（たとえば、予備計画された）位置で器具９４を配置しているときに室内のユーザ１２を支援するために遠隔地ユーザによって、提供されるアイコンであり得る。上述したように、多様な処置は、対象１４に関連する進入点、対象１４に関連する器具の軌道、および他の適切な特徴などの多様な予備計画されたまたは所定の特徴を含めて予備計画することを含み得る。これらの特徴は、メモリシステム３０またはプロセッサ３２によってアクセス可能な任意の適切なメモリシステム内に保存され得る。したがって、上述したように追跡される器具９４は、進入アイコン２２ｃによって示される進入点に関連して追跡され得る。プロセッサシステム２６は、器具９４を追跡することによって、器具９４を予備計画された経路上に配置するために移動させる方向を示すために、ＭＲデバイス１６を用いて方向を表すアイコン２２ｄをユーザ１２に提供し得る。方向を表すアイコン２２ｄは、要件でないこともあり、器具９４を予備計画された軌道または患者１４に関連する他の位置に配置するために、動作方向を示すためだけに提供され得る。方向を表すアイコンは、ＭＲ画像１８ａ上に重畳されてもよく、かつ／または、図６に示したように、ＭＲ画像１８ａなしで現実世界上に重畳されてもよい。それでも、ＭＲデバイス１６により、アイコンは、ユーザ１２に対して表示され得て、一方、ユーザ１２は、対象１４をさらに視認できる。したがって、アイコンは、ユーザ１２にリアルタイムの感覚的な表示および分析を提供し得る。

[0070]アイコン２２およびＭＲ画像１８ａなどの他の情報に加えて、さらなる画像データまたは他のデータが、ＭＲディスプレイ１６内で提供され得る。図６Ａを参照すると、２次元すなわち非３次元の画像データが、ユーザ１２の視野内に、しかし対象１４から離れて表示され得る。図６Ａに示したように、２次元画像１８ｃは、多様な目的でユーザ１２による視認のために表示され得る。上述したように、予備計画された処置は、軌道および進入点を含み得て、ユーザ１２は、これらを２次元画像として視認し、一方、図６Ａに示したように、患者１４を、ＭＲデバイス１６を通してさらに視認し得る。したがって、ユーザ１２は、図１に示したように、ディスプレイ２０とは別個の患者１４を視認しようとすることなしに、ＭＲデバイス１６を通して複数の種類のデータを実質的に同時に視認し得る。

[0071]実際の処置を実行することに加えて、上述したように、撮像システム２５を用いて取得される画像データは、処理システム２６を用いて、または所定の位置の対象１４なしにＭＲディスプレイ１６で視認するための他の適切な処理システムを用いて、処理され得る。たとえば、図６Ａに示したように、２次元画像データ１８ｃは、患者１４とは別個に視認され得る。さらに、ＭＲ画像１８ａは、所定の位置の対象１４なしに視認され得る。したがって、対象１４の画像データは、任意の処置を行う前にまたは手術室１０に入る前に、取得され得て、多様な計画、確認などの段階用に、ＭＲデバイス１６を用いて視認され得る。

[0072]また、処置の計画中および／または処置中、多様な異なる種類の画像データが表示され得る。上述したように、腫瘍を表す唯一のアイコンは、表示され得るが、画像データの多様な選択された部分は、セグメント化され、画像データの対象１４への重ね合わせに基づいて、ＭＲデバイス１６を用いて、対象１４に関連する適切な位置に表示され得る。たとえば、処置を計画または実行するにあたり、血管画像データまたは機能的画像データ（たとえば、機能的ＭＲＩデータおよびＰＥＴデータ）は、器具９４を対象１４内部に挿入することなどの処置中に、ユーザが器具９４の軌道の近傍または中にある血管を視認することを可能にするために、表示され得る。

[0073]さらに、ＭＲ画像１８ａおよび多様なアイコン２２を含む画像データが、手術処置中に使用され得る。図３に示したように、器具アイコン２２ａは、対象１４内部の器具の位置を示すために使用され得る。器具アイコン２２ａは、器具９４の選択された領域への、または腫瘍アイコン２２ｂ内などで識別される目標への前進を示すために使用され得る。したがって、ユーザは、対象１４の腫瘍内部での器具９４の配置を決定するために、器具アイコン２２ａおよび腫瘍アイコン２２ｂを視認し得る。腫瘍の切除または除去、腫瘍の生検などのような多様な処置が発生し得る。たとえば、器具アイコン２２ａは、対象１４内部の腫瘍の生検を取得するための腫瘍アイコン２２ｂによって示される器具の位置を、腫瘍に関連して示すために使用され得る。アイコンは、ユーザ１２が対象１４をさらに視認している間に、ＭＲデバイス１６を通して視認され得る。

[0074]上述したＭＲデバイス１６は、多様な種類の処置のために使用され得る。上述したように、ユーザ１２は、手術段階および多様な予備計画または手術間の段階または部分の間を含む、選択された処置の間に、ＭＲデバイス１６を装着し得る。

[0075]多様な実施形態において、ＭＲデバイス１６は、通常人間によっておよび／または通常照明下のいずれによっても視認できない、特定の波長下でのみ可視的なまたは蛍光を発する多様な種類のマーカまたはバイオマーカを視認するために使用され得る。たとえば、蛍光は、対象１４の選択された範囲（たとえば、腫瘍）内で収集されたＡＬＡ−ｐｐＩＸにより視認可能であり得る。開放手術中でさえ、腫瘍組織などの多様な組織を、周囲のまたは健全な組織と区別することは困難であり得る。多様な発光性材料が、処置の間または前のいずれかで、患者１４に提供され得て、腫瘍などの対象１４の一部分内に集合し得る。これらのマーカは、通常の照明条件下では、発光性または視認可能でないことがある。したがって、発光性マーカの視認を可能にするために、照明は、手術室においてオフにされ得る。照明が通常に戻された後、マーカは、ほとんど見えなくなり得る。

[0076]ＭＲデバイス１６は、組織の画像と発光性マーカとの両方を組み合わせて、通常の手術室の照明条件下であっても、ユーザ１２が複合現実画像を視認可能にするために、初期に表示された発光性マーカに基づいて画像を表示し得る。たとえば、図３に示したように、腫瘍アイコン２２ｂは、ユーザ１２によって特殊な照明条件下で視認されるマーカを有する組織の図解であり得る。通常の照明条件下で、アイコン２２ｂは、ＭＲデバイス１６によりユーザ１２の視野内に維持される。そのため、ユーザ１２は、通常の照明条件下であっても、アイコン２２ｂの複合現実画像と、対象１４の組織とを同時に視認できる。

[0077]多様な処置において、神経の完全性を監視することが、選択されまたは有効であり得る。Ｎｅｕｒａｌ ｏｒ Ｎｅｒｖｅ Ｉｎｔｅｇｒｉｔｙ Ｍｏｎｉｔｏｒｉｎｇ（神経系または神経完全性監視）（ＮＩＭ（登録商標））監視システムは、米国ミネソタ州に事業所を有するＭｅｄｔｒｏｎｉｃ，Ｉｎｃ．によって販売されるＭｅｄｔｒｏｎｉｃ ＮＩＭ−Ｅｃｌｉｐｓｅ（登録商標）Ｎｅｒｖｅ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ（神経監視システム）を含み得る。多様な処置中、ユーザ１２は、脳組織または脊椎神経を含む神経系要素を刺激し得て、対象１４の神経反応の表示を視認または他の方法で受け取り得る。たとえば、選択された処置中、ユーザ１２は、対象１４の脳組織を視認し続け得る。ユーザ１２は、脳の一部を刺激し、左脚など、対象１４の選択された筋肉群が刺激されることを判定し得る。ユーザ１２は、対象１４での刺激反応を視認すると、脳の刺激された部分を患者１４がいる位置で、ＭＲデバイス１６内で識別させ得る。たとえば、図６を参照すると、アイコン２２ｃの進入点を識別するのではなく、アイコン２２ｃは、選択された応答が発生したときに刺激された脳組織の部分を表し得る。アイコンの配色、形状などが、脳組織に供給された刺激に応答した特定の筋肉に関して、脳の領域に注釈をつけるために使用され得る。アイコンによる表示は、ＭＲデバイス１６の装着によりユーザ１２の視野内に維持され得て、ＭＲデバイス１６は、患者の組織を識別し位置決めし終えている。このように、ＭＲデバイス１６は、ユーザに、多様な神経束または皮質領域によって刺激されるまたは制御される、解剖学的に特定の組織または領域に関する、脳内領域の表示を提供するために、使用され得る。

[0078]多様な他の実施形態では、ＭＲデバイス１６を含むナビゲーションシステムが、実質的に緊急のまたは緊急の状況を支援するために、使用され得る。たとえば、脳脊髄液（ＣＳＦ）の排液が必要とされ得て、シャント設置があらかじめ定められ得る。シャント設置は、処置の実行のために対象１４内の多様な組織を視認または識別することによって、さらに支援され得る。

[0079]上述したように、撮像システム２５は、Ｍｅｄｔｒｏｎｉｃ，Ｉｎｃ．によって販売されるＯ−Ａｒｍ（登録商標）Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ（撮像システム）を含み得る。Ｏ−Ａｒｍ（登録商標）撮像システムは、参照により本明細書に組み込まれる、米国特許出願米国特許第９，４１２，２００号で説明されているように、対象１４に関連して自動的に重ね合わせられるまたはローカライズされる画像データを取得し得る。簡潔に述べれば、Ｏ−Ａｒｍ（登録商標）撮像システムは、対象１４に関連して実質的に正確な既知の位置で画像データを取得するように動作し得る。この画像データは、対象１４に関連して視認するための、ＭＲ画像１８ａなどの画像を生成するために使用され得る。自動で登録されたまたは自動でローカライズされた画像データにより、ＭＲデバイス１６上に表示されたＭＲ画像１８ａは、さらに自動的に、対象１４に関連して重ね合わせられ得る。上述したように、ＭＲデバイス１６は、実空間での他の特徴に関連してそれ自体の位置を決定するために、３Ｄ表面スキャンまたは他の距離計測システム（たとえば、レーダ、ライダ、超音波、レーザー、ステレオカメラ）などの距離計測システムを備え得る。ＭＲデバイス１６がユーザ１４によって装着されるとき、ＭＲデバイス１６は、撮像装置２５またはその他の特徴および選択された量の対象物に関連してそれ自体の位置を決定するために使用され得る。したがって、撮像デバイス２５を用いて取得される画像データが、対象１４に自動的にローカライズされまたは重ね合わせられ、ＭＲデバイス１６が、対象に関連するそれ自体の位置を認識しているとき、ユーザ１２によって視認されるための、ＭＲデバイス１６を用いて表示されるＭＲ画像１８ａは、さらに対象１４に重ね合わせられる。

[0080]距離計測システムを含むＭＲデバイス１６はさらに、ＭＲデバイス１６の位置を、選択された量で配置された選択されたまたは特定のマーカに、処理システムを用いて決定することが可能であり得る。特定のマーカは、距離計測システムによって認識され、空間内の対象物の位置を識別し読み出すために使用され得る。たとえば、特定のマーカ（たとえば、反射性立方体）は、読み出し、ＭＲデバイス１６の方向を合わせるために、壁、天井などに、たとえ期間中に除去されても現在配置されている量へと、配置され得る。

[0081]処理システム２６は、解剖学的な多様な部分を自動的に識別またはセグメント化するために使用され得る他の指示をさらに含み得る。たとえば、ＣＳＦの排液および／またはシャント設置用に、プロセッサシステム２６は、脳組織近傍で脳組織を囲むＣＳＦに解剖学的に基づいて、実質的に自動的に脳室をセグメント化し図解し得る。この方法でＭＲデバイス１６は、ＭＲ画像１８ａを３次元のモデルとして図解または表示し、上述したように、対象１４と実質的に１：１のスケールで、脳組織要素とセグメント化された領域との両方を示し得る。ユーザ１２は、次に、ＭＲ画像１８ａを用いて、ＣＳＦ排液で支援するために、対象１４内のシャントを配置する処置を計画し得る。

[0082]たとえば、ユーザ１２は、ローカライザ８０、８２を含む追跡システムを用いて追跡され得る器具９４を配置し得る。画像データが撮像システム２５と自動的に重ね合わされるので、器具９４の位置は、ユーザ１２によって装着されるＭＲデバイス１６を用いて表示されるＭＲ画像１８ａ上に表示され得る。ユーザ１２は、器具アイコン２２ａを、ＭＲ画像１８ａ上に重畳された、対象１４内部の器具の投射された位置として視認し得る。したがって、ユーザ１２は、シャント設置を実行するために提案された位置および／または軌道の結果を迅速かつ効果的に理解し得る。その上、計画中、ユーザ１２は、シャントの位置決めを実現するために、代替のまたは異なる位置および／または軌道を可視化することを試みて、器具９４を移動させ得る。

[0083]ユーザ１２は、次に、識別し、または処理システム２６に命令して、選択されたまたは識別された軌道を保存し得て、上述したことと同様に、ＭＲ画像１８ａ上にそれを表示し得る。たとえば、識別された後、器具アイコン２２ａは、軌道アイコン２２ｔに変更され、シャントを配置する処置中にユーザ１２によって視認されるＭＲ画像１８ａ上に表示され得る。ユーザ１２は、次に、選択された軌道アイコン２２ｔを使用して、穿頭孔の位置決めおよび形成、ならびに／または対象１４内にシャントを配置するガイドの位置決めを、さらに決定し得る。穿頭孔が形成された後、次に、追跡される器具は、対象１４内のシャントを配置するために使用され得て、器具の追跡位置は、ＭＲ画像１８ａを伴いまたは伴わずに、患者１４上の器具アイコン２２ａを用いて識別され得る。シャントが選択されたシャント位置に到達すると、それが、器具９４を追跡することにより自動的に識別され得て、メッセージが、器具９４の追跡に基づいて、ユーザ１２に提供され得る。ユーザ１２は、シャントのために計画された位置を識別し得て、プロセッサシステム２６は、シャントが計画された位置に到達したときを自動的に識別し得る。それに加えて、または別法として、ユーザ１２は、ＭＲ画像１８ａを用いてまたは用いずに、対象１４上の器具アイコン２２ａを視認することによって、追跡位置を視認し得て、ユーザ１２は、シャントが適切に配置されたときを識別し得る。

[0084]それでも、撮像システム２５を用いて取得される画像データは、撮像システム２５により実質的に自動的にローカライズされ得て、ＭＲデバイス１６を用いて処置の計画および視認を可能にすることにより、シャントの効果的かつ迅速な位置決め、または他の選択された緊急の処置が可能になり得る。

[0085]実施例の実施形態は、本開示が完全になり、範囲を当業者に完全に伝えることになり得るように、提供される。多数の具体的な詳細は、特定の構成要素、デバイス、および方法の例のように記載され、本開示の実施形態の完全な理解を提供する。特定の詳細は利用される必要はなく、例示の実施形態は、多くの異なる形体で具現化されてよく、いずれも本開示の範囲を限定すると解釈されるべきでないことが、当業者には明らかになるであろう。いくつかの例示の実施形態では、周知の処理、周知のデバイス構造、および周知の技術は、詳細に説明されない。

[0086]本明細書で使用された専門用語は、具体的な例示の実施形態を説明する目的のためだけのものであり、限定することを意図するものではない。本明細書で使用したように、単数形の「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明確にそうでないことを示さない限り、複数形も同様に含めることを意図され得る。

[0087]本実施形態の前述の記述は、図解および説明を目的として提供された。網羅的であること、または本開示を限定することを意図するものではない。特定の実施形態の個々の構成要素または特徴は、全般的にその特定の実施形態に限定されず、しかしながら、たとえ明確に示しまたは説明されていなくても、適用可能な箇所では相互交換可能であり、選択された実施形態で使用され得る。同一のものが、多くの方法でさらに変更され得る。そのような変形形態は、本開示からの逸脱と見なされることにならず、全てのそのような変形例は、本開示の範囲内に含まれることが意図される。

Claims (24)

1. 対象に関連して画像を視認するためのシステムであって、
   表示部および透明部を備える表示デバイスであって、前記表示デバイスを通して視認するユーザが、前記対象および前記対象に関連した前記画像を視認することが可能になるように構成された、表示デバイスと、
   ローカライザおよび追跡デバイスを備える追跡システムであって、前記ローカライザが前記追跡デバイスを現実３次元空間で追跡するように構成された、追跡システムと、
   前記追跡デバイスの追跡位置を決定するための命令を実行し、前記対象に関連して前記追跡デバイスの前記追跡位置を表すために、前記表示デバイスを用いてアイコンを表示するように構成された、処理システムとを備える、
   システム。
2. 前記表示デバイスが、前記ユーザによって装着されるように構成された装着型デバイスに組み込まれており、
   前記表示デバイスの前記表示部が、前記処理システムによって駆動されるように構成された代替可能なディスプレイを含む、
   請求項１に記載のシステム。
3. 非装着型ディスプレイをさらに備え、
   前記装着型デバイスが、前記ユーザにヘッドマウントされ、前記非装着型ディスプレイは、前記ユーザから離れて配置される、
   請求項２に記載のシステム。
4. 前記装着型デバイスが、前記対象に関連して前記画像を３次元の画像として表示するように構成された、
   請求項２または３に記載のシステム。
5. 前記３次元の画像が、前記対象と同一の空間に出現することが知覚されるように構成された複合現実画像である、
   請求項４に記載のシステム。
6. 前記画像が、少なくとも、前記対象空間内の３次元座標と前記画像内の３次元座標との間で剛体変換を実行するために命令を実行する、前記処理システムによって、前記対象に重ね合わせられるように構成され、
   前記対象空間内の前記３次元座標が、前記装着型デバイスに関連して決定される、
   請求項２から５のいずれか一項に記載のシステム。
7. 前記装着型デバイスが、距離計測デバイスを備え、
   前記距離計測デバイスが、前記対象の前記３次元座標を画定するために前記対象のポイントクラウドを取得するように構成された、
   請求項６に記載のシステム。
8. 対象に関連して画像を視認するためのシステムであって、
   表示部および距離計測部を備える装着型複合現実表示デバイスであって、前記表示部は、前記装着型複合現実表示デバイスを装着したユーザが前記対象および前記対象に関連した前記画像を視認することが可能になるように構成された透明部を備え、前記距離計測部は、複数の対象空間３次元座標を前記装着型複合現実表示デバイスに関連して決定するように構成された、装着型複合現実表示デバイスと、
   画像３次元座標と前記複数の対象空間３次元座標とに基づいて、前記画像を前記対象に選択的に重ね合わせるために命令を実行するように構成された、処理システムとを備え、
   前記処理システムが、デバイス追跡可能部の追跡位置を決定するために命令を実行し、前記対象に関連して前記デバイス追跡可能部の前記追跡位置を表すために前記装着型複合現実表示デバイスを用いてアイコンを表示するようにさらに構成される、
   システム。
9. 前記装着型複合現実表示デバイスの前記表示部が、前記画像を前記対象に重ね合わせる前にまたは後に、前記対象から離れて前記画像を表示する構成で動作可能である、
   請求項８に記載のシステム。
10. 前記アイコンが、手術計画を準備するために動作可能であり、
    メモリシステムが、前記デバイス追跡可能部である器具の少なくとも軌道を含む前記手術計画を格納するように構成され、
    前記処理システムが、前記手術計画を読み出すように構成された、
    請求項８または９に記載のシステム。
11. 前記距離計測部が、前記デバイス追跡可能部の前記追跡位置を決定するための前記デバイス追跡可能部を追跡するように構成された追跡システムである、
    請求項８から１０のいずれか一項に記載のシステム。
12. 音声入力をさらに備え、
    前記処理システムが、前記装着型複合現実表示デバイスの少なくとも前記表示部および前記距離計測部を操作するように構成され、
    前記音声入力が、少なくとも前記表示部を用いて前記画像を表示し前記画像を前記対象に重ね合わせるように命令するために、前記ユーザから口頭の指令を受け取るように構成された、
    請求項８から１１のいずれか一項に記載のシステム。
13. 表示部を備える遠隔地装着型複合現実表示デバイスをさらに備え、前記表示部は、前記遠隔地装着型複合現実表示デバイスを装着した遠隔地ユーザが、前記装着型複合現実表示デバイスを用いた前記ユーザによって視認されるような前記画像を視認するように構成された、
    請求項８から１２のいずれか一項に記載のシステム。
14. ローカライザおよび追跡デバイスを備える追跡システムであって、前記ローカライザが前記追跡デバイスを前記対象に関連して追跡するように構成された、追跡システムと、
    前記追跡デバイスを備える器具とをさらに備え、
    前記器具が、シャント、生検針、アブレーションカテーテル、切除器具、刺激プローブ、ナビゲーションプローブ、またはそれらの組合せのうちの少なくとも１つを備える、
    請求項８から１３のいずれか一項に記載のシステム。
15. 対象に関連して画像を視認する方法であって、
    表示部および距離計測部を備える装着型複合現実表示デバイスを装着するステップであって、前記表示部が、前記装着型複合現実表示デバイスを装着したユーザが前記対象および前記対象に関連した前記画像を視認することが可能になるように構成された透明部を備える、ステップと、
    前記距離計測部が、複数の対象空間３次元座標を前記装着型複合現実表示デバイスに関連して決定するように命令するステップと、
    画像３次元座標と前記複数の対象空間３次元座標とに基づいて、前記画像を前記対象に選択的に重ね合わせるために命令を実行するように処理システムに命令するステップと、
    前記対象に関連して前記画像を視認するステップとを含む、
    方法。
16. 前記装着型複合現実表示デバイスを装着している間に、前記対象を視認するために、前記処理システムによって前記ユーザに指示するステップをさらに含む、
    請求項１５に記載の方法。
17. 追跡システムを用いて追跡デバイスを追跡するステップと、
    前記追跡デバイスの追跡位置を決定するために、前記処理システムを用いて命令を実行するステップと、
    前記対象に関連して前記追跡デバイスの前記追跡位置を表すために、前記装着型複合現実表示デバイスを用いてアイコンを表示するステップとをさらに含む、
    請求項１５または１６に記載の方法。
18. 追跡システムを用いて追跡デバイスを追跡するステップと、
    前記追跡デバイスの追跡位置を決定するために、前記処理システムを用いて命令を実行するステップと、
    前記重ね合わされた画像上に重畳された前記追跡デバイスの前記追跡位置を表すために、前記装着型複合現実表示デバイスを用いてアイコンを表示するステップとをさらに含む、
    請求項１５または１６に記載の方法。
19. 前記装着型複合現実表示デバイスを用いて前記画像を視認することによって、処置を計画するステップと、
    メモリシステムを用いて前記計画を保存するステップとをさらに含む、
    請求項１５から１８のいずれか一項に記載の方法。
20. 前記計画を読み出すために、前記処理システムを操作するステップと、
    前記装着された装着型複合現実表示デバイスの前記表示部を用いてアイコンを表示するステップとをさらに含む、
    請求項１９に記載の方法。
21. 前記対象と前記アイコンとを両方同時に視認するステップをさらに含む、
    請求項２０に記載の方法。
22. 刺激器具の位置を追跡するステップと、
    前記刺激器具を用いて前記対象の一部分を刺激するステップと、
    前記刺激された部分に注釈をつけるために、前記装着型複合現実表示デバイスを用いて前記対象上に重畳されるアイコンを表示するステップとをさらに含む、
    請求項１８に記載の方法。
23. 前記装着型複合現実表示デバイスを装着している間に、前記対象の蛍光部を視認するステップと、
    前記装着型複合現実表示デバイスを用いて前記対象上に重畳された前記対象の前記蛍光部の表示を表示するステップとをさらに含む、
    請求項１８に記載の方法。
24. 前記対象の重ね合わされた画像を自動的に取得するステップと、
    前記対象の取得された自動的に重ね合わされた画像を、前記装着型複合現実表示デバイスを用いて視認するステップと、
    ステントの注入のための位置を計画するステップと、
    前記視認された自動的に重ね合わされた前記対象の画像上に重畳された前記ステントの追跡位置を表すために、前記装着型複合現実表示デバイスを用いてアイコンを表示するステップとをさらに含む、
    請求項１５から２３のいずれか一項に記載の方法。

Images