JP2022540642A - 拡張現実支援関節形成術 - Google Patents

Abstract

拡張現実支援手術を提供するシステムおよび方法が開示される。ある態様では、１つ以上の解剖学的部分に対応する１つ以上の解剖学的要素を含む１つ以上の仮想要素を含む仮想シーンを生成する工程を含む方法が提供される。当該方法は、前記１つ以上の解剖学的部分を含む実際の物理シーンにおける１つ以上の基準を特定する工程をさらに含む。当該方法は、拡張シーンを生成するために、前記仮想シーンを前記１つ以上の基準にレジストレーションする工程をさらに含む。当該方法は、前記拡張シーンを表示デバイス上に表示する工程をさらに含む。

Description

発明の詳細な説明

（関連出願の相互参照）
本出願は、２０１９年７月９日に出願された米国仮特許出願第６２／８７１，８３２号の優先権を主張する。また、本出願は、２０１９年７月９日に出願された米国仮特許出願第６２／８７２，１１７号の優先権を主張する。各出願の内容は、その全体が参照により本明細書に援用される。

〔発明の背景〕
［技術分野］
本出願は、コンピュータ支援手術に関する。

［関連技術の説明］
足関節、膝関節、肩関節および／または肘関節形成術を含む、従来の関節再建および置換手術は、大部分が、許容可能な実施についての標準的な方法およびガイドラインに基づいている。この点に関して、関節内へのインプラントの位置決めは、屈曲／伸展、可動域および／または内反／外反等の生体力学的軸に対する向きの標準値に基づく。

膝関節形成術（Knee arthroplasty：ＫＡ）は、変形性関節症を患う膝関節の機能を回復し、疼痛を除去するための、一般的な手術手技である。インプラントコンポーネント（例えば、大腿骨、脛骨または膝蓋骨）の正確な位置決めは、良好な患者アウトカムを達成する際に重要であり得る。場合によっては、ＫＡにおけるコンポーネント配置は、コンピュータ支援を通じて実行される。

肩関節形成術（Shoulder arthroplasty：ＳＡ）は、変形性関節症を患うか、または外傷により骨折した肩関節の機能を回復し、疼痛を除去するための、一般的な手術手技である。インプラントコンポーネント（例えば、上腕骨、関節窩）の正確な位置決めは、良好な患者アウトカムを達成する際に重要であり得る。良好な患者アウトカムとは、疼痛を除去し、可動域を回復し、かつ／または再置換を回避することを意味し得る。したがって、外科医は、適切なインプラント適用範囲および適切なスクリュー位置決めによる適切な固定を確実にしつつ、不適切なインプラントストレスによるインピンジメント（衝突：impingement）、骨折および／または脱臼を回避し得る。

コンピュータ支援手術ナビゲーションシステムには従来、時間のかかる、セットアップ、および、患者の解剖学的構造のレジストレーションが必要とされる。当該患者の解剖学的構造のレジストレーションは、術前スキャンか、患者の解剖学的構造から得られる基準点から構成される、パラメータで表された三次元モデルか、のいずれかを用いる。この仮想手術計画は、従来、コンピュータナビゲーション、患者固有の（patient-specific）ガイド、またはコンピュータ支援を用いるロボティクス等の術中ガイダンス技術を介して、患者に移行され（be translated）得る。これらのシステムは時間がかかり、また、これらのシステムには、扱いにくいセットアップおよび部分的な手動操作が求められる。このことは、セットアップのユーザフレンドリ性を低減している。さらに、複数の術前計画および複数の医用画像が異なる位置にある複数の外部表示モニタ上に表示されるため、異なる座標系が外科医の手と目との協調を困難としている。

さらに、かかる従来のコンピュータ支援ナビゲーションシステムは、骨カット、インプラントサイズ、および軟部組織の制約またはバランシング（balancing）の間で適切なバランスをとる際に、外科医をガイドする段階的な手順を提供することにより、外科医を支援してこなかった。したがって、外科医は、必要な追加の工程を、対応する追加の利益なしに、実行しなければならない。これは、手術の手技およびアウトカムにも影響を及ぼす。

多くの従来のコンピュータ支援手術ナビゲーションシステムのさらなる欠点は、ユーザフレンドリ性の欠如である。多くのかかるシステムには、かさばるかまたは厄介なハードウェアが付随し、手術室内の貴重なスペースが占有され、手術スタッフに視線に関わる問題が生じる。

〔概要〕
ある実施形態では、拡張現実支援手術を提供する方法が提供される。当該方法は、１つ以上の解剖学的部分に対応する１つ以上の解剖学的要素を含む１つ以上の仮想要素を含む仮想シーンを生成する工程を含む。当該方法は、前記１つ以上の解剖学的部分を含む実際の物理シーンにおける１つ以上の基準を特定する工程をさらに含む。当該方法は、拡張シーンを生成するために、前記仮想シーンを前記１つ以上の基準にレジストレーションする工程をさらに含む。当該方法は、前記拡張シーンを表示デバイス上に表示する工程をさらに含む。

ある実施形態では、コンピュータ実行可能な命令を有する非一時的なコンピュータ可読媒体が提供される。前記命令は、コンピューティングデバイスのプロセッサによって実行されると、前記コンピューティングデバイスに、記載の方法を実行させる。

ある実施形態では、メモリと、記載の方法を実行するように構成されたプロセッサと、を備えるコンピューティングデバイスが提供される。

〔図面の簡単な説明〕
図１は、本明細書に開示の１つ以上の実施形態による拡張現実システムを実装するのに適したコンピューティング環境としての拡張現実（ＡＲ）システムの一実施例のブロック図である。

図２は、１つ以上の実施形態による拡張現実システムの高レベルワークフロー図である。

図３は、１つ以上の実施形態にしたがって使用され得るコンピューティングシステムの高レベルシステム図である。

図４は、ある実施形態による、全膝関節形成術においてあらかじめ計画されたカットを行うために拡張現実システムを動作させるためのプロセスを示すフローチャートを示す。

図５は、ある実施形態による、全肩関節形成術においてあらかじめ計画されたカットを行うために拡張現実システムを動作させるためのプロセスを示すフローチャートを示す。

図６は、ある実施形態による、拡張現実システムを動作させるためのプロセスを示すフローチャートを示す。

図７は、ある実施形態による、拡張現実システムを動作させるためのプロセスを示すフローチャートを示す。

〔ある発明実施形態の詳細な説明〕
コンピュータ支援手術、例えば手術ナビゲーションまたはロボティクスに関して、患者の術前イメージング検査または術中に捕捉（記録）された（captured）医用画像が使用され得る。画像は、手術室（operating room：ＯＲ）において外部コンピュータモニタ上に表示され得、患者の解剖学的構造、例えば標識（landmark）は、モニタ上に表示される情報と関連付けてレジストレーションされ得る。手術ウィンドウ（surgical window）は、外部コンピュータモニタとは異なる位置にあって、外科医の眼に対して異なるビュー座標系（view coordinate system）を有する。そのため、手と目との協調は外科医にとって困難であり得る。

したがって、本開示のある態様では、複合現実（mixed-reality）（例えば、拡張現実（ＡＲ））を使用する新規のシステムおよび方法であって、手術シーンを仮想環境と混合する（「拡張環境（augmented environment）」）ことにより仮想手術計画の手術室（ＯＲ）への移行（translation）を可能にし、また、ポータブルデバイスまたはヘッドセット等の表示（ディスプレイ）デバイス／ユニットを使用して、この混合環境を視覚化し、それによって術中に外科医を支援するための、新規のシステムおよび方法が提供される。ＯＲにおけるインタラクティブシステムの使用に関連する利点のいくつかには、ＯＲにおいて費やされる時間を低減すること、全体的に満足な外科医および／または患者の体験、インフォームドかつ効率的なやり方でリアルタイムに、ＯＲにおいて遭遇する任意の合併症に外科医が対処することを可能にするシステムの適応性、等々が含まれる。

従来の方法とは異なり、本明細書に記載のシステムおよび方法では、外科医および患者が手術手技（surgical procedure）を計画し、視覚化し、評価する能力の改善が提供される。これは、患者アウトカムの改善をもたらす。さらに、このシステムおよび方法では、従来のシステムと比較して、手術手技における精度の改善が提供される。これもまた患者アウトカムを改善し、医学分野を改善する。

例示的なＡＲシステムには、術中イメージングおよび／またはセンサおよび／またはマーカ、器具、（患者の解剖学的構造、外科医の位置、さまざまなデバイスおよび器具等を追跡（トラッキング）するための）カメラ、コンピュータデバイス、ならびに、関連情報を拡張環境として中継するための、ヘッドマウントディスプレイ眼鏡、ポータブル電子デバイス、プロジェクションユニットおよび／またはオーバーヘッドディスプレイモニタ等の少なくとも１つの表示ユニットが含まれる。例えば、イメージング、センサ、マーカおよびカメラは、図１のＩ／Ｏモジュール１２２に対応し得る。さらに、コンピュータデバイスは、図１に関して説明したさまざまなモジュールを実行し得る。さらに、表示ユニットは、図１の表示デバイス１０４に対応し得る。

実際のシーン―すなわち現実―を仮想環境と混合するとき、ＡＲシステムは、実際のシーンと仮想環境との結合ビューをユーザに表示する。これは、ユーザの視野の一部が実際のシーンのビューによって占有され得、他の部分が仮想環境からの要素のレンダリングによって占有され得、そして、さらに他の部分が両者の混合によって占有され得る（例えば、実際のシーンのビュー上に半透明でオーバーレイされる仮想要素）、ということを意味する。

ＡＲシステムは、典型的には少なくとも１つのカメラを備える。このカメラは、ディスプレイ（ハンドヘルドデバイス、ヘッドマウントディスプレイ）を備えるデバイス内に埋め込まれ得る。しかし、このカメラはまた、ディスプレイシステムの外部にあってもよい（例えば、手術室に取り付けられたワイヤレスカメラまたは有線カメラ）。複数のカメラシステムは、視線に関わる問題を回避するか、またはカメラのうちの１つと、シーンとの間の潜在的な歪みに対処するために、使用され得る（例えば、ヘッドマウントデバイスの上にサージカルマスクを装着するとき）。複数のカメラから来るデータは、独立して使用されてもよいし、可能な場合にはいつでも組み合わせられてもよい。

実際のシーンと仮想環境とのかかる組み合わせを表示するために、ＡＲシステムは、少なくとも１つの表示ユニットを備える。その例には、ヘッドマウントディスプレイ眼鏡、ポータブルデバイス、および／または固定デバイスが含まれ得る。これらは、シーン内の他のオブジェクトまたはそうでなければ透明なレンズに、仮想環境の要素を投影または表示するか、あるいは、実際のシーンを記録（レコーディング）し、次いで混合されたシーンをモニタ上に表示するための１つ以上のカメラを備えるかのいずれかである。

実際のシーンと仮想環境とを１つの画像に有意味に組み合わせることができるようにするために、ＡＲシステムは通常、両者を共通の座標系にする必要がある。１つの可能性は、仮想環境を実際のシーンにレジストレーションし、その結果、両者が座標系、すなわち世界座標系（world coordinate system）を共有するようにすることである。このレジストレーションを実行するためのさまざまなシステムおよび方法が、当技術分野において知られている。

次に、ＡＲシステムは、表示ユニットの視点および視線方向、すなわち表示ユニットの座標系を決定する必要がある。これを達成するためのさまざまなシステムおよび方法が、当技術分野において知られている。例えば、固定位置におけるカメラ、または表示ユニットに埋め込まれたカメラ／センサが、表示ユニットの動きを追跡し、環境（の一部）に対する表示ユニットの座標系をこの動きから導出するために、使用され得る（例えば、ＳＬＡＭ）。

仮想環境の要素を実際のシーンのビューと混合するために、ＡＲシステムは、仮想カメラを表示ユニットの座標系と位置合わせし、仮想カメラを用いて仮想要素のレンダリングを作成し、レンダリングされた画像を表示ユニット内の実際のシーンのビューと組み合わせ得る。

いくつかのシステムでは、器具、ポインタ、イメージングシステム（の一部）、インプラント、インプラントコンポーネント、患者、または患者の解剖学的部分、手術スタッフ、または手術スタッフの誰かの解剖学的部分等の特定のオブジェクトの動きは、実際のシーンを通じて、または世界座標系をかかるオブジェクトに取り付けることを通じて、追跡され得る。これを行う一般的な方法は、実際のシーンの固定位置にあるか表示ユニット内に組み込まれているかのいずれかである１つ以上のカメラまたはセンサを用いて、オブジェクトにしっかりと取り付けられた１つ以上の明確に識別可能なマーカの動きを光学的に追跡することである。代替的な方法には、オブジェクトそれ自体のデジタルモデルを作成してこれらのオブジェクトを追跡する方法（例えば、オブジェクトトラッキング（object tracking））、または推計法を用いてこれらのオブジェクトを追跡する方法（例えば、ハンドトラッキング（hand tracking）の場合）が含まれ得る。さらに他の方法では、医用イメージング、電波に基づく測位（ＲＦＩＤ、ＵＷＢ）等の代替的なセンサシステムが使用され得る。

本明細書に記載のシステムおよび方法の実施形態では、ＡＲ技術を使用する手術手技中の視覚的なガイダンス／支援が提供される。

いくつかの実施形態において、これらのシステムおよび方法は、光学ヘッドマウントディスプレイ（optical head-mounted display：ＯＨＭＤ）および／またはオーバーヘッドディスプレイを使用して、視覚的なガイダンス／支援をユーザに提供する。いくつかの実施形態において、これらのシステムは、かかるガイダンスを提供するために、モバイルデバイスまたはウェアラブルデバイス（例えば、スマートフォン、タブレット等）を使用する。

一実施形態によれば、これらのシステムおよび方法は、膝関節形成手術および肩関節形成手術中に、視覚的なガイダンス／支援を提供する。

以下に説明するある態様では、膝関節置換手術および肩関節置換手術に使用されるシステムおよび方法の実施形態が説明されるが、これらのシステムおよび方法は、足関節、股関節および／または肘関節等の任意の拘束されていない関節を置換または修復するために、同様に使用され得る。システムの一部は、非関節形成手術またはインターベンションにおいて、例えば頭蓋－顎顔面手術（cranio-maxillofacial surgery）中または心臓弁インターベンション中において、使用され得る。

仮想手術計画立案（プランニング）は、術前か術中かのいずれかにおいて実行される。この仮想手術計画は、コンピュータナビゲーション、患者固有のガイド、患者固有の３Ｄモデルまたはロボティクス等の術中ガイダンス技術を介して、患者に移行される。

計画立案中、外科医は頭の中で手術を準備する。工程には、次のうちの１つ以上が含まれる：患者データを収集する工程、欠損を決定するために解剖学的構造を分析する工程、欠損および術後の可動域に基づいて手術後の可動域および軟部組織バランス（soft-tissue balance）を予測する工程、続く手順を決定する工程（例えば、ＴＫＡ、ＰＫＡ、ＳＡ、ｒＳＡ）、器具を事前選択する工程（例えば、インプラントサイズ、ステム）、他の重要な手術パラメータの中で、インプラントおよびスクリュー等の固定要素の配置（例えば、向き、深さ、位置）ならびに関連するリーミング深さまたは骨切り位置を決定する工程。これらの工程は、インプラントの任意の関節コンポーネントに対して実行され得る。手術中、この計画を可能な限り正確に移行することが目的である。ある実施形態による拡張現実強化関節手術（augmented reality enhanced joint surgery）のためのワークフローを、図６に示す。

患者データには、医学画像、年齢、性別、体重、身長、民族、ライフスタイル、活動レベル、病歴等の個人情報、愁訴、疼痛スコア、歩行測定、可動域測定、変性または先天性欠損、スポーツまたは加齢による損傷等の術前の診察（検査）の間に集められた任意のデータ、解剖学的または機能的測定等の術中に集められた任意のデータならびにその他のデータのうちの１つ以上のものが含まれ得る。

データは、ナビゲーションシステム、ロボティクスシステムまたはＡＲシステム等の手術中に使用される任意のデバイスを通じて、または電子アクセスデバイスを通じて、手動か自動かのいずれかにより、システムに入れられ得る。

本明細書に記載のシステムおよび方法は、さまざまな機能を提供するように構成された１つ以上のコンピューティングデバイスを備えるコンピューティング環境において実施され得る。図１は、本明細書に記載されたある実施形態を実施するのに適したコンピューティング環境１００の一例である。コンピューティング環境１００には、ネットワーク１０１が含まれ得る。ネットワーク１０１は、さまざまな形態をとり得る。例えば、ネットワーク１０１は、手術場所に設置されたローカルエリアネットワークであり得る。いくつかの実施形態では、ネットワーク１０１は、インターネット等の広域ネットワークであり得る。いくつかの実施形態では、ネットワーク１０１は、デバイスそれ自体にバスを含み得る。他の実施形態では、ネットワーク１０１は、ローカルエリアネットワーク、広域ネットワークおよびローカルバスの組合せであり得る。通常、ネットワークは、セキュアな通信、および、さまざまなコンピューティングデバイス／コンポーネント／モジュール間でデータが共有されることを可能にするだろう。各コンピューティングデバイスは、Ｗｉｎｄｏｗｓ、ＭａｃＯＳ、Ｌｉｎｕｘ（登録商標）、ＣｈｒｏｍｅＯＳまたは他の何らかのオペレーティングシステム等の既製のオペレーティングシステムを実行する、典型的なパーソナルコンピュータデバイスであり得る。各コンピューティングデバイスは、インストールされたアプリケーションソフトウェアを有し得る。当該インストールされたアプリケーションソフトウェアは、コンピューティング環境１００内のさまざまな他のモジュールおよびデバイス上に格納された他のソフトウェアと、ネットワーク１０１を介して、それがインタラクションすることを可能にする。このアプリケーションソフトウェアは、リモートアプリケーションサービスにアクセスすることのできるウェブブラウザの形態をとり得る。あるいは、アプリケーションソフトウェアは、コンピューティングデバイスのオペレーティングシステムにインストールされたクライアントアプリケーションであり得る。また、各コンピューティングデバイスは、特に医用手術イメージングおよび計画立案のために設計されたか、または、さらにより特定的に拡張現実のために設計された、特殊化されたコンピュータの形態をとり得る。各コンピューティングデバイスはさらに、ネットワーク１０１を介して通信するように構成されており、また、本明細書に記載のさまざまな方法をユーザが実行することを可能とする１つ以上のソフトウェアモジュールを実行するようにさらに構成された、モバイルデバイスまたはタブレットコンピュータの形態をとり得る。

図示のように、ネットワーク１０１に接続された複数のモジュールおよびデバイスがある。これらのモジュール／デバイスの各々は、図示のように別個であり得、（例えば、メモリと、そのモジュールの機能を実行するように構成されたプロセッサと、を含む）別々のコンピューティングデバイスに対応し得る。ある態様では、モジュールは、コンピューティングデバイス上で実行されるアプリケーションであり得る。デバイスおよびモジュールはネットワーク１０１を介して通信する別個のものとして示されているが、異なるモジュールおよびデバイスが、任意の適切な数のコンピューティングデバイスの任意の適切な組合せにおいて、同じコンピューティングデバイス上で実行されてもよい。

コンピューティング環境１００には、表示デバイス１０４が含まれる。表示デバイス１０４には、現実環境の一部として仮想環境を表示するために使用される、光学ヘッドマウントディスプレイ（ＯＨＭＤ）、モニタ、テレビおよび／またはオーバーヘッドディスプレイ等のうちの１つ以上のものが含まれ得る。表示デバイス１０４がヘッドマウントディスプレイである場合等の特定の態様では、表示デバイスは、表示デバイス１０４の位置、向き等を追跡する、１つ以上の加速度計、カメラ、測位システム等を含む。

コンピューティング環境１００には、スキャニングデバイス／イメージストレージ１０５がさらに含まれる。ある態様において、スキャニングデバイス／イメージストレージ１０５は、スキャニングデバイス／イメージストレージ１０５によって捕捉された画像ファイルを格納するように設計された大きなデータベースを含む。これらの画像は、ＤＩＣＯＭ画像、または他のタイプの画像であり得る。また、スキャニングデバイス／イメージストレージ１０５は、スタンドアローンデータベース内、例えば、医用画像データ用に最適化された専用ストレージを有するＰＡＣＳシステム等のサーバーベースのシステム内にあってもよい。スキャニングデバイス／イメージストレージ１０５には、代替的にまたは追加的に、患者をスキャンしてその解剖学的構造の画像を作成する、医用イメージングデバイスが含まれ得る。図１に示すコンピューティング環境１００では、スキャニングデバイス／イメージストレージ１０５は、ＣＴスキャナ、超音波デバイス、またはＭＲＩデバイスであり得る。しかしながら、当業者であれば、三次元解剖学的モデルを作成するために使用され得るイメージングデータを提供する他のスキャニング技術が実装され得る、ということを理解するだろう。

コンピューティング環境１００には、仮想３Ｄモデル作成モジュール１０６もまた含まれ得る。仮想３Ｄモデル作成モジュール１０６は、コンピュータソフトウェア、ハードウェアまたは両者の組合せの形態をとり得る。それは、スキャニングデバイス／イメージストレージ１０５から医用イメージングデータを取り出し、例えば２Ｄ画像データのスタックを使用することによって、三次元モデルを生成する。仮想３Ｄモデル作成モジュール１０６は、ＭａｔｅｒｉａｌｉｓｅＮＶから市販されているＭｉｍｉｃｓアプリケーション等の、三次元デザインおよびモデリングのための画像処理ソフトウェアであり得る。しかしながら、他の画像処理ソフトウェアが使用されてもよい。いくつかの実施形態において、仮想３Ｄモデル作成モジュール１０６は、ネットワーク上のコンピュータによってアクセスされるウェブベースのネットワークアプリケーションを介して提供され得る。あるいは、仮想３Ｄモデル作成モジュール１０６は、コンピューティングデバイスに直接インストールされ、ネットワーク１０１を介してスキャニングデバイス／イメージストレージ１０５にアクセスする、ソフトウェアアプリケーションであり得る。一般に、仮想３Ｄモデル作成モジュール１０６は、スキャニングデバイス／イメージストレージ１０５内に格納された画像データについての画像処理能力を提供する、コンピューティング環境１００内に配置されたソフトウェアおよび／またはハードウェアの任意の組み合わせであり得る。

ある実施形態では、患者データは、ファイル、ストレージメディア、クラウドデータベースから仮想３Ｄモデル作成モジュール１０６にロードされ得るか、またはＯＲ内の仮想３Ｄモデル作成モジュール１０６に手動で入れられ得る。

患者情報２０４を含むインプットデータは、手術計画を作り上げるために処理される。例えば、ワークフロー２００に示されるように、医用画像２０２および患者情報２０４が、手術計画２１０を生成するために使用される。

例えば、スキャニングデバイス／イメージストレージ１０５からの、ＣＴ、ＭＲＩまたは超音波画像等の医用画像２０２は、仮想３Ｄモデル作成モジュール１０６によるセグメンテーションを通じて、骨の解剖学的構造、軟骨、器官、器官壁、血管系、神経、筋肉、腱および靭帯、血液プール体積等の１つ以上の解剖学的部分の１つ以上の仮想３Ｄモデルへと変換され得る。追加的にまたは代替的に、仮想３Ｄモデルは、仮想３Ｄモデル作成モジュール１０６によって、または患者の露出した解剖学的構造を直接測定することによって得られ得る。当該仮想３Ｄモデル作成モジュール１０６は、事前の母集団知識（prior population knowledge）を使用して（例えば、統計学的形状モデルを使用することによって）、スキャニングデバイス／イメージストレージ１０５からの２Ｄ画像（例えば、Ｘ線、超音波）に基づいて３Ｄ形状を再構成するものである。当該患者の露出した解剖学的構造は、（例えば、カメラ、モーショントラッキングデバイス等に接続され得る）Ｉ／Ｏモジュール１２２によって提供されるようなマーキングおよび／もしくはモーショントラッキングデバイス、またはスキャニングデバイス／イメージストレージ１０５によって提供されるサーフェススキャン方法を使用して測定される。仮想モデルは、より多くの情報が利用可能になるにつれ、例えば測定を術中に実行する間に、仮想３Ｄモデル作成モジュール１０６によって繰り返し改善され、表示デバイス１０４上にユーザに提示され得る。

解剖学的標識（anatomical landmark）は、Ｉ／Ｏモジュール１２２を使用して医用画像上もしくは仮想３Ｄモデル上にそれらを示すことにより手動で決定されるか、特徴認識技術を使用して分析モジュール１１８により自動で決定されるか、または、解剖学的標識に関する情報を含む統計学的モデルを医用画像もしくは仮想３Ｄモデルに適合させることによって決定されるか、当該標識の術中の注釈付け（アノテーション：annotation）によって、またはモーショントラッキングに基づく再構成を使用してかかる標識（例えば、股関節中心）を導出することによって、決定され得る。解剖学的座標系、解剖学的軸（anatomical axes）および／または力学的軸（mechanical axes）は、分析モジュール１１８により、解剖学的標識から導出され得る。

また、コンピューティング環境１００には、計画立案モジュール１０８が含まれ得る。計画立案モジュール１０８は、ＡＲシステムのための手術計画立案を実行するように構成され得る。これは術前または術中に行われ得る。両方の場合において、解剖学的標識、任意の導出された座標系および／もしくは軸、ならびに／または、３Ｄ解剖学的形状は、前記解剖学的標識に対する（例えば、最も）適切なインプラントコンポーネント、そのサイズおよびその配置（例えば、位置および向き）を決定するために、計画立案モジュール１０８によって使用され得る。計画２１０は、（術前に予測できなかった合併症等の）追加的な情報が利用可能になったとき、計画立案モジュール１０８によって手術中に更新され得る（ワークフローについては図６を参照）。計画立案の間、外科医は、手術中に患者上に強調表示してオーバーレイしたいと望む標識を選択し得る。

本明細書におけるＡＲシステムの計画立案モジュール１０８の実施形態は、術前および術中の計画立案の両方を可能にし得る。術中では、患者が切開される前に、または、患者が切開されて手術部位が明らかになった後に、ユーザは計画立案モジュール１０８を使用して手術を計画し得る。

ある例では、ユーザは計画立案モジュール１０８を使用して、３Ｄ印刷された患者固有モデル等の解剖学的な３Ｄ患者固有モデル上で手術を計画し得る。

ある例では、手術計画２１０は、例えば予測アルゴリズムに基づいてまたはあらかじめ定められたルールに基づいて、計画立案モジュール１０８によって、いかなるユーザインタラクションもなしに、完全に自動的に作成または適合され得る。ある例では、手術計画２１０は、手術中に作成または適合される必要があり得る。外科医は、患者を切開する前または患者を切開した後に、手術を計画し得る。

ある例では、手術計画２１０は、計画立案モジュール１０８によって、手術中に作成または適合される必要があり得る。本明細書のＡＲシステムの計画立案モジュール１０８の実施形態は、インフォームドかつ効率的な方法で手術計画２１０を修正するために、使用され得る。ＡＲシステムの計画立案モジュール１０８には、別の場所（例えばネットワーク１０１を介して、クラウド、他のワークステーション、異なるソフトウェア）から転送される計画が必要とされ得る。これは、別々のシステム間のネットワークリンクを通じて直接実行され得る。あるいは、計画立案情報を直接、視覚的参照の中にエンコードするか、前記代替の場所からの情報を転送することを可能にするリンクをエンコードするかのいずれかである、当該視覚的参照（例えば、ＱＲコード（登録商標））が使用され得る。表示デバイス１０４内等にあるＡＲシステム内の光学素子（例えば、ヘッドマウントデバイス内のカメラ）が当該視覚的参照を捕捉するために使用され得、分析モジュール１１８が当該視覚的参照をデコードし得る。

ある実施形態では、術前の計画立案または画像獲得の必要なしに、術中の手術計画立案を実行することが可能である。例えば、いくつかの実施形態では、脛骨における近位カットを計画するために、Ｉ／Ｏモジュール１２２および／または表示デバイス１０４は、例えばシステムにより追跡されるスタイラスを使用することによって、踝、および脛骨の一方または両方の顆内結節（intracondylar tubercles）を手動で示すよう、ユーザに求め得る。次いで、これらの標識から、計画立案モジュール１０８および／または分析モジュール１１８は、髄内ロッドまたは髄外ロッド（intra- or extra-medullary rod）を使用する必要なしに、脛骨の解剖学的軸を導出し得る。いくつかの実施形態では、遠位大腿骨上のカットを計画するために、Ｉ／Ｏモジュール１２２および／または表示デバイス１０４は、上顆および／または顆間窩の最遠位点を手動で示すよう、ユーザに求め得る。また、Ｉ／Ｏモジュール１２２および／または表示デバイス１０４は、患者の下肢を動かすようにユーザに求め得る。その動きを追跡することによって、Ｉ／Ｏモジュール１２２、計画立案モジュール１０８、および／または分析モジュール１１８は、股関節の回転中心を決定することができる。次いで、この回転中心および手動で示される標識から、計画立案モジュール１０８および／または分析モジュール１１８は、髄内ロッドを使用する必要なしに、大腿骨の力学的軸を決定し得る。かかる手順には、他の標識が使用され得る。

ある実施形態では、術中情報に基づいて、手術計画または計画をインタラクティブに適合させることが可能であり得る。これには、外科医による臨床的判断が含まれ得るか、あるいは、より綿密な客観的分析方法、ＡＲシステムそれ自体を使用して測定されたデータ（解剖学的標識もしくは運動等）、または、力／応力／歪みセンサもしくはロボティクスシステム等の外部システムから組み込まれたデータが関わり得る。また、計画２１０は、測定２３２から導かれる二次的データに基づいて、例えば一次的測定結果に基づく筋骨格モデリングを通じての関節安定性の推定により、更新され得る。別の例は、一次的歪み／応力／力測定結果に基づいて靭帯の等尺性挙動を評価することである。さらに別の例は、術中のバランシング測定結果（例えば、靭帯歪み（ligament strain）、区画圧（compartmental pressure）等）を使用して、患者の生来の位置合わせ（constitutional alignment）を決定し、それによって、より患者固有の位置合わせを達成するための計画を補正することを可能にすることである。

術中に計画を適合または作成することは、臨床的パラメータ（インプラントのタイプおよびサイズ、傾き、バージョン（version）、インプラント回転または中心リーミング深さ等）を直接制御することによって、以下に述べるインタラクション方法のいずれかを使用して、実行され得る。計画の適合は、クラウドサービスを通じて間接的に実行され得るが、これは、拡張環境内の仮想ウィンドウにおいて実行され得、そして、第２段階において拡張要素を更新するか、または以下に説明するように拡張要素上で直接実行され得る。

また、計画立案モジュール１０８は、バランシング後にきつすぎる（too tight）ように見える関節を矯正するための複数の選択肢を提案し得る。これには、解放する靭帯を含む、靭帯解放（ligaments release）の方法および量が含まれ得る。また、これには、脛骨か大腿骨かのいずれかにおける、必要な骨再カット、および、安定した関節を作成するために除去されるべき骨の量が含まれ得る。

ＡＲシステムは、骨組織データおよび軟部組織データをインタラクティブフォーマットにおいて視覚化モジュール１１０を用いて表示デバイス１０４上に提示することによって、かかるデータに基づくインフォームドな決定をユーザが行うことを可能にし得る。術中計画立案の間、関連するすべての情報は、表示デバイス１０４を使用して、患者、患者固有の解剖学的３Ｄモデル上、または一つ以上の表示モニタ上にオーバーレイされ得る。インフォームドな決定を行う際に外科医をガイドおよび／または支援するために、計画立案モジュール１０８および／または視覚化モジュール１１０は、多くの視覚化方法のうちの１つを使用して関連情報を強調表示し、それを外科医に伝達し得る。そのうちのいくつかが以下で詳述されるが、それは外科医の好みによる。

したがって、本明細書のある実施形態によって提供される拡張環境には、次のうちの１つ以上の種々のコンポーネントが含まれ得る：例えば、さまざまな拡張要素、仮想ガイダンスツール、表示コンポーネントを含む視覚化方法、等々。ユーザの好みに応じて、１つ以上の組み合わせが可能である。システムを使用するユーザの数に応じて、１つ以上の拡張環境がシステムにより作成または使用され得る。これにより、複数のユーザが同時にシステムを使用して彼らの個々に関連する情報のみを扱い得るように、システムは、カスタマイズ可能かつユーザフレンドリになり得る。

コンピューティング環境１００には、視覚化モジュール１１０がさらに含まれる。ある実施形態では、視覚化モジュール１１０は、患者情報のオーバーレイ、手技（手順：procedure）中の段階的なガイダンスの提供、手術を実施するための、関連する解剖学的標識、器具、デバイス、ベストプラクティス等の表示等のうちの１つ以上を含む視覚化方法を実行するよう、構成されている。

手術の間、拡張環境／シーン２２０は、視覚化モジュール１１０により作成され、拡張シーンの視覚化２２２を通し、例えば１つ以上の表示デバイス１０４を通して外科医２２４、外科医のスタッフ２２６、および／または遠隔参加者２２８に対して、全体的にまたは部分的に視覚化され得る。この拡張環境２２０は、手技中に外科医をガイド／支援する情報を含む。

実際のシーン／物理シーン２３０―すなわち現実―は、患者上に表示される仮想／拡張要素２０８の視覚化によって、視覚化モジュール１１０により拡張され得る。これは、例えば、部分的に透明または完全に不透明であり得る解剖学的構造上のオーバーレイによる。このようにして、解剖学的構造には、強調表示、不明瞭化、注釈付け、拡張等がなされ得る。

外科医が関心領域に焦点を合わせることを可能にするために、手、工具、インプラント等の障害物（遮蔽物）のうちの１つ以上は、見えないようにされ／透明にされ得る。これは、例えば、Ｉ／Ｏモジュール１２２からの履歴カメラデータまたは追加のカメラストリームを使用して、拡張要素２０８を使用してシーンの覆い隠された部分を置き換えることによる。

いくつかの実施形態では、実際のシーン２３０は、患者および患者の位置（または患者の標識または個々の解剖学的部分の位置）に空間的に取り付けられるものの実際の解剖学的構造と必ずしも重なり合わない仮想シーン２１２を形成する仮想要素２０８の視覚化によって、拡張され得る。これには、二次的データおよび統計２０６等に基づく、導出された標識、注釈付け、線、平面、ゾーン、動的情報、ガイダンスのためのターゲット位置等のうちの１つ以上が含まれ得る。

また、実際のシーン２３０は、手術室（ＯＲ）内の患者以外の物理的オブジェクトの上のおよび／または手術室（ＯＲ）内の患者以外の物理的オブジェクトに空間的に取り付けられる仮想要素２０８の視覚化によって拡張され得る。これには、器具類、工具、インプラントコンポーネント、ナビゲーションシステム、ロボット要素等のうちの１つ以上が含まれ得る。

また、実際のシーン２３０は、外科医の視野内および／または実際のＯＲ内の専用の仮想場所上のいずれかにおいて、患者の周りの仮想要素２０８の視覚化によって拡張され得る。これらの仮想場所は、複数の要因に基づいて変化し得る。これらの要因は、外科医、手術工程、ならびに／または、システムへの何らかの形態のインプットを使用して外科医および／もしくは外科医のスタッフによって転送される情報に依存し得る。

環境を拡張する仮想情報は静的であり得る。これは、実際のシーン内の１つ以上の物理的オブジェクトと共に移動するか、実際のシーンとは独立して移動するか、または拡張環境内で自由に浮遊し得、外科医の都合に応じて、ユーザによって移動可能であり得る。

仮想情報は、物理的オブジェクトによるこれらの仮想オブジェクトの遮蔽を考慮するように適合され得る。例えば、このシステムは、任意の既知の３Ｄスキャニングまたは立体写真測量技術（stereophotogrammetry）を使用して、ユーザの視野内におけるすべてのオブジェクトの三次元形状および配置を決定し得る。次に、これらの形状が仮想環境に追加され、表示される仮想オブジェクトのどの部分が実際のシーンからのオブジェクトによって覆い隠されているのかを判定するために使用され得る。この情報に基づいて、視覚化モジュール１１０は、これらの部分をレンダリング中に省略し得るか、または、例えば異なる透明度、明度、色相、または彩度により、それらを異なるようにレンダリングし得る。代替的にまたは追加的に、視覚化モジュール１１０は上述のような医用画像から得られた解剖学的部分の仮想３Ｄモデルのいずれかを仮想環境２１２に追加し、それらを使用して遮蔽を決定し得る。複数のユーザがシステムを使用している場合、実際のシーンでの個々のユーザの役割、好みまたは物理的な位置に合わせて、上記の事柄は調整され得る。

ある実施形態では、視覚化は、術中に捕捉されるリアルタイム情報に基づいて、または、このリアルタイム情報に基づいて実行されるシミュレーションもしくは分析を通じて、適合され得る。したがって、仮想情報は、シーン内に見える要素、例えば、リアルタイムのインプラント配置に依存し得、それに応じて更新され得る。これは、例えば、その特定のインプラント配置に対して自動的に計算された最適なスクリュー配置を提供することによる。

ユーザは、従来のコンピュータディスプレイ等の表示デバイス１０４を介して、スマートフォンもしくはタブレット等のモバイルデバイスもしくはポータブルデバイスを介して、プロジェクションベースのデバイスを介して、または、ヘッドマウントディスプレイシステムを介して、拡張環境２２０を見得る。いくつかの例では、ディスプレイは、仮想要素２０８と実際のシーン２３０のカメラ画像との組み合わせとして、拡張環境を視覚化するだろう。他の例では、ディスプレイは、仮想シーン２１２の仮想要素のみを視覚化し、実際のシーン２３０のユーザ自身の知覚上にそれらをオーバーレイするように、ユーザの視野内にそれらを投射する（シースルーディスプレイ）。後者の場合、表示較正（Display calibration）が（レジストレーションの次に）必要とされ得る。それにより、ディスプレイに対してユーザの見る位置をどのように位置合わせするのかをディスプレイシステムが理解することが確実となり、実際のシーン上に空間的に正確に仮想情報がオーバーレイされ得る体験がつくり出される。

ある実施形態では、コンピューティング環境１００には、かかる表示較正を実行するように構成された較正モジュール１１２が拡張現実システムの一部として含まれる。かかる表示較正は、ユーザ依存的であり、ディスプレイ１０４がユーザに対して再配置される場合に繰り返され得る。また、表示較正は、光学的アーチファクト（optical artifact）を補正することを可能にし得る。当該光学的アーチファクトは、ユーザ、ディスプレイおよびカメラシステムと環境との間に位置し得る眼鏡またはサージカルマスクによって引き起こされる。シースルーディスプレイ上に表示される１つ以上の仮想要素に対してユーザが物理的要素（例えば、追跡されたマーカ、身体部分、オブジェクト等）を位置合わせする任意のタスクを実行するようユーザに求めることによって、表示較正が実行され得る。パフォーマンスまたはユーザエクスペリエンスを改善するために、表示較正はインタラクティブに実行され得る。それによって、表示較正は、ユーザが当該タスクを実行しているときに反復的に更新される。較正モジュール１１２は、表示較正を実行するための追加のガイダンスをユーザに提供し得る。これは、例えば、光学追跡を使用することによって、タスクが実行される必要のあるユーザからの距離に関するフィードバックを提供する。あるいは、表示較正は、アイトラッキングもしくはゲイズトラッキング（注視追跡：gaze tracking）を使用して、または、眼およびディスプレイの位置を空間的に関係付け得る外部カメラシステムを使用して、実行され得る。

表示較正は、個々のユーザプロフィールに基づいて蓄積され得る。そのため、セッションが繰り返される場合には、較正の労力は除かれ得るか、または大幅に低減され得る。

Ｉ／Ｏモジュール１２２の複数のカメラシステムが使用され得、一緒に較正され得るか、または、当該Ｉ／Ｏモジュール１２２の複数のカメラシステムは、それらの相対位置が分かっているときに、単一のディスプレイを較正するために使用され得る。

上述したように、ＡＲシステムは、「拡張環境／シーン」２２０を作成するために、仮想環境／シーン２１２と実際のシーン２３０とを位置合わせする必要がある。これは、光学的位置合わせシステムまたは他の位置合わせシステムを通じて達成され得る。ここで、実際のシーン２３０は、仮想環境２１２に対して空間的に参照される。例えば、ある実施形態では、コンピューティング環境１００には、かかる位置合わせを実行するためのレジストレーションモジュール１１４が含まれる。レジストレーションモジュール１１４は、表示する仮想／拡張要素２０８および／または統計２０６を含む仮想シーン２１２を、実際のシーン２３０にレジストレーション２１８して、その結果、拡張シーン２２０を生成し、次いで、当該拡張シーン２２０が、視覚化２２２され、表示デバイス１０４にアウトプットされるように、構成され得る。

光学システムは、レジストレーションモジュール１１４によるレジストレーション２１８および追跡を実行するために、物理的マーカを使用し得る。これらのマーカは、実際のシーン２３０内の一定位置に配置され得るか、または、実際のシーン２３０内の任意の独立に動くオブジェクトに取り付けられ得る。これには、患者、任意の個別に動く患者の解剖学的部分（例えば、骨、軟部組織、四肢等）、および、器具（例えば、ドリル、鋸（ソー）、骨ピン等）、解剖学的３Ｄ患者固有モデル、インプラントもしくはインプラントコンポーネント等のオブジェクトが含まれる。マーカは、光学的認識を容易にするあらかじめ定められた３Ｄ構成において配置され得る。既知の幾何学的形状を有する任意の物理的３Ｄオブジェクトが、物理的マーカとして直接的に機能し得る。マーカは、（３Ｄプリントされた）ガイドであり得る。これは、（部分的に）患者固有であって、ある程度まで術中に構成可能であり得るか、または、レジストレーションのために使用される解剖学的３Ｄ患者固有モデルであり得る。また、マーカは、アイウェア、弾性バンド等のウェアラブルデバイス内に含まれ得る。

マーカは、複数の構造（例えば、肩皮膚、肩甲骨および関節窩骨表面、周囲の軟部組織、筋肉、靭帯等）に取り付けられ得、コンピュータモデルを使用することによってレジストレーションされる解剖学的構造に間接的に関係付けられ得る。

また、拡張環境において個々の骨の解剖学的構造をレジストレーションするために、Ｉ／Ｏモジュール１２２を介して、マーキングデバイスが使用され得る（例えば、追跡されたペン）。これには、関節窩表面が含まれ得る。烏口骨表面もまた、手術ウィンドウの外側に位置するので、基準点として使用され得る。肩甲骨もまた、間接マーカとして機能し得る。複数のマーカの組み合わせもまた、（例えば、Ｉ／Ｏモジュール１２２のカメラからの）視覚データと組み合わせて使用され、目的の解剖学的構造の位置が捕捉され得る。

また、光学システムは、レジストレーションモジュール１１４によるレジストレーションおよび追跡のために、手術ウィンドウの内側に見える解剖学的構造または手術ウィンドウの周りの隣接する構造（軟部組織または皮膚等）を直接使用することによって、マーカなしに動作し得る。レジストレーションモジュール１１４は、仮想３Ｄモデル作成モジュール１０６によって作成された仮想３Ｄモデル（の一部）を、当技術分野で知られている任意の形状認識技術を使用することによってＩ／Ｏモジュール１２２によりカメラシステムから獲得されたデータに対して関係付け得る。３Ｄモデルは、イメージングに基づく患者固有のモデルであり得るか、母集団から導出されたパラメトリックモデル（parametric model）（統計学的形状モデル等）のインスタンスであり得るか、または術中に得られうる。上記の任意の組合せが、仮想３Ｄモデル作成モジュール１０６によって、３Ｄモデルを作成するために使用され得る。例えば、Ｘ線、ＣＴまたはＭＲＩ画像から得られた患者固有の情報、および、既知の標識等の術中に得られる患者固有の情報とともに、膝関節の解剖学的構造の母集団に基づく形状モデルを使用する。それにより、３Ｄモデルは、手術前（術前イメージングを使用）または手術中（術中情報または術前情報と術中情報との複合を使用）に作成され得る。また、かかる視覚ベースのシステムは、明示的なマーカシステムの必要なしに、器具および空間内の器具の位置を直接、追跡し得る。

また、外科医が眼鏡を外したかまたはマーカを除去したかまたは遮蔽の場合であっても、シーンを保持するために、（例えば、複数のＡＲデバイス内に含まれるか、または別個のカメラシステムを有する）追加のカメラシステムを使用することが可能である。

また、漸進的なレジストレーション（または層状化（layering））機構が、レジストレーションモジュール１１４によって使用され得る。それによると、まず、シーンは、解剖学的構造（例えば、関節窩上のマーカ）にレジストレーションされ、第２段階において、当該シーンは、器具（例えば、関節窩ピン上のマーカまたはマーカとしての関節窩ピン）にレジストレーションされ、そして、（任意選択的に、）より後の段階において、当該シーンは、インプラントコンポーネント（例えば、インプラント上のマーカまたはマーカとしてのインプラントそれ自体）にレジストレーションされる。

また、赤外線マーカまたは電波（ＲＦ）追跡等の、代替的な追跡システムが使用され得る。それらは、視覚システムを通じて、または、その他の場合には較正された電子システムを通じて、拡張環境に対して関係付けられ得る。

以前のインプラントコンポーネントは、再置換手術において自動的に検出され得る。そして、これらのインプラントコンポーネントは、術前イメージングに関して知られているように、レジストレーションマーカとして使用され得る。

以下に説明するように、レジストレーションおよび追跡は、ユーザがさまざまな測定２３２を実行することを可能にする。

拡張現実システム／環境１００は、解剖学的構造および器具の姿勢および位置を推定することを可能にするが、それは、分析モジュール１１８等によって、術中または術前に測定２３２を行うために使用され得る。これらの測定は、計画立案手順２１０に影響を及ぼし得るか、または、特定の情報を表示することを可能にし得る。

実行され得る１つの測定には、鋸刃（ソーブレード）位置に基づくカットのパラメータが関わる。かかるパラメータには、切除された骨の量（例えば、体積、距離）が含まれ得るだろう。これらのパラメータは、傾斜（バージョン：version）、傾き（inclination）、またはリーミング深さ等の臨床的パラメータに変換され得るだろう。

また、ＡＲシステムを使用して、手術フェーズが（例えば、半）自動的に検出され得る。これは、例えば、手術工程を示すこと、次の工程を実演すること、最新の器具類リストを提供すること等によって、手術手技を通じての特定のワークフローガイダンスにつながり得る。例えば、ある態様では、コンピューティング環境１００には、仮想手術ガイダンス２１４を提供するように構成されたガイダンスモジュール１１６が含まれる。これには上腕骨インプラントおよび関節窩インプラントの配置中にガイダンス２１４を提供することが含まれ得るが、それにはまた、バイオＲＳＡのための形状移植等の手技の他の工程を補助すること、または配置に必要なリーミングを示すことが含まれ得る。

別の測定は、スクリュー、リーマまたはドリル位置の分析に基づき、ドリルホールのパラメータ（例えば、ドリル深さ）を決定することであり得る。

受動的な運動または能動的な運動を実行して解剖学的コンポーネントを追跡することによって、この運動の分析がなされ得る。例えば、肩関節の回転中心が、その動きに基づいて決定される。

また、解剖学的標識は、追跡されるデバイスまたはポインタを使用して、または、Ｉ／Ｏモジュール１２２によりカメラを通じて標識を視覚的に検出することによって、手動で注釈付けされ得る。これらの解剖学的標識から、二次的測定結果が導出され得る。

露出した骨または軟部組織表面の自動検出は、この解剖学的構造の３Ｄ表現の作成を可能にし得る。これは、例えば、（例えば、最近のスキャンが用いられたことをチェックするために）骨形状が元の画像データに依然として対応するかどうかを検出するために、または、アウトカム（例えば、体重減少）に影響を及ぼし得る軟部組織変化が生じているのかどうかを特定するために、使用され得る。

別の測定結果は、術前の可動域および術中の可動域であり得る。

可動域の評価の間、外科医は上肢を動かしている。（センサ等の）術中測定ツールを使用して、可動域のより客観的な評価が達成され得る。あるいは、ＡＲを使用して、肩関節／上肢の変位が制御され得る。これは、例えば、ターゲット角度を（平面、線、円錐等として）オーバーレイで視覚化することによる。これは、外科医が良好な可動域に必要な最適な筋肉伸長を達成することを可能とし得る。

標識駆動（landmark driven）の方法（例えば、カメラデータ内および仮想モデル上の対応する標識を特定すること、仮想モデルとの対応なしに患者から得られる標識の任意のセットを位置合わせすること）、ペインティングベースの方法（例えば、解剖学的表面の一部に注釈付けをすること）、プロジェクションベースの方法（例えば、レンダリングされた３Ｄモデルとカメラデータとの画像比較を通じてレジストレーションを最適化することによる）、サーフェススキャニング（surface scanning）方法（例えば、奥行きカメラ（depth camera）または飛行時間画像（time-of-flight image）を得ること）を通じて、機械学習技術（例えば、データ駆動（data-driven）の訓練を通じてカメラ内の３Ｄモデルの外観を学習し、姿勢を推定することによる）、または他の方法を通じて、レジストレーションがレジストレーションモジュール１１４によって達成され得る。

例えば、ユーザは、ポインタを使用して、デジタルモデルにおける患者の大腿骨および脛骨上の軟骨の縁の輪郭を描くように求められ得る。これは、Ｉ／Ｏモジュールがポインタなどの動きを捕捉している間にコンピューティングデバイスを使用して仮想シーン内で行われる。それによって、ＭＲＩスキャンに基づくその軟骨のあらかじめセグメンテーションされた輪郭が、レジストレーションを実行するために使用され得る。

ユーザは、解剖学的構造の部分に注釈付けをするように求められ得る。これは、コンピューティングデバイスを使用して、Ｉ／Ｏモジュールがポインタなどの動きを捕捉している間に、デジタルモデルにおいて、例えば軟骨を着色するかまたは骨の解剖学的構造上に模様を描くことによって仮想シーン内で行われる。その結果、光学認識アルゴリズムが十分に自律的に動作することが可能となる。

ユーザは、解剖学的構造の部分に注釈付けをするように求められ得る。これは、Ｉ／Ｏモジュールがポインタなどの動きを捕捉している間に、１つ以上のマーカを使用して、解剖学的構造の部分に対応する物理的な解剖学的３Ｄモデル（例えば、患者固有モデル）において、例えば骨の解剖学的構造の一部を強調表示することによって行われる。その結果、レジストレーションが可能となる。

レジストレーション２１８のためのユーザアクションには、追跡されたポインタまたはオブジェクト、外科医の手または指の扱いが関わり得る。それには、物理空間内でポインタそれ自体をユーザが動かすこと、または、ポインタをレジストレーションしている最中のカメラを（能動的または受動的に）移動させること（例えば、ＨＭＤを装着しているときにその頭部を移動させることによる）が関わり得る。

ユーザは、物理的オブジェクト（例えば、マークされたレジストレーション標識を有する３Ｄプリントされたモデル）か拡張シーン内に表示された仮想オブジェクトかのいずれかを介して、標識、表面または他の任意の幾何学的特徴の術中の注釈付けについて、ガイダンスモジュール１１６によって、ガイダンス２１４を受け取り得る。このガイダンスは、どの標識がどの順序でマークされる必要があるのかを示し得る。それは、患者の解剖学的構造のどの部分がマーキング中のレジストレーションにとって信頼できるのかを示し得る―計算上の理由か、解剖学的構造の特定の部分が仮想空間では十分に知られていないか（例えば、Ｘ線イメージングおよび母集団モデルに基づく乏しい解剖学的モデル）のいずれかのためである。このガイダンスは、ユーザの工程を用いて、ユーザがそのワークフローを前に進めるにつれて、位置合わせされ更新され得る（例えば、以前の標識がうまく注釈付けされた後、続く標識を示す）。１つ以上のカメラシステムは、拡張環境の一部であり得る。１つ以上のカメラシステムは、認識媒体（例えば、マーカ）または表示デバイスの使用により制限されることなしに、拡張環境において特定のシーンをロックダウンするために使用され得る。これにより、外科医は、リアルタイムでデータを収集しながら、関連する情報を失うことなしに、情報をスタッフに中継すること、または、長く複雑な手術の場合に休憩をとることが可能になる。例えば、外科医は、手術中にサードオピニオンを必要とし得る。このため、外科医は、遠隔外科の選択肢を使用して、別の外科医に電話をかけ得る。他の外科医からの意見を得ることができるようにするために、まず、ユーザは、当該ユーザのビューにおけるシーンをロックする。これにより、他の外科医との議論中に遠隔外科によって提案された変更が、ロックされたシーン上にオーバーレイされ、ＯＲ内の外科医が考慮するためにリアルタイムで更新される。次に、ユーザ（ＯＲ内の外科医）が提案にしたがって計画が更新されることを望む場合、計画が更新され、さもなければ、外科医は（そのシーンがロックされたときの）最初の計画に戻り得る、すなわち、最初のデータ／計画は失われず、ナビゲーティングは依然として容易である。

レジストレーションおよび追跡により、以下に記載するように、ユーザはさまざまな測定を実行することを可能となる。

拡張要素（以下を参照）については、患者の解剖学的構造の種々の仮想または実際のデータ点または状態は、視覚化モジュール１１０によって、表示デバイス１０４上に視覚化され得る。本来の（native）または生来の（constitutional）という用語は、健康な個体のコンピュータシミュレーションおよび／または履歴データに基づいて再構成され得る、前病的な（pre-diseased）（または健康な（healthy））解剖学的構造を表現するために使用される。これは、例えば、母集団の知識または疾患の進行の理解によって推し進められる。術前（pre-surgical）、術前（pre-operative）または解剖学的（anatomical）という用語は、手術前の患者の（病的な（diseased））解剖学的構造を表現するために使用される。術前に計画された（pre-operatively planned）という用語は、手術前の医用イメージングに基づく仮想計画立案を用いて患者の状態が決定されたときの当該患者の状態を表現するために使用される。術中に計画された（intra-operatively planned）という用語は、術前情報および術中情報に基づき手術中の任意の時点で作成された、更新された計画における状態を表現するために使用される。計画された（planned）という用語は、術前に計画されたか術中に計画されたかのいずれかを指し得る。リアルタイム（real-time）またはライブ（live）という用語は、術中の状態を指す。当該術中の状態では、解剖学的構造、器具またはコンポーネントの配置は、術後（post-operative）の状態を予測するシミュレーションプロセスのためのインプットとして追跡され使用される。

種々の状態は、ユーザの求める情報に応じて、別々に、一緒に、または複合して使用され、結果として、環境を拡張し得る。拡張要素は、これらの状態のうちの任意の１つ以上の状態に属し得る。

本明細書に開示のシステムの実施形態は、術前および／または術中および／または（回復期の患者を追跡するために）術後に使用され得る。

拡張要素２０８は、現実のシーン２３０を拡張するために当該現実のシーン２３０に追加される仮想データおよび／または現実データである。「拡張要素（augmentation elements）」は、（データのセグメンテーションまたは後処理を通じて、もしくは手術計画立案工程の結果として）医用画像に基づいてあらかじめ決定され得、および／または母集団データから導出され得、および／またはカメラシステムを用いて術中に検出され得る。

第１に、手術シーン、例えば手術ウィンドウおよびすべての関連する解剖学的部分を含む実際のシーンの部分は、視覚化モジュール１１０によって、解剖学的構造を強調または強調表示する（例えばオーバーレイまたは輪郭線による）ことによって拡張され得る。

一実施形態では、ＫＡの場合、これには、患者の全体の骨の解剖学的構造（主に大腿骨、脛骨および膝蓋骨、主に上腕骨、関節窩、肩甲骨、肩峰、烏口骨等）または膝関節、肩関節等の関節の周囲の軟部組織構造（靭帯、筋肉、神経、血管系、軟骨等）等の、手術ウィンドウの内部に直接見ることのできない解剖学的要素が含まれ得る。また、これには骨棘、軟骨、骨の特定の部分、または既知の欠損（例えば、関節窩欠損）もしくは軟骨欠損等の、臨床的に関連する（例えば、インピンジメントを回避するためのサイジング、バランシングのための）解剖学的構造の特定の部分が含まれ得る。また、これには、（すでに外傷により術前にか、別の手術においてか、手術自体の間にかのいずれかに）以前に除去された解剖学的構造が含まれ得、視覚化モジュール１１０によって表示デバイス１０４上に戻して表示される必要があり得る。例えば、除去された骨片（骨棘、骨切り片）が、元の状態を再構成するために解剖学的構造上に再度視覚化される。また、これには、手術によって適合されることとなる解剖学的構造の一部が含まれ得る。例えば、計画に基づいて切除されることとなる骨の一部（カットによって除去されることとなる骨の部分）が強調表示される。仮想オーバーレイを通じて、解剖学的構造の部分の透明度が、術後の状態を示すように変更され得る。これは、例えば除去されるべき骨をカッティング面まで仮想的に透明にすることによるか、または、カッティング後の骨のシミュレーションを表示することによる。また、これには、手術中に保存されるかまたは保護される必要のある解剖学的構造の特定の部分が含まれ得る。例えば、残しておくことで骨折または脱臼を避けることを可能とするであろうがゆえに保存の必要がある、特定の筋肉または靭帯（の一部）である。また、視覚化モジュール１１０は、犠牲にされ得る特定の靭帯および筋肉を強調表示し得る。あるいは、シミュレートされた解剖学的状態（例えば、実際の欠損した骨から再構成された健康な骨）が視覚化され得る。また、例えば、インプラントが適切に支持されるだろう領域および骨移植が必要とされ得る領域を示すために、骨‐インプラント接触が、最初の切除後に強調表示され得る。これは、計画されたインプラント配置に基づいて、または、例えばコンポーネントを扱っている最中の外科医によって術中に捕捉されたインプラント配置に基づいて行われ得る。

患者から獲得されたすべてのデータまたはデータの任意の組み合わせは、この情報を表示する外部スクリーンまたはプリントアウトを提供する代わりに、拡張環境２２０内に表示され得る。これは、例えば、当該環境内における仮想のまたは浮遊する２Ｄパネルを通じてである。これには、術前に獲得されたか術中に獲得されたかのいずれかでありかつリアルタイムで示される、２Ｄスライド、ボリュームレンダリングされた画像、患者の向きに沿って再スライスされた画像等を含むもののこれらに限定されないＣＴ画像、ＭＲＩ画像、Ｘ線画像もしくは蛍光透視画像等の利用可能な医用画像、手術計画が作成されたときの当該手術計画、運動のシミュレーション（もしくは可動域）、あらかじめ定められたインプラントサイズおよび器具、スクリューの長さ／種類または一般的な患者情報（氏名、手術の側（surgical side）、等）が含まれ得る。また、それには、拡張シーンの内部の映像またはアニメーションとして手術計画を走らせることが含まれ得る。

また、いくつかの実施形態では、手術シーンは、解剖学的標識またはそれらの解剖学的標識から直接導出された構造により、拡張され得る。これらには、踝、靭帯挿入点（ligament insertion point）、関節回転中心、足関節または股関節粗面（tuberositas）等の、空間における個々の位置（点）が含まれ得る。また、これらには、個々の骨の解剖学的軸もしくは力学的軸か、関節の回転軸か、関節系全体（ＨＫＡ）の力学的軸かのいずれかを表す線が含まれ得る。例えば、リアルタイムの関節線が、解剖学的関節線および／または計画された関節線および／または仮想平面との関係において、視覚化され得る。

また、いくつかの実施形態では、手術シーン２３０は、力学的、物理的、解剖学的または（表面にマッピングされ得る）その他の３Ｄ特徴を表す情報であって、医用イメージングまたは術中データ獲得に基づく計算または直接的測定２３２から導出される当該情報により、拡張され得る。その例には、例えば、医用画像におけるグレースケール値から導出される骨質、または、医用画像もしくは仮想３Ｄモデルにおける厚さ測定から導出される軟骨厚さマップが含まれる。これらは、解剖学的構造上にオーバーレイされたカラーマップとして視覚化され得る。別の例として、関節の術後可動域（または、より単純には：関節アライメント、内反／外反、関節内間隙）のシミュレーションがある。これは、軌道、線、ゾーンとして、または、映像、アニメーションもしくは動的３Ｄモデルとして、視覚化され得る。仮想の下肢が、可動域または靭帯バランシングをシミュレートするために使用され得る。ＡＲシステムと当該下肢とのインタラクションにより、運動が、実際の位置にオーバーレイされる／実際の位置上に浮遊する仮想モデルにおいてシミュレートされる拡張環境に、システムを移行させることが可能となる。その結果、外科医は、最適な術後結果を達成することが可能となる。外科医は、現実の膝関節を保持し軟部組織のバランシングを実行しながら、仮想の膝関節を保持する。術後の可動域は、（筋骨格のまたは他の）モデリングを介して、または、インピンジメントを予測する単純な多体モデル（multibody model）によって、シミュレートされ得る。別の例は、特定の解剖学的位置における筋肉の伸長である。これは、（着色された）線もしくは軌道として、ならびに／または、セグメンテーションされたおよび／もしくはシミュレートされた解剖学的形状として、視覚化モジュール１１０により表示デバイス１０４上に視覚化され得る。

また、いくつかの実施形態では、計画されたまたはシミュレートされたインプラントシステムコンポーネントまたはコンポーネント位置に関する情報は、拡張環境の一部として、視覚化モジュール１１０によって表示デバイス１０４上に視覚化され得る。これには、スクリュー、インプラント（上腕骨、関節窩、スペーサ（spacer）、大腿骨、脛骨、膝蓋骨、およびスペーサ）等が含まれ得る。これらは、例えば、実際の可動域（屈曲‐伸展）を通じて、または、可動域のシミュレーションを介して、または、ロボティクスシステムを介して、静的または動的に表示され得る。それらは、手術計画の視覚的分析のために使用され得る。例えば、インプラント溝内への膝蓋骨フィットを評価するため、サイジングまたはスクリュー位置を評価するため、である。それらは、カットを行う前または後にオーバーレイされ得、前者は仮想的に除去される骨を薄暗くすることによる。情報は、インプラントまたは器具の配置等の、シーン内の情報に基づいて更新され得る。例えば、スクリューは、リアルタイムの配置において遭遇する骨質に基づき、リアルタイムで仮想的に着色され得る。別の例は、インプラント配置に基づき最適なスクリュー軌道を動的に更新することであり得る。さらに別の例は、インプラント配置に基づいて可動域のシミュレーションを更新することである。これは、視覚化モジュール１１０によって表示デバイス１０４上にオーバーレイで視覚化され得る、すなわち、リアルタイムのインプラント配置に基づいて、病的な可動域もしくは本来の可動域、計画された可動域およびシミュレートされた可動域の間の相違もしくは類似性を表す視覚化が使用される。

いくつかの実施形態では、ＡＲシステムは、マルチコンポーネント（多部品）インプラントシステムの組み立てを示すために使用され得る。例えば、それらがどのように組み立てられる必要があるのかを実演することによって、または、後に組み立ての質を評価することを可能にすることによってである。

いくつかの実施形態では、計画されたまたはシミュレートされた器具軌道または位置２１６は、拡張環境の一部として視覚化され得る。これには、（例えば、カッティングブロックの位置決めをガイドするピンを挿入するための）ドリリングもしくはスクリューイングの軌道、（例えば、骨切り術を直接ガイドするための）カッティング面、（例えば、衝撃のためのハンマー方向を示すための）インパクタ（impactor）の方向、またはリーミング体積が含まれ得る。これらの器具軌道のすべては、器具が使用される解剖学的部分に関連する空間内の位置および向きを有する。したがって、器具軌道を表す視覚要素は、関連する解剖学的部分のユーザのビューに対してどの位置および向きが正しいのかについての３Ｄ空間内のオブジェクトとして表示され、ユーザの視野を通じてのその解剖学的部分の任意の動きに従うはずだろう。ドリリングまたはスクリューイング軌道は、例えば、実線、破線もしくは点線として、矢印として、または、細長い３Ｄ形状（円筒形もしくは角柱形等）として、任意選択的にドリルビット、ピンまたはスクリューの直径に相関する直径で、視覚化モジュール１１０によって表示デバイス１０４上に視覚化され得る。カッティング面は、例えば、平面形状（多角形、弓形もしくは扇形等）として、または、非常に薄い３Ｄ形状（平坦な角柱形状もしくは薄い円盤の切片等の）として、任意選択的にカッティングブレードの厚さに相関する厚さで、視覚化され得る。これらのオブジェクトのすべては、任意の色で視覚化され得るが、好ましくは（例えば、色相または明度において）背景とのコントラストがある色による。それらは、さまざまな透明度において示され得るか、または完全に不透明であり得る。それらは、上述のように、遮蔽を考慮してか、または遮蔽を考慮することなしに、視覚化され得る。例えば、骨の外側に位置するドリル軌道の一部のみが示され得る。任意選択的に、それらは、それらが解剖学的構造の外側にあるのか内側にあるのかに応じて、例えば、色、透明度または質感を変えることによって、異なるように視覚化され得る。

また、シーンは、手術中に使用される器具からのパラメータにより拡張され得る。これには、ドリル、鋸、リーマ等が含まれ得る。位置および向きのパラメータの他に、パラメータには、ドリリング速さ、ドリル温度または鋸温度等が含まれ得る。これらは、数値として、または、（例えば、ドリル温度に基づく）ドリルの視覚化もしくは（例えば、リアルタイムのドリル温度において予測される骨壊死に基づく）骨の視覚化を適合させることによって、視覚化され得る。

追加的なスクリューパラメータが視覚化され得る。これらにはドリルを使用して獲得される力またはトルクの測定結果が含まれ得るが、これは特定のスクリューの固定の質を表す（または異なるスクリュー間の固定の比較を可能にする）。

患者のバイタルサイン（心拍数、呼吸パターン、麻酔状態等）等の他の関連する情報が視覚化され得る。

また、代替的にまたは追加的に、器具軌道は、ドリル、スクリューもしくはピンのための挿入点等の解剖学的構造上の挿入位置（進入または退出）、または手術されるべき解剖学的部分の表面上に投射されたカッティング線として視覚化され得る。これらは、フリーハンドのガイダンスにおいて外科医を助け得る。また、これは、（例えば、関節を切開するための）最初の切開に適用され得る。その場合、最小限に侵襲的な（またはさもなければ、最適化されたかまたは計画された）カッティング線が、患者の皮膚上にオーバーレイされる。

いくつかの実施形態では、骨上の進入点位置に対する追跡されたドリルの幾何学的位置合わせ（アライメント）は、（例えば、デカルト距離があらかじめ定められた閾値よりも小さいときには赤色から緑色へ）仮想点の色を変化させることによって、視覚化され得る。

いくつかの実施形態では、器具（例えば、ドリル）の角度方向について、ユーザは、ドリルの進入点ではなくむしろ、計画された軌道と同じ線上にあるターゲット点を表示することによって、ガイドされ得る。当該ターゲット点は、この同じ線上において、ユーザにとってより近位かより遠位かのいずれかに示される。

上記のすべては、骨の解剖学的構造に対して実行される行為のみならず、筋肉、脂肪、皮膚等の他の組織に対して実行される行為にもまた適用され得る。例えば、これはまた、（関節を切開するための）最初の切開にも適用され得るだろう。その場合、例えば外科的アプローチのために最適化された、メスのためのカッティング線が、患者の皮膚上にオーバーレイされる。

いくつかの実施形態では、外科医は、手術中に実際のシーン内において配置または使用することを計画している物理的オブジェクトに対応する拡張環境２２０内の仮想要素２０８を使用することを望み得る。これには、仮想ガイドワイヤ、フラグ、注釈等の要素が含まれ得る。これは、手術中の中間サポートツールとして、または、術後分析のための基準マーカとして、機能し得る。また、これは、カテーテルまたは内視鏡等の器具であり得るだろう。その配置は、測定またはシミュレートされて、拡張環境において視覚化され得る。

いくつかの実施形態では、手術ワークフローの一部を容易にし得る仮想的に計算されたコンポーネントが、環境を拡張するために使用され得る。一例として、外科医は、例えば関節窩移植のための移植ガイダンスを含めることを欲し得る。これらの移植片は、拡張シーン内に表示される仮想的に計算されたテンプレート形状に基づいて、手で（manually）形成され得、移植片の形状をテンプレートに適合させるために、視覚的に（またはその他の方法で）比較され得る。例えば、外科医は、リーミングガイダンスのための１つ以上の仮想ピンおよび／または仮想平面を使用し得る。仮想平面が最適なリーミング深さにおいて視覚化され得る。リーマをガイドするために、１つ以上のマーカおよび／またはセンサが使用され得る。また、仮想ラベルが、仮想平面および／またはリーマ上に最適なリーミング深さをマーキングするために使用され得る。

いくつかの実施形態では、術中データまたはシミュレートされた計量（metric）が、同様に、例えば数、図、グラフ等のいずれかとして、視覚化され得る。これらには、（測定またはシミュレートされた）靭帯の歪み、術後の予測内反‐外反、術後の予測可動域等のデータが含まれ得る。また、これには、手術持続（時間）等の単純な計量が含まれ得る。

また、特定の検証またはクオリティ管理要素が、シーン２２０に追加され得る。一例には、一連の術中工程に基づいて、術前計画を術中に検証するワークフローがあり得る。ここで、計画が適合される必要があるという指示が、どのような合併症に遭遇するのかに基づいて、与えられ得る。

すべての拡張要素について、あらかじめ計算された（またはリアルタイムに適合された）選択肢のライブラリが使用され、ブラウズされ得る。これらには、複数のサイズまたはインプラントタイプ（例えば、後安定化対十字保持（posterior stabilized versus cruciate retaining））が含まれ得、異なる配置または同一の計画された配置（「計画のライブラリ（library of plans）」）が含まれ得る。かかるライブラリへのアクセスは、手術の進行およびすでになされた手術選択に基づいて残された選択肢を示すことのみに、手術中制限され得、段階的なガイダンスが提供される。

実施または計画された手術手技の任意のスナップショットが、手術中または手術後に、ライブラリに追加され得る。

すべての拡張要素は、位置や向き等の配置を占め、３Ｄ空間内のスケールまたはサイズを有する。位置、向き、および／またはスケール／サイズは、世界座標系（例えば、シーンそれ自体、手術室）、患者（の一部）、器具（の一部）、インプラントもしくはインプラントコンポーネント、またはユーザの視野等の、シーンの任意の部分に対して固定され得る。シーンのその部分が世界座標系を通じて移動するとき、システムはＩ／Ｏモジュール１２２等によって動きを自動的に追跡し、それに応じてリアルタイムで、視覚化モジュール１１０等によって、拡張要素の位置、向きおよび／またはスケールを更新する。また、システムは、ユーザの表示ユニット（the user’s display unit）の配置を絶えず追跡し、その配置からユーザの視野を導出し、視覚化モジュール１１０によって表示ユニット１０４内に、その視野内のすべての関連する拡張要素を表示する。

いくつかの拡張要素は、患者の解剖学的部分、実際の器具、実際のインプラントまたは実際のインプラントコンポーネント等のシーン内で移動し得るオブジェクトに、固有に結び付けられる。例えば、計画されたインプラントコンポーネントを表す拡張要素は、患者の特定の解剖学的部分に対してその計画された配置に１：１のスケールで表示され得る。解剖学的部分が世界座標系に対して移動するとき、計画されたインプラントコンポーネントの仮想的表現はその動きに付き従い、その結果、当該解剖学的部分に対するその配置は同じままである。

数またはグラフ等の術中データは、世界座標系に対して一定の位置に配置され得る：例えば、手術室内において一定の位置を有する仮想平面上である。ユーザが手術室をあちこち移動するとき、あたかも手術室内の特定の位置に術中データが浮遊しているかのように、あたかもコンピュータ表示ユニットがそこに配置されているかのように、見えるが、手術室内の空間を占めるコンピュータ表示ユニットを有しない、という利点がある。このシステムは、例えばＩ／Ｏモジュール１２２を介して、例えばジェスチャベースの（gesture-based）制御によって、ユーザがそれとインタラクションして、表示された要素の位置、向きおよび／またはスケールを変更する方法を提供し得る。

また、世界座標系に対して位置が一定であるが向きが可変な術中データが、視覚化モジュール１１０によって表示デバイス１０４上に表示され得る：例えば、手術室内において一定の位置を有するが、ユーザの方へ仮想平面それ自体を自動的に向ける当該仮想平面上である。

あるいは、数またはグラフ等の術中データは、ユーザの表示ユニットに対して一定の位置に配置され得る。ユーザが手術室をあちこち移動するとき、術中データは、ユーザの視野内の同じ位置に留まるだろう。ある実施形態では、かかるデータは、視野の周辺領域内の位置を占めるだろう。

また、シーン２２０内のオブジェクトについて特定の関連性を有する特定の術中データは、そのオブジェクトに対する一定の位置および／または向きにおいて表示され得る。例えば、個々の靭帯または筋肉の歪みは、それぞれの靭帯または筋肉に付着したコールアウトとして表示され得る。コールアウトのポインタの先端部は、関連する靭帯または筋肉に対して一定の位置を有し得る。コールアウトのデータフィールドの位置、向きおよび／またはサイズは、ビューイング（viewing）を最適化するために、システムによって自動的に更新され得る。例えば、所与の瞬間に見ることのできるすべてのコールアウトは、それらのデータフィールドが重なり合わないように、かつ／または、それらのポインタが交差しないように、かつ／または、それらのデータフィールドが関連する解剖学的部分のビュー（view）を覆い隠さないように、視野にわたって分布し得る。例えば、データフィールド内の任意のテキストまたは数は、コールアウトおよびユーザの表示ユニットの相対的な位置に関わりなく、ユーザの表示ユニット内に一定のフォントサイズで表示され得る。

また、拡張要素の配置は、自由度ごとに決定され得る。個々の自由度は、シーンまたはユーザの表示ユニットの異なる部分に結び付けられ得る。例えば、グラフ等の術中データのセットを表す拡張要素は、当該グラフが仮想平面上に示される当該仮想平面であり得るだろう。このとき、当該拡張要素の配置は、世界座標系における当該仮想平面の原点の３つの空間座標Ｘ、ＹおよびＺ、ならびに、世界座標系に対する当該仮想平面の法線ベクトルの向きを表す３つの角度αＸ、αＹおよびαＺとして、表され得る。そして、これら６つの自由度の各々は、シーンまたはユーザの表示ユニットの異なる部分上にロックされ得る。例えば、Ｘ、ＹおよびαＺはユーザの表示ユニット１０４上にロックされ得、その結果、当該仮想平面は常にユーザの直接前方にあってユーザの方へ回転されているが、一方で、Ｚ、αＸおよびαＹは世界座標系上にロックされており、その結果、当該仮想平面は垂直かつ一定の高さに留まる。

マルチユーザシステムでは、各ユーザは複数の拡張要素の異なるセレクション（選択物）を見ることが可能であり得る。例えば、複数のユーザは、対応する表示デバイス１０４上において任意の所与の瞬間にどの拡張要素を見るのかを選択し得る。あるいは、ユーザ（外科医、助手、麻酔医、看護師等）の役割および／または手技の段階に応じて、システムによって自動的な選択がなされ得る。この点に関して、システムは、手術スタッフの好む作業の方法に最も良く適応するように、あらかじめ構成可能であり得る。

マルチユーザシステムでは、いくつかのまたはすべての拡張要素の位置、向きおよび／またはスケールは、ユーザごとに構成可能であり得るか、または最適化され得る。例えば、ある術中データは、個々の各ユーザの方へ向けられるか、または個々のユーザごとにサイズ設定されて表示され得る。他の拡張要素は、同じ位置、向きおよびスケールにおいて２人以上のユーザに対して視覚化され得、その結果、複数のユーザは、当該拡張要素を同時に見て指し示しながら、ケースの詳細について議論し得る。

また、手術中に視覚的ガイディングツールとして機能し得る仮想要素の表示に加えて、より明確なガイダンス２１４が拡張現実により可能である。

これを達成する１つの方法は、シーン内の器具（ドリル、鋸刃、リーマ等）の配置を追跡し、器具とあらかじめ計画された器具の軌道（ドリリング経路、鋸面（saw plane）、リーミング経路等）との間の位置合わせを分析することによる。ある態様では、コンピューティング環境１００には、かかる分析を実行するための分析モジュール１１８が含まれる。例えば、肩関節形成術では、これは、関節窩ピン軌道、上腕骨カットまたは骨移植に関連し得るだろう。分析モジュール１１８によるこの分析は、計画された器具軌道と実際の器具軌道との間の角度、および、計画された外科行為の位置と実際の外科行為の位置との間の距離等の直接的なパラメータ差を生じ得る（例えば、計画されたドリルの進入点と実際のドリルの進入点との間の距離、計画されたリーミング深さと実際のリーミング深さとの間の差、等）。分析モジュール１１８によるこの分析は、器具位置合わせ（アライメント）を表す導出された質計量（quality metrics）（「カットクオリティ（cut quality）」）を生じ得るか、または、例えば内反／外反角、内旋／外旋等の、結果としての臨床的パラメータエラーを生じ得る。これらのパラメータ２１６のうちの任意のパラメータが、視覚化モジュール１１０によって１つ以上の表示デバイス１０４上において、上述の拡張要素によって、１人以上のユーザに対して視覚化され得る。これらのパラメータに基づいて、視覚信号および／または聴覚信号等の警告サインが、外科医に与えられ得る。例えば、視覚化された、計画された器具軌道の色または明度が、計画された器具軌道と実際の器具軌道との間の差に応じて変化し得る。また、追加的にまたは代替的に、器具位置合わせの改善のための提案が分析モジュール１１８によって導出されて、視覚化モジュール１１０によって１つ以上の表示デバイス１０４上において、ユーザに対して提供され得るだろう。例えば、直線的な矢印が、ドリルビットの先端と計画された進入点との間に表示され得るか、または、湾曲した矢印が、ドリルと計画されたドリルの軌道との間に表示され得、ドリルのアンギュレーション（angulation）をどのように、どの程度調節すべきかが示され得る。

例えば、計画されたドリル位置にドリルを位置合わせすることといった、計画されたターゲットに対する器具の位置合わせの作成は、分析モジュール１１８によって複数のフェーズに分割され得るか、または、複数の拡張要素を介して表示され得る。これは、例えば、ドリルの進入点の位置合わせおよびドリルの向きを分割することによる。

また、この分析は、ある範囲の計画に基づくものであり得、そのため、脛骨カッティング面角度（しかし、カッティング深さではない）等の、単一のパラメータのみを制御することが目的とされ得る。それは、ある範囲の許容可能な位置を用いて、さらなるガイダンスが必要とされないセーフゾーンを提供し得る。このセーフゾーンには、所望の臨床目標内のすべての許容可能なカット位置が含まれるだろう。それは、どれが許容可能な鋸刃位置であるのかを外科医に示すために、平面ではなく扇形または円錐形として表示され得るだろう。この領域は、最適な位置または計画された位置に対する器具の位置に応じて、（例えば、サイズまたは色において）異なるように視覚化され得るだろう。

また、ガイダンスモジュール１１６による個々の手術工程のガイダンスに加えて、ＡＲは、手術ワークフローを通じてユーザをガイドするために使用され得る。手術工程は、例えば、時間を追跡（トラッキング）すること、音声コマンドを検出もしくは会話パターンを分析すること、（ドリル、鋸、インプラントコンポーネント、ガイド等を含む）器具の使用を視覚的に／聴覚的に／等々によって追跡すること、機械学習もしくはその他の訓練方法（trained methods）に基づいて手術シーンまたは手術ウィンドウを識別および分類すること、あるいは上記のものの組み合わせによって、自動的に検出され得る。ＡＲガイダンスには、ガイダンスモジュール１１６によって、適切な時間に適切なデータを、自動的に（例えば、手術工程を検出し、この手術工程に属する情報を提供することによる）、または半自動的に（例えば、外科医もしくは外科医のスタッフによる音声もしくはその他のインプット制御を通じて作動）、提供することが含まれ得る。また、ＡＲガイダンスは、使用する適切な器具（スクリュー、外科用具等）を示し、手術室内においてこれらを強調表示し得る。例えば、ハロー（halo）が、次に使用されるべき器具の周りに表示され得る。ＡＲガイダンスは、方向付きガイダンス（矢印）、シーンの再焦点合わせまたはその他等、任意のガイダンス手段を通じて外科医または手術スタッフの注意を器具に向けることによって、手術室をインデックス付け（indexing）した後に外科医がこれらの器具をより容易に見つけることを可能にし得る。また、これには、手術中の特定の時点におけるそのときに利用可能なインプラントインベントリまたはスクリューインベントリ等、器具インベントリの経過を辿ることが含まれ得る。

それにより、システムは、例えば、ビデオストリームから器具を直接認識することによって、または、マーカシステムを器具上に取り付けるかまたは埋め込むことによって、器具および器具の扱いを自動的に追跡するために使用され得る。一例は、システム内に組み込まれた（バー）コードスキャナによって、および／または、器具を識別するための色分けされたマーカ（またはセンサ）を使用して、スクリューの長さを追跡することであり得るだろう。

カッティングまたはドリリング等の侵襲的行為の場合、当該侵襲的行為が実行されることとなる解剖学的構造のエリアを拡張要素により覆い隠すことは、法律によって推奨されないか、または許可されないことさえあり得る。したがって、システムは、ドリルまたは鋸等の侵襲性器具の扱いを検出し得、器具が操作されている限り、かかる拡張要素を表示することを自動的に不可能にし得る。例えば、手術の任意の所与の段階において、システムは、ユーザがドリルを拾い上げるかまたは作動させることを検出し得、手術のその段階において外科医がドリリングすることとなる解剖学的構造の部分を覆い隠すであろう任意の計画されたインプラントコンポーネントの視覚的表現を、自動的に見えないようにし得る。

手術中、特定の動作は、組織構造に損傷を引き起こし得るか、または、手術後もしくは手術中に望ましくない副作用をもたらし得る。ある態様では、コンピューティング環境１００には、フィードバックモジュール１２０が含まれる。フィードバックモジュール１２０は、表示デバイス１０４を通じて視覚化モジュール１１０によって、または、Ｉ／Ｏモジュール１２２を通じて、表示する警告サインを生成し、その結果、それらを防止し得る。かかる警告サインには、視覚的、聴覚的または触覚的フィードバックが含まれ得る。視覚的フィードバックに関して、アラートは、シーンの特定の部分を強調表示することによって提供され得る。これには、（色、照明またはその他の手段を使用して）器具または解剖学的構造を強調表示して、ユーザが器具をさらに前進させるのを止めることが含まれ得る。あるいは、アラートは、視野全体により広い反応を誘起し得る。これは、例えば、それを特定の色調で着色することによる。あるいは、交通信号システムが実装され得る。

例えば、フィードバックモジュール１２０によって、警告サインがカット中に与えられ得る。ここで、鋸刃の位置に基づいて、十字靭帯等の軟部組織構造を損傷するリスクについての推定がなされる。また、これは、リーミング深さにも適用され得る。また、警告サインは、望ましくない状況、例えばペグの孔についても警告し得るだろう。

警告サインは、コンポーネントの配置または計画立案を改善することについての提案を与えるガイダンス要素に関連し得る。例えば、後傾（retroversion）の増大／減少、リーミング距離の減少等。

また、警告サインは、（例えば、感染の蓋然性を減らすために所定の時点において）洗浄（rinsing）についてユーザに警告するために表示され得る。

また、警告サインは、計画されたのと同じデバイスが使用されていないことを外科医に警告するために与えられ得る。これは、外科医が使用しているインプラントコンポーネントまたは固定要素を検出し、それらを術前計画と比較することによって、なされ得る。

拡張現実システムは、例えばＩ／Ｏモジュール１２２を介して、患者固有のカッティングガイド／ブロックもしくは一般的なカッティングガイド／ブロック、ロボットまたはその他のシステム等の他の物理的ガイドシステムとインタラクションし得る。

ＡＲシステムの汎用性は、患者固有のガイド等の既存の技術とともにユーザがＡＲシステムを使用することを可能にし得る。外科医は、患者固有のガイドを用いるが、手術室内において当該外科医にとって利用可能なより多くの情報を有することを好み得る。ＡＲシステムは、当技術分野において知られている任意の形状または特徴認識技術によってガイドを認識し得る。ＡＲシステムは、ガイドまたは下にある骨についての関連情報を表示し得る、ガイドと相互作用するであろう器具の軌道を表示し得る、ガイドの姿勢をマークし得る、等々。ガイドそれ自体は、拡張シーン内の拡張要素と位置合わせされる（ＥＰＩ軸、力学的軸、標識等の）特定の標識を含み得る。これは、例えば、ガイドの位置合わせ、シーンのレジストレーションのため、または、クオリティ管理のモチベーションのため、である。

また、患者固有のガイドシステムは、ＡＲシステムのための参照マーカとして使用され得る。患者固有のガイドシステムのユニークなフィットに基づいて、マーカをガイドに取り付けるかガイドそれ自体をマーカとして使用するかのいずれかによって、それはレジストレーションモジュール１１４によってレジストレーションを直ちに初期化し得る。また、ガイドの輪郭または特定の特徴をペンまたはガイドされたマーカでトレースすることによって、レジストレーション２１８が実行され得る。

伝統的な患者固有のガイドシステムでは、解剖学的構造へのユニークで、容易で、安定的なフィットが必要とされる。ＡＲを使用すると、これが改善され得る。まず、ＡＲシステムは、解剖学的構造とのフィットを見出すことの「容易さ」を増大させ得る。これは、例えば、配置前にガイド輪郭を強調表示することによる。さらに、ＡＲシステムを使用すると、ガイドが複数の位置にフィットする可能性があっても、ガイドが正しい位置にあるのかどうかをＡＲシステムが判定し得るので、ユニークなフィットはもはや必要ではない。また、ＡＲシステムは、フィットをユニークなものにするであろう解剖学的構造を探す必要がないことによって、ガイドのフットプリントを低減する可能性をもたらす。また、ＡＲシステムを患者固有のガイドと組み合わせることで、より少ない情報に基づいて安定的なガイドの作成することが可能となり得（例えば、より低次元のデータ（３ＤイメージングではなくＸ線）に基づきデザインを実行することによる）、２Ｄ情報のスパース性（乏しさ：sparsity）に導入される潜在的な変動が、術中に獲得されたＡＲ情報により補正され得る。加えて、ガイドシステムにおいていくつかの特徴が排除され得、拡張シーンにおける拡張要素（例えば、力学的軸と位置合わせするための脛骨ガイド上の脛骨ロッド特徴）により置き換えられ得る。また、（患者固有であり得る）適応的なガイドシステムは、ＡＲシステムを使用して、構成、調整またはセットアップされ得る。例えば、これには、アンギュレーションまたは着座位置を変更するための複数の接触面を有するガイドシステムが含まれ得る。ここで、ＡＲシステムは、適応的なガイドの正確な位置または構成を示し得る。また、別の実施例では、これには、特定のカッティングスロットまたはドリルバレルの使用についてのガイダンスを提供することが含まれ得る。ここで、複数の選択肢が、ガイドシステムによって提供され得、適切な選択肢が、ＡＲシステムを使用して強調表示される。

いくつかの実施形態では、ガイダンスモジュール１１６等を介して、ＡＲシステムは、標準的な器具類または調節可能な器具類とインタラクションして、手術計画に基づく調節可能な器具のための適切な設定（角度、長さ等）を提供し得る。これらの設定は、器具それ自体上および／または器具それ自体の周囲に表示され得る。クオリティ保証の理由から、器具の設定は、検証（バリデーション）のためのカメラシステムを使用して自動的に検出され得る。器具の実際の設定に基づいて、計画が自動的に再計算され得る。骨に対する器具の配置が、自動的に追跡され得る（器具に取り付けられたマーカもしくは器具内に組み込まれたマーカを使用するか、器具それ自体の形状をマーカとして使用するかのいずれかである）。器具上の器具ガイディング要素（例えば、カッティングスロット、ドリリングホール）の位置は、カッティング面、ドリリング線、その他の任意のガイダンス機構により、仮想的に拡張され得る。これらの仮想要素は、前述のように、患者の解剖学的構造と直接インタラクションし、この解剖学的構造の視覚化を適合させ得る。システムは、リアルタイムで器具ストックを追跡し得る。例えば、患者内にすでに挿入されたスクリューの数およびタイプである。これは、光学認識を使用して、器具またはそのパッケージングまたはそのラベリング（の一部）を認識することによって、追跡され得る。

いくつかの実施形態では、Ｉ／Ｏモジュール１２２は、例えば、ロボットシステムとインタラクションすることができ得る。これは、例えば、ロボットアームを能動的にポジショニングするか、または、ロボットアームの手動ポジショニングのための命令を提供することによって、である。これは、例えば、ターゲット位置を示すか、または、フォースベースの（force-based）ガイダンスをロボットに提供することによって、である。いくつかの実施形態では、システムは、ロボットを制御するために使用される。これは、例えば、ロボット制御ユーザインターフェースをＡＲシステム内に組み込むことによって、である。また、ＡＲシステム内における警告サイン、セーフティゾーン、またはその他の制御機能は、物理的ガイダンスシステムを直接、制御し得る。これは、例えば、ドリリング、リーミングまたはソーイングの速さを制御する（調整または単純なオン／オフスイッチ）ことによって、である。外科医は、ロボット脚上において、可動域または靭帯バランシングをシミュレートし得る。ＡＲシステムとロボット脚とのインタラクションは、ロボット脚の動きを追跡し、測定結果を拡張環境に転送して、外科医が現実の膝関節に対してそれを実行するようにガイドするだろう。

ある実施形態では、ユーザは、例えばＩ／Ｏモジュール１２２を介して、一連の明示的なコマンドまたは暗黙的なコマンドを介して、システムと対話し得る。明示的なコマンドには、音声認識モジュールを通じてシステムにより捕捉された音声制御（例えば、口頭の（spoken）コマンド）、ジェスチャトラッキングを通じて捕捉されたジェスチャ、または、タッチベースの（touch-based）コマンド（例えば、ボタンを押す、ペダル、タッチスクリーンもしくはＩ／Ｏモジュール１２２に結合された（触覚）コントローラ）のうちの１つ以上が含まれ得る。暗黙的なコマンドは、ユーザの行為を参照し、特定のシステム挙動を自動的に引き起こす。例えば、ヘッドモーショントラッキング（head motion tracking）、アイトラッキング（eye tracking）またはゲイズトラッキング（gaze tracking）等はすべて、システムに、特定の拡張要素の配置またはスケールを表示、非表示または変更するように指示し得る。１つ以上の組み合わせが使用され得る。

いくつかの実施形態では、システムはカスタマイズ可能である。これは、仮想オブジェクト（環境）により現実のシーンを拡張するための１つ以上の選択肢を提供すること、および、複数の環境間でスイッチするためのオン／オフ設定を提供することで物理シーンと拡張環境との間のインタラクションをユーザが制御することを可能にすること、による。

いくつかの実施形態では、システムは、アイトラッキングまたはゲイズトラッキングを使用して、外科医の注視（ゲイズ：gaze）を検出し得る。これにより、システムは、シーンのより良好な視覚化のために、焦点の合わされた視覚化を生成するか、拡張シーンから仮想要素をクリアするかのいずれかを行うことが可能にする。人工知能または機械学習技術を使用して、システムは、この機能を実行するように訓練され得る。

いくつかの実施形態では、システムの主な機能は、ＯＲ内において外科医を支援することであるが、システムはまた、スマートヘルスデバイス（スマートウォッチ、スマートフォン、追跡デバイス等）と結合されたときに、患者の手術後の健康を追跡するために使用され得る。集められた情報に基づき、格納された患者データとそれを比較することによって、システムは、拡張環境において運動（exercise）を表示し、軟部組織バランシング、可動域、柔軟性等に関する情報を集めるために患者の動きを追跡することによって、回復中の患者に対する支援／ガイダンスを提供し得る。

システムとのインタラクションの１つの形態は、例えばＩ／Ｏモジュール１２２を介して、解剖学的標識等の、シーン内の特定の点を示すことである。いくつかの実施形態では、解剖学的構造上の点を示すことは、スタイラス（例えば、Ｉ／Ｏモジュール１２２に結合されたインプットデバイス）等の、追跡されたポインティングデバイスを使用することによって、実行され得る。他の実施形態では、点は、ポインティングデバイスを使用することなしに、示され得る。例えば、「点を示す」モードに入った後、十字線等のターゲットシンボルが、表示ユニット内にユーザに対して表示され得る。次いで、これらの十字線は、頭部または眼球運動によって動かされ得る。これは、それらが所望の解剖学的点を指し示すまでである。その時に、ユーザは、位置をロックするためのコマンドを与え得る。さらに他の実施形態では、かかるターゲットシンボルは、ユーザにより手動で移動され得る。かかる実施形態では、システムは、ユーザの視野内の手または指の動きを検出し、その動きをターゲットシンボルの動きに変換し得る。ターゲットシンボルが動かされる速さを、手または指の運動の速さに対して変化させることによって、システムは、粗い指示から微調整まで、任意の事柄を可能とし得る。

拡張現実システムは、解剖学的構造および器具の姿勢および位置を決定することができるため、当該拡張現実システムは、術中に測定を実行するために使用され得る。これらの測定結果は、計画立案手続きに影響を及ぼし得るか、または、特定の情報を表示するために使用され得る。

いくつかの実施形態では、鋸刃位置に基づくカットのパラメータに関わる測定が実行され得る。特定の位置で鋸刃を用いて実行されるであろうようなカットを追跡することによって、患者の解剖学的構造へのこの鋸刃の位置の影響を表示するように、拡張シーンが適合され得る。仮想モデルに対する鋸刃位置から解剖学的パラメータを抽出することによって、これが実行され得る（例えば、特定の位置でのカットが仮想モデルに及ぼすであろう影響が計算される）。かかるパラメータには、切除される骨の量（体積、距離、切除レベル、アンギュレーション等）が含まれ得るだろう。これらのパラメータは、内反‐外反角度、脛骨傾斜（tibial slope）等の臨床的パラメータに変換され得るだろう。これは、例えば、ケースを計画しないことを選択したものの、依然として追加的な解剖学的パラメータを扱うことを欲する外科医のために、暗黙的なガイダンスを提供し得る。

いくつかの実施形態では、はかられ得る測定結果は、荷重／体重支承（load/weight-bearing）股関節‐膝関節‐足関節（hip-knee-ankle：ＨＫＡ）角度および力学的軸に対するその関係である。

いくつかの実施形態では、軟部組織のバランシング中に、外科医は、下腿に力を及ぼして、関節の安定性を主観的に評価している。これらには、内反／外反運動をシミュレートする中外側力（medio-lateral forces）が含まれ得る。また、これらには、可動域を通じての受動運動が含み得る。また、これらには、関節の自然な（またはそうでなければ所望の）軟部組織緊張まで関節を伸ばすために大腿骨または脛骨の任意の部分に加えられる関節内力（intra-articular forces）が含まれ得る。術中測定ツール（センサ等）を使用して、バランスのより客観的な評価が達成され得る。しかしながら、これは依然として、外科医によってインプットされる手動かつ非制御の力に依存する。これは、例えばＩ／Ｏモジュール１２２に結合される、力センサを使用して制御され得る。代替的にまたは追加的に、ＡＲを使用して、下腿の変位は、例えばターゲット角度をオーバーレイで視覚化（例えば、平面、線、円錐等）するかまたは下肢の位置をモニタリングして、それを外科医の力のインプットと同期させることにより、追跡または制御され得る。これは、膝関節のバランシングをさらに客観的にして、センサ分析を改善し得る。

また、ＡＲシステムは、関節内の個々の骨の相対的な位置を追跡して、主に側副靭帯によって決定される、関節の安定的な（例えば、等尺性であらかじめ緊張のある（pre-tensioned））位置を決定するために、使用され得る。

別の実施形態では、解剖学的標識は、追跡されるデバイスまたはポインタを使用して、または、カメラを通じて標識を視覚的に検出することによって、手動で注釈付けされ得る。これらの解剖学的標識から、二次的測定結果が導出され得る。

拡張環境（ならびに／または個々の仮想および物理シーンコンポーネント）は、アーカイビングのために記録（レコーディング）２３４され得る。例えば、ビデオストリームか個々のフレームのサブセレクションかのいずれかが手術中の任意の時点において取られ得る。ある態様では、コンピューティング環境１００には、かかるレコーディングを実行するように構成されたレコーディング／ストリーミングモジュール１２４が含まれる。シーンは、遠隔外科の目的、ピア（peer）の支援および／または臨床工学のサポートのために、レコーディング／ストリーミングモジュール１２４により、外部視聴者２２８にストリーミングされ得る。外部視聴者は、シーンの任意の仮想コンポーネントとインタラクションして、拡張環境を修正し、それにより、追加的なサポートを提供し得る。また、当該環境は、手術をより効率的にするであろう改善提案およびワークフロー分析を提供するために、他の外科医との関連において分析され得る。また、当該環境は、訓練目的のために使用され得る。

インプラントの位置を術中に追跡することによって、インプラントが配置されたときの当該インプラントの実際の位置は、術後イメージングを回避するか術後イメージングを補うかのいずれかのために、レコーディング／ストリーミングモジュール１２４によって記録（レコーディング）され得る。このデータは、術後分析を行うために使用され得る。

また、拡張環境は、手術上の決定／手術の状態について追加のスタッフが把握し続けるために使用され得、その結果、当該スタッフはより心構えのできた状態でいることができる。例えば、必要となるであろう次の器具またはインベントリから取り出されるべきスクリューの長さを強調表示することによって、である。また、拡張環境は、将来の参照のために格納され得る。ここで、必要に応じて、当該拡張環境は動画として後に再生され得る。また、システムは、その使用中の任意の時におけるスナップショットおよび／またはライブモーションピクチャの形態において、拡張環境の任意の（複数の）部分を外科医が一時停止し、再生し、キャプチャすることを可能にする。

また、ＡＲシステムは、患者のための麻酔ガイダンスを提供するために使用され得る。これは、例えば、呼吸パターンまたは他の種類のガイダンスを示すことによる。

本明細書に開示のさまざまな実施形態は、コンピューティングデバイス上で実行されるコンピュータソフトウェアの使用を提供する。当業者ならば、汎用および／または専用の両方のコンピューティングシステム環境もしくは構成を含む、非常に多くのさまざまな種類のコンピューティングデバイスを使用して、これらの実施形態が実装され得ることを、容易に理解するだろう。上述の実施形態に関連して使用するのに適したものであり得る周知のコンピューティングシステム、環境および／または構成の例には、パーソナルコンピュータ、サーバーコンピュータ、ハンドヘルドデバイスまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサに基づくシステム、プログラマブルコンシューマ電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたは上記のデバイスのいずれかを含む分散コンピューティング環境等が含まれ得るが、これらに限定されるものではない。これらのデバイスは、コンピューティングデバイス内のマイクロプロセッサによって実行されたとき、コンピュータデバイスが命令を実行するための特定の動作を実行するようにさせる、格納された当該命令を含み得る。本明細書において使用されるように、命令は、システム内の情報を処理するためのコンピュータ実装された工程を指す。命令は、ソフトウェア、ファームウェアまたはハードウェアにおいて実装され得、当該命令は、システムのコンポーネントによって実行される任意の種類のプログラムされた工程を含み得る。例えばＭｉｃｒｏｓｏｆｔＨｏｌｏｌｅｎｓ等の、拡張環境を見るためのさまざまなウェアラブルデバイスおよび／またはポータブルデバイスが使用され得る。これらのデバイスは、ワイヤレスでまたは有線において、コンピューティングデバイスに接続され得る。

マイクロプロセッサは、例えばＰｅｎｔｉｕｍ（登録商標）プロセッサ、Ｐｅｎｔｉｕｍ（登録商標）Ｐｒｏプロセッサ、８０５１プロセッサ、ＭＩＰＳ（登録商標）プロセッサ、ＰｏｗｅｒＰＣ（登録商標）プロセッサまたはＡｌｐｈａ（登録商標）プロセッサ等の、任意の従来の汎用シングルチップマイクロプロセッサまたは汎用マルチチップマイクロプロセッサであり得る。加えて、マイクロプロセッサは、例えばデジタルシグナルプロセッサまたはグラフィックプロセッサ等の、任意の従来の専用マイクロプロセッサであり得る。マイクロプロセッサは、典型的には、従来のアドレス線、従来のデータ線および１つ以上の従来の制御線を有する。

本明細書に開示の本発明の態様および実施形態は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの任意の組合せを生み出すための標準的なプログラミング技法またはエンジニアリング技法を使用して、方法、装置または製品として実装され得る。本明細書で使用される「製品」という用語は、ハードウェアまたは例えば光ストレージデバイス等の非一時的なコンピュータ可読媒体、および、揮発性メモリデバイスもしくは不揮発性メモリデバイスまたは例えば信号、搬送波等の一時的なコンピュータ可読媒体、等に実装されるコードまたは論理を指す。かかるハードウェアには、フィールドプログラマブルゲートアレイ（field programmable gate arrays：ＦＰＧＡｓ）、特定用途向け集積回路（application-specific integrated circuits：ＡＳＩＣｓ）、複合プログラマブル論理デバイス（complex programmable logic devices：ＣＰＬＤｓ）、プログラマブル論理アレイ（programmable logic arrays：ＰＬＡ）、マイクロプロセッサまたはその他の同様の処理デバイスが含まれ得るが、これらに限定されるものではない。

本発明のさまざまな実施形態は、汎用コンピューティングデバイスおよび／または専用コンピューティングデバイスを使用して、実装され得る。ここで図３を参照すると、本発明のさまざまな実施形態を実装するのに適したコンピューティングデバイス３００の一例が示されている。コンピュータシステム３００は一般に、本明細書に記載の１つ以上の実施形態のさまざまな態様にしたがって特定のプロセスおよび命令を実行するように構成された、コンピュータハードウェアの形態をとり得る。コンピュータハードウェアは、単一のコンピュータであり得るか、または、当該コンピュータハードウェアは、協働するように構成された複数のコンピュータであり得る。コンピューティングデバイス３００には、プロセッサ３０３が含まれる。プロセッサ３０３は、例えばＩｎｔｅｌ、ＡｄｖａｎｃｅｄＭｉｃｒｏＤｅｖｉｃｅｓ、Ａｐｐｌｅ、またはＡＲＭによって設計および／または配布されたもの等の、１つ以上の標準的なパーソナルコンピュータプロセッサであり得る。プロセッサ３０３は、画像処理および／または分析のために特別に設計された、より特殊化されたプロセッサであり得る。また、コンピューティングデバイス３００には、ディスプレイ３０４が含まれ得る。ディスプレイ３０４は、例えばＬＣＤモニタ、オーバーヘッドディスプレイおよび／またはヘッドマウントディスプレイ等の、標準的なコンピュータモニタであり得る。また、ディスプレイ３０４は、例えば一体型コンピューティングデバイスまたはタブレットコンピュータ等の、コンピューティングデバイスの本体に一体化したディスプレイの形態をとり得る。

また、コンピューティングデバイス３００には、インプット／アウトプットデバイス３０６が含まれ得る。これらには、例えば、キーボード、マウス、プリンタ、スタイラス、カメラ、センサならびにその他の基本的なＩ／ＯソフトウェアおよびＩ／Ｏハードウェア等の、標準的な周辺機器が含まれ得る。コンピューティングデバイス３００には、メモリ３０８がさらに含まれ得る。メモリ３０８は、さまざまな形態をとり得る。例えば、メモリ３０８には、揮発性メモリ３１０が含まれ得る。揮発性メモリ３１０は、何らかの形態のランダムアクセスメモリであり得る。当該揮発性メモリ３１０は、実行可能なソフトウェアモジュールをメモリ内にロードするように一般に構成され得、その結果、ソフトウェアモジュールは、当技術分野において周知の態様でプロセッサ３０３により実行され得る。ソフトウェアモジュールは、不揮発性メモリ３１３内に格納され得る。不揮発性メモリ３１３は、ハードディスクドライブ、フラッシュメモリ、ソリッドステート（solid state）ハードドライブまたは他の何らかの形態の不揮発性メモリの形態をとり得る。また、不揮発性メモリ３１３は、例えばデータベースファイル等の、非実行可能データを格納するために使用され得る。

また、コンピュータデバイス３００には、ネットワークインターフェース３１４が含まれ得る。当該ネットワークインターフェースは、ネットワークインターフェースカードおよびその対応するソフトウェアドライバ、ならびに／またはネットワーク（例えば、インターネット等）へのアクセスをシステム３００に提供するように構成されたファームウェアの形態をとり得る。ネットワークインターフェースカード３１４は、例えば図１に関連して上述したもののように、さまざまな異なる種類のネットワークにアクセスするように構成され得る。例えば、ネットワークインターフェースカード３１４は、パブリックにアクセスできないプライベートネットワークにアクセスするように構成され得る。また、ネットワークインターフェースカード３１４は、例えばＥＶＤＯ、ＷｉＭａｘまたはＬＴＥネットワーク等のワイヤレスデータ転送技術を使用する等により、ワイヤレスネットワークにアクセスするように構成され得る。単一のネットワークインターフェース３１４が図３に示されているが、複数のネットワークインターフェースカード３１４が、さまざまな種類のネットワークに接続するために存在し得る。加えて、単一のネットワークインターフェースカード３１４は、複数の異なる種類のネットワークへのアクセスを可能にするように構成され得る。

一般に、図１に示されるコンピューティング環境１００には、以下に説明するさまざまな実施形態を実行するために協働する、１つ、少数または多数の異なる種類のコンピューティングデバイス３００が一般的に含まれ得る。当業者ならば、さまざまな異なる種類のコンピューティングデバイスおよびネットワーク構成が、本明細書に開示の本発明のシステムおよび方法を実行するために実装され得ることを、容易に理解するだろう。

一例として説明すると、全膝関節形成術（total knee arthroplasty）においてあらかじめ計画されたカットを行うための、コンピューティング環境１００のＡＲシステムを用いた非常に単純なワークフローが実装され得る。図４は、ある実施形態による、全膝関節形成術においてあらかじめ計画されたカットを行うために拡張現実システムを動作させるためのプロセス４００を示すフローチャートを示す。

ブロック４０２において、術前計画立案が、従来の計画立案ワークステーション上で、あらかじめ実行される。これは、インプラントのタイプ、サイズおよび解剖学的構造に対するその配置を定める。これから、脛骨についてならびに遠位大腿骨および後大腿骨について、骨カットの向きが導出される。また、カッティングガイド配置を決定するドリルピンの配置が決定される。

ブロック４０４において、解剖学的構造に対する骨カットの位置および向きが、外科医が装着したＡＲヘッドセット上で実行されている術中ＡＲアプリケーションに転送される。また、ドリルピン（解剖学的構造に対する向きおよび位置）が、ＡＲシステムに転送される。

ブロック４０６において、外科医は、追跡されたポインタで当該外科医が注釈付けしている一連のあらかじめ定められた標識を使用して、脛骨および大腿骨の仮想骨モデルを患者に対してレジストレーションする。レジストレーション後の位置を追跡するために、１つ以上の物理的マーカが大腿骨および脛骨に取り付けられる。

ブロック４０８において、拡張環境が作成される。ここで、例えば以下の１つ以上の拡張要素が、現実に対して追加される：
仮想骨モデルが、視覚的基準および質測定基準（quality metric）として、実際の解剖学的構造上に半透明にオーバーレイされる；
計画された骨カットが、術中の脛骨および大腿骨の表面上に線として視覚化される；
半透明平面が、骨の遮蔽を考慮しながら、骨カットを表すために視覚化される。（平面が骨のボリューム（volume）の外側にのみ示される）；および／または、
計画されたドリルピンの配置が、線および進入ホール（穴：holes）として視覚化される。

ブロック４１０において、ドリルが、骨ピンを配置するために使用される。ドリルそれ自体は、ＡＲシステムによって追跡される物理的マーカに取り付けられ得る。仮想ドリル位置の色は、計画されたドリル配置に対するドリルの配置にしたがって変更され得る。例えば：ある閾値（２度、２ｍｍ）の外側のときは赤色、その閾値の内側のときは緑色。良好な位置合わせをつくり出すためにどのようにドリル配置が適合される必要があるのかを示すために、矢印がインタラクティブに示され得る。ホールがドリリングされる。

ＡＲシステムは、手技の残りの部分については、使用されないことがあり得る。

一例として説明すると、全肩関節形成術（total shoulder arthroplasty）中にあらかじめ計画された開口（apertures）をつくるための、コンピューティング環境１００のＡＲシステムによる非常に単純なワークフローが実装され得る。図５は、ある実施形態による、全肩関節形成術においてあらかじめ計画されたカットを行うために拡張現実システムを動作させるためのプロセス５００を示すフローチャートを示す。

ブロック５０２において、術前計画立案が、従来の計画立案ワークステーション上で、あらかじめ実行される。これは、インプラントのタイプ、サイズおよび解剖学的構造に対するその配置を定める。これから、関節窩について、開口の数、サイズおよび位置が導出される。

ブロック５０４において、解剖学的構造に対するその数、サイズおよび位置が、外科医が装着したＡＲヘッドセット上で実行されている術中ＡＲアプリケーションに転送される。

ブロック５０６において、外科医は、物理的マーカを用いて、関節窩および上腕骨の仮想骨モデルを患者に対してレジストレーションする。

レジストレーション後、ブロック５０８において、拡張環境が作成される。ここで、例えば以下の１つ以上の拡張要素が、現実に対して追加される：
仮想骨モデルが、視覚的基準および質測定基準として、実際の解剖学的構造上に半透明にオーバーレイされる；
計画された開口が、術中の関節窩骨の表面上に、トンネルまたはドリルシリンダ（円柱）として視覚化される；および／または、
半透明平面が、骨の遮蔽を考慮しながら、開口（またはトンネル）の深さを表すように視覚化される（平面が骨のボリュームの外側にのみ示される）。

ブロック５１０において、リーマが、開口を作るために使用される。リーマそれ自体は、ＡＲシステムによって追跡される物理的マーカに取り付けられ得る。リーマは、それを軸に沿ってマーキングとして再着色することにより、拡張され得る：赤＝約１ｍｍ以外、緑＝約１～２ｍｍ以内。開口がつくられる。ある実施形態では、システムは、骨内のリーマの配置を検出し、リーミング距離が最適な（あらかじめ計画された）深さを超えたときに警告信号を与えることで、骨のストック（蓄え）の損失を回避する。

ＡＲシステムは、手技の残りの部分については、使用されないことがあり得る。

他の実施形態では、手技は、その全体が術中に計画され得る。この場合、外科医はＯＲ内に医用画像および３Ｄ仮想モデルを持っていき、拡張現実システムを使用して手術の残りをリアルタイムで計画する。

図６は、ある実施形態による、拡張現実システムを動作させるためのプロセス６００を示すフローチャートを示す。プロセス６００は、例えばデバイス３００等のコンピューティングデバイスによって実行され得る。

プロセス６００は、ブロック６０２に始まる。当該ブロック６０２では、仮想シーンを生成し、物理シーンにそれをレジストレーションして、拡張シーンが生成される。ブロック６０４において、術前測定が、拡張シーンにおいてなされる。例えば、測定には、個々の骨間の距離、関節の可動域、組織特性または軟部組織付着、等のうちの１つ以上が含まれ得る。ある実施形態では、測定結果は、例えば、術前手術計画の計画立案パラメータを適合させるモデリングまたは機械学習システムに当該測定結果を提供することによって、術前手術計画を更新するために使用される。適合された当該計画立案パラメータは、仮想シーンを更新するために使用され得、潜在的にはレジストレーションを再実行することなしに、拡張シーンが更新される。

ブロック６０６において、例えばカット等の手術を実行する前等に、拡張シーンがユーザに視覚化され得る。ブロック６０８において、ユーザは、計画立案パラメータを適合させるために視覚化に基づくインプットを提供し得、プロセスは、それに応じて更新された拡張シーンを視覚化するために、ブロック６０６に戻り得る。

ブロック６１０において、外科医は、手術の一部としてドリリングおよび／またはカッティングを実行することにより、計画の実施をし得る。ブロック６１２において、計画を実施した後、追加的な評価測定が実行され得る。これにより、当該実施を評価することを可能になり得る。これは、例えば、インプラントコンポーネントの実際の位置に基づき、予想されるアウトカムを評価することによる。この情報に基づいて、ブロック６０８およびブロック６０６において、さらなる計画適合が提案され得る。外科医は、ブロック６１０において手技の特定の部分を再び行うこと、例えば特定の骨を再カッティングすることを望み得る。最終計画が実施されたとき、拡張現実システムは、ブロック６１４において術後測定を実行するために使用され得る。

図７は、ある実施形態による、例えば拡張現実支援手術を提供するために、拡張現実システムを動作させるためのプロセス７００を示すフローチャートを示す。プロセス７００は、デバイス３００等のコンピューティングデバイスによって実行され得る。

プロセス７００は、ブロック７０２に始まる。当該ブロック７０２では、１つ以上の解剖学的部分に対応する１つ以上の解剖学的要素を含む１つ以上の仮想要素を含む仮想シーンを生成する。さらに、ブロック７０４において、当該１つ以上の解剖学的部分を含む実際の物理シーンにおける１つ以上の基準を特定する。

続いて、ブロック７０６において、拡張シーンを生成するために、当該仮想シーンを当該１つ以上の基準にレジストレーションする。ブロック７０８において、当該拡張シーンを、表示デバイス上に表示する。

ある実施形態では、プロセス７００は、当該実際の物理シーンの１つ以上の画像を獲得する工程をさらに含む。

ある実施形態では、当該１つ以上の基準は、当該１つ以上の解剖学的部分上に配置された患者固有のガイドを含む。

ある実施形態では、プロセス７００は、当該１つ以上の解剖学的部分の少なくとも１つの画像を獲得する工程と、当該１つ以上の解剖学的部分の１つ以上の仮想３Ｄモデルを生成するために、当該少なくとも１つの画像をセグメンテーションする工程と、をさらに含む。

ある実施形態では、プロセス７００は、当該１つ以上の解剖学的部分の１つ以上の仮想３Ｄモデルを獲得する工程と、当該１つ以上の仮想３Ｄモデルに基づいて、１つ以上のインプラントコンポーネントを決定する工程と、当該１つ以上の仮想３Ｄモデルに基づいて、当該１つ以上のインプラントコンポーネントのサイズおよび位置を決定する工程と、をさらに含み、当該１つ以上の解剖学的要素は、決定された当該位置における決定された当該サイズを有する当該１つ以上のインプラントコンポーネントの描写を含む。

ある実施形態では、当該１つ以上の解剖学的要素は、当該１つ以上の画像において覆い隠された当該１つ以上の解剖学的部分の部分を含む。

ある実施形態では、当該１つ以上の解剖学的要素は、当該１つ以上の解剖学的部分に対応する強調表示を含む。

ある実施形態では、当該１つ以上の基準は、当該実際の物理シーン内の物理的マーカまたはオブジェクトを含む。

ある実施形態では、当該１つ以上の基準は、当該１つ以上の解剖学的部分上の標識を含む。

ある実施形態では、当該１つ以上の基準のインプットは、マーキングデバイスを介して受け取られる。

ある実施形態では、当該１つ以上の基準のインプットは、手術計画を介して受け取られる。

ある実施形態では、プロセス７００は、当該１つ以上の解剖学的部分の１つ以上の仮想３Ｄモデルを獲得する工程をさらに含み、当該１つ以上の基準は、当該１つ以上の仮想３Ｄモデルおよび当該物理シーンの当該１つ以上の画像に対して形状認識を実行することにより、自動的に決定される。

ある実施形態では、プロセス７００は、当該１つ以上の画像に基づいて当該１つ以上の解剖学的部分の１つ以上の測定を実行する工程をさらに含み、当該１つ以上の解剖学的要素は、当該１つ以上の測定結果を含む。

ある実施形態では、当該１つ以上の解剖学的要素は、手術手技の１つ以上の工程のためのガイダンスを含み、当該１つ以上の解剖学的要素は、当該手術手技の当該工程に対応する順序で表示される。

ある実施形態では、当該１つ以上の解剖学的要素は、当該１つ以上の解剖学的部分に対して手術を実行するための、計画された器具軌道またはシミュレートされた器具軌道を含む。

ある実施形態では、プロセス７００は、当該１つ以上の画像内の器具と当該器具のための計画された軌道との間の位置合わせ（アライメント）を決定する工程をさらに含み、当該１つ以上の解剖学的要素は、当該位置合わせを示す。

ある実施形態では、プロセス７００は、当該１つ以上の画像または別のインプットに基づいて、当該１つ以上の画像が手術の複数の工程のうちのいずれの工程に対応するのかを決定する工程と、決定された当該工程に基づいて、決定された当該工程に属する当該１つ以上の解剖学的要素のうちの少なくとも１つを生成する工程と、をさらに含む。

任意の一実施形態に関して記載された任意の特徴は、単独でまたは記載された他の特徴との組み合わせにおいて用いられ得る。また、当該任意の一実施形態に関して記載された任意の特徴は、他の任意の実施形態の１つ以上の特徴との組み合わせにおいて、または、他の任意の実施形態の任意の組み合わせの１つ以上の特徴との組み合わせにおいて、と用いられ得ることを理解されたい。さらに、添付の特許請求の範囲において画定される本発明の範囲から逸脱することなしに、上記に記載のない均等形態および修正形態が採用され得る。

本明細書に開示の方法は、記載の方法を達成するための１つ以上の工程または行為を含む。方法の工程および／または行為は、特許請求の範囲から逸脱することなしに、互いに入れ替えられ得る。言い換えれば、特定の順序の工程または行為が指定されない限り、特定の工程および／または行為の順序および／または使用は、特許請求の範囲から逸脱することなしに、修正（変更）され得る。さらに、１つ以上のブロック／工程が、削除または追加され得る。

本明細書に開示のさまざまな実施形態は、特定の特徴を実行するためのコンピュータシステムの使用を提供する。当業者ならば、汎用および／または専用の両方のコンピューティングシステム環境もしくは構成を含む、非常に多くのさまざまな種類のコンピューティングデバイスを使用して、これらの実施形態が実装され得ることを、容易に理解するだろう。上述の実施形態に関連して使用するのに適したものであり得る周知のコンピューティングシステム、環境および／または構成の例には、パーソナルコンピュータ、サーバーコンピュータ、ハンドヘルドデバイスまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサに基づくシステム、プログラマブルコンシューマ電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたは上記のデバイスのいずれかを含む分散コンピューティング環境等が含まれ得るが、これらに限定されるものではない。これらのデバイスは、コンピューティングデバイス内のマイクロプロセッサによって実行されたとき、コンピュータデバイスが命令を実行するための特定の動作を実行するようにさせる、格納された当該命令を含み得る。本明細書において使用されるように、命令は、システム内の情報を処理するためのコンピュータ実装された工程を指す。命令は、ソフトウェア、ファームウェアまたはハードウェアにおいて実装され得、当該命令は、システムのコンポーネントによって実行される任意の種類のプログラムされた工程を含み得る。

マイクロプロセッサは、例えばＰｅｎｔｉｕｍ（登録商標）プロセッサ、Ｐｅｎｔｉｕｍ（登録商標）Ｐｒｏプロセッサ、８０５１プロセッサ、ＭＩＰＳ（登録商標）プロセッサ、ＰｏｗｅｒＰＣ（登録商標）プロセッサまたはＡｌｐｈａ（登録商標）プロセッサ等の、任意の従来の汎用シングルチップマイクロプロセッサまたは汎用マルチチップマイクロプロセッサであり得る。加えて、マイクロプロセッサは、例えばデジタルシグナルプロセッサまたはグラフィックプロセッサ等の、任意の従来の専用マイクロプロセッサであり得る。マイクロプロセッサは、典型的には、従来のアドレス線、従来のデータ線および１つ以上の従来の制御線を有する。

本明細書に開示の本発明の態様および実施形態は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの任意の組合せを生み出すための標準的なプログラミング技法またはエンジニアリング技法を使用して、方法、装置または製品として実装され得る。本明細書で使用される「製品」という用語は、ハードウェアまたは例えば光ストレージデバイス等の非一時的なコンピュータ可読媒体、および、揮発性メモリデバイスもしくは不揮発性メモリデバイスまたは例えば信号、搬送波等の一時的なコンピュータ可読媒体、等に実装されるコードまたは論理を指す。かかるハードウェアには、フィールドプログラマブルゲートアレイ（field programmable gate arrays：ＦＰＧＡｓ）、特定用途向け集積回路（application-specific integrated circuits：ＡＳＩＣｓ）、複合プログラマブル論理デバイス（complex programmable logic devices：ＣＰＬＤｓ）、プログラマブル論理アレイ（programmable logic arrays：ＰＬＡ）、マイクロプロセッサまたはその他の同様の処理デバイスが含まれ得るが、これらに限定されるものではない。

本明細書に開示の１つ以上の実施形態による拡張現実システムを実装するのに適したコンピューティング環境としての拡張現実（ＡＲ）システムの一実施例のブロック図である。 １つ以上の実施形態による拡張現実システムの高レベルワークフロー図である。 １つ以上の実施形態にしたがって使用され得るコンピューティングシステムの高レベルシステム図である。 ある実施形態による、全膝関節形成術においてあらかじめ計画されたカットを行うために拡張現実システムを動作させるためのプロセスを示すフローチャートを示す。 ある実施形態による、全肩関節形成術においてあらかじめ計画されたカットを行うために拡張現実システムを動作させるためのプロセスを示すフローチャートを示す。 ある実施形態による、拡張現実システムを動作させるためのプロセスを示すフローチャートを示す。 ある実施形態による、拡張現実システムを動作させるためのプロセスを示すフローチャートを示す。

Claims (20)

1. 拡張現実支援手術を提供する方法であって、
   １つ以上の解剖学的部分に対応する１つ以上の解剖学的要素を含む１つ以上の仮想要素を含む仮想シーンを生成する工程と、
   前記１つ以上の解剖学的部分を含む実際の物理シーンにおける１つ以上の基準を特定する工程と、
   拡張シーンを生成するために、前記仮想シーンを前記１つ以上の基準にレジストレーションする工程と、
   前記拡張シーンを表示デバイス上に表示する工程と、
   を含む、方法。
2. 前記実際の物理シーンの１つ以上の画像を獲得する工程をさらに含む、請求項１に記載の方法。
3. 前記１つ以上の基準は、前記１つ以上の解剖学的部分上に配置された患者固有のガイドを含む、請求項１または２に記載の方法。
4. 前記１つ以上の解剖学的部分の少なくとも１つの画像を獲得する工程と、
   前記１つ以上の解剖学的部分の１つ以上の仮想３Ｄモデルを生成するために、前記少なくとも１つの画像をセグメンテーションする工程と、
   をさらに含む、請求項１～３のいずれか一項に記載の方法。
5. 前記１つ以上の解剖学的部分の１つ以上の仮想３Ｄモデルを獲得する工程と、
   前記１つ以上の仮想３Ｄモデルに基づいて、１つ以上のインプラントコンポーネントを決定する工程と、
   前記１つ以上の仮想３Ｄモデルに基づいて、前記１つ以上のインプラントコンポーネントのサイズおよび位置を決定する工程と、
   をさらに含み、
   前記１つ以上の解剖学的要素は、決定された前記位置における決定された前記サイズを有する前記１つ以上のインプラントコンポーネントの描写を含む、請求項１～４のいずれか一項に記載の方法。
6. 前記１つ以上の解剖学的要素は、前記１つ以上の画像において覆い隠された前記１つ以上の解剖学的部分の部分を含む、請求項２～４のいずれか一項に記載の方法。
7. 前記１つ以上の解剖学的要素は、前記１つ以上の解剖学的部分に対応する強調表示を含む、請求項１～６のいずれか一項に記載の方法。
8. 前記１つ以上の基準は、前記実際の物理シーン内の物理的マーカまたはオブジェクトを含む、請求項１～７のいずれか一項に記載の方法。
9. 前記１つ以上の基準は、前記１つ以上の解剖学的部分上の標識を含む、請求項１～８のいずれか一項に記載の方法。
10. 前記１つ以上の基準は、前記１つ以上の解剖学的部分に対応する１つ以上の解剖学的３Ｄモデル上の標識を含む、請求項１～９のいずれか一項に記載の方法。
11. 前記１つ以上の基準のインプットは、マーキングデバイスを介して受け取られる、請求項１～１０のいずれか一項に記載の方法。
12. 前記１つ以上の基準のインプットは、手術計画を介して受け取られる、請求項１～１１のいずれか一項に記載の方法。
13. 前記１つ以上の解剖学的部分の１つ以上の仮想３Ｄモデルを獲得する工程をさらに含み、
    前記１つ以上の基準は、前記１つ以上の仮想３Ｄモデルおよび前記物理シーンの前記１つ以上の画像に対して形状認識を実行することにより、自動的に決定される、請求項１～１２のいずれか一項に記載の方法。
14. 前記１つ以上の画像に基づいて前記１つ以上の解剖学的部分の１つ以上の測定を実行する工程をさらに含み、
    前記１つ以上の解剖学的要素は、前記１つ以上の測定結果を含む、請求項２～１３のいずれか一項に記載の方法。
15. 前記１つ以上の解剖学的要素は、手術手技の１つ以上の工程のためのガイダンスを含み、
    前記１つ以上の解剖学的要素は、前記手術手技の前記工程に対応する順序で表示される、請求項１～１４のいずれか一項に記載の方法。
16. 前記１つ以上の解剖学的要素は、前記１つ以上の解剖学的部分に対して手術を実行するための、計画された器具軌道またはシミュレートされた器具軌道を含む、請求項１～１５のいずれか一項に記載の方法。
17. 前記１つ以上の画像内の器具と前記器具のための計画された軌道との間の位置合わせを決定する工程をさらに含み、
    前記１つ以上の解剖学的要素は、前記位置合わせを示す、請求項２～１６のいずれか一項に記載の方法。
18. 前記１つ以上の画像または別のインプットに基づいて、前記１つ以上の画像が手術の複数の工程のうちのいずれの工程に対応するのかを決定する工程と、
    決定された前記工程に基づいて、決定された前記工程に属する前記１つ以上の解剖学的要素のうちの少なくとも１つを生成する工程と、
    をさらに含む、請求項２～１７のいずれか一項に記載の方法。
19. 非一時的なコンピュータ可読媒体であって、
    コンピューティングデバイスのプロセッサによって実行されると、前記コンピューティングデバイスに、請求項１～１８のいずれか一項に記載の方法を実行させる、当該媒体上に格納されたコンピュータ実行可能な命令を有する、媒体。
20. メモリと、
    請求項１～１８のいずれか一項に記載の方法を実行するように構成されたプロセッサと、
    を備える、コンピューティングデバイス。
    
    

Images