JP2015527144A - ロボット装置およびシステムソフトウェア、ハードウェア、および画像誘導手術およびロボット支援手術に使用するための方法 - Google Patents

Abstract

本明細書には、外科的処置の間の、ロボットのインサイツでのリアルタイムの画像化ガイダンスのための、システム、モジュール、およびそれらを使用する方法が提供される。該システムは、複数のインターフェースを介して、画像化モダリティ、特に磁気共鳴画像化モダリティ、医療用ロボットおよびそのオペレーターを手術中にリンクする複数のモジュールを含む。モジュールは、メモリー、プロセッサーおよびネットワーク接続を有する、少なくとも１つのコンピューター中で、命令が、一般に画像化モダリティを制御する、ロボットをトラッキングする、処置の領域で対象の組織をトラッキングする、画像化モダリティおよびロボットから取得したデータを処理する、および領域およびロボットをビジュアル化することを可能にするように作動する。また、モジュール、および記憶媒体で明確に具体化されたコンピュータープログラム製品を含む、コンピューター実行可能命令を保存する、非一時的なコンピューター読み取り可能なデータ記憶媒体が提供される。【選択図】なし

Description

関連出願への相互参照
本出願は、現在放棄されている、米国仮特許出願第６１／６９３，６３４号の３５ Ｕ．Ｓ．Ｃ．§１１９（ｅ）の下で優先権の利益を主張し、その全体は、引用によって本明細書に組み込まれる。

政府資金の説明
本発明は、全米科学財団によって与えられた、認可番号０９３２２７２の下での政府支援によってなされた。米国政府は本発明において一定の権利を有する。

本発明は、ロボット工学、ロボット支援手術の処置およびその実施のためのソフトウェアの分野に関する。具体的には、本発明は、インサイツでの、リアルタイム画像誘導の診断、手術および最小限に侵襲的な医学的介入のための、ＭＲＩ適合性の医療ロボットのプラットホームを含むロボットのマニピュレーターおよびアクチュエーター、および適用可能なソフトウェアおよびハードウェアを含む、ロボットシステムを提供する。

関連技術の詳細
シングルポートアクセス（ＳＰＡ）の手術および経皮的介入を含む最小限に侵襲的な処置におけるロボット支援は、従来の切開手術またはフリーハンド介入（ｆｒｅｅ−ｈａｎｄ ｉｎｔｅｒｖｅｎｔｉｏｎｓ）に対する、より患者に優しい、実施向上の（ｐｒａｃｔｉｃｅ−ｅｎｈａｎｃｉｎｇ）、最終的に、コスト効率の良い代替策として台頭してきている。新しい技術は、安全性および機能性のレベルの増加を達成し、新しい世代の医師は、旧世代の医師よりもコンピューターで使用可能なツールにより一層慣れている。そのようなパラダイムシフトには、ロボットおよび触覚装置などの、マルチモーダルセンシングの、例えば、組織および分子レベルの画像化（ｉｍａｇｉｎｇ）の、制御システムを、例えば、外科的、放射線学的、心臓病的な、介入操作者（ｉｎｔｅｒｖｅｎｔｉｏｎａｌｉｓｔ）と統合するための、強固な、スケーラブルな、および効果的な方法論を必要とする。パイオニア集団による、革新的な計算法、ロボットマニピュレーター、および触覚インターフェースを発達させる主要な試みが、この大飛躍への道を切り開いてきた。画像誘導およびロボット支援（ＩＧＲＡ）の処置の今後を調査すると、幾つかの因子が、効果的なオペレーターインターフェーシングによって、組織の病理および機能を局所的に評価することができるリアルタイム画像ガイダンスのシームレス統合を含む、次世代のシステムに寄与し得る。

リアルタイム画像ガイダンス（ＲＴＩＧ）は、１）処置に付随する、リアルタイムの組織の変形および動作、または自然な動作、例えば、呼吸または心拍動の評価；２）３Ｄでのツールのモニタリング；および３）標的組織の病態生理学的情報のアップデート、を含む処置の領域（Ａｒｅａ ｏｆ Ｐｒｏｃｅｄｕｒｅ）（ＡｏＰ）の評価に特有の特徴を提供する。そのような特徴を与えられると、ＲＴＩＧは、「キーホール」ビジュアル化、即ち、内視鏡検査または腹腔鏡検査、および手術前の画像化ガイダンスの現在の手法から、よりグローバルで、情報が豊富な、ＡｏＰの認識への、パラダイムシフトおよび方法論的な飛躍を促進し得、これによって、広い範囲およびレベルの複雑な手術が可能となる。この関連で、広範囲な草分け的な研究が、フリーハンドまたはロボット支援の処置のために、超音波（ＵＳ）、および磁気共鳴画像法（ＭＲＩ）を含む、異なる画像化モダリティによって行われてきた。

ＩＧＲＡ処置は、困難で、高度に複雑であり、広範囲の臨床的なパラダイムおよび実現技術が、多くのグループによって現在求められている。幾つかのＩＧＲＡ装置が開発され、または開発中である。ＭＲＩ誘導の手術に革命を起こし得る、ＭＲ適合性のＮｅｕｒｏＡｒｍは、複雑で、高コストの技術であるが、リアルタイムＭＲガイダンスに適していない。国立衛生研究所に研究された別のシステムは、Ｉｎｎｏｍｏｔｉｏｎ（登録商標）ロボットに基づいており、これはもう商業上提供されていない。

したがって、改善された画像誘導およびロボット支援の処置、特に、ロボット制御のためのリアルタイムのマルチモダリティの画像化およびロボットのループ中の人間（ｍａｎ−ｉｎ−ｔｈｅ−ｌｏｏｐ）の自律制御または手動制御のためのＨＩＭＩが、当該技術分野で必要とされていることが認識されている。より具体的には、先行技術は、ロボット装置を操作且つ誘導するソフトウェアおよび実施システム、画像化スキャナーの空間制約内での操作のために設計されているシステム、磁気共鳴環境の非常に高い磁場で実行することができる及び組織のリアルタイムのトラッキングを可能にするロボット装置（ｒｏｂｏｔｉｃ）を始動させるための手段を欠いている。本発明はこの長年のニーズと先行技術分野での要望を満たすものである。

本発明は、外科的処置の間のロボットのインサイツでのリアルタイムの画像化ガイダンスのためのコンピューターシステムに関する。

コンピューターシステムは、メモリー、プロセッサーおよび少なくとも１つのネットワーク接続を有する少なくとも１つのコンピューター中に、画像化モダリティ、医療用ロボットおよびそのオペレーターをリンクする複数のインターフェースを介して、画像化モダリティ、医療用ロボットおよびそのオペレーターに手術中にリンクするように構成された複数のモジュールを含む。本発明は、１）外科的処置の間に画像化モダリティを制御する；２）重ね合わされた（ｃｏ−ｒｅｇｉｓｔｅｒｅｄ）ロボットツールまたは介入ツールをトラッキングする；３）対象の組織をトラッキングする；４）画像化モダリティから及びロボットから取得したデータを処理する；５）患者の身体外および身体内でロボットの安全且つ正確な動作のための動的な経路またはコリドー（ｃｏｒｒｉｄｏｒ）を生成する；６）ロボット、および取得データから生成された処置の領域をビジュアル化する；および７）ヒューマン−マシンインターフェースを可能にするために力フィードバック装置または触覚装置を利用する、ように構成されたモジュールを含む、関連するコンピューターシステムに関する。本発明は、複数のマルチモーダルセンサーをロボットおよび画像化モダリティと重ね合わせられるように構成されたモジュールをさらに含む、別の関連するコンピューターシステムに関する。

本発明はまた、外科的処置の間の、ロボットのインサイツでのリアルタイムの画像化ガイダンスのためのコンピューターで実施される方法に関する。該方法は、本明細書に記載されるコンピューターシステムにおいて手術中に、組織および医療用ロボットの現状ステータスを得るためにデータを処理する工程を含む。該方法はまた、処置の領域またはロボットのアクセス経路に近位の領域またはその両方を含む少なくとも１つの組織境界を生成する工程を含み、処置の領域にわたる組織境界の動作は、動的にモニタリングされる。ロボットまたはそれを含む介入ツールの位置は、ロボットの近位に配された及び画像化モダリティに連結された複数のマーカーの個々の可視性に基づき、処置の領域に準拠してトラッキングされる。本発明は、処置の領域およびロボットがモニタリングされる且つトラッキングされると、システムのオペレーターのためにそれらのビジュアル化をもたらす工程をさらに含む、関連方法に関する。本発明は、ロボットおよび画像化モダリティの座標系と重ね合わせられた複数のマルチモーダルセンサーの１つ以上から処置の領域の画面（ｖｉｅｗ）を生成する工程をさらに含む、別の関連方法に関する。

本発明はさらに、磁気共鳴画像誘導およびロボット支援の手術システムに関する。該システムは、少なくとも１つのコンピュータープロセッサー、少なくとも１つのコンピューターメモリー、システムに登録可能なロボットまたはそれを含む介入ツールを含む１つ以上のロボット構造、ロボットとともに登録された（ｒｅｇｉｓｔｅｒｅｄ）磁気共鳴スキャナー、およびコンピュータープロセッサーとコンピューターメモリーとのオンザフライ操作のために構成された複数のモジュール、を含む。複数のモジュールは、１）患者においてロボットおよび対象の組織に関するすべてのＭＲ生成したデータを記載する、２）処置の領域において組織境界を確立する、３）ＭＲスキャナーを介して、またはロボットを含む及び患者の身体外または身体内に配された１つ以上のマルチモーダルセンサーを介して、組織境界の動作を動的にモニタリングする、４）処置の領域に準拠してロボットの位置をトラッキングする、５）生成されたデータをシステムのオペレーターに送信する、６）生成されたデータからロボットの制御およびトラッキングのための命令を生成する、７）オペレーターのために外科的処置の間に処置の領域およびロボットの画面をもたらす、および８）ロボット、スキャナー、モジュールおよびオペレーター間で複数のインターフェースを確立する、プロセッサー実行可能命令を可能にする。本発明は、関連する磁気共鳴画像誘導およびロボット支援の手術システムに関し、ここで複数のモジュールは、マルチモーダルセンサーを介して取得したデータから、処置の領域の４Ｄ画面を生成且つビジュアル化する、プロセッサー実行可能命令を可能にするようにさらに構成される。本発明は、別の関連する磁気共鳴画像誘導およびロボット支援の手術システムに関し、ここで複数のモジュールは、組織間の又は組織とロボットとの間の境界をモニタリングするために少なくとも１つの信号強度の投影（ｓｉｇｎａｌ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ）を生成する、プロセッサー実行可能命令を可能にするようにさらに構成される。本発明は、また別の関連する磁気共鳴画像誘導およびロボット支援の手術システムに関し、ここで複数のモジュールは、患者の身体を含む自然の管状構造およびロボットまたは介入ツールを含む人工の管状構造を画像化するようにさらに構成される。

本発明はさらにまた、非一時的なコンピューター読み取り可能なデータ記憶媒体、および実行されたときに、本明細書に記載されるコンピューター実施の方法を可能にする又は本明細書に記載される複数のモジュールを含むコンピューター実行可能命令を保存する、計算システムにおける行動を実行する、同じ保存するコンピューター実行可能命令を明確に具体化するコンピュータープログラム製品に関する。

本発明の他の及びさらなる態様、特徴および利点は、開示の目的で与えられた本発明の現在の好ましい実施形態の以下の記載から明らかになる。

上に詳述された本発明の特徴、利点および目的の他に、より明らかになる他のものが達成される且つ詳細に理解され得るために、本発明のより具体的な記載および上に簡潔に要約された特定の実施形態が、添付の図面で例証される。これらの図面は、明細書の一部を形成する。しかしながら、添付の図面は、本発明の好ましい実施形態を例証し、それ故、それらの範囲内で限定するものとして考慮されるべきではないことを留意されたい。

図１は、汎用の医療用ロボットプラットホームの実例である。 図２は、シングルポートアクセス（ＳＰＡ）手術のコンピューター打ち出し画像の描写（ｃａｒｔｏｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）である。 図３Ａは、手術中のロボット検出およびトラッキングの方法の概略図である。 図３Ｂは、ロボットモデルの作成のためのフローチャートである。 図４Ａは、ＭＲおよびＵＳの方法を描写する。 図４Ｂは、ＭＲおよびＵＳの方法のインターリービング（均一の縮尺でない（ｎｏｔ ｉｎ ｓｃａｌｅ））。（^＊）のある方法は、オペレーターによって開始される。表は、データセットの収集当たりの推定時間をリストする。 図５Ａは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｂは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｃは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｄは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｅは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｆは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｇは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｈは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｉは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｋは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｋは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図５Ｌは、ＭＲ基準マーカーを用いるロボットのトラッキングを例証する。 図６Ａは、２Ｄ投影につき１７０ｍｓの速度を有するカテーテルＭＰＩを例証する。 図６Ｂは、２Ｄ投影につき４９ｍｓの速度を有するカテーテルＭＰＩを例証する。 図７Ａは、局所領域のバイオセンシングの概要を描写する局所領域のバイオセンシングを例証する。 図７Ｂは、デュアルＭＲの空間走査を描写する局所領域のバイオセンシングを例証する。 図７Ｃは、３つのコンパートメントファントム（ｃｏｍｐａｒｔｍｅｎｔ ｐｈａｎｔｏｍ）のＭＲ適合性のロボットを用いる光学（ＬＩＦ）センサーを描写する局所領域のバイオセンシングを例証する。 図７Ｄは、固有に重ね合わせられたＭＲＳデータの集まりを例証する。 図７Ｅは、固有に重ね合わせられたＬＩＦデータの集まりを例証する。 図８は、ロボットおよびスキャナーの制御によるセンシングの相互接続を例証する。 図９Ａは、心内膜のアクセスのために、リアルタイムの互いに傾斜した（ｏｂｌｉｑｕｅ−ｔｏ−ｅａｃｈ−ｏｔｈｅｒ）ＭＲＩスライスから４Ｄアクセス導管（４Ｄ Ａｃｃｅｓｓ Ｃｏｎｄｕｉｔｓ）を生成する、専用の画像スレッドの出力を例証する。 図９Ｂは、心外膜のアクセスのために、リアルタイムの互いに傾斜したＭＲＩスライスから４Ｄアクセス導管を生成する、専用の画像スレッドの出力を例証する。 図１０Ａは、アクセスコリドーを生成する複数の投影カラムの収集のためのＭＲパルスシーケンスを描写する。図１０Ａは、共通の撮像面を共有する２つの投影カラムの３Ｄ選択を例証する。 図１０Ｂは、アクセスコリドーを生成する複数の投影カラムの収集のためのＭＲパルスシーケンスを描写する。図１０Ｂは、各カラムの個々の選択を例証する。 図１０Ｃは、アクセスコリドーを生成する複数の投影カラムの収集のためのＭＲパルスシーケンスを描写する。図１０Ｃは、より速いデータ収集のための単一の繰り返し（ｓｉｎｇｌｅ ｒｅｐｅｔｉｔｉｏｎ）を介して、軸Ｇ２に沿った共通の平面を有する、２つのカラムの選択を例証する。 図１１Ａは、ソフトウェアモジュールのＭＲスキャナー制御を描写する。 図１１Ｂは、ソフトウェアモジュールのＭＲスキャナー制御の操作の例を描写する。 図１２Ａは、ＬＶ心内膜の組織境界をモニタリングするための複数の投影による組織の動的なトラッキングを描写する。 図１２Ｂは、血管の組織境界をモニタリングするための複数の投影による組織の動的なトラッキングを描写する。 図１２Ｃは、随意に造影剤を使用して、血管の組織境界をモニタリングするための複数の投影による組織の動的なトラッキングを描写する。 図１２Ｄは、投影信号の形態を単純化する磁化準備（ｍａｇｎｅｔｉｚａｔｉｏｎ ｐｒｅｐａｒａｔｉｏｎ）をモニタリングするための複数の投影による組織の動的なトラッキングを描写する。 図１３Ａは、投影用のアクセス可能な（ａｃｃｅｓｓｉｎｇ ａｖａｉｌａｂｌｅ）ＳＮＲおよびコントラスト差を描写する。図１３Ａは、投影線（破線）および信号が統合される領域の幅（ソリッドボックス）とともに、５０ｍｓ／画像（ｉｍａｇｅ）の速度で収集されたオリジナルの動的なＭＲ画像を示す。 図１３Ｂは、投影用のアクセス可能なＳＮＲおよびコントラスト差を描写する。図１３Ｂは、ＬＶおよび心筋に相当する２つの深みの左／右（ｄｅｅｐｓ ｌｅｆｔ／ｒｉｇｈｔ）を有する信号のグラフを示す。 図１４は、ロボット手術の制御のための方法のフローチャートである。 図１５Ａは、共通のスラブに基づいていない投影カラムを選択するための、任意のカラムの利用及び／又は投影カラムの任意の配向を描写する。 図１５Ｂは、共通のスラブに基づいた投影カラムを選択するための、任意のカラムの利用及び／又は投影カラムの任意の配向を描写する。 図１６Ａは、Ｙ軸上の共通のスライスの２つの投影カラムの選択を描写する。 図１６Ｂは、主要なスライスに対する任意の配向を有する３つの投影の選択を描写する。 図１７Ａは、タイプＩのマルチ投影パルスシーケンスを描写する。 図１７Ｂは、タイプＩのマルチ投影パルスシーケンスの傾斜の平衡化を描写する。 図１７Ｃは、タイプＩのマルチ投影パルスシーケンスの傾斜の平衡化を描写する。 図１７Ｄは、タイプＩのマルチ投影パルスシーケンスの傾斜の平衡化を描写する。 図１７Ｅは、タイプＩのマルチ投影パルスシーケンスの傾斜の平衡化を描写する。 図１８Ａは、タイプＩＩのマルチ投影パルスシーケンスを描写する。 図１８Ｂは、タイプＩＩのマルチ投影パルスシーケンスの傾斜の平衡化を描写する。 図１８Ｃは、タイプＩＩのマルチ投影パルスシーケンスの傾斜の平衡化を描写する。 図１８Ｄは、タイプＩＩのマルチ投影パルスシーケンスの傾斜の平衡化を描写する。 図１８Ｅは、タイプＩＩのマルチ投影パルスシーケンスの傾斜の平衡化を描写する。 図１８Ｆは、単一のスライス選択を利用する代替タイプＩＩのパルスシーケンスを描写する。 図１９は、タイプＩＩＩのマルチ投影パルスシーケンスを描写する。 図２０Ａは、単一パルス後に２つ以上の投影を同時に収集するためのタイプＩのパルスシーケンスを描写する。図２０Ａは、ＲＦパルス、傾斜およびデータ取得波形の具体的な実施を示す。 図２０Ｂは、単一パルス後に２つ以上の投影を同時に収集するためのタイプＩのパルスシーケンスを描写する。図２０Ｂは、対応するｋ空間軌道の適用範囲を示す。 図２０Ｃは、２つ以上の投影を独立的且つ同時に収集するためのタイプＩのパルスシーケンスを描写する。図２０Ｃは、ＲＦパルス、傾斜およびデータ取得波形の具体的な実施を示す。 図２０Ｄは、２つ以上の投影を独立的且つ同時に収集するためのタイプＩのパルスシーケンスを描写する。図２０Ｄは、対応するｋ空間軌道の適用範囲を示す。 図２１は、デュアル投影からの画像再構成のためのフローチャートである。 図２２Ａは、マルチスライスセットから再構成された管状構造の３Ｄ画像化のためのボリューム投影（ｖｏｌｕｍｅ−ｐｒｏｊｅｃｔｉｏｎ）の方法を例証する。 図２２Ｂは、デュアル投影を介する手術ロボットの画像化のためのボリューム投影方法を例証する。 図２２Ｃは、超高速３Ｄ画像化のためのボリューム投影方法を例証する。 図２３は、タイムシェアリングのＭＲプロトコルおよび「先着順サービス（Ｆｉｒｓｔ−Ｃｏｍｅ−Ｆｉｒｓｔ−Ｓｅｒｖｅｄ）」の再構成のためのタイミング図である。 図２４Ａは、タイミング図を描写する。 図２４Ｂは、所望のＴＩに対するタグ付け（ｔａｇｇｉｎｇ）パルス角の依存性を描写する。 図２４Ｃは、複数のパルスシーケンスを利用するタイミング画像化プロトコルを描写する。 図２４Ｄは、複数のパルスシーケンスを利用するタイミング画像化プロトコルを描写する。 図２４Ｅは、複数のパルスシーケンスを利用するタイミング画像化プロトコルを描写する。 図２５は、ＭＲ誘導およびロボット支援の処置用の計算フレームワークを例証する、統合操作環境（ＩＯＥ）の組織を描写する。

本明細書で使用されるように、用語「ａ」または「ａｎ］は、請求項及び／又は明細書において用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」と併用して使用されるときに、「１つ（ｏｎｅ）」を指し得るが、「１つ以上（ｏｎｅ ｏｒ ｍｏｒｅ）、「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」、および「１つ以上（ｏｎｅ ｏｒ ｍｏｒｅ ｔｈａｎ ｏｎｅ）」の意味とも一致している。本発明の幾つかの実施形態は、本発明の、１つ以上の構成要素、方法の工程、及び／又は方法から成るか又はそれらから本質的になり得る。本明細書に記載される任意の方法または組成が、本明細書に記載される他の方法または組成に対して実施され得ることが熟慮される。

本明細書で使用されるように、請求項での用語「または」は、本開示が、代替および「及び／又は」のみを指す定義を支持するが、代替のみ又は相いれない代替を指すように特に明記されない限り、「及び／又は」を指す。

本明細書で使用されるように、用語「約」は、明確に示されているかどうかにかかわらず、例えば、整数、分数、およびパーセンテージを含む、数値を指す。用語「約」は、当業者が、列挙された値（例えば、同じ関数または結果を有する）と同等であると考える、さまざまな数値（例えば、＋／−５−１０％の列挙された値）を一般に指す。幾つかの例では、用語「約」は、最も近い有効数字に四捨五入される数値を含んでもよい。

本明細書で使用されように、用語「コンピューター」は、少なくとも１つのメモリー、プロセッサーおよび少なくとも１つの有線及び／又は無線ネットワーク接続を含む、１つ以上のマシンを指す。コンピューターは、標準的な及び現在当該技術分野で知られているような、デスクトップまたはラップトップのマシンまたは他の電子メディア、例えば、スマートフォンまたはタブレットを含み得る。限定されないが、ロボットマニピュレーター、ロボットセンサーなどを含む、ロボットシステムの実施に必要とされる、あらゆるソフトウェア、モジュール、アプリケーション、アドオン、プラグイン、プログラム及び／又はデータベースなどは、限定することなく、１つ以上のコンピューターにプログラミングされ得るか、ネットワーク接続上で検索され得るか、それらを明確に保存するメディア記憶デバイスから検索され得るか、またはコンピューターメモリーまたは他の電子メディアのメモリーに明確に保存され得、プロセッサーによって実行可能である。

本明細書で使用されるように、用語「ロボット」または「ロボットマニピュレーター」は、本明細書に記載されるように、例えば、限定されないが、マニピュレーター支援の手術、最小限に侵襲的な手術および介入的な診断または治療、あるいは診断および治療の処置の組み合わせを実行するための、遠隔駆動型のマニピュレーターを交換可能に指す。

本明細書で使用されるように、用語「患者」は、本明細書に記載される画像誘導のロボット装置およびシステムを利用する、外科的処置、手術または最小限に侵襲的な処置の被験体である、あらゆる哺乳動物、好ましくはヒトを指す。

本発明の１つの実施形態では、外科的処置の間のロボットのインサイツでのリアルタイムの画像化ガイダンスのためのコンピューターシステムが提供され、該コンピューターシステムは、メモリー、プロセッサーおよび少なくとも１つのネットワーク接続を有する、少なくとも１つのコンピューター中に、画像化モダリティ、医療用ロボットおよびそのオペレーターをリンクする複数のインターフェースを介して、画像化モダリティ、医療用ロボットおよびそのオペレーターに手術中にリンクするように構成された複数のモジュールを含む。

本実施形態において、複数のモジュールは、少なくとも１つの、外科的処置の間に画像化モダリティを制御するように構成されたモジュール；重ね合わせられたロボットツールまたは介入ツールをトラッキングするように構成されたモジュール；対象の組織をトラッキングするように構成されたモジュール；画像化モダリティから及びロボットから取得したデータを処理するように構成されたモジュール；患者の身体外および身体内でロボットの安全且つ正確な動作のための動的な経路またはコリドーを生成するように構成されたモジュール；ロボット、および取得データから生成された処置の領域をビジュアル化するように構成されたモジュール；およびヒューマン−マシンインターフェースを可能にするために力フィードバック装置または触覚装置を利用するように構成されたモジュール、を含み得る。本実施形態に加えて、コンピューターシステムは、複数のマルチモーダルセンサーをロボットおよび画像化モダリティと重ね合わせるように構成されたモジュールを含み得る。

両方の実施形態の一態様において、画像化モダリティの制御モジュールは、外科的処置の間に：組織およびロボットのステータスに関するデータを処理する；その変化を計算する；データ取得の変化を引き起こす事象を特定する；事象に対する応答を選択し、それに基づいて画像取得の方策を立てる；および画像取得の方策を画像化モダリティに送信する、プロセッサー実行可能命令を可能にし得る。本態様では、引き起こす事象は、変化を形態の範囲（ｒａｎｇｅ−ｏｆ−ｆｏｒｍ）の値のリストとアルゴリズム的に比較する命令を介して特定され得る。

別の態様では、組織をトラッキングするモジュールは：画像化モダリティで画像化シーケンスを選択し、組織内にコントラスト差を生成するパラメーターを設定する；画像化中に得られた１つ以上の信号強度または画像投影から対象の少なくとも１つの観察可能な組織境界を生成する；および外科的処置の間に組織境界の動作を動的にモニタリングする、プロセッサー実行可能命令を可能にする。本態様では、組織境界は、処置の領域の組織のまわりの境界または医療用ロボットのアクセス経路に近位の組織のまわりの境界またはその両方を含み得る。本態様に加えて、組織をトラッキングするモジュールは、選択命令の前またはその間に、外因性造影剤を組織に注入する、プロセッサー実行可能命令を可能にする。

さらに別の態様では、ロボットをトラッキングするモジュールは、ロボットの近位に配された及び画像化モダリティに連結された複数のマーカーの１つ以上を検出する；および画像化モダリティの座標系に対するマーカーの座標を抽出して、ロボットの位置を決定する、プロセッサー実行可能命令を可能にする。

さらに別の態様では、ビジュアル化モジュールは、ロボット用の各局所化工程に対する単一のマーカーの位置のみを検出するプロセッサー実行可能命令を可能にし得る。

すべての実施形態およびその態様では、複数のインターフェースの１つは、医療用ロボットおよび画像化モダリティのオペレーターによる手動制御を可能にし得る。また、複数のモジュールは、オンザフライ操作を行い得る。さらに、画像化モダリティは、磁気共鳴画像法または分光法またはその組み合わせ、超音波画像診断、Ｘ線コンピューター断層撮影法、Ｘ線乳腺撮影法、光学撮像、あるいはビデオ撮像である。

本発明の別の実施形態では、外科的処置の間の、ロボットのインサイツでのリアルタイムの画像化ガイダンスのためのコンピューターで実施される方法が提供され、該方法は、先に記載されるようなコンピューターシステムにおいて手術中に、組織および医療用ロボットの現状ステータスを得るためにデータを処理する工程；処置の領域またはロボットのアクセス経路に近位の領域またはその両方を含む少なくとも１つの組織境界を生成する工程；処置の領域にわたる組織境界の動作を動的にモニタリングする工程；およびロボットの近位に配された及び画像化モダリティに連結された複数のマーカーの個々の可視性に基づき、処置の領域に準拠してロボットまたはそれを含む介入ツールの位置をトラッキングする工程、を含む。

本実施形態に加えて、該方法は、処置の領域およびロボットがモニタリングされる且つトラッキングされると、システムのオペレーターのためにそれらのビジュアル化をもたらす工程を含む。このさらなる実施形態では、ビジュアル化は、ビジュアル画像、モデル、バーチャルリアリティーシーン（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｓｃｅｎｅ）、向上したリアリティーシーンまたはそれらの重ね合わせ（ｓｕｐｅｒｉｍｐｏｓｉｔｉｏｎ）または組み合わせを含み得る。別のさらなる実施形態では、該方法は、ロボットおよび画像化モダリティの座標系と重ね合わせられた複数のマルチモーダルセンサーの１つ以上から処置の領域の画面を生成する工程を含み得る。

これらの実施形態の態様では、処理する工程は、組織およびロボットのステータスに対する変化を計算すること；データ取得の変化を引き起こす事象を特定すること；アルゴリズム的に、変化を形態の範囲の値のリストと比較すること；値の比較に基づいて事象に対する応答を選択すること；および画像化モダリティに送信される応答に基づいて画像取得の方策を立てること、を含み得る。本態様において、該方法は、組織境界を生成する前またはその間に、外因性造影剤を組織に注入する工程をさらに含み得る。

別の態様では、トラッキングする工程は、画像化モダリティの座標系に対するロボットまたは介入ツール上へのマーカーの座標を抽出して、局所化工程の間にその位置を検出することを含み得、ここで、単一のマーカー位置のみが、ロボットのトラッキング中に局所化工程のために検出される。本態様では、単一のマーカー位置のみが、局所化工程のために検出され得る。

本発明のさらに別の実施形態では、実行されたときに、先に記載されるコンピューター実施の方法の工程を可能にする計算システムにおける行動を実行するコンピューター実行可能命令を保存する、非一時的なコンピューター読み取り可能なデータ記憶媒体が提供される。関連する実施形態では、非一時的なコンピューター読み取り可能なデータ記憶媒体で明確に具体化された、コンピュータープログラム製品が提供される。

本発明のさらに別の実施形態では、磁気共鳴画像誘導およびロボット支援の手術システムが提供され、該システムは、少なくとも１つのコンピュータープロセッサー；少なくとも１つのコンピューターメモリー；システムに登録可能なロボットまたはそれを含む介入ツールを含む１つ以上のロボット構造；ロボットとともに登録された磁気共鳴スキャナー；およびコンピュータープロセッサーとコンピューターメモリーとのオンザフライ操作のために構成された複数のモジュールであって、患者においてロボットおよび対象の組織に関するすべてのＭＲ生成したデータを記載する；処置の領域において組織境界を確立する；ＭＲスキャナーを介して、またはロボットを含む及び患者の身体外または身体内に配された１つ以上のマルチモーダルセンサーを介して、組織境界の動作を動的にモニタリングする；処置の領域に準拠してロボットの位置をトラッキングする；生成されたデータをシステムのオペレーターに送信する；生成されたデータからロボットの制御およびトラッキングのための命令を生成する；オペレーターのために外科的処置の間に処置の領域およびロボットの画面をもたらす；およびロボット、スキャナー、モジュールおよびオペレーター間で複数のインターフェースを確立する、プロセッサー実行可能命令を可能にする、複数のモジュールを含む。

本実施形態に加えて、複数のモジュールは、マルチモーダルセンサーを介して取得したデータから、処置の領域の４Ｄ画面を生成且つビジュアル化する、プロセッサー実行可能命令を可能にするように構成され得る。このさらなる実施形態では、マルチモーダルセンサーが、磁気共鳴スキャナーを含む座標系と重ね合わせられ得る。別のさらなる実施形態では、複数のモジュールは、組織間の又は組織とロボットとの間の境界をモニタリングするために少なくとも１つの信号強度の投影を生成する、プロセッサー実行可能命令を可能にするようにさらに構成され得る。さらにまた、複数のモジュールは、患者の身体を含む自然の管状構造およびロボットまたは介入ツールを含む人工の管状構造を画像化するように構成され得る。このさらなる実施形態では、自然および人工の管状構造を画像化する命令は、造影剤を該構造へと注入または充填する；造影剤を有する構造を含む３Ｄボリュームの少なくとも１つの２Ｄ投影を取得する；および２Ｄ投影から３Ｄ画像を生成する、ように作動する。特に、少なくとも２つの２Ｄ投影が得られるときに、投影は、互いに対して任意の角度であり得る。また、２Ｄ投影を取得するために使用される、選択された順序の高周波パルスおよび磁場傾斜パルスは、造影剤を含まない（ｎｏｎ−ｃｏｎｔｒａｓｔｅｄ）構造から信号を少なくとも減少させる。すべてのこれらの実施形態では、複数のインターフェースの少なくとも１つは、ロボットおよびＭＲスキャナーのオペレーターによる手動制御を可能にする。

本実施形態の態様において、すべてのＭＲ生成データを記載する命令は、組織およびロボットのステータスに関するデータを処理する；その変化を計算する；アルゴリズム的に、変化を形態の範囲の値のリストとアルゴリズム的に比較する命令を介して、データ取得の変化を引き起こす事象を特定する；事象に対する応答を選択し、それに基づいてＭＲ画像取得の方策を立てる；およびＭＲ画像取得の方策をＭＲスキャナーに送信する、ように作動し得る。

別の態様では、組織境界を確立する命令は、必要に応じて、外因性造影剤を、随意に組織に注入する；ＭＲ画像化シーケンスを選択し、組織内にコントラスト差を生成するパラメーターを設定する；および磁気共鳴画像法の間に得られた１つ以上の画像投影から組織境界を生成する、ように作動し得る。

さらに別の態様において、ロボットの位置をトラッキングする命令は、ロボットの近位に配された及びＭＲスキャナーの座標系と重ね合わせられた複数のマーカーのオン／オフのステータスに基づき、処置の領域に準拠してロボットの位置をトラッキングする；およびロボット動作を制約するために動作フィルタリング（ｍｏｔｉｏｎ ｆｉｌｔｅｒｉｎｇ）を適用する、ように作動し得る。本態様において、ロボットの位置をトラッキングする命令は、ＭＲスキャナーの座標系に対する複数のマーカーの座標を抽出して、その位置を検出するように作動し得、ここで、単一のマーカー位置のみが、ロボットのトラッキング中に局所化工程のために検出される。

さらに別の態様では、少なくとも１つの信号強度を生成する命令は、高周波パルシングを介して投影の選択方向に沿った少なくとも１つの３Ｄカラムに含まれる組織を刺激する；磁場傾斜を操作する；ＭＲスキャナーから未加工データを取得する；および未加工データから信号強度の１Ｄ投影を生成する、ように作動し得る。この態様において、１つを超える３Ｄカラムが平面を含む場合、モジュールは、複数の高周波パルスを送り、それによって取得率を増加させる命令を可能にする。

さらに別の態様では、ロボット制御のための命令は、ＭＲ画像ガイダンス下での２Ｄ投影の取得のためのロボットの手動オペレーター制御および自動化制御を可能にするように作動し得る。本態様において、ロボット制御のための命令は、特に、手動オペレーター制御を介して、少なくとも１つの平面、少なくとも１つの投影軸、および投影幅を選択する；および付随的に、３Ｄ投影カラムを選択し、それをグループ化する；および自動制御を介して、パルス傾斜および傾斜強度を含む磁気共鳴取得パラメーターを計算する；および続いて、取得パラメーターをアップデートする；投影を動的に取得する、および分析する；および動的組織モデルを生成する；およびその後、ロボットを制御することによって動的なコリドーおよび軌道を計算する；触覚装置の動的なレンダリングを計算する；およびそれから画像ガイダンスの拡張現実感を生成する、ように作動し得る。

本発明のさらに別の実施形態では、先に記載された複数のモジュールを含むコンピューター実行可能命令を保存する、非一時的なコンピューター読み取り可能なデータ記憶媒体が提供される。関連する実施形態では、非一時的なコンピューター読み取り可能なデータ記憶媒体で明確に具体化された、コンピュータープログラム製品が提供される。

本明細書には、ツール自体をトラッキングために手術用ツール上に位置付けられ得る複数のＭＲ可視マーカーを有する手術用ツールのリアルタイムのトラッキングが提供される。また、診断の実施および外科的処置の両方に使用するための組織の動作をモニタリンするために、特定のＭＲＩデータ収集プロトコル、即ち、パルスシーケンスを用いて複数の投影を収集する方法によって、組織のリアルタイムのトラッキングが提供される。該方法は、複数の部位の動作のモニタリングを可能にする３−４ｍｓごとの投影の収集を理論上可能にする。

また、手術ロボットの自動化ガイダンスおよび操縦のための、および力センサーの代わりにＭＲデータを使用する特定の触覚装置を介して、ロボットの手動操縦を指示するための関連方法が提供される。ロボットを搭載した局所領域のバイオセンシングは、本明細書に記載されるような光学的方法と超音波方法との組み合わせを使用する。屈曲可能な手術用ツールの超高速３Ｄ／容量測定のＭＲＩ画像化が可能となる。

さらに、本明細書に記載される方法および処置を可能にするソフトウェアが提供され、例えば、ＭＲデータの収集の制御のための、および先に記載された方法から収集された未加工データの再構成のための、および手術をビジュアル化し誘導する、現実データに基づく及びモデル化なしでの、現実的な仮想環境の生成のための、ソフトウェアが提供される。さらに、ロボットの自律または半自律の制御に有用な画像モダリティで抽出した（ｉｍａｇｅ ｍｏｄａｌｉｔｙ−ｅｘｔｒａｃｔｅｄ）情報を処理且つ利用するための、および一般に、触覚装置または力フィードバック装置を介するオペレーターの「専門家のような（ｅｘｐｅｒｔ−ｌｉｋｅ）」助言によって、ロボットおよび操作の領域にオペレーターをインターフェースで接続するための、ソフトウェアが提供される。

そのため、本発明は、汎用の多目的な医療ロボットプラットホームおよびソフトウェアシステムを提供する。該システムは、未加工データを収集、融合、および提示するための方法論が、異なる現在の及び台頭する医療用モダリティのために再構成可能であるような、モダリティに依存しない強固なプラットホームを含む。該システムは、実際の及びリアルタイムのデータを利用し、環境に関するパラメトリックな及び／又は抽出した前提データ（ａｓｓｕｍｐｔｉｏｎｓ）を最小限にし、それによって、インサイツでのリアルタイムの画像化ガイダンスを可能にする。マルチモーダルセンシングは、固有に重ね合わせられるマルチモーダルの時空間データの生成のために、画像センサーをロボット上に組み込み、ロボット駆動を使用することによって実施される。

より具体的には、該システムは、クロスモダリティデータ解釈および事象に基づいた特徴づけのための方法を介して原画像を意思決定に変換するＭＲＩデータ収集の方策を利用する。該システムは、高度な情報提供のための内容（ｈｉｇｈ ｉｎｆｏｒｍａｔｉｏｎａｌ ｃｏｎｔｅｎｔ）の手術前のデータから低度の情報提供のための内容（ｌｏｗ ｉｎｆｏｒｍａｔｉｏｎａｌ ｃｏｎｔｅｎｔ）の手術中の動的データの拡張を提供し、それによって、処置を計画および誘導するためのすべての必要とされる情報の収集が可能となる。そのため、該システムは、物理的または環境的な因子を明確に表わす且つ考慮する画像ベースの情報を生成する且つ統合する、計算コアを含む。また、人間のオペレーターに対する最小限の労力および散乱で、マルチモーダルデータをレンダリングし、環境の包括的な認識を提供し、およびとループ中の人間（ｈｕｍａｎ− ｏｒ ｍａｎ−ｉｎ−ｔｈｅ−ｌｏｏｐ）の制御を達成する、インターフェースが提供される。

好ましい実施形態では、一般的な医療用のロボットプラットホームが提供される。プラットホームは、処置の領域のアクセスに従う、汎用の、屈曲可能なロボットマニピュレーターを含む。マニピュレーターは、モジュール式で、再構成可能な、広範囲の操作および応用のシナリオに適用可能でなければならず、他のシステムが構築され得る基本的なフレームワークのためのベースを形成することができる。

医療用のプラットホームはまた、動的にリアルタイムの、マルチモーダルの画像化から抽出される情報に基づいた、ロボット制御方法を含む。データは、ロボットのエンドエフェクタで一連のセンサーによって収集され、動的に変化する環境内で安全且つ正確に操縦するために、その本体上に分配される。これによって、実行時間のモデリング、仮定、および計算上の層を最小限にしながら、オペレーターによるＡｏＰの直接的且つ直観的な視聴が可能となる。

医療用のプラットホームはさらに、処置を誘導して、その結果を評価することができる病態生理学的なシグネチャ（ｐａｔｈｏｐｈｙｓｉｏｌｏｇｉｃ ｓｉｇｎａｔｕｒｅｓ）を評価のためのセンサースイート（ｓｅｎｓｏｒ−ｓｕｉｔｅ）としてのロボットを使用して、手術中の、ロボット支援の、オンライン診断ツールを含む。ＭＲＩおよびＵＳなどの従来の画像化以上に、該センサーは、インサイツでの組織の分子の特徴を問い合わせる（ｉｎｔｅｒｒｏｇａｔｅ）ように構成される。ロボットは、人間のオペレーターとのインターフェースのための微調整およびフュージョンのために、時空間的な、マルチモーダルの重ね合わせ（ｃｏ−ｒｅｇｉｓｔｒａｔｉｏｎ）を促進するように構成された、スマートセンサープラットホームを含む。

以下に記載されるように、本発明は、多くの利点および用途を提供するが、そのような利点および用途は、そのような記載によって限定されない。本発明の実施形態は、図面を参照してより好適に例証されるが、そのような参照は、任意の方法で本発明を制限するようには意図されない。本明細書に詳細に記載される実施形態および変化は、添付の請求項および同等物によって解釈されるものとする。

図１は、マルチモーダルセンシングが、例えば、ロボット制御に対する大域的なレベルで、および分子レベルで感知するための、ロボットで支持された（ｒｏｂｏｔ−ｃａｒｒｉｅｄ）センサー、例えば、ＭＲ、ＵＳ、または光（ｏｐｔｉｃａｌ）を用いる局所的なレベルで、ＭＲＩによって生じることを例証している。すべてのモダリティは、ロボット制御、マルチモーダルデータのフュージョンおよびビジュアル／ＦＦＩを単純化するＭＲスキャナーの座標系に固有に重ね合わせられる。表１は、手術中の大域的なトラッキングおよび局所的な組織の病理を例証する。

別の好ましい実施形態では、手術中のリアルタイムの画像化によるロボット制御および処置ガイダンスのための方法が提供される。限定しない例において、ＭＲＩは、ロボットをトラッキングする及びＡｏＰを見るために利用される。ＭＲＩは、解剖および機能を評価するための多くの軟組織のコントラスト機構を提供する。ＭＲＩは、ビジュアル化およびトラッキングするツールおよびロボットマニピュレーターの利用を可能にする。ＭＲＩは、真の３Ｄまたはマルチスライスの画像化であり、ロボット制御のコアからの撮像面の配向を含む、取得パラメーターのオンザフライ調節を可能にする。ＭＲＩは、超音波と比べて、オペレーターに依存しない（ｏｐｅｒａｔｏｒ−ｉｎｄｅｐｅｎｄｅｎｔ）性能を有する。ＭＲＩは、Ｘ線と比較されるような電離放射線なしで作動する。最も具体的には、ＭＲＩは、ロボットがＭＲスキャナーの固有の座標系に登録され得るという点で、特有の特徴を示す。

本明細書で提供されるように、手術中のリアルタイム画像化は、二方向に拡張される。第１に、前のデータに基づいた予測、モデルまたは仮定が、最小限にされる。第２に、オペレーターと患者との間の計算上の層が、最小限にされる。これによって、ロボット技術における医療用オペレーターの信頼が高まり、被験体を傷つけかねない機能不全の可能性のある領域を最小限にする。

この好ましい実施形態の一態様では、ＩＧＲＡ処置用の手術中のホロノミックモデリング（ｈｏｌｏｎｏｍｉｃ ｍｏｄｅｌｉｎｇ）が提供される。本態様では、２つの相補的なＭＲ方法は統合される。第１の方法は、複数の厚いスラブ（ｔｈｉｃｋ−ｓｌａｂ）の投影からの画像再構成を利用するロボットの３Ｄ画像化である。第２の方法は、２００Ｈｚ／マーカーでの患者内の連続的なトラッキングのためのロボット上のＭＲ基準マーカーを利用する。関連する態様では、取得の速度および情報量を最適化するために各測定が行われる、タイムインスタンス（ｔｉｍｅ ｉｎｓｔａｎｃｅ）を制御するように構成されたアルゴリズムが提供される。

別の態様では、ガイダンスによって分子レベルおよび巨視レベルの画像化をつなげる（ｂｒｉｄｇｅｓ）ロボット促進のセンシングが提供され、これによって、ＡｏＰオンザフライで組織の病理を評価するための手段がオペレーターに提供される。高特異性センサーの時空間的な走査を支持（ｃａｒｒｙｉｎｇ）および操作するためのエンドエフェクタを使用することによって、ＡｏＰの局所領域のセンシングが可能となる。例えば、エンドエフェクタは、ＬＩＦのための光センサー及び／又は局所的なＭＲＳのためのＭＲ ＲＦコイルを支持（ｃａｒｒｙ）し得る。これによって、計算上高価な後処理とは異なり、ＡｏＰのインサイツでのプロービングおよびデータ収集のレベルでの固有の重ね合わせのための、組織（ＭＲＩ）および分子（ＬＩＦおよびＭＲＳ）レベルのモダリティの機械的結合が可能となる。
これらの態様は、ＡｏＰに高特異性バイオセンシングをもたらす。

さらに別の好ましい実施形態では、限定されないが、画像誘導の経管腔的内視鏡手術（ＮＯＴＥＳ）の画像誘導のＮＯＴＥＳまたは他のシングルポートアクセス（ＳＰＡ）手術などの、内視鏡処置の現在および今後のバージョンによる使用のために構成された、ロボットプラットホームおよび一般化された手術中の画像ベースの制御を含むフレームワークが提供される。該フレームワークは、４Ｄ誘導の導管を通るノードによって配置される、ロボット構造または関節構造を含む。該ノードは、４Ｄ誘導の導管によって課された制約（ｃｏｎｓｔｒａｉｎｔｓ）に応じて位置が調節される、ＭＲ基準マーカーを支持する。該４Ｄ誘導の導管は、それらを取り囲む組織の一時的な状態に順応するように変化する４Ｄバーチャル構造である。例えば、図２に描写されるように、ＳＰＡ処置は、管状の操縦可能な装置を、時空間的な管状のバーチャルエンティティである導管を介して、初期の位置ＥＮ、即ち、経皮的なポートまたは自然孔（ｎａｔｕｒａｌ ｏｒｉｆｉｃｅ）から標的ＴＴへと移動する役割があり得る。

さらに別の好ましい実施形態では、ヒューマン−情報／マシンインターフェース（ＨＩＭＩ）が提供される。ＨＩＭＩは、デュアルビジュアル（ＶＩ）および力フィードバックのインターフェース（ＦＦＩ）であり、これは、情報、即ち、処置関連の情報まで階層的に成熟したデータにオペレーターを没頭させる、および画像ベースの、ループ中の人間の制御を促進する。オペレーターに対して、ＨＩＭＩは、高速学習曲線および直観性を提供し、使用するのに、散乱または追加の作業負荷はない。

さらに別の好ましい実施形態では、マルチモーダルの手術中のセンシングのための方法が提供される。これによって、組み合わせられたときに、ＡｏＰの４Ｄ画面を提供する、相補的な時空間的情報の収集のためのＭＲ方法の統合が可能となる。この画面は、自律またはヒト誘導のロボット制御によって使用される。この手法によって、医療ロボットツールが、単純にアプリケーターの代わりに、マルチツールとして機能することができることが熟慮される。これらの方法は、データ取得段階で、固有に重ね合わせられた、マルチモーダルデータを生成する。登録は、簡単な方法でマルチモーダルの重ね合わせに対処して、不必要な複雑性および仮定を除去する、一般的なＭＲ座標系に関連する。図３Ａは、ＭＲＩ絶対的座標系におけるロボットの手術中の検出およびトラッキングのための方法の概要を提供し、図３Ｂは、図３Ａで描写されるロボットの生成を例証するフローチャートである。ロボットは、複数の小型ＲＦコイルを含み、ＭＲガドリニウム（Ｇｄ）−造影剤チャネルを有する、湾曲したロボットである。ロボットの２Ｄ ＸＹ、ＹＺ、およびＺＸの投影は、座標系のＭＲ平面に描写される。

その上、図４Ａで例証されるように、マルチモダリティは、手術中のＭＲおよびロボットを搭載したＵＳ（ＲＭ−ＵＳ）画像の同時収集での、ベースのロボット制御およびＨＩＭＩに基づいている。マルチモダリティデータは、視覚（ｖｉｓｕｏ）−触覚型のインターフェーシングと同様に、ロボット制御のためのアクセスコリドーおよびガイダンスの軌道の形態で、オンザフライ生成およびＡｏＰの動的なバーチャルモデルのアップデート、即ち、４Ｄの時空間情報に使用される。相補的な時空間的情報を得るために手術中のＭＲおよびＵＳの利点を組み合わせることによって、提案された手法は、ＡｏＰの動的モデルを、できるだけ現実世界に近くなるように作り出す方法を発達させる。図４Ｂで描写されるように、手術中のＭＲＩは、移動する心内膜、ロボットの患者内（ｅｎｄｏ−ｐａｔｉｅｎｔ）の部分の３Ｄ画像化をトラッキングする、およびロボット上の基準マーカーをトラッキングする、インターリーブされた（ｉｎｔｅｒｌｅａｖｅｄ）ＭＲ方法を含む。
手術中のＲＭ−ＵＳは、ガイダンスのためのロボットのエンドエフェクタの前のリアルタイム画像を生成するために、ＭＲＩと同時に実行される。その上、オペレーターに引き起こされた標準的なＭＲまたはＵＳのプロトコルは、処置の性能を評価するために本明細書で提供される方法とインターリーブされ得る。

別の実施形態によると、および図５Ａを参照すると、患者の外側にあるＲＦコイルに誘導的に連結される及び処置を画像化するために使用される複数の無線周波数（ＲＦ）のマイクロコイルを使用してＭＲＩによってロボットまたは介入ツールをトラッキングための方法が記載される。好ましい実施形態によると、および図５Ａを参照すると、複数のＭＲ基準マーカー５０１は、ロボットまたはツールの全体または部分または点をビジュアル化する及びトラッキングするための特定の必要性に従って、コンピューター制御の可視性を有する、即ち、それらのいずれか１つまたはそれらの任意の組み合わせは、オン（ＯＮ）にされ得る、即ち、ＭＲＩ可視性であるか、またはオフ（ＯＦＦ）にされ得る、即ち、ＭＲＩ非可視性である。ＭＲ可視性の１つまたは限定された数のマーカーを選択的に製造することの本質は、ＭＲスキャナーの座標系に対するマーカーの座標を抽出するためのＭＲのデータ収集および処理が、すべてのマーカーが活性であるときと比較して、実質的により速いということである。

ＭＲスキャナーの座標系に対するこれらのコイルの位置の測定は、１）デュムラン（１）および他のもの（２−４）によって確立されるようなスキャナーの３つの軸に沿った投影を収集することによって、または２）速いＭＲ画像を収集することによって行われ得る。信号の他のソースが欠如していると、シングルコイルは、局所化が１．１ｍｍのコイル（５−７）を有するＺ軸上にある、ＭＲスキャナーの対応する軸上のコイルの位置で、各投影に沿ったピークを示すだろう。ロボットまたはツールをトラッキングするために、ツールまたはロボット上で重複点をトラッキングする複数のマイクロコイルが必要とされる。しかしながら、複数のパッシブマーカーが同時に使用されるときに、どのピークがどのマーカーに対応するかを識別するのは容易ではない。マーカーを明確に識別し、数多くの取得及び／又は後処理（４）を避けるために、コンピューター制御の選択的なビジュアル化によって、１つのマーカーのみが各局在化工程で調整されることが可能となる。残りのマーカーは、光ファイバーを介して光を受信するフォトレジスターまたはフォトダイオードによって離調される。利用された誘導的に連結したコイルが、スキャナーＲＦコイルによって伝達された低励振パルスにより作動し、そのため、周囲の組織が、不要なバックグラウンド信号を減少させて最小限に励起されることに留意されたい。

そのようなマーカーの１つを示す図５Ｂを参照すると、これらのマーカーの選択的な可視性は、ＲＦコイル５２０の同調回路を光学的に離調することによって、優先的に実装される（ｉｍｐｌｅｍｅｎｔｅｄ）。各々のそのようなマーカーは、１）限定されないが、ソレノイド、球、８字などの、適切なワイヤーを適切な形状に巻きつけることによって作られるＲＦコイル５２０、２）コイル５２０が、まわりに巻きつけられる、例えば、限定されないが、Ｈ（プロトン）信号ソースなどのＭＲ信号ソースの材料を含有しているイアルまたは他の容器である、ＭＲ信号のソース５２１、３）ＲＦコイル５２０の共鳴周波数をＭＲスキャナーの運転周波数に調整するための、適切なキャパシタンスＣ５２２を用いる同調回路、およびフォトレジスターまたはフォトダイオードの５２３、および４）光ファイバー５２４であって、その遠位端が、光を光源５０３からフォトレジスターまたはフォトダイオード５２３に送達するために適切に配向される、光ファイバー５２４、を含む。マーカーアセンブリは、光の焦点をフォトレジスターまたはフォトダイオードに好適に合わせるレンズ５２６、およびフォトレジスターまたはフォトダイオードに到達する及びそれを起動させるための、不要な光、例えば、周辺光を除去する適切なカバレージ（ｃｏｖｅｒａｇｅ）６２７を更に必要とし得る。

また、本実施形態によると、および図５Ａを参照すると、複数のマーカー５０１のそれぞれ１つは、限定されないが、電子工学の分野の専門家にとって標準的である、電源および制御回路の部分である発光ダイオード（ＬＥＤ）などの、複数の光源５０３の１つに各々が接続された複数の光ファイバー５０２と接続される。システムは、以下の機能を有する、電子ユニットまたはマイクロコントローラーまたは任意の一般的な組込みシステム５０５をさらに含む：１）任意の所望の順序および持続時間で、ＭＲ可視性および非可視性の任意数のマーカーまたはその組み合わせを作るように特定パターンを設定する、コマンドまたは信号を外部から受信する（５０９）、２）順に適切な制御出力または回路出力５０６を介して複数の光源５０３の各１つのＭＲ可視性を制御する。これは、例えば、限定されないが、および特定のＬＥＤに供給される電圧を高および低に切り替えることによって行われ得、３）オペレーターによって選択されると、ＭＲデータ収集のセッションを開始するために、ＴＴＬパルスなどのトリガーパルス（ｔｒｉｇｇｅｒｉｎｇ ｐｕｌｓｅ）をＭＲスキャナーに送信し、４）オペレーターによって選択されると、ＭＲデータ収集のセッションの終了を信号で送るＭＲスキャナーから、ＴＴＬパルスなどのトリガーパルスを受信し、それによってユニットは、次のサイクルに進む。

本実施形態の別の態様によると、および図５Ｃ−５Ｈを参照すると、複数のマーカーは、ロボットまたはツールの構造上に適切に分配されて、異なる起動された部分の動作をトラッキングおよびビジュアル化する。例として、および図５Ｃを参照すると、関節ロボットまたはツールに関して、各々の回転関節または直動関節のために、２つのそのようなマーカーが、関節の各側面上、または関節リンクの各１つの上に１つ必要とされる。図５Ｃに示される例では、３つのリンク５２５ａ−ｃ、互いに直交する２つの回転関節５２６ａ−ｂ、および介入ツールを支持する１つの直動関節５２７から成る起動された関節型マニピュレーターとともに、４つのマーカー５２８ａ−ｄが配置される。図５Ｃおよび５Ｄを参照すると、関節５２６ａが起動されるときに、この関節のまわりの角形成（ａｎｇｕｌａｔｉｏｎ）をモニタリングして、点線５２９ａと５２９ｂとの間の角度を計算するために、マーカー５２８ａおよび５２８ｂのみがビジュアル化される必要がある。図５Ｅおよび図５Ｆを参照すると、関節５２６ｂが起動されるときに、この回転をモニタリングして、破線５３０ａとび５３０ｂとの間の角度を計算するために、２つのマーカー５２８ｂおよび５２８ｃのみが必要とされる。同様に、ツールが直動関節５２７によって拡張されるときに、２つの関節５２８ｄおよび５２８ｃのみが必要とされる。マーカーの適切な配置および選択により、限られた数のマーカーだけが使用される必要があり、それによって、取得の速度が増し、それ故、ロボットまたはツールの起動された部分をトラッキングする速度が増すために、本例は本実施形態の価値をさらに強調している。

図５Ｈを参照する別の例は、スネーク様のロボットなどの湾曲したツールの例であり、これは、マーカーの点をスプライン関数と適合させることによる例として、限られた数のマーカー５２９ａ−ｄによってトラッキングされ得、およびマーカーの空間の位置で（ｔｈｅ ｐｏｓｉｔｉｏｎ ｉｎ ｐｓｐａｃｅ ｏｆ）、ツールの形状が再構成され得る。
この場合に、マーカーの各１つは、連続してビジュアル化され、湾曲したツールの部分のみが起動されると、ツールのこの部分上のマーカーのみが、トラッキングをさらに促進してトラッキングされる必要がある。

本実施形態の別の好ましい態様では、複数のマーカーの限られた数のみが、ユニット５０５の制御を介して選択的にＭＲ可視性であり、これらのマーカーは、限定されない例として、ロボットまたはツールの一部分のみが、例えば、図５Ｃ−５Ｇのシーケンスで示されるように起動されるときに、ロボットまたはツールの特定の部分のみをトラッキングするように選択される。それ故、ロボット制御を実行するマイクロコントローラーユニット（５０５）または処理ユニットは、例として、以下の態様およびプロセスを伴う図５Ｉで示される構造を有し得る適切なコードを実行する：１）ロボット動作の工程のために、（いわゆるＪ（ｓａｙ Ｊ））、ロボット姿勢５３２（即ち、ＭＲスキャナーに対するその関節およびリンクの座標）および順運動学（ｆｏｒｗａｒｄ ｋｉｎｅｍａｔｉｃｓ）５３３（即ち、コマンドが実行された後のＭＲスキャナーに対するその関節およびリンクの座標）は、入力として使用され、２）ロボットまたはツールの起動した部分をビジュアル化するために、これらの情報を分析し、どのマーカーがトラッキングされる必要があるかを選択する、プロセス工程５３４、３）光源５０３に対する制御信号５０６およびＭＲスキャナーに対する制御信号５０７を決定する、プロセス工程５３５。

プロセス工程５３５は、プロセス５３４によって選択されたマーカーを介するトラッキングをループさせる（ｌｏｏｐ）させるために、および対応するＲＦコイルを調整／離調するために、以下に記載されるコード構成を有し得る。
機能コイルの定義（Ｄｅｆｉｎｅ Ｆｕｎｃｔｉｏｎ ＣＯＩＬ）（Ｊ、Ｋ）
Ｊ＝コイルの１から最大（Ｍａｘｉｍｕｎ）＃
Ｋ＝０ 離調された
Ｋ＝１ 調整された

各コイルはフラグを有する 選択されるとＣＦ（ｋ）：ＣＦ（ｋ）＝１
ＳＥＮＴ ＴＴＬに対して１つのフラグ
ＲＥＣＥＩＶＥ ＴＴＬに対して１つのフラグ
ＰＲＥＰＡＲＥを押した（ｐｒｅｓｓｉｎｇ）後
ＮＣＯＩＬＳ＝−ｓｕｍ｛ＣＦ（ｋ）｝と計算
設定スクリーンのアップデート

ＷＨＩＬＥ文（ＳＴＯＰが押されるまで）
ＦＯＲ Ｊ ＴＯ ＮＣＯＩＬＳ
調整するＣＯＩＬ（Ｊ、１）＃セットコイルＪ
離調するＣＯＩＬ（Ｌ、０）＃セットコイルＬ＜＞Ｊ
遅延（Ｄｅｌａｙ）（Ｄ１）
ＳＥＮＴ ＴＴＬフラグ＝ＹＥＳであると、ＴＴＬをＭＲＩに送信
ＲＥＣＥＩＶＥ ＴＴＬフラ＝ＹＥＳであると、ＭＲＩからＴＴＬを受信する
ＡＬＬコイルをデフォルトに設定する（例えば、デフォルトが調整されるとその後：Ｆｏｒ ｍ ＴＯ ＭＡＸＣＯＩＬＳ ＣＯＩＬ（Ｍ，１））
遅延（Ｄ１）
ＮＥＸＴ Ｊ
ＥＮＤ ＷＨＩＬＥ

図５Ｊは、時系列制御、および４つのマーカーを使用するロボットのマルチコイルトラッキングのための事象を描写する。本例では、時系列は、連続したラッキングコイル１、３および４のために生成されるが、一方でコイル２はＭＲ可視性ではない。図５Ｊは、時系列を描写し、これは、コイルステータス５４０、図５Ａにおいて制御信号５０７と同等な、ＭＲＩスキャナー５４１に対するトランジスタートランジスター論理（ＴＴＬ）パルス、図５Ａにおいて制御信号５０８と同等な、ＭＲＩ５４２からのＴＴＬ、およびＴＴＬパルス間で生じる、ＭＲのデータ収集、画像化または投影５４３の事象を示している。

さらに、本実施形態によると、図５Ｉを参照して上に記載されるように、上に記載されたマーカーの制御は、自動化され得るか、またはグラフィカルユーザーインターフェース（ＧＵＩ）を介してオペレーターによって手動で設定され得る。処置が自動化されるときに、マーカー制御の時系列（即ち、そのマーカーはＭＲ可視性である）は、持続時間および順序がどうであれ、ロボットの制御ソフトウェアによってオンザフライを変化させることができる。時系列がオペレーターによって設定されるときに、ＧＵＩは、マウスなどの、標準的なグラフィカルおよびヒューマンインターフェース装置によって：１）どのマーカーがＭＲ可視性となるか、２）どの順序でマーカーがＭＲ可視性／非可視性に切り替えられる（即ち、調整される／離調される）か、３）システムが折衷的に（ｅｃｌｅｃｔｉｃａｌｌｙ）／電子的に定着する（ｓｅｔｔｌｅ）のに必要なあらゆる遅延、４）ＭＲデータ取得を開始するためにＴＴＬトリガーがＭＲスキャナーに送信されるかどうか、５）次のＲＦコイルの調整（またはＭＲ可視性）を引き起こすためにＴＴＬトリガーがＭＲスキャナーから受信されるかどうか、および６）シーケンスの繰り返しの数または代替的にＳＴＯＰボタンによる手動停止の選択、を予め設定することが可能である。ＧＵＩは、予め設定された時系列の遂行を開始するためのＲＵＮボタンをさらに有し得る。

図５Ｋは、ＡＬＬコイル６１０の選択的な離調、ＡＬＬコイル６２０の調整、連続した調整コイル１ ６３０、１ ６３５、２ ６４０、３ ６４５、４ ６５０、１＋４ ６５５、２＋４ ６６０を示す４つのマーカーの設定に対する結果を示す。図５Ｌは、画像化平面によって定義された２つの軸に対する、ＭＲスキャナー座標系におけるマーカーの座標の抽出を例証する、拡大された透視のマーカー３を示し、これは、ＳＩ投影の生成およびコイルに対応する信号ピークのおよび特定を伴う。低いフリップ角が画像化に使用されるこれらの場合において、バックグラウンドの信号は、閾値化によってさらに除去され得る。

一般に、１つを超えるマーカーが使用されるときに、どのピークがどのマーカーに対応するかを特定することは簡単ではない。したがって、図５Ｂで描写されるスキームは、マーカーをＭＲ識別可能にするために、および数多くの取得および後処理を避けるために使用される。これによってマーカーは、トラッキングされるときに、調整によって選択的にオンに切り替えられ、別のマーカーがトラッキングされるときに、離調によってオフに切り替えられる。方法は、計算コアのデータスケジューリング（Ｄａｔａ Ｓｃｈｅｄｕｌｉｎｇ）のモジュールによって制御されたフォトダイオードおよび光ファイバーを利用する。誘導的に連結されたコイルが、低励振パルス（例えば、図５Ａにおいて１−２°）によって作動し、その結果、測定可能であった場合、周囲の組織が最小限に励起されて、あらゆる不要なバックグラウンド信号が除去されることに留意されたい。

別の態様では、ロボットを検出するための方法が提供される。基準マーカーの方法は、本明細書に記載されるように、ロボットの速い再構成Ｒ_ＦＭ（ｔ）を提供することができるが、３Ｄでロボット装置全体を検出するために、本明細書で多重投影の画像化（ｍｕｌｔｉｐｌｅ ｐｒｏｊｅｃｔｉｏｎ ｉｍａｇｉｎｇ）（ＭＰＩ）と呼ばれるＭＲパルスシーケンスが使用される。該手法によって、図３Ａで概略的に描写されるように、スキャナー座標系の主平面上に厚いスラブの２Ｄ投影、ＰＲ_ＸＹ（ｔ）、ＰＲ_ＹＺ（ｔ）およびＰＲ_ＺＸ（ｔ）が収集され、それによって（ｗｈｅｒｅｕｐｏｎ）、対象は逆投影により再構成され得る。

図６Ａは、球状ファントムに付けられた、Ｇｄ造影剤で充填した、チューブの画像化の結果を示す。Ｔ１強調のＭＰＩは、１７０ｍｓの速度で２つの投影ＰＲ_ＸＹ（ｔ）およびＰＲ_ＺＹ（ｔ）を収集した。新しい再構成アルゴリズムを使用して、チューブは、標準的なマルチスライスＭＲＩから生成されたものとの優れた適合を有して、３Ｄで正確に再構成された。図６Ｂは、４９ｍｓ／投影のより速い速度で収集された類似した再構成を示す。両方の場合において、２つの直角投影のみが収集されたが、第３のもの（ｔｈｉｒｄ）も、再構成を向上させるために加えられ得る。そのときに、ＭＰＩ再構成された対象からバーチャルロボットＲ_ＰＲ（ｔ）を生成することは容易である。

ロボットのみがＭＲ画像において可視性であるときに、ＭＲＩの理想的な操作が達成される。これには、例えば、図４Ａでのように、ロボット中のチャネルをガドリニウム造影剤で充填し、及び／又はチャネルをコイルで取り囲むことによって、バックグラウンド組織の信号を除去することが必要である。また、ロボットの正確な再構成のために、どれだけのＭＰＩ投影（およびどれくらいの頻度でそれらが収集されること）が十分であるかが決定されなければならない。基準マーカーは、ロボットの第一近似を提供するため、わずか１つまたは２つの２Ｄ投影だけを収集するので十分かもしれない。さらに、Ｒ_ＦＭ（ｔ）およびＲ_ＰＲ（ｔ）の精度に対する及びそれら両方を組み合わせることによって生成された複合体Ｒ（ｔ）に対する、基準マーカーおよびＭＰＩスケジューリングの効果が測定されるべきである。

この好ましい実施形態のさらに別の態様では、エンドエフェクタを搭載した局所領域のバイオセンシングのための方法が提供される。これによって、オペレーターは、手順の間に組織を局所的に問い合わせることができる。オペレーターは、組織を特徴づけることができる、例えば、悪性対良性を識別する、及び／又は腫瘍境界をより好適に定義する。また、オペレーターは、その表面の後ろの組織、即ち、可視光の内視鏡によりアクセス可能な境界を評価することができる。さらに、オペレーターは、局所領域のデータをロボットの座標系に、即ち、ＭＲスキャナーの座標系に空間的に重ね合わせることができる。

例えば、図７Ａで示されるように、エンドエフェクタは、局所化された高感度ＭＲスペクトロスコピーまたは高解像度ＭＲＩのためのＲＦコイルを支持し、光誘起された蛍光（ＬＩＦ）のための光センサーを支持し、およびＵＳセンサーを支持する。図７Ｂ−７Ｃは、局所領域のＭＲＳの収集および登録のための小型の１．１ｍｍ Ｔｘ／ＲｘのＲＦコイルを有するトランス針プローブ（ｔｒａｎｓ−ｎｅｅｄｌｅ ｐｒｏｂｅ）を支持する、プロトタイプのＭＲ適合性のロボットスキャナー、および放出のための２つの３００ミクロンの光ファイバーおよび受信のための１つの３００ミクロンの光ファイバーを有する内視鏡のＬＩＦセンサーを描写する。ＬＩＦおよびＭＲＳの自動化のインターリーブされた収集を管理するマイクロプロセッサーベースの制御を使用して、このロボットとともに走査が行われた。図７Ｄおよび７Ｅで示されるように、光データおよびＭＲＳデータは、３つの区画ファントム（ｃｏｍｐａｒｔｍｅｎｔ ｐｈａｎｔｏｍｓ）において化学薬品および代謝物の空間的分布に一致した。

これらのバイオセンシングの方法が、ＲＦコイル、例えば、Ｒｘ、またはＴｘ／Ｒｘを必要とし、その中で、その感知領域（ｓｅｎｓｉｔｉｖｅ ａｒｅａ）は、エンドエフェクタの走査を提供することが熟考される。パルスシーケンスは、検出の感知地域を減少させるために、外体積の抑制による変更を必要とし得る。また、ＡラインまたはＭ−モードの画像化などのために構成された、走査の間にＬＩＦプローブを進行させるための機械的アセンブリおよび超音波プローブ、およびプローブを±９０°回転させることで、画像化されたセクターの配向の選択を可能にするための手段が必要とされる。さらに、重ね合わせられたデータを融合させて、それらをＨＩＭＩを介してオペレーターに提示するためのアルゴリズムが必要とされる。図８は、ロボット制御およびスキャナー制御によるバイオセンシング間の相互接続を例証する。ロボット制御およびＭＲスキャナーのオンザフライ制御は、示される時点でスキームに組み込まれ得る。

さらに別の態様では、制御、画像化スキャナーおよびオペレーターを連結するための方法が提供される。アルゴリズムは、基準マーカーのトラッキングおよびＭＰＩのインターリーブされた取得を可能にし、その結果、Ｒ（ｔ）の生成において、一方が他方を補足する。最先端技術のＭＲスキャナーが、それらの外部制御をオンザフライで提供し、撮像面またはコントラスト機構の選択を提供するため、どの特定のパルスシーケンスが使用されるかをオンザフライで選択するように構成されているソフトウェアモジュールが必要とされる。これは、限られた数の実際のサンプルからの、動的な３Ｄ対象、例えばロボットの正確な生成を可能にする、インテリジェントな適応制御である。

アルゴリズムはまた、ＭＲスキャナーに対するマルチモーダルデータの重ね合わせのために構成される。局所領域センサーは、エンドエフェクタの座標系｛ＥＥ_ｎ｝上の既知位置にあり、エンドエフェクタ位置は、２つの最遠位のＲＦマーカー、Ａ１およびＡ２（図３Ａおよび７Ａ）によってトラッキングされ、その後、局所領域センサーのソース／検出器の位置は、変換マトリックスＴ^Ａ（ｔ）を介してＭＲ座標系｛ＭＲ_ｎ｝に登録され得る。エンドエフェクタ座標系およびマトリックスＴ^Ａ（ｔ）は、ロボットが移動するにつれ時間とともに変化する。

さらに別の実施形態では、処置の領域（ＡｏＰ）の画像ベースのバーチャルモデルが提供される。代替的に、処置の領域及び／又はロボットのビジュアル化は、撮像、バーチャルリアリティーシーン、向上したリアリティーシーンなど、あるいは任意の重ね合わせまたはそれらの組み合わせとして実施され得る。本明細書で提供されるように、ロボット制御およびＨＩＭＩ、即ち、ビジュアル／ＦＦＩのためのＡｏＰのオンザフライモデルは、継続的にアップデートされる。このモデルは、リアルタイムのＭＲデータに基づいており、入口地点から標的までのバーチャルな４Ｄ通路である、動的なガイダンス導管の形態で、ロボットＲ（ｔ）と周囲環境を融合させ、その中でロボットは、不可欠な構造または健康組織と衝突することなく及びそれを傷つけることなく、安全に操縦することができる。高いオンザフライ更新率を達成するために、適切なＭＲデータが、収集されて、マルチスレッドのマルチコアプロセシングアーキテクチャによって処理されると、ＡｏＰのモデルの異なる時空間的な態様が継続的にアップデートされる。例えば、図９Ａ−９Ｂは、弁形成（ｖａｌｖｕｌｏｐａｓｔｉｅｓ）のために左心室（ＬＶ）を横断する、肺尖を超える（ｔｒａｎｓ−ａｐｉｃａｌ）アクセスを介する心臓内の処置のために、およびシミュレートされたバーチャルなスネーク様のロボットが含まれる心外膜アクセスを介する心臓の処置のために、４９ｍｓ／画像でリアルタイムのＭＲＩ画像からガイダンス導管を生成することに起因する結果を例証する。

記載されるように、ロボットは、速いがそれほど頻繁ではないその全長の３Ｄ画像化によって補足された、限られた数の基準マーカーから検出およびトラッキングされる。同様に、ＭＲは、協力的なトラッカーアルゴリズム（ｔｒａｃｋｅｒｓ ａｌｇｏｒｉｔｈｍ）に基づいてＭＲ画像から、およびＭＲ １Ｄ投影から、限られた数の点または境界点からの周囲の組織の動作をトラッキングために使用され得る。「境界点」は、ＦＦＩを介して、即ち、オペレーターに「専門家の」助言を提供して、ロボットの制御に対する入力の制約およびループ中の人間の制御に対する入力の制約の両方として利用される、動的なガイダンス導管を生成するために使用される。

この好ましい実施形態の１つの態様では、協力的なトラッカーアルゴリズムを利用して、境界点から周囲の組織の動作をトラッキングするための方法が提供される。境界点は、速い解剖学的画像から抽出され、その配向は、を含めるのに大急ぎで、特定のランドマークをトラッキングすることによってロボットおよび対象の周囲の組織を含むために、自動的にオンザフライでアップデートされる。協力的な粒子フィルタートラッカー（ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ−ｔｒａｃｋｅｒｓ）のベイジアンネットワークに基づいて、このアルゴリズムは、突発的動作または形態の著しい変化に遭遇したときでさえ、ランドマークをトラッキングすることができる。例えば、アルゴリズムは、標準的なコンピューター上の２５−４０ｆｐｓの処理速度によって、ＬＶの、前頂（ａｐｅｘ）、中線、および大動脈弁の輪の基部をトラッキングすることができる。とりわけ、ランドマークのトラッキングのために、粒子フィルタリングに基づく協力的なトラッカーの方法は、非常に効率的に予測アップデートループ（ｐｒｅｄｉｃｔ−ｕｐｄａｔｅ ｌｏｏｐ）に適応することができる、強いモデリングのない、最適化されたトラッキング機構である。外科的処置、特に、心臓または腹部で生じる、取り組むために、突発的動作または大きな外観変更に対する単一粒子フィルタートラッカーの不安定性に対処するために、複数のパーティクルフィルタートラッカーを調整する協力的なトラッキングフレームワーク、および各時間工程で、どのトラッカーが失敗し、どのトラッカーが残ったかを決めるためのベイジアンネットワークの方法を含むプロセスが使用された。アルゴリズムは、マルチスレッドの計算コアへと統合される。協力的なトラッカーの方法およびアルゴリズムは、異なる外科的モデルに関係するリアルタイムの画像上で外科医によって選択されたランドマークをトラッキングするために利用され得、互いに傾斜したＭＲスライスのセットからの領域の３Ｄトラッキングに適応することができる。

別の態様では、ＭＲ画像の代わりに磁気共鳴投影を利用して、境界点からの周囲の組織の動作をトラッキングするための方法が提供される。ＭＲは、図１０Ａで例証される、ナビゲーターエコーで行われるように、カラムセットから、例えば、限定されないが、傾斜してまたは垂直に、ロボットの過渡位置まで、１Ｄ ＳＩ信号などの信号を選択且つ取得することを可能にする。該方法では、実質的に任意の位置、サイズおよび配置のカラムが選択され得る。図１０Ｂで示されるように、選択されたＭＲパルスシーケンスを使用して、９０°のパルスは平面を選択するが、一方で１８０°のパルスは、カラムに属するスピンのみに集中する。その後、読み出し傾斜の存在下で、投影は、４−５ｍｓ／投影の速度を達成するカラムの軸に沿って生成される。

これらの方法を利用する際に、より広域なバンドが、信号対雑音比（ＳＮＲ）を増加させるが、より多くの組織が平均化されることで解像度を低下させるために、ＳＮＲに対するカラム幅の効果および境界点を抽出する精度が考慮されなければならない。また、組織の動的モデルの精度に関するカラム／投影の数および位置が考慮されなければならない。該方法はまた、対象のランドマークを特定するための及びそれらの過渡位置を計算するためのＳＩ処理アルゴリズムを必要とする。

代替的に、図１０Ｃに例証されたようなパルスシーケンスは、シーケンスの同じ繰り返しで、即ち、１回の繰り返し時間ＴＲで、共通のスライスを共有するすべてのカラムから投影を収集するために使用され得、それ故、データ取得の速度がさらに増す。一連のＮ ９０°のパルスは、Ｎ斜面を励起し、共通の１８０°のパルスは、Ｎエコーを生成するカラムのすべてに再び焦点を合わせる。異なるカラムからの一連のエコーを達成するために、エコーの逆順序およびすべての軸に沿った傾斜の平衡を保つための要件が必要とされる。これらの方法は、協力的なトラッカーのための画像を収集するよりもはるかに速いが、対象のランドマークと明確に関係するＳＩ特徴を投影が示す場合にのみ使用され得る。限定しない例において、該方法は、心臓の画像化に適用可能である。

さらに別の態様では、限られた数の境界点から動的なガイダンス導管を生成するための方法が提供される。４Ｄのガイダンス導管を生成することによって、最大の潜在的なリフレッシュレート（ｒｅｆｒｅｓｈｉｎｇ ｒａｔｅｓ）で、ロボットの経路全体に沿った組織の広域を包含することが可能となる。これを達成するために、並列アルゴリズムが利用され、これは、我々の前述の準備作業後に拡張される。組織の領域の動作をモニタリングするために使用される組織の領域の初期の手動調剤の後に、並列アルゴリズムは、リアルタイムで以下を実行することができる：
１．境界点を抽出する。
用語「限定された（ｌｉｍｉｔｅｄ）」は、ほんの少数のトレース可能な点が、あらゆる例で実際に利用可能であることを示すために使用される。これらの点は、本明細書に記載されるように、協力的なトラッカーまたはＭＲ投影からの境界点を利用する１つのまたは両方の方法からオンザフライで生成される。
２．補間点の数が各曲線（ｃｕｒｖｅ）上で変わらないように境界点上にスプラインを適合させることによる、動的制御の曲線の生成。境界点が動的であると、組織の自然な動作、またはその変位（ｄｉｓｐｌａｃｅｍｅｎｔ）に密着して、動的制御の曲線はこの特性を引き継ぐ。
３．境界から補間点を接続することによって動的なガイダンス導管（図１０Ａ−１０Ｂ）を生成して、粗メッシュ（ｃｏａｒｓｅ ｍｅｓｈ）を形成し、さらに、標的に対するロボットの安全な自動化または手動の操縦のための許容空間である、精錬されたメッシュを形成するように処理される。
４．本明細書に記載されるような、ＭＲトラッキングからオンザフライで計算されたロボットモデルのアップデート、および図８に描写されるような、動的なガイダンス導管との融合。

さらに別の実施形態では、ロボット制御およびＨＩＭＩのためのバーチャルエンティティを生成するための方法が提供される。該方法は、標的とされる解剖学的構造、例えば、大動脈に対する入口または前頂の部位からのコンピューターで生成した４Ｄ管状構造である、動的アクセスのコリドーを生成し、その中で、介入ツールは、不可欠な構造または健康組織に衝突することなく、およびそれを傷つけることなく、安全に操作され得る。該方法はまた、動的なガイダンス軌道を生成し、それに沿って、ツールは、標的に安全且つ正確に達するように並べられるべきである。

例えば、経カテーテルの大動脈弁インプラント（ｔｒａｎｓｃａｔｈｅｔｅｒ ａｏｒｔｉｃ ｖａｌｖｅ ｉｍｐｌａｎｔ）（ＴＡＶＩ）のパラダイムにおいて、動的モデルの生成には、ロボットが、ＬＶ、例えば、心内膜、僧帽弁尖または乳頭筋における構造を傷つけず、大動脈の輪の先端入口から標的中心までエンドエフェクタを誘導することが必要とされる。これらの動的モデルは、安全性および精度のためのロボットの制御、および力フィードバックのインターフェーシングを介する、即ち、オペレーターに「専門家の」助言を提供する、ループ中の人間の制御の両方を抑制するために使用される。

別の好ましい実施形態によると、処置の間の改善されたセンシングに対するオンザフライでのＭＲスキャナーの制御のためのソフトウェアモジュールがある。それは、取得パラメーターをオンザフライで変化させるための現在の臨床的なＭＲスキャナーの性能を使用し、この例は、以前にＭＲ誘導の血管の介入において［８］、および改善された及び直観的なループ中の人間の制御のためのロボットと撮像面の時空間的な一致に対するロボットおよびＭＲスキャナーの最初の統合を記載した、Ｃｈｒｉｓｔｏｆｏｒｏｕ ｅｔ ａｌによって［９］、示されている。このモジュールの操作は、事象が引き起こした反応である：処置の間に生じる事象は、続いて収集されるＭＲデータのタイプを決定する。図１１Ａは、３つのプロセスによる提案されたモジュールを示す。
１．アクセスコリドーの幅または標的患部のサイズの持続した減少などの、変化の測定を計算するための、処置ＡｏＰ（ｔ）の画像が生成された動的モデル領域などの組織、およびロボットのＲｏｂｏｔＳｔａｔｅ（ｔ）の運動学的ステータスなどのロボットに関係のある、プロセスデータ。
２．単純な条件付きのアルゴリズム法を使用して又は人工知能／機械学習アルゴリズムを使用して、上記の変化を、値域の形態の基準のリストと比較することによって引き起こす事象を特定する。
３．データベースから応答を選択し、新しい取得戦略、即ち、収集されるＭＲデータのタイプおよび周波数（ＭＲＡｃｑ（ｔ））を決定し、およびそれを、例として限定されないが、専用のＴＣＰ／ＩＰを介して、ＭＲスキャナーに送信する。

図１１Ｂは、標的とされた患部（卵型）がツールの進行が原因で平面から出て移動する仮想症例のためのモジュールの操作の一例を例証する。本例では、患部が、自然現象が原因でサイズが変わることがないことが推定される（例えば、鼓動する心臓のＬＶ）。これは、以前のサイズに対する、投影カラム（ＣＯＬＵＭＮ１）の信号プロファイル上のその幅の減少を引き起こし、幾らかの繰り返しが持続された。このような変化によって、モジュールは、ＣＯＬＵＭＮ２を以前のものに対して直交するように整える（ｏｒｄｅｒ）。モジュールは、ＣＯＬＵＭＮ２のプロファイルから、患部が再配置されたと特定するときに、ＣＯＬＵＭＮ３およびインターリーブされたスライスのスライス（ＩＮＴＥＲＬ２）の両方の中心をアップデートする新しいＭＲＡｃｑ（ｔ）に、患部の新しい位置と一致するように命令する。事象および応答のこのような事例の幾つかは、以下の通りである：（ｉ）アクセスコリドーの持続した現象が心臓の収縮の間に観察されると、この領域においてＣＯＬＵＭＮの収集頻度を増加させるはずであり、（ｉｉ）ツールの遠位先端部が標的に達すると、（ツールに対する標的の軸のまわりの）放射パターンを収集し、ＭＡＲＫの周波数を増加させ、および（ｉｉｉ）ＳＮＲは、減少されると、ＣＯＬＵＭＮの幅を広げる。事象の包括的なリストは、基準および応答を含んで集められ得る。さらに、事象のカリブレイション（ｅｖｅｎｔ ｃａｌｉｂｒａｔｉｏｎ）が組み込まれる（即ち、どの程度の事象が何の反応を引き起こすか）。事象はまた、モジュールのアルゴリズムを向上させるために、重要度の順番に分類され得る。

さらに別の好ましい実施形態では、特定の組織境界の動作をモニタリングするために戦略的に配置される複数の投影による組織の動的トラッキングが提供される。例えば、図１２Ａおよび図１２Ｂは、それぞれ、ＬＶの心内膜および血管のための動的トラッキングを例証する。一態様では、図１２Ｃで示されるように、画像化シーケンスが選択され、コントラスト差を生成するために、パラメーターが設定される。このコントラストは、外因性の造影剤の8注入によって生成され得る。点ＡＪ、ＢＪ、およびＤＪは、線ＬＪおよびＬＪ＋１で示される、投影から抽出され、これらはその後、対象の組織境界を生成するために組み合わせられる。別の態様では、図１２Ｄで示されるように、「飽和バンド（ｓａｔｕｒａｔｉｏｎ ｂａｎｄ）」などの、特別な磁化準備が、投影信号の形態を単純化するために、収集された投影の長さを制限するように適用され得る。

例えば、図１３Ａおよび図１３Ｂは、投影のための利用可能なＳＮＲおよびコントラスト差に対する事前解析を例証する。特に、オリジナルの動的ＭＲ画像は、投影線、および信号が統合される領域の幅を示す。信号のグラフは、ＬＶおよび心筋に相当する２つの深みの左／右（ｄｅｅｐｓ ｌｅｆｔ／ｒｉｇｈｔ）を例証する。

ロボット手術の制御のための方法が、図１４に描写される。２Ｄのマルチスライスのマルチ配向のＳｃｏｕｔ画像化／ＣＩＮＥ１４００に関して、手動の構成要素１４１０および自動化した構成要素１４２０がある。まず、手動で、平面１４１４、投影軸１４１２、および投影幅１４１３が、後に１４１５でグループ化される３Ｄ投影カラムの選択と同時に選択される。それから、自動化を使用して、ＭＲパラメーターが計算される１４２１（即ち、パルス傾斜１４２１ａおよび傾斜強度１４２１ｂ）。その後続いて、ＭＲ取得パラメーターがアップデートされ１４２２、投影の動的取得が実行され１４２３、投影が分析され１４２４、および動的組織モデルが生成される１４２５。これらの工程の後、動的コリドーおよび軌道１４２６ａが、動的力覚（ｄｙｎａｍｉｃ ｈａｐｔｉｃ ｒｅｎｄｅｒｉｎｇ）１４２６ｂとともに計算され、結果的に、それぞれ、ロボット制御１４２７ａおよび力覚装置制御１４２７ｂにつながり、両方の計算１４２７ａ、ｂから、拡張現実感１４２８がもたらされる。

また、この好ましい実施形態では、図１５Ａおよび図１５Ｂは、任意のカラム、および投影カラムの任意の配向が、それぞれ、共通のスラブに基づいていない及び基づいた投影カラムを選択するために、どのように利用され得るかを示す。例えば、図１５Ａは、共通のスラブがないときのカラムの任意の選択を例証する。共通のスラブがあるときには、任意のカラムが利用される。図１５Ｂは、従来のスピンエコーに基づくパルスシーケンスが、エンコート傾斜を除去することによって変更され得、それ故、励起を配することができ、投影カラムの選択を可能にするパルス選択の傾斜およびＲＦ送信周波数に再び焦点を当てる（１８０）。

特に、図１６Ａは、軸Ｙで共通のスライスから構成される２つの投影カラムの選択を例証する。周波数は、以下のパルスシーケンスに関係するＲＦパルス送信周波数に相当する。２つの投影カラムは、３つのスライス／スラブの共通の空間である。主スライスに対する任意の配向である３つの投影の選択は、図１６Ｂに示される。３つの投影は、異なる配向で組織をモニタリングするのに有用である。

この好ましい実施形態では、図１７Ａ乃至図１７Ｅは、タイプＩのマルチ投影のパルスシーケンスおよびその傾斜バランスを例証する。図１７Ａで示されるように、このシーケンスは、以下のための３つのユニットを有する：１）スライスリフォーカス（ｓｌｉｃｅ ｒｅｆｏｃｕｓｉｎｇ）によるマルチスライス選択（Ｘ軸）、２）共通のスライスの選択による反転パルスのリフォーカス（Ｙ軸）、および３）ＥＰＩのような、複数の読み出し列。傾斜は、傾斜の適用にためにＸ軸およびＺ軸に沿って平衡を保たれる。図１７Ｂ乃至図１７Ｅは、タイプＩのパルスシーケンスに対する傾斜の平衡を、絵を用いて示す。シーケンスは、同じ共通のスライス上に複数の領域を含むように拡張され得る。各スライス選択が、以下を対象とする、それ自体の独立した信号を生成することに留意することは重要である：ａ）後に適用される任意の傾斜、ｂ）反転パルス、およびｃ）読み出し傾斜。また、図１８Ａ乃至図１８Ｅは、タイプＩＩのマルチ投影のパルスシーケンスおよびその傾斜バランスを例証する。図１８Ａで示されるように、タイプＩＩのパルスシーケンスは、マルチスライス選択が、Ｘ軸上にスライスリフォーカスを有さない点で、タイプＩとは異なる。図１８Ｂ乃至図１８Ｅは、タイプＩＩのパルスシーケンスに対する傾斜の平衡を例証する。代替的に、図１８Ｆは、タイプＩＩのマルチ投影のパルスシーケンスを例証し、この中で、第１ユニットは、１）シングルスライス選択（Ｘ軸）および２）一列の反転パルスによるマルチスライス選択（Ｙ軸）を利用することによって、図１８Ａにおけるユニット１および２とは異なる。

加えて、図１９は、タイプＩＩＩのマルチ投影のパルスシーケンスを例証する。パルスシーケンスは、高充填化された投影の集まりに関して描写されている（３つのみが示される）。このシーケンスは、Ｔｕｒｂｏ Ｓｐｉｎ Ｅｃｈｏ様であり得る。

さらに別の好ましい実施形態では、ボリューム投影（ｖｏｌｕｍｅ ｐｒｏｊｅｃｔｉｏｎｓ）による高速動的３Ｄ画像化が提供される。例えば、デュアル投影ＭＲＩ取得が利用され得る。３Ｄ再構成の生成には、２つの独立しているが相互に関係のあるプロセスを伴う。１つは、適切な投影の取得であり、もう１つは、３Ｄボリュームでの構造の再構成である。固有の「真の３Ｄ（ｔｒｕｅ−３Ｄ）」の性能に由来して、ＭＲＩは、データの収集およびその投影からの画像化された構造の３Ｄ再構成の促進に一定の利点をもたらす。第一に、投影は、２つの投影間の変換の必要性を取り除く共通の軸を共有するように設定され得る。さらに、２つの投影上の空間符号化の固有の重ね合わせは、軸の割り当て（ａｓｓｉｇｎｍｅｎｔ ｏｆ ａｘｅｓ）および直通でのマッチング（ｍａｔｃｈｉｎｇ ｓｔｒａｉｇｈｔｆｏｒｗａｒｄ）を行う。第二に、画像化されたボリュームの配向は、より好適に解消する（ｒｅｓｏｌｖｅ）ために使用され得る構造に対する任意の配向に設定され得、再構成アルゴリズムの負荷を減少させる。第三に、投影面間の角度は、直交に限定されず、任意の所望の値に調整され得るか、そうでなければ、事前設定され得る。第四に、２つを超える平面が、複雑な又はかなり曲がった構造を解消するために使用され得る。

特定の態様では、２つの直角投影に基づいた取得スキームが利用され得る。デュアルエコーＤＰＩ Ｔｙｐｅ Ｉに対して、これは達成され、図２０Ａ−図２０Ｂで示されるように、２つの投影は、同じ位相エンコード工程および軸を共有する。各位相エンコード工程（軸Ｙ）に関して、各投影に対して１つ、２つのエコーが収集され、読み出し傾斜は、従来の「スライス選択」（軸Ｘ）および「周波数エンコード」の方向（軸Ｚ）に沿って適用される。スピンが第２エコーの前のｋ空間の起点にあることを確かなものとするために、読み出しディフェージング傾斜（ｒｅａｄ−ｏｕｔ ｄｅｐｈａｓｉｎｇ ｇｒａｄｉｅｎｔ）は、第１エコーの読み出し軸に沿って繰り返される。図２０Ｃ−図２０Ｄで示される、シングルエコーＤＰＩ Ｔｙｐｅ ＩＩは、２つの（またはそれ以上の）投影を独立して同時に収集する。

２つの投影からの三次元再構成は、デュアル平面の蛍光透視法からの血管の再構成に使用される、よく研究された問題である。一般的な場合において、透視画像化では、２つの投影は互いに直交しておらず、対応するＦＯＶの中心は同一ではない。これらの場合では、一連の変換が、２つの投影を参照の共通の座標系に重ね合わせるために適用される。続いて、構造は、例えば、スプラインを使用して、抽出され、再構成される。

ＭＲＩにより、２つの投影は、既に固有に重ね合わせられ、記載されるパルスシーケンスにより、ＦＯＶの中心およびサイズは、同一に設定される。２つの投影のＦＯＶの固有の重ね合わせおよび同時発生は、結果として単純な幾何学的問題をもたらす。第１投影は、共通の位相軸（Ｙ）および第１周波数エンコード軸（Ｚ）に沿った画像化された構造の空間的情報を含んでいる。第２投影は、共通の位相エンコード軸（Ｙ）および第２周波数軸（Ｘ）上に画像化された対象の空間的情報を含んでいる。それ故、２つの投影は、共通の位相エンコード方向に沿って一致される。この特性から、再構成の方策が考案され得る。ＳＩが０より大きい各空間位置Ｙに関して、両方ともＳＩが０より大きい、ＸおよびＹの空間位置を特定する。これは、結果的にオリジナルの構造となる。このプロセスに幾何学的に等価なのは、３Ｄ空間において２つの投影を逆投影し、それらの共通の空間を計算することである。

３Ｄ構造を画像化および再構成するデュアル投影を使用することは、かなり単純で容易な手法であるが、一定の構造的配置を解消することはできない。特に、構造が、共通の取得軸、即ち、位相エンコード軸に直交する平面上にあるときに、構造の２つの投影を使用する特有の解決策はない。

図２１に示されるように、３Ｄ再構成スキームが実施された。一般に、アルゴリズム工程２１００は、マスク２１１０の生成、投影のクリーンアップ（ｃｌｅａｎ−ｕｐ）２１２０、位相軸の割り当て（ａｓｓｉｇｎｍｅｎｔ）２１３０、読み取り軸の割り当て２１４０、ボリューム再構成２１５０、およびビジュアル化の透明性（ｔｒａｎｓｐａｒｅｎｃｙ）２１６０を伴う。より具体的には、これには以下が伴う：１）ＦＯＶの中心およびサイズ、および取得マトリックスのサイズに基づいた、２つの投影により取得した３Ｄボリュームの定義；２）両方の投影におけるコントラストが増強された構造の区分化および対応する空間的マスクの生成；３）２つのマスクの３Ｄボリュームへの逆投影；および４）論理ＡＮＤ論理演算子によって定義された２つの逆投影の共通空間の計算。このアルゴリズムは、バックグラウンド信号が、十分に飽和されるという仮説に基づいており、それ故、２つの２Ｄ投影画像から画像化された構造を区分化することが可能である。

２つの投影は、最初に、高い構造対バックグラウンドのコントラストに基づいて閾値化し、次に、端線検出を適用することによって区分化された。区分化の結果は、２つの２Ｄマスクであった。その後、これらのマスクは、３Ｄボリュームでそれらの平面に直交して拡張された。その後、３Ｄボリュームで共通空間を定義するために、それらの間の共通空間は、論理ＡＮＤ演算子によって定義された。

一例では、ＤＰＩシーケンスは、静的な及び移動する血管を模倣するファントム（ｖｅｓｓｅｌ−ｍｉｍｉｃｋｉｎｇ ｐｈａｎｔｏｍｓ）について評価された。具体的には、再構成アルゴリズムは、最初に、食塩水または部分的な食塩水およびガドリニウムを充填された球体上に取り付けられた、Ｇｄが充填された（３％のＧｄ）チュービング（ｔｕｂｉｎｇ）（ｉ．ｄ．＝３．１ｍｍ）で試験された。まず、マルチスライスのセットが、標準的な傾斜再呼出しエコー（ＧＲＥ）シーケンス（ＴＲ／ＴＥ／ａ＝５．４７ｍｓ／１．６５ｍｓ／５０°；スライス＝２．５ｍｍ ＦＯＶ＝２５０ｘ２５０ｍｍ^２；マトリックス＝２５６ｘ２５６）を参照して収集された。その後、ＤＰＩ画像化が、磁化を準備した（ｍａｇｎｅｔｉｚａｔｉｏｎ ｐｒｅｐａｒｅｄ）デュアルエコー（ＴＲ／ＴＥ１／ＴＥ２／５０°＝５．４７ｍｓ／１．６５ｍｓ／３．５９ｍｓ／５０°；スライス＝２５０ｍｍ ＦＯＶ＝２５０ｘ２５０ｍｍ^２；マトリックス＝２５６ｘ２５６）およびシングルエコー（ＴＲ／ＴＥ１／ＴＥ２／５０°＝５．４７ｍｓ／１．６５ｍｓ／３．５９ｍｓ／５０°；スライス＝２５０ｍｍ ＦＯＶ＝２５０ｘ２５０ｍｍ^２；マトリックス＝２５６ｘ２５６）のシーケンスを用いて実行された。

不要なバックグラウンド信号を除去するために、磁化準備は、長い（ｌｏｎｇ）Ｔ１＞２５０ｍｓで広範囲の種を抑止するために、飽和パルスに続いて、２つの反転パルスから構成される磁化準備によって、それぞれ、１６ｍｓ、１０１ｍｓおよび６７ｍｓの中間パルスの遅延とともに、実行された。シーケンスは、移動する血管を模倣するチュービングの画像化のために試験された。Ｇｄを充填されたチューブは、７自由度のＭＲ適合性のマニピュレーターのエンドエフェクタ上に付けられた。３Ｄ再構成は、Ｍａｔｌａｂにおいて開発されたソフトウェアを使用して、上に記載されるアルゴリズムによってオフラインで実行された。特に、図２２Ａ−図２２Ｃは、１．２分の取得時間の間にマルチスライスのセットから再構成された構造およびロボットの画像を示す。

また、この好ましい実施形態では、デュアル投影の画像化は、インターリーブされた画像化プロトコルに組み込まれ得る。例えば、図２３に示されるように、タイミングダイアグラムは、タイムシェアリング（ｔｉｍｅ−ｓｈａｒｉｎｇ）のＭＲプロトコルおよび「先着順サービス」の再構成のために例証される。異なるブロックは異なるパルスシーケンスに対応し、これには、リアルタイムのアップデートのために、直接（緑の矢印）または区分化された取得を要求した後に（赤い矢印）高速フーリエ変換される（ＦＦＴ−ｅｄ）か、またはデータ抽出に使用され（青の矢印）、その後、ＧＵＩにおいてＩＯＥ出力をリフレッシュするために送られる（黒の矢印）、データの収集が挙げられる。撮像面は、動的にアップデートされる（ピンクの線）。したがって、重要なことに、再構成およびＩＯＥのアップデートが、「先着順サービス」の方法で生じる。

さらに、図２４Ａ−図２４Ｂで示されるように、タイミングダイアグラム、およびタグ付けパルス角対所望のＴＩの依存性が描写される。タグ付けパルスの適用は、すべての３つのタグが、同じＴＩを受けるように設定され得る。ＣＰＵタイムラインは、投影のＦＦＴ、タグ付け位置およびＪタグ付けパルスの放射周波数の計算（ｗＸ，Ｊ＋１、ｗＹ，Ｊ＋１およびｗＺ，Ｊ＋１）、スキャナーに対する放射周波数のダウンロード、および次のサイクルＪ＋２の訂正の予測を含む、処理の構成要素を示す。タイミング画像化プロトコルは、図２４Ｃ−図２４Ｅで示される画像化の処置で例証されるような複数のパルスシーケンスを組み合わせることができる。

この好ましい実施形態ではまた、統合操作環境（ＩＯＥ）の組織は、センサー（ＭＲＩ）、ロボットおよびオペレーターをシステムへとシームレスにリンクする、ＭＲ誘導の及びロボット支援の処置のための計算フレームワークを例証する、図２５で描写される。ＩＯＥは、異なる率でリフレッシュされる、マルチモーダルのＭＲデータのストリーム、即ち、本明細書に記載される、異なるＭＲパルスシーケンスとは異なる情報を使用する。その操作は、簡単で、計算上効率的な手法（「ローリングウィンドウ（ｒｏｌｌｉｎｇ ｗｉｎｄｏｗ）」）であり：ＭＲデータセットは、収集されると、同じモードの前のデータセットに取って代わり、ＡｏＰシーンをアップデートするためにデータの残りを用いて使用される。ＩＯＥは、ロボット制御および拡張する（ａｕｇｍｅｎｔｉｎｇ）ヒューマンインターフェーシングの両方に使用するために、これらのマルチモーダルのデータが、どの形態で表わされるかに対処する。ＩＯＥは、バーチャルな制約またはフィクスチャー（ｆｉｘｔｕｒｅｓ）を使用し、「アクセスコリドー」の形態で、ＡｏＰ（ＡｏＰ（ｔ））の動的モデルを生成するために、マルチモーダルのＭＲデータの連続フィードを組み込むこのコンセプトを拡張する。これは、入口の部位から標的とされる解剖学的構造へと拡張する４Ｄ構造である。その中で、ロボットは、安全に、即ち、不可欠な構造または健康組織と衝突することなく又はそれを傷つけることなく、操縦することができ、正確に標的に達するか、または介入を送達するために対象上に（ｏｎ−ｔａｒｇｅｔ）とどまることができる。その後、アクセスコリドー上でレンダリングされた情報は、ロボット制御に使用され、ＨＩＭＩによって使用される。ＩＯＥは、本明細書に記載される複数の方法からアクセスコリドーを生成するために、マルチモーダルのＭＲデータをどのように処理するかについて対処し：ＲＦコイルマーカー（ＭＡＲＫ）は、点を生成し、投影カラム（ＣＯＬＵＭＮ）は、１Ｄ投影を生成し、およびインターリーブされたスライス（ＩＮＴＥＲＬ）は、２Ｄ画像を生成する。ＩＯＥは、すべての方法に十分に適合し、アルゴリズムの実施を統一するため、トラッカー点を生成する。最終的に、ＩＯＥは、ＡｏＰの変化に基づいてＭＲデータ取得の方策をオンザフライでアップデートするために、事象が引き起こした反応（図１１の実施形態を参照）を使用する。上述の手法は、専用のスレッド上で実行する、ソフトウェアモジュールの形態で実施され、図２５で示されるように、フレームワークにおいてそれらを相互にリンクし、以下を行うように構成される：
リアリタイムのマルチモーダルのＭＲデータフィードＭＲＤａｔａ（ｔ）を処理する、および組織およびロボットに関係のあるすべてのＭＲ生成された情報を暗に記載する、４ＤアクセスコリドーＡｏＰ（ｔ）を生成する：
ＡｏＰ（ｔ）を使用して、（１）オペレーター命令ＯＰ_ＩＮ（ｔ）が、ロボットの動作がアクセスコリドーと衝突せず、標的に正確に近づくという結果になるかどうかを評価することによって、および（２）ロボットＲｏｂｏｔＳｔａｔｅ（ｔ）のための、および力フィードバックインターフェースＯＰ_{ＧＵＩＤＥ}（ｔ）のための指示を生成することによって、安全性および精度のためにロボット動作を制約する、動作フィルタリング（§５．３．３）を適用する：
力フィードバック（ＦＦＩ）およびビジュアル（ＶＩ）インターフェースを介して、オペレーターに生成された情報をレンダリングすることによってループ中の人間の制御を拡張する：
新しいＭＲデータ取得の方策を必要とする、組織（ＭＲＤａｔａ（ｔ））およびロボット（ＲｏｂｏｔＳｔａｔｅ（ｔ））の変化を特定し、新しい方策（ＳｃａｎｎｅｒＳｔａｔｅ（ｔ））を選択し、およびスキャナーにそれを送信する：
ロボット制御のためにＲｏｂｏｔＳｔａｔｅ（ｔ）に対する指示を生成する。

以下の参考文献は、本明細書で引用される：
１．Ｄｕｍｏｕｌｉｎ ｅｔ ａｌ． Ｍａｇｎ Ｒｅｓｏｎ Ｍｅｄ， ２９：４１１−４１５ （１９９３）．
２．Ｚｈａｎｇ ｅｔ ａｌ． Ｍａｇｎ Ｒｅｓｏｎ Ｍｅｄ， ４４：５６−６５ （２０００）．
３．Ｗｏｎｇ ｅｔ ａｌ． Ｊ Ｍａｇｎ Ｒｅｓｏｎ Ｉｍａｇｉｎｇ， １２：６３２−６３８ （２０００）．
４．Ｆｌａｓｋ ｅｔ ａｌ． Ｊ Ｍａｇｎ Ｒｅｓｏｎ Ｉｍａｇｉｎｇ， １４：６１７−６２７ （２００１）．
５．Ａ．Ｅ． Ｓｏｎｍｅｚ ａｎｄ Ｎ．Ｖ． Ｔｓｅｋｏｓ， Ａｎ ａｐｐｒｏａｃｈ ｆｏｒ Ｒｏｂｏｔ−Ａｓｓｉｓｔｅｄ Ｍｕｌｔｉｍｏｄａｌ Ｂｉｏｓｅｎｓｉｎｇ ａｎｄ Ｉｍａｇｉｎｇ， ｉｎ： Ｉｎｎｏｖａｔｉｏｎｓ ｉｎ Ｃａｎｃｅｒ Ｐｒｅｖｅｎｔｉｏｎ ａｎｄ Ｒｅｓｅａｒｃｈ Ｃｏｎｆｅｒｅｎｃｅ， Ａｕｓｔｉｎ， ＴＸ， ２０１１．
６．Ｓｏｎｍｅｚ ｅｔ ａｌ． ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， Ｓｈａｎｇｈａｉ， Ｃｈｉｎａ， ｐｐ． １１３３ − １１３８ （２０１１）．
７．Ｓｏｎｍｅｚ ｅｔ ａｌ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ ｉｎ Ｍｅｄｉｃｉｎｅ （ＩＳＭＲＭ） Ｊｏｉｎｔ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ， ｐｐ． ３７７１ （２００９）．
８．Ｗａｃｋｅｒ ｅｔ ａｌ． ＡＪＲ Ａｍ Ｊ Ｒｏｅｎｔｇｅｎｏｌ， １８３：３９１−３９５ （２００４）．
９．Ｃｈｒｉｓｔｏｆｏｒｏｕ ｅｔ ａｌ． Ｍａｇｎ Ｒｅｓｏｎ Ｉｍａｇｉｎｇ， ２５：６９−７７ （２００７）．

本発明は、本発明に固有の目的および利点と同様に、言及される目的および利点も達成するように十分に適応されている。上に開示された特定の実施形態は、単に例示目的であり、本発明は、本明細書の教示の恩恵を有している当業者に明白である、異なるが同等な方法で修正および実施され得る。さらに、本明細書に示される構成または設計の詳細に対しての限定は、以下の請求項に記載される以上には意図されない。それ故、上に開示された特定の例示的な実施形態が変更または修正され得ること、およびすべてのそのような変動が、本発明の範囲および精神内で考慮されることは明らかである。また、請求項での用語は、他に明確に示されない限り及び特許権者によって明確に定義されない限り、その明白な、通常の意味を有する。

Claims (43)

1. 外科的処置の間のロボットのインサイツでのリアルタイムの画像化ガイダンスのためのコンピューターシステムであって、メモリー、プロセッサーおよび少なくとも１つのネットワーク接続を有する、少なくとも１つのコンピューター中に：
   画像化モダリティ、医療用ロボットおよびそのオペレーターをリンクする複数のインターフェースを介して、画像化モダリティ、医療用ロボットおよびそのオペレーターに手術中にリンクするように構成された複数のモジュール、を含むコンピューターシステム。
2. 複数のモジュールが、少なくとも１つの：
   外科的処置の間に画像化モダリティを制御するように構成されたモジュール；
   重ね合わせられたロボットツールまたは介入ツールをトラッキングするように構成されたモジュール；
   対象の組織をトラッキングするように構成されたモジュール；
   画像化モダリティから及びロボットから取得したデータを処理するように構成されたモジュール；
   患者の身体外および身体内でロボットの安全且つ正確な動作のための動的な経路またはコリドーを生成するように構成されたモジュール；
   ロボット、および取得データから生成された処置の領域をビジュアル化するように構成されたモジュール；および
   ヒューマン−マシンインターフェースを可能にするために力フィードバック装置または触覚装置を利用するように構成されたモジュール、を含むことを特徴とする、請求項１に記載のコンピューターシステム。
3. 複数のマルチモーダルセンサーをロボットおよび画像化モダリティと重ね合わせるように構成されたモジュールをさらに含むことを特徴とする、請求項２に記載のコンピューターシステム。
4. 画像化モダリティの制御モジュールが、外科的処置の間に、
   組織およびロボットのステータスに関するデータを処理する；
   その変化を計算する；
   データ取得の変化を引き起こす事象を特定する；
   事象に対する応答を選択し、それに基づいて画像取得の方策を立てる；
   および画像取得の方策を画像化モダリティに送信する、プロセッサー実行可能命令を可能にすることを特徴とする、請求項２に記載のコンピューターシステム。
5. 引き起こす事象が、変化を形態の範囲の値のリストとアルゴリズム的に比較する命令を介して特定されることを特徴とする、請求項４に記載のコンピューターシステム。
6. 組織をトラッキングするモジュールが、
   画像化モダリティで画像化シーケンスを選択し、組織内にコントラスト差を生成するパラメーターを設定する；
   画像化中に得られた１つ以上の信号強度または画像投影から対象の少なくとも１つの観察可能な組織境界を生成する；および
   外科的処置の間に組織境界の動作を動的にモニタリングする、プロセッサー実行可能命令を可能にすることを特徴とする、請求項４に記載のコンピューターシステム。
7. 組織境界が、処置の領域の組織のまわりの境界または医療用ロボットのアクセス経路に近位の組織のまわりの境界またはその両方を含むことを特徴とする、請求項６に記載のコンピューターシステム。
8. 前記組織をトラッキングするモジュールが、選択命令の前またはその間に、外因性造影剤を組織に注入する、プロセッサー実行可能命令をさらに可能にすることを特徴とする、請求項７に記載のコンピューターシステム。
9. ロボットをトラッキングするモジュールが、
   ロボットの近位に配された及び画像化モダリティに連結された複数のマーカーの１つ以上を検出する；および
   画像化モダリティの座標系に対するマーカーの座標を抽出して、ロボットの位置を決定する、プロセッサー実行可能命令を可能にすることを特徴とする、請求項２に記載のコンピューターシステム。
10. ビジュアル化モジュールが、
    ロボット用の各局所化工程に対する単一のマーカーの位置のみを検出する、プロセッサー実行可能命令を可能にすることを特徴とする、請求項２に記載のコンピューターシステム。
11. 複数のインターフェースの１つが、医療用ロボットおよび画像化モダリティのオペレーターによる手動制御を可能にすることを特徴とする、請求項１に記載のコンピューターシステム。
12. 複数のモジュールが、オンザフライで作動することを特徴とする、請求項１に記載のコンピューターシステム。
13. 画像化モダリティが、磁気共鳴画像法または分光法またはその組み合わせ、超音波画像診断、Ｘ線コンピューター断層撮影法、Ｘ線乳腺撮影法、光学撮像、あるいはビデオ撮像であることを特徴とする、請求項１に記載のコンピューターシステム。
14. 外科的処置の間の、ロボットのインサイツでのリアルタイムの画像化ガイダンスのためのコンピューターで実施される方法であって、該方法は、
    請求項１のコンピューターシステムにおいて手術中に、
    組織および医療用ロボットの現状ステータスを得るためにデータを処理する工程；
    処置の領域またはロボットのアクセス経路に近位の領域またはその両方を含む少なくとも１つの組織境界を生成する工程；
    処置の領域にわたる組織境界の動作を動的にモニタリングする工程；および
    ロボットの近位に配された及び画像化モダリティに連結された複数のマーカーの個々の可視性に基づき、処置の領域に準拠してロボットまたはそれを含む介入ツールの位置をトラッキングする工程、を含むことを特徴とするコンピューターで実施される方法。
15. 処置の領域およびロボットがモニタリングされる且つトラッキングされると、システムのオペレーターのためにそれらのビジュアル化をもたらす工程をさらに含むことを特徴とする、請求項１４に記載のコンピューターで実施される方法。
16. ビジュアル化が、ビジュアル画像、モデル、バーチャルリアリティーシーン、向上したリアリティーシーンまたはそれらの重ね合わせまたは組み合わせを含むことを特徴とする、請求項１５に記載のコンピューターで実施される方法。
17. ロボットおよび画像化モダリティの座標系と重ね合わせられた複数のマルチモーダルセンサーの１つ以上から処置の領域の画面を生成する工程をさらに含むことを特徴とする、請求項１５に記載のコンピューターで実施される方法。
18. 処理する工程が、
    組織およびロボットのステータスに対する変化を計算すること；
    データ取得の変化を引き起こす事象を特定すること；
    アルゴリズム的に、変化を形態の範囲の値のリストと比較すること；
    値の比較に基づいて事象に対する応答を選択すること；および
    画像化モダリティに送信される応答に基づいて画像取得の方策を立てること、を含むことを特徴とする、請求項１４に記載のコンピューターで実施される方法。
19. 生成する工程が、
    画像化モダリティで画像化シーケンスを選択すること；
    組織内でコントラスト差を生成するためのパラメーターを設定すること；および
    画像化中に得られた１つ以上の画像投影から対象の少なくとも１つの組織境界を生成すること、を含むことを特徴とする、請求項１４に記載のコンピューターで実施される方法。
20. 組織境界を生成する前またはその間に、外因性造影剤を組織に注入する工程をさらに含むことを特徴とする、請求項１９に記載のコンピューターで実施される方法。
21. トラッキングする工程が、
    画像化モダリティの座標系に対するロボットまたは介入ツール上へのマーカーの座標を抽出して、局所化工程の間にその位置を検出することを含み；
    ここで、単一のマーカー位置のみが、ロボットのトラッキング中に局所化工程のために検出されることを特徴とする、請求項１４に記載のコンピューターで実施される方法。
22. 単一のマーカー位置のみが局所化工程中に検出されることを特徴とする、請求項２１に記載のコンピューターで実施される方法。
23. 実行されたときに、請求項１４の方法の工程を可能にする計算システムにおける行動を実行するコンピューター実行可能命令を保存する、非一時的なコンピューター読み取り可能なデータ記憶媒体。
24. 請求項２３の非一時的なコンピューター読み取り可能なデータ記憶媒体で明確に具体化された、コンピュータープログラム製品。
25. 磁気共鳴画像誘導およびロボット支援の手術システムであって、
    少なくとも１つのコンピュータープロセッサー；
    少なくとも１つのコンピューターメモリー；
    システムに登録可能なロボットまたはそれを含む介入ツールを含む１つ以上のロボット構造；
    ロボットとともに登録された磁気共鳴スキャナー；および
    コンピュータープロセッサーとコンピューターメモリーとのオンザフライ操作のために構成された複数のモジュールであって、
    患者においてロボットおよび対象の組織に関するすべてのＭＲ生成したデータを記載する；
    処置の領域において組織境界を確立する；
    ＭＲスキャナーを介して、またはロボットを含む及び患者の身体外または身体内に配された１つ以上のマルチモーダルセンサーを介して、組織境界の動作を動的にモニタリングする；
    処置の領域に準拠してロボットの位置をトラッキングする；
    生成されたデータをシステムのオペレーターに送信する；
    生成されたデータからロボットの制御およびトラッキングのための命令を生成する；
    オペレーターのために外科的処置の間に処置の領域およびロボットの画面をもたらす；および
    ロボット、スキャナー、モジュールおよびオペレーター間で複数のインターフェースを確立する、プロセッサー実行可能命令を可能にする複数のモジュールを含む、システム。
26. 複数のモジュールが、マルチモーダルセンサーを介して取得したデータから、処置の領域の４Ｄ画面を生成且つビジュアル化する、プロセッサー実行可能命令を可能にするようにさらに構成されることを特徴とする、請求項２５に記載のシステム。
27. マルチモーダルセンサーが、磁気共鳴スキャナーを含む座標系と重ね合わせられることを特徴とする、請求項２６に記載のシステム。
28. すべてのＭＲ生成データを記載する命令が、
    組織およびロボットのステータスに関するデータを処理する；
    その変化を計算する；
    アルゴリズム的に、前記変化を形態の範囲の値のリストと比較する命令を介して、データ取得の変化を引き起こす事象を特定する；
    事象に対する応答を選択し、それに基づいてＭＲ画像取得の方策を立てる；および
    ＭＲ画像取得の方策をＭＲスキャナーに送信する、ように作動することを特徴とする、請求項２５に記載のシステム。
29. 組織境界を確立する命令が、
    必要に応じて、外因性造影剤を、随意に組織に注入する；
    ＭＲ画像化シーケンスを選択し、組織内にコントラスト差を生成するパラメーターを設定する；および
    磁気共鳴画像法の間に得られた１つ以上の画像投影から組織境界を生成する、ように作動することを特徴とする、請求項２５に記載のシステム。
30. ロボットの位置をトラッキングする命令が、
    ロボットの近位に配された及びＭＲスキャナーの座標系と重ね合わせられた複数のマーカーのオン／オフのステータスに基づき、処置の領域に準拠してロボットの位置をトラッキングする；および
    ロボット動作を制約するために動作フィルタリングを適用する、ように作動することを特徴とする、請求項２５に記載のシステム。
31. ロボットの位置をトラッキングする命令が、ＭＲスキャナーの座標系に対する複数のマーカーの座標を抽出して、その位置を検出するように作動し；ここで、単一のマーカー位置のみが、ロボットのトラッキング中に局所化工程のために検出されることを特徴とする、請求項３０に記載のシステム。
32. 複数のインターフェースの少なくとも１つが、ロボットおよびＭＲスキャナーのオペレーターによる手動制御を可能にすることを特徴とする、請求項２５に記載のシステム。
33. 複数のモジュールが、組織間の又は組織とロボットとの間の境界をモニタリングするために少なくとも１つの信号強度の投影を生成する、プロセッサー実行可能命令を可能にするようにさらに構成されることを特徴とする、請求項２５に記載のシステム。
34. 少なくとも１つの信号強度を生成する命令が、
    高周波パルシングを介して投影の選択方向に沿った少なくとも１つの３Ｄカラムに含まれる組織を刺激する；
    磁場傾斜を操作する；
    ＭＲスキャナーから未加工データを取得する；および
    未加工データから信号強度の１Ｄ投影を生成する、ように作動することを特徴とする、請求項２５に記載のシステム。
35. １つを超える３Ｄカラムが平面を含む場合、モジュールが、複数の高周波パルスを送り、それによって取得率を増加させる、命令を可能にすることを特徴とする、請求項３４に記載のシステム。
36. 複数のモジュールが、患者の身体を含む自然の管状構造およびロボットまたは介入ツールを含む人工の管状構造を画像化するように構成されることを特徴とする、請求項２５に記載のシステム。
37. 自然および人工の管状構造を画像化する命令が、
    造影剤を該構造へと注入または充填する；
    造影剤を有する構造を含む３Ｄボリュームの少なくとも１つの２Ｄ投影を取得する；および
    ２Ｄ投影から３Ｄ画像を生成する、ように作動することを特徴とする、請求項３６に記載のシステム。
38. 少なくとも２つの２Ｄ投影が得られるときに、前記投影が、互いに対して任意の角度であることを特徴とする、請求項３７に記載のシステム。
39. ２Ｄ投影を取得するために使用される、選択された順序の高周波パルスおよび磁場傾斜パルスが、造影剤を含まない構造から信号を少なくとも減少させることを特徴とする、請求項３７に記載のシステム。
40. ロボット制御のための命令が、ＭＲ画像ガイダンス下での２Ｄ投影の取得のためのロボットの手動オペレーター制御および自動化制御を可能にするように作動することを特徴とする、請求項２５に記載のシステム。
41. ロボット制御のための命令が、
    手動オペレーター制御を介して：
    少なくとも１つの平面、少なくとも１つの投影軸、および投影幅を選択する；および
    付随的に、３Ｄ投影カラムを選択し、それをグループ化する；および
    自動制御を介して：
    パルス傾斜および傾斜強度を含む磁気共鳴取得パラメーターを計算する；および続いて
    取得パラメーターをアップデートする；
    投影を動的に取得する、および分析する；および
    動的組織モデルを生成する；および
    ロボットを制御することによって動的なコリドーおよび軌道を計算する；
    触覚装置の動的なレンダリングを計算する；および
    それから画像ガイダンスの拡張現実感を生成する、ように作動することを特徴とする、請求項４０に記載のシステム。
42. 請求項２５の複数のモジュールを含むコンピューター実行可能命令を保存する、非一時的なコンピューター読み取り可能なデータ記憶媒体。
43. 請求項４２の非一時的なコンピューター読み取り可能なデータ記憶媒体で明確に具体化された、コンピュータープログラム製品。