JP2015505679A

JP2015505679A - 超音波画像を融合することによる介入現場画像ガイダンス

Info

Publication number: JP2015505679A
Application number: JP2014535792A
Authority: JP
Inventors: エマド・ボクター; グレゴリー・ヘイガー; ドロシー・ハイゼンバーグ; フィリップ・ストルカ
Original assignee: Clear Guide Medical Inc
Current assignee: Clear Guide Medical Inc
Priority date: 2011-10-09
Filing date: 2012-10-09
Publication date: 2015-02-26
Also published as: CA2851659A1; EP2763591A1; WO2013055707A1; EP2763591A4; US20130218024A1; IL232026A0

Abstract

撮像システムのための拡張装置は、撮像コンポーネントに添付し得るように構成されているブラケットと、ブラケットに添付するプロジェクタを含む。プロジェクタは、撮像システムによる撮像と連動して表面上に画像を投射するように配置され構成されている。イメージガイド手術のためのシステムは、撮像システムと、撮像システムによる撮像の間に対象の領域上に画像若しくはパターンを投射するように構成されているプロジェクタを有する。カプセル撮像装置は、撮像システムと局所センサシステムを有する。局所センサシステムは、外部のモニタ機器に束縛されないカプセル内視鏡の位置を再構成する情報を提供する。

Description

本願は、２０１１年１０月９日出願の米国仮出願第６１／５４５１６８号、２０１２年２月２７日出願の米国仮出願第６１／６０３６２５号、及び２０１２年６月８日出願の米国仮出願第６１／６５７４４１号に基づく優先権を主張するものであり、それらの内容全体は参照の上本明細書に組み込まれる。

本発明に関して現下主張する実施形態の分野は、撮像装置及びこれら撮像装置のための拡張装置に関し、特に、一つ若しくは複数のカメラ、一つ若しくは複数のプロジェクタ、及び／又は、対象の領域の観察及び撮像、そこへの投影、並びにその内部及び周辺の追跡のための、ローカルセンサのセットを有する、装置に関する。

イメージガイド手術（ＩＧＳ）は、医師が手術のための間接的可視化を用いる、即ち、光ファイバガイド、内部ビデオカメラ、柔軟な若しくは剛性のある内視鏡、超音波検査法などの撮像器具をリアルタイムで用いることによる、外科的若しくは介入の手順として、定義され得る。多くのイメージガイド手術手順は、侵襲が最小限である。ＩＧＳシステムにより、外科医は手術を行う際に手術部位にて入手可能なより多くの情報を手にすることができる。概略、これらのシステムは、三次元の患者情報をディスプレイし、生体組織に対するこのディスプレイ内の手術器具、及び術前計画を、写す。三次元の患者情報は、患者が手順の間に記録されるＣＴ若しくはＭＲＩ等の、術前スキャンでもよく、超音波若しくは蛍光透視法などのリアルタイム撮像モダリティでもよい。それらガイダンスアシスタンスは、特に、低侵襲手術（ＭＩＳ）に不可欠であり、その低侵襲手術では、人体内の小開口を介して又は（例えば、アブレーション若しくはバイオプシ手順において）経皮的に、処置若しくは介入が行われる。ＭＩＳ技術は、患者の不快、治癒にかかる時間、合併症のリスクの減少を提供し、患者予後全体の改善の助けとなる。

イメージガイド介入では、処置の間の、撮像装置及び医療器具の追跡及び局在確認は、非常に重要であり、ＩＧＳシステム内の主要実現技術と考えられる。追跡技術は以下のグループに概略カテゴリ分けされ得る。
[１]アクティブロボットを含む機械ベースの追跡（ＤａＶｉｎｃｉロボット［ｈｔｔｐ：／／ｗｗｗ．ｉｎｔｕｉｔｉｖｅｓｕｒｇｉｃａｌ．ｃｏｍ，２０１０年８月２日］）及び受動コード化機械アーム（Ｆａｒｏ機械アーム［ｈｔｔｐ：／／ｐｒｏｄｕｃｔｓ．ｆａｒｏ．ｃｏｍ／ｐｒｏｄｕｃｔ−ｏｖｅｒｖｉｅｗ，２０１０年８月２日］）、
[２]光学ベースの追跡（ＮＤＩＯｐｔｏＴｒａｋ［ｈｔｔｐ：／／ｗｗｗ．ｎｄｉｇｉｔａｌ．ｃｏｍ，２０１０年８月２日］、ＭｉｃｒｏｎＴｒａｃｋｅｒ［ｈｔｔｐ：／／ｗｗｗ．ｃｌａｒｏｎｔｅｃｈ．ｃｏｍ，２０１０年８月２日］）、
[３]音響ベースの追跡、及び、
[４]電磁気（ＥＭ）ベースの追跡（ＡｓｃｅｎｓｉｏｎＴｅｃｈｎｏｌｏｇｙ［ｈｔｔｐ：／／ｗｗｗ．ａｓｃｅｎｓｉｏｎ−ｔｅｃｈ．ｃｏｍ，２０１０年８月２日］）。

超音波は、切除処置、バイオプシ、放射線治療、及び外科手術を含む、イメージガイド介入のための一つの有用な画像診断法である。文献上及び研究施設では、超音波ガイド介入研究は、例えば、肝臓切除を追跡しガイドするための、若しくは外部ビーム放射線治療における、超音波撮像システムと、追跡システム（光学方法でも電磁気方法でも）を統合することにより、実行される[E.M. Boctor, M. DeOliviera, M. Choti, R. Ghanem, R.H. Taylor, G. Hager及びG. Fichtingerらによる"Ultrasound Monitoring of Tissue Ablation via Deformation Model and Shape Priors", International Conference on Medical Image Computing and Computer-Assisted Intervention, MICCAI 2006（非特許文献１）; H. Rivaz, I. Fleming, L. Assumpcao, G. Fichtinger, U. Hamper, M. Choti, G. Hager及びE. Boctorらによる"Ablation monitoring with elastography: 2D in-vivo and 3D ex-vivo studies", International Conference on Medical Image Computing and Computer-Assisted Intervention, MICCAI 2008（非特許文献２）; H. Rivaz, P. Foroughi, I. Fleming, R. Zellars, E. Boctor及びG. Hagerらによる"Tracked Regularized Ultrasound Elastography for Targeting Breast Radiotherapy", Medical Image Computing and Computer Assisted Intervention (MICCAI) 2009（非特許文献３）]。商業的側面では、シーメンス（Ｓｉｅｍｅｎｓ（登録商標））及びＧＥ（登録商標）超音波医療システムが、最近新しい介入システムに着手した。該システムではＥＭ（電磁気）追跡装置が、ハイエンドのカートベースシステム内に統合されている。小型のＥＭセンサが超音波プローブ内に統合され、同様のセンサが対象の介入器具に添付され固定されている。

E.M. Boctor, M. DeOliviera, M. Choti, R. Ghanem, R.H. Taylor, G. Hager及びG. Fichtingerらによる"Ultrasound Monitoring of Tissue Ablation via Deformation Model and Shape Priors", International Conference on Medical Image Computing and Computer-Assisted Intervention, MICCAI 2006 H. Rivaz, I. Fleming, L. Assumpcao, G. Fichtinger, U. Hamper, M. Choti, G. Hager及びE. Boctorらによる"Ablation monitoring with elastography: 2D in-vivo and 3D ex-vivo studies", International Conference on Medical Image Computing and Computer-Assisted Intervention, MICCAI 2008 H. Rivaz, P. Foroughi, I. Fleming, R. Zellars, E. Boctor及びG. Hagerらによる"Tracked Regularized Ultrasound Elastography for Targeting Breast Radiotherapy", Medical Image Computing and Computer Assisted Intervention (MICCAI) 2009 N. Padoy、G.D. Hagerによる"Spatio-Temporal Registration of Multiple Trajectories,Proceedings of Medical Image Computing and Computer-Assisted Intervention (MICCAI)"Toronto、Canada、2011年9月

研究的側面及び商業的側面の両方に関する現下のアプローチの限定は、利用可能な追跡技術に寄与し得るものであり、これらシステムを統合して臨床環境で利用することの実現可能性に寄与し得るものである。例えば、機械ベースの追跡体は、高価で煩わしい解決策と考えられる、即ち、大きい空間を要求しユーザの動作を制限する。音響追跡は、十分な航行の正確性を呈するものでは無く、光学及びＥＭ（電磁気）追跡が最も成果のある商業利用可能な追跡技術となってしまう。しかしながら、両方の技術は、（光学追跡方法の場合には）ベースカメラを伴う煩わしいセットアップを、若しくは（ＥＭの方法の場合には）参照ＥＭトランスミッタを伴う煩わしいセットアップを、要求するものである。更に、光学剛体ボディ若しくはＥＭセンサが、撮像装置及び全ての必要な器具に添付しなければならず、オフラインのキャリブレーション及び滅菌のステップが必要となる。更に、これらのシステムは、そもそもマルチモダリティの融合（例えば、術前のＣＴ／ＭＲＩプランと術中の超音波との間の、登録）をアシストするものではなく、直接の若しくは拡張の視覚化に寄与するものでも無い。よって、イメージガイド手術での利用のために撮像装置を改良する必要がある。

本発明の実施形態に係る撮像システムの拡張装置は、撮像コンポーネントに添付するように構成されるブラケットと、ブラケットに添付するプロジェクタと、周囲環境を観察する一つ以上のカメラを、有する。プロジェクタは、カメラシステムによる撮像と連動して、表面上にカメラを投射するように配置され構成されている。このシステムは、撮像された表面への登録のために、及び表面上の装置の変位に対するガイダンスのために、又は、表面との若しくは表面下での相互作用をするニードル若しくは他の器具のガイダンスのために、用いられ得る。

システムは単体のカメラ及びプロジェクタから成り、カメラ若しくはプロジェクタのうちの一方は超音波平面と整列し、他方は軸外であり、トラッキングとディスプレイの組み合わせがガイダンスを提供するのに用いられる。

カメラ及びプロジェクタの構成は、特別の透過無菌ウインドウを含む無菌プローブカバーを利用して保持され得る。

構造化パターンは、同時に超音波パターンをディスプレイし、更に３Ｄにて表面を再構成するのに用いられる。

プロジェクション画像は、カメラ若しくは複数のカメラと同調して時分割多重化し、トラッキング（ニードル存在を最大化する）、ガイダンス（オーバレイの手掛かり）、表面（ステレオ再構成を最適化する）のため投射を別途最適化してもよい。プロジェクションパターンは、様々な目的で空間変調若しくは空間多重化され得る。例えば、一つのエリアにパターンを、他のエリアにガイダンスを、投射するなどである。

空間と時間の両方における適合パターンは、以下のものを含む。

表面距離、見掛けの構成サイズ若しくはカメラ解像度を採用するためのパターンの空間周波数、又は、
・表面特性及び環境を適合するためのカラー、
・異なるパターンを介して経時的にランダム化する／反復する、若しくは、
・パターンと投射されたガイダンスの両方は表面を再構成するために統合され最適化され得る。

正しいパターンデザインを選ぶための、リアルタイムのフィードバック及び質のコントロールシステム。

正しいパターンデザインを選ぶため、システム測定基準――トラッキング達成、ロバスト性、表面外れ率を計算する。

ツールを能動的に追跡し投射することによりツールをガイドする方法。
・（例えば、色変化背景、フレーム、若しくは画像色合い、又は聴覚キューにより、一般的「近さ」を示す）近接マーカ、
・（例えば、照準線、サークル、標的に向かって指し示す）ターゲットマーカ、
・（例えば、ライン、扇、多角形とぴったり合う）整列マーカ、
・（例えば、臨界の領域、形状的に若しくは解剖学的に手の届かない領域などを示す形状を。回避するための）エリア境界設定、
・他の情報を視界の中心内部に投射させるための、視界の端部上のサークルからのパターン、
・上述の組み合わせ。

スクリーン上にあり、若しくは患者に投射され、又は両者の組み合わせである、ガイダンス。我々は、独立のガイダンス方法、又は、超音波画像、若しくは、単一の若しくは多重の接眼レンズビューなどの、二次的撮像システムへのオーバレイとしてのガイダンス方法を主張する。

基本的な画像若しくは環境に登録されるこのガイダンスアプローチ及び情報（即ち、オーバレイシンボルは、ターゲット配置、サイズ、若しくは回避すべきエリアに対応する。）。若しくは、それは、配置−独立ガイダンスであってもよい（例えば、配置、色、サイズ、形状などだけでなく、オーディオ音量、音声ファイル及び／又は周波数変化などの聴覚のキューがツールやプローブを向けるべきところをユーザに示す。）。

カメラとプロジェクタの組み合わせは、患者の表面上に、若しくは他の投射可能の表面上に直観的且つ無菌のユーザインタフェースを構築するのに用いられ得る。例えば、標準的アイコン及びボタンは、患者上に投射され得るし、指やニードルは追跡可能であり、これらボタンをアクティブ化するのに用いられ得る。この追跡は、例えば、投射された視覚フィードバックの無いジェスチャトラッキングのための、非視覚のユーザインタフェースでも用いられ得る。

プロジェクションシステムは、ステレオシステムにより計算された形状を利用して、身体上に情報を投射する際の、身体の湾曲を補正してもよい。

システムは、撮像装置を表面に配置するための（例えば、超音波プローブ）若しくはそれを特定のポーズに移動するための（例えば、ＣアームＸ線）オーバレイガイダンスを含んでもよい。例えば、ビデオ撮像システムは身体の外部から画像をキャプチャするが、身体の内部から画像を取得する超音波プローブ若しくは類似の撮像装置の能力を利用することにより、身体の座標系にプローブを登録すること、及び、所与のターゲットを視覚化するためにプローブをどのように動かすかに関するガイダンスを投射することが、可能となる。例えば、診断画像若しくは従前のスキャンで腫瘍が特定されたとする。登録後、プロジェクションシステムは、プローブがどの方向に動くのかを示す矢印を患者上に投射できる。これらの同じ思想は、患者の従前のモデル若しくは患者固有のスキャンに基づいて、ユーザが特定の器官を視覚化するガイドをするのに利用可能であり、又は、所与のターゲット関して追跡する若しくは方向付けするに当たり助けとなるのに利用され得る、ということは当業者の認識するところである。例えば、特定のターゲット上に（例えば、ドップラ超音波などのための）ゲートウインドウを配置してもよい。

例えば、放射線がん治療のためのガイダンスを提供するに当たり、患者が何度も撮像される、ということはよくあることである。この場合、ターゲット周りの画像は記録され、続いて撮像して、これらの画像は、所望のターゲットに向かってプローブをどのように動かすかに関するガイダンス、及び、従前の撮像位置がいつ到達されたかを示す表示を、提供するのに用いられる。

ツールのシャドウを人工シャドウにマッチすることにより介入ツールをガイドする方法――自由度１に対してこの単体のシャドウの整列が利用可能であり、残余の自由度に対して更なる能動トラッキングが利用され得る。シャドウは単体のラインであってもよい。シャドウは異なる厚さのラインであってもよい。シャドウは異なる色から成ってもよい。シャドウは構造化パターンの一部として用いられてもよい。

干渉（例えば、オーバレイガイダンスはニードル追跡タスクと干渉し得る。）を克服する適応プロジェクション。例えば、「真珠の数珠」である一連のサークル／ディスク／楕円などから構成されるガイダンス「ライン」は、ユーザのための整列パフォーマンスを改良し得る。

更に、ガイダンスのライン／構造の見掛けの厚みは、検出されたツールの幅、プロジェクタへの距離、表面への距離、過度の介入期間等に基づいて修正されて、整列パフォーマンスを改良し得る。

プロジェクタ若しくは利用可能な可能プロジェクタの数に依存する、ダブルシャドウ若しくはそれ以上に基づく方法。

二つのプロジェクタは、ツールの意図された／最適のガイドを規定し得る二つの独立のシャドウを、一意的に提供し得る。

ミラーとビームスプリッタの組み合わせの利用。一つのプロジェクタは、二つのプロジェクタに分割して、同数の独立シャドウを提供し得る。

術前モダリティから登録された表面情報を患者上に投射することによる――臨界的構造を回避するガイダンスの方法。

ガイダンスシステム（一つの例）−（平面内及び平面外の両方の）スクリーン上の若しくは患者に投射された、ライブの超音波ビュー上へ、照準器、及び／又は、外挿されたニードルポーズラインを、オーバレイすること。図３４参照。現下のエラーベクトルに拠ってサイズ、色、及び相対位置を変更する対のシンボル（サークル、三角形など）を投射すること。所望のニードルポーズを示す整列ラインを、単体／ステレオ／多重カメラビュー上にオーバレイし、ユーザに対してニードルのカメラ画像を、ターゲットポーズと、更には質のコントロールの目的のために現下追跡されるニードルポーズを示すラインと、並べさせること。（ガイダンスのための）ターゲットポーズと、一つ以上のプロジェクタからの（質のコントロールのための）現下追跡されるポーズの両方を示す、ニードル整列ラインを、表面上に投射すること。

システムは、空中のニードルのポーズを用いて身体内のニードルを検出する超音波を最適化し得るし、逆も同様である。例えば、ニードル先端の配置を予測することで、超音波システムは、送信フォーカス配置及びニードルステアリングパラメータなどを自動的に設定できる。

ニードルガイダンスのためのプロジェクタを用いるとき、システムは、可能なニードルポーズのための「キャプチャ範囲」として、投射された挿入ポイントを利用し、その範囲の外部の対象を放棄し、又は、計算された３Ｄポーズが予測されたターゲット振る舞いに反することを検出してもよい。

ツールの貫通の深度を示すアプローチ。このことは、ニードル上に基準を検出し、経時的にそれら基準を追跡することにより、為され得る。例えば、これらは、ニードル自身上のダークリングでもよく、それらは視覚システムを用いてカウント可能であり、又は、それらはニードルの端部に添付する反射素子でもよく、この場合深度は、患者の表面から空間内の基準の配置を差し引きし、更にニードルの全体長さからその結果を差し引くことにより、計算され得る。

基準ランドマーク（例えば、黒線や光のスポットなど）をニードルシャフト上に直接に投射することによる深度ガイダンス。ニードルがどのポイントに挿入されるべきかを示す。

更なる深度ガイダンスクレームは、システムのディスプレイに過ぎない。それは、現下のシステムポーズに対する正確な深度における患者の外に残余する複数の基準リングを受動的に示す。それらは、正確な深度にあるかを手動で探偵するのに用いられ得る知覚キューをユーザに提供するものである。

適合可能搭載ブラケットを提供する装置及び方法。
・カメラ／プロジェクタ構成は９０°回転し平面内と平面外の両方の介入のためのガイダンスを可能にし得る。
・ブラケット高さは調整され得る。
・搭載ブラケットは、例えば、一つのプロジェクタでスタートして一つのカメラを加える、若しくは、一つのプロジェクタ及び二つのカメラでスタートして更なるプロジェクタを加えるなど、カメラ、プロジェクタを追加するためのモジュラであってもよい。

カメラ及びプロジェクタは、異なる配置（平面内の介入のためのカメラ及びプロジェクタ、並びに、平面外の視界に面する追加の一つのプロジェクタ）で加えられてもよい。

ＵＳ（超音波）、プロジェクタ及びステレオカメラを同時にキャリブレートするキャリブレーション方法。方法は、周知の形状から構成されるキャリブレーションオブジェクトに基づく。
・（図２６Ａのような）平面表面に添付するダブルウエッジファントム、若しくは、（図２６Ｂのような）マルチラインファントム。両方とも、超音波座標フレームとカメラ座標フレームとの間の剛体変換を見積もるのに用いられ得る可能なファントムの別途のデザインである。原理的に、（図２６Ａと図２６Ｂのような）超音波可視コンポーネントと光学可視コンポーネントを含む周知の形状を伴うファントムは、両方のモダリティ内で同時に観察される。それぞれの個々のモダリティ内の両方のコンポーネントのポーズの回復により、ファントムに関するカメラと超音波トランスデューサのポーズの再構成が可能となり、よって、相互の相対のポーズのキャリブレーションが可能となる。図３３も参照されたい。
・表面に接続されカメラにより観測される、周知の形状を伴うマルチライン。
・従前の容器測定スキャンからの、周知形状を伴う複雑形状ファントム。ライブの表面／ＵＳ（超音波）データと対応する術前データの両方を登録することにより、システムをキャリブレートできる。
・超音波で破裂し得（カメラにより観察される）可視マークを形成し得るナノカプセルを利用することにより、ファントムの特性は導入され得る。

カメラ及びプローブの配置に対するプロジェクタの配置を正確に計測する方法。それを行う一つの手段は、カメラから投射される可視光線は、プロジェクタの光心にて交差する、空間における直線を生成することを観察することである。よって、これらの光線が当たる複数の表面を観察するステレオカメラ若しくは類似の撮像システムにより、システムは、投射の中心を計算するように外挿され得る一連の３Ｄポイントを算出できる。このことは、ほぼ、平面若しくは非平面の一連の投射表面により実行され得る。

カメラストリームとプロジェクタストリームとの両方への超音波データストリームを同時に同期化する一時的キャリブレーション方法。

キャリブレーションは、ハードウエアトリガアプローチを持ち手実行され得る。

ソフトウエアアプローチは、ターゲット上を周期的にＵＳ（超音波）画像を動かすことにより用いられ得る―――両方のストリームを相関させることは内部レグの量を推定する。

投射アウトプットを同期させて、ガイダンスとステレオ構成の両方に対する時間及び空間多重化（インタリーブ）パターンを許容する方法。

以下の特性を伴うカスタムメードのドレープを利用するシステム。
・構造化システムに透過するドレープ。
・ＩＲ（赤外線）透過若しくは波長固有であり患者の表面若しくは器官をスキャンできるドレープ。
・テクスチャ若しくは検出可能基準座標系からなり、直接の表面追跡及び登録／再構成を可能にするドレープ。
・蛍光性及び／又はリン光性効果を利用する感光性物質からなるドレープ。
・感圧するドレープ――プローブ圧力による、若しくは呼吸による圧力変化による色変化。

プロジェクタは、「患者にプリントされた」光活性化ダイを利用し得る、若しくは、この目的のための予備的被制御レーザを含み得る。

二つ以上のカメラから構成される深度撮像システム。例えば、カメラ１及び２が遠いレンジに最適化され、カメラ２及び３が中程度のレンジに最適化され、カメラ１及び３が禁札のレンジに最適化される、三つのカメラからなる。

利用例により元の装置の拡張ハードウエア。全体の構成は、１）超音波マシンオペレーションのため、２）視覚化のため、３）更にタブレットコンピュータの一つ以上のカメラを用いて、透過情報オーバレイのための患者への登録のため、タブレットコンピュータなどのハンドヘルド装置により拡張され及び／又は制御され得る。

プローブによる登録を維持し、視覚化とガイダンスの両方のために用いられ得る、ディスプレイシステムを構築する拡張ハードウエア。例えば、プローブは、取り外し可能であり、空間におけるその位置に基づいて関連する術前ＣＴ情報を示す関連ディスプレイを有してもよい。それは、ターゲット情報をオーバレイしてもよい。

装置に利用されるコンピュータリソースは、他のどこかに配置する更なるコンピュータにより拡張され得る。

この遠隔コンピュータは、装置から生じる情報を処理するのに（例えば、コンピュータにより強化登録処理を実行するのに）用いられ得る。それは、装置の機能（例えば、この患者を他の類似の患者と比較し「成功事例」治療オプションを提供すること）に有用な情報を想起し得る。又は、それは、装置を管理する情報を提供する（例えば、ＣＴ画像内の病変の兆候をバイオプシのための遠隔センターに転送する）のに用いられてもよい。

全体のシステムパフォーマンスのための質のコントロール方法。ニードルの軌跡は、視覚的追跡により計算され、その後超音波画像内に投射されてもよい。画像内のニードルがこの投射と合致しないならば、それはシステムの食い違いがあることのキューである。反対に、ニードルが超音波画像内で検出されれば、それはビデオ画像内に投射し戻されニードルの外部ポーズがその追跡された画像と合致することを確かなものにする。

超音波とビデオ画像の両方でニードルを同時に追跡し、それら計算された値を用いてニードル曲がりを検出し、更に、ニードルの生じ得る軌跡を更新し若しくはニードルに圧力を加えていることをユーザに警告し、又は両方を行う、能動的な質のコントロールの方法。

カメラ／プロジェクタの同時の相互作用に基づくガイダンスシステム。一つの実施形態では、投射の中心は超音波システムの平面上若しくは近傍である。この場合、プロジェクタは、この平面がどこにあるかを示す単体のライン若しくはシャドウを投射し得る。正確な平面内に配置されるニードル若しくは類似のツールは、明るくなる。この平面の外部のビデオカメラはシーンを視覚でき、この画像はスクリーン上にディスプレイされ得る。実際、それは超音波ビューに含まれてもよい。この場合、臨床医は、同じスクリーン上で動じにニードルの外部ガイダンスと内部ガイダンスの両方を視覚できる。特定の角度に達するガイダンスはカメラ画像上に重ね合わせ可能であり、超音波平面と、重ね合わされたガイダンスにより生成された平面との交差部は、ニードルの所望の軌跡であるラインを形成する。

同時のカメラ／プロジェクタガイダンスの第２の実施形態。これに関する変形例は、超音波平面に沿ってカメラを配置し、平面外にプロジェクタを配置するものである。形状は同様であるが、カメラ重ね合わせ画像は、平面を規定するのに用いられ、ラインはプロジェクタにより投射されてニードルの軌跡を規定する。

更なる変形例は、単体若しくは多重のカメラ又はプロジェクタの組み合わせを含み、それらのうち少なくとも一つがモバイル装置自身上に搭載されそれと共に環境内に静的に搭載され、モバイルコンポーネントと固定コンポーネントとの間の登録が常時維持されこれによりガイダンスが可能となる。この登録の維持は、例えば、その環境内に存在し及び／又は共通の対象のフィールド内に投射される、周知の特性を検出して追跡することにより、達成され得る。

同時に、若しくは時分割多重化して、（様々にＩＲ（赤外線）などの）可視光帯と不可視光帯の両方を伴う多重バンド投射を用いる拡張システム。前述のように、本発明は、シャドウ減少、強度増大、若しくは受動的ステレオガイダンスのための多重プロジェクタセットアップを用いてもよい。

ステレオ投射（プロジェクション）を伴う拡張装置。ステレオプロジェクションを形成するために、プロジェクションシステムは、「アーム」等を用いることで一つのプロジェクタを二つ（以上）にするミラー及びスプリッタを利用して、画像を分割しても、又は、全方向プロジェクションを遂行しても、よい。

プロジェクションシステムは、３Ｄガイダンスのための分極を利用してもよく、原位置での３Ｄ超音波ガイダンスディスプレイのための分極光及び（受動的）ガラスを伴うデュアルアーム若しくはデュアルデバイスプロジェクションを用いてもよい。プロジェクタは、ほぼ原位置での投射表面としての、フォッグスクリーン、スイッチ可能フィルム、ＵＶ（紫外線）蛍光性ガラスのうちのいずれかから成る、スクリーン上に投射され得る。

カメラ若しくは専用カメラのうちの一つが外部に向いてユーザを追跡し、幾何学的歪み若しくはプローブ動作からの正確な視覚化の助けとなる、拡張装置。３Ｄで投射する際、これは視差問題を解決するのにも利用され得る。

拡張装置は相対動作を推定できる。プロジェクションシステムは、（自由度は限定され、環境構成及び動作の方向に依存するが、）ステレオカメラで追跡をサポートするべく、上方の環境へ固定パターンを投射し得る。

更に患者表面上へ投射するプロジェクションシステム。プロジェクタは、その代わりに、作業空間若しくは閲覧室にて他の堅固な若しくは変形可能なオブジェクト上に投射し得る。例えば、カメラは空間において一枚の紙を再構成し、プロジェクタはその紙上に術前スキャンのＣＴデータを投射し得る。紙が変形されると、ＣＴデータは変更され、それが身体範囲内にあるならば「終始スライスする」データを反映する。これにより、湾曲表面若しくは曲線構成の視覚化が可能となる。

ガイダンス方法の利用可能性を向上させるデータエントリアプローチ。システムは、利用容易に重要なターゲット情報を記録する電子若しくは印刷可能署名を有してもよい。この情報は、患者が再撮像されると装置自身により視覚的にロードされ若しくはスキャンされ得る。

従来のデータベース及び（前述の技術により使用可能である）新しい視覚データベースから利益を得、必要とされる集団をターゲットとする一意的トレーニングを提供する、アプローチ。

これは、診断若しくは介入超音波に関して学ぶ者のためのトレーニングを提供する。又は、一般人が病気のための超音波ベースの治療（薬局での自動頸動脈スキャン）を利用することが可能になる。

これらの方法は、撮像プローブ及び／又はニードルなどの利用もモニタし、ユーザが不十分に訓練されているときを示す。

超音波や医薬を超える、これらの思想のための他の利用例が多数存在する。例えば、平面ウイングの非破壊の視診は超音波やｘ線を利用し得るが、何れの場合も、問題になっている視診の位置（例えば、ウイングアタッチメント）への正確なガイダンスが要求される。前述の方法は、このガイダンスを提供し得る。より一般的な設定では、システムは、例えば、ダーツを投げること、プールボールをヒットすること、若しくは同様のゲームのための、ガイダンスを提供できる。

更なる目的及び利点は、明細書、図面及び例示の考察から明らかとなるであろう。
本発明の実施形態に係る撮像システムのための拡張装置の形態を示す。ブラケットが示されていない、図１の拡張装置の模式図である。本発明の或る実施形態に係る拡張装置及び撮像システムの模式図である。本発明の或る実施形態に係る拡張装置及び撮像システムの模式図である。本発明の或る実施形態に係る拡張装置及び撮像システムの模式図である。本発明の或る実施形態に係る拡張装置及び撮像システムの模式図である。本発明の或る実施形態に係る拡張装置及び撮像システムの模式図である。本発明の或る実施形態に係る拡張装置及び撮像システムの模式図である。本発明の或る実施形態に係る拡張装置及び撮像システムの模式図である。本発明の或る実施形態に係る拡張装置及び撮像システムの模式図である。本発明の或る実施形態に係る拡張装置及び撮像システムの模式図である。本発明の実施形態に係る（ＭＲＩ）イメージガイド手術のためのシステムの模式図である。本発明の異なる実施形態に係る３つのカメラ構成、ステレオカメラ配置（左）、単体カメラ配置（中央）及び全指向性カメラ配置の、描写図を示す。投影目的のスイッチ可能の半透明スクリーンを含む実施形態に係るハンドヘルド撮像システムのための拡張装置の模式図である。投影目的のスイッチ可能の半透明スクリーンを含む実施形態に係るハンドヘルド撮像システムのための拡張装置の模式図である。或る利用例におけるニードル追跡及び画質の改良のため（組織及び空中レーザと超音波の両方を利用する）光音響撮像のためのレーザベースのシステムを含む実施形態に係る、ハンドヘルド撮像システムの拡張装置の模式図である。配置／方向訂正サポートのための直観的動的シンボルスキームを伴う、撮像される面に直接重ね撮りされる投影ガイダンス情報を用いる、ニードルガイダンスのための一つの可能なアプローチの模式図である。配置／方向訂正サポートのための直観的動的シンボルスキームを伴う、撮像される面に直接重ね撮りされる投影ガイダンス情報を用いる、ニードルガイダンスのための一つの可能なアプローチの模式図である。本出願の実施形態に係る、例のための構造化ライトシステムにて表面に接触するニードルの外観を示す。本出願の実施形態に係る、例のためのＣＴ及びＴｏＦカメラから獲得されるポイント上のＣＰＤを用いる表面登録結果を示す。本出願の実施形態に係る、例のための我々の自動フレーム選択方法を用いてＲＦペアが選択される際、歪み計算の質及び信頼性の大きい改良を示すＳＮＲ及びＣＮＲ値の比較を示す。本出願の実施形態に係る、例のための我々の自動フレーム選択方法を用いてＲＦペアが選択される際、歪み計算の質及び信頼性の大きい改良を示すＳＮＲ及びＣＮＲ値の比較を示す。本出願の実施形態に係る、例のための我々の自動フレーム選択方法を用いてＲＦペアが選択される際、歪み計算の質及び信頼性の大きい改良を示すＳＮＲ及びＣＮＲ値の比較を示す。本出願の実施形態に係る、例のための我々の自動フレーム選択方法を用いてＲＦペアが選択される際、歪み計算の質及び信頼性の大きい改良を示すＳＮＲ及びＣＮＲ値の比較を示す。本出願の実施形態に係る、例のための我々の自動フレーム選択方法を用いてＲＦペアが選択される際、歪み計算の質及び信頼性の大きい改良を示すＳＮＲ及びＣＮＲ値の比較を示す。本出願の実施形態に係る、例のための我々の自動フレーム選択方法を用いてＲＦペアが選択される際、歪み計算の質及び信頼性の大きい改良を示すＳＮＲ及びＣＮＲ値の比較を示す。３色のサイン波パターンで撮像された乳房ファントムを示し、右は本出願の実施形態に係る、例のための対応する３Ｄ再構成である。出願の実施形態に係る、例のための、ＵＳ（超音波）弾性イメージングによりガイドされる腹腔鏡一部腎摘出術を示す。左はシステムコンセプト及び外観である。右は拡張視覚化である。本出願の実施形態に係る、例のための、人体の外部に配置されるＵＳ（超音波）プローブによりガイドされる腹腔鏡一部腎摘出術を示す。本出願の実施形態に係る、光音響ベースの登録方法の例を示す。パルスレーザプロジェクタは、ＵＳ（超音波）空間のＰＡ信号を生成し得るパターンを初期化する。従って、ＵＳ（超音波）とカメラ空間の両方の融合は、ポイントツーポイントのリアルタイム登録方法を用いて、容易に確立され得る。本出願の実施形態に係る、完全な投影データにより再構成される根拠の真実（左画像）を示す。中央のものは、２００チャネルが両側からトリムされた、端の切れたソノグラムを用いて再構成されている。右のものは、端の切られたデータ及び抽出された信頼範囲（矩形サポート）を用いて構成されている。皮膚表面上への（構造化光パターンとして有用であり、ガイダンスのための）生の超音波の投射を示す模式図である。変動する空間周波数により示される異なる構造化光パターンの模式図である。ストレートニードルの検出を補助するための、エッジを伴う、及びエッジを伴わない、異なる構造化光パターンの模式図である。ステレオ表面再構成に向けてデータ密度を増大させるために、経時的に異なるパターンを介してランダム化することの模式図である。患者の隣の撮像装置の外部における、カメラ／プロジェクションユニットの利用の模式図である。ここで、構造化光パターンを皮膚上と共に、患者の上の半透明若しくはスイッチ可能フィルムスクリーン上に投射する。スイッチ可能フィルム、蛍光灯、若しくは半透明スクリーンを利用し、患者とスクリーンの両方に同時に投射することができることの、模式図である。各投射センターから一つのラインを投射することによる−デュアルシャドウ受動的ガイドラインの模式図である。所望のニードルポーズにて交差し受動的アラインメントを可能にする２つの光平面が形成される。（ニードル追跡結果に基づいて）一つのライン及び更なるガイダンスシンボルを投射することによる−セミアクティブ、単体シャドウのガイダンスの模式図である。ニードルは一平面では受動的に整列可能であり、残りの自由角度で能動的に整列可能である。ユーザへの更なる方向の情報のためにニードルガイダンスパフォーマンス及び利用可能性を改良する、ストレートライン（頂部）に対向する「バルビ」を用いることの模式図である。ダブルウエッジファントムによるカメラ−超音波キャリブレーションのためのセットアップの模式図である。超音波プローブは、マニュアルスイープの間ウエッジの中央面と整列し、同時に、グリッドのステレオビューは周知のファントムに関するカメラポーズを再構成し得る。マルチラインファントムの図である。この図は、超音波撮像フレームのポーズを一意的に特定でき、周知の光学ランドマーク（チェッカボード）に超音波画像を関連付け得る周知の形状の別の構成を示す。従って、キャリブレーションは単体画像から実施され得る。最良のニードル若しくはターゲット撮像のための（焦点深さ等の）超音波撮像パラメータを最適化し得るカメラ座標におけるカメラポーズの評価の模式図である。ターゲットと整列するために、ユーザにより為されるニードルポーズに対する変更を示すターゲット／方向シンボルの模式図である。受動的ガイダンスのためのデュアルシャドウアプローチの模式図である。ユーザによるフリーハンドナビゲーションを認める、表面上のターゲット／クリティカル領域の直接投射の模式図である。カメラ座標における投射センターを今度は再構成し得るラインを再構成でき、カメラ及びプロジェクタをキャリブレートする助けとなる、投射センターから任意の表面上への可視光線の投射の模式図である。「キャプチャレンジ」レファレンスとして投射された挿入ポイントを使用し、そこからあまりに離隔して指し示すニードルを放棄し／移籍しない、システムの模式図である。一つのプロジェクタ、一つのカメラを使用する受動的ニードルアラインメントの模式図である。投射されたラインとニードルのアラインメントは、平面へのポーズを制約し、カメラ画像上へ覆われるラインとのアラインメントは別の平面を強要し、更にニードルポーズを規定する。単体プロジェクタ及びデュアルミラーアタッチメントを伴うダブルシャドウ受動的ガイダンスの模式図である。単体プロジェクションコーンは、異なる仮想センターから二つの仮想コーンに分割され、これにより、限定されたハードウエアオーバヘッドとの受動的アラインメントが可能となる。ダブルウエッジが超音波内でどのように現れるか、及び、それらはどのように自動的に検出／セグメント化（グレーントライアングル）されるかを示す図である。これは、超音波画像に基づくポーズリカバリである。面外のビュー（水平のグレーの「超音波平面」ラインをクロスするグリーン照準線＋ラインを伴う、トップセクション）のための画像オーバレイを示す、システムのグラフィックユーザインタフェースのスクリーンショットである。

図５及び図１７〜図３２では、投射された画像が青で示され、カメラビューが赤で示される。更に、Ｃはカメラ１＆２を意味し、Ｐはプロジェクタであり、Ｐ‘は投射された画像（青）である。Ｃ’はカメラビュー（赤）である。Ｎはニードル若しくは器具である。Ｍはミラーである。Ｂはベースであり、ＵＳは超音波であり、Ｉは撮像システムであり、ＳＬＳは構造化光面であり、Ｏはオブジェクト若しくは患者面であり、Ｓは半透明若しくはスイッチ可能フィルムスクリーンに対するものである（但し、図２４及び図３２では、Ｓはリアル（キャスト）ラインシャドウであり、Ｓ‘はアラインメントに対して投射されたシャドウラインである）。

本発明の複数の実施形態を以下詳細に説明する。実施形態を説明するにあたり、明確さの目的のために特定の用語を利用する。しかしながら、本発明はそのように選択される特定の用語に限定されることを意図されるものではない。本発明の広範な概念から乖離すること無く、他の均等のコンポーネントが採用可能であり他の方法が開発可能であることを当業者は認識するであろう。

本発明の複数の実施形態は、相対的に狭いイメージガイダンス及びトラッキングに関する現行のパラダイムを超過するＩＧＩ（イメージガイド介入）イネーブリング「プラットフォーム技術」を記載する。同時に、トラッキング、登録、視覚化及びガイダンスの限定を克服する助けとなる。特に、例えば、とりわけ、３Ｄコンピュータビジョン、構造化光、及び光音響効果を利用するニードル識別及び追跡に関連する技術、直交撮像モダリティの新規の組み合わせを伴うマルチモダリティ登録に関連する技術、並びに、局所感知アプローチを利用する撮像装置トラッキングに関連する技術を、用いて統合する。

本発明は、様々な実施形態の広汎な範囲をカバーするものであり、一般的な撮像、投射、ビジョン、及びローカル感知のために用いられる、コンポーネント及び方法の、強固に統合された共通の核を共有する。

本発明の複数の実施形態は、例えば、エラーを十分に減少させ肯定的な患者の転帰を増大させるポテンシャルを伴う、医療撮像装置のトラッキングために実現技術を提供し得る局所検知アプローチを提示する相補的技術のグループを組み合わせることに、仕向けられている。このアプローチは、本発明の複数の実施形態に係る、超音波プローブ及び他の撮像装置のトラッキング、介入ガイダンス、並びに情報可視化に対して、プラットフォーム技術を提供し得る。超音波撮像を、本発明の複数の実施形態に係る、画像分析アルゴリズム、プローブ搭載カメラ及びプロジェクションユニット、並びに、非常に低コストの独立の光学慣性センサと組み合わせることにより、装置及び一部ツール、若しくは、現下の動作を徐々に追跡することによる他の目的物の、配置及び軌道を再構成することが可能である。

本発明の複数の実施形態において、（可視光線、超音波、並びに、他の撮像及び配置モダリティを用いて）ニードル及び他のツールのセグメンテーション、トラッキング及びガイダンスが可能であり、例えば、前述のプローブ追跡能力を、完全追跡のイメージガイド介入システム内に統合することができる。

センサの同じセットは、更なるプロジェクションコンポーネントを用いて、相互作用の、適所の可視化を可能にする。この可視化は、現下の若しくは術前の撮像データ又はその融合ディスプレイを含むことができ、ガイダンスオーバレイなどのナビゲーション情報も含むことができる。

同じプロジェクションコンポーネントは、表面捕捉及びマルチモダリティ登録にて助けとなることができ、例えば、ハンドヘルド超音波プローブ、ＭＲＩ／ＣＴ／Ｃアーム撮像システム、無線カプセル内視鏡検査、及び従来の内視鏡処置などの様々なシステムにて、術前プランとの信頼性の高い迅速な融合を行える。

そのような装置は、従来技術と比較して改良された感度及び特異性により撮像処置を行うことができる。有害なＸ線／ＣＴ若しくは高価なＭＲＩ撮像、及び／又は、外部追跡、及び／又は高価な、不明確な、時間の掛かる、若しくは実現困難なハードウエアセットアップを、従前要求し、又は、正確さ及び成功の保証の本来的な欠如に苦しんだに過ぎない、複数の利用例のシナリオを、以下のように、これは開拓し得る。

癌治療、出生前撮像等の、診断撮像等：外部追跡の必要なく、フリーハンドの三次元超音波ボリュームの生成が可能である。

バイオプシ、ＲＦ（無線周波数）／ＨＩＦＵ（高密度焦点式超音波｛こうみつどしょうてんしきちょうおんぱ｝）切除等：外部追跡無く、２Ｄ若しくは３Ｄの超音波ベースのニードルガイダンスを可能とする。

小線源情報：正確な小線源情報シード配置のための３Ｄ超音波捕捉及びニードルガイダンスを可能にし得る。

コーンビームＣＴ再構成：減少された放射線量及び集中した視野により高品質のＣアームＣＴ再構成を可能にし得る。

消化器病学：拡張期間に亘り、無線カプセル内視鏡のための配置及び軌道の再構成を実行できる。

他の利用例は追跡撮像及び追跡器具に依存する。

本発明の複数の実施形態は、現存の技術に対して複数の利点を提供できる。以下の組み合わせとなる。

単体平面ＵＳ−ＣＴ／ＭＲＩ登録−ＵＳ（超音波）ボリュームの退屈な捕捉の必要は無い。

低コストトラッキング−ハンドヘルド撮像プローブ、器具若しくはニードルに関する光学若しくは電磁気（ＥＭ）トラッキングセンサは無く、キャリブレーションの必要も無い。

適所の可視化−ガイダンス情報及び撮像情報は、リモートスクリーン上に表示されるが、対象領域上に若しくはそれを被ってスクリーン上に、投射されることが示される。

ローカル、コンパクト、及び、非侵入ソリューション−介入及びポイントオブケアの臨床の一式にて最初に用いられるハンドヘルド及びコンパクト超音波システムのための、更には、他の介入セッティングの可視追跡における一般的なニードル／ツールトラッキングのための、理想トラッキングシステム。

品質改良された円錐ビームＣＴ−切断アーチファクトが最小限である。

カプセル内視鏡のための、改良されたトラッキング及びマルチモダリティ撮像−疑わしい所見の位置特定及び診断が可能である。

経皮的な超音波及び内視鏡映像部の改良された登録−パルスレーザ光音響撮像を用いる。

例えば、本発明の複数の実施形態は、超音波プローブ及びラウドスピーカの撮像装置の追跡のための装置及び方法に関する。超音波撮像を画像分析アルゴリズム、プローブ搭載カメラ、及び非常に低コストの独立の光学慣性センサと組み合わせれば、本出願の実施形態に従いそれらの現下の動作を徐々に追跡することで、装置及び可能な器具若しくは他の目的物の一及び軌跡を再構成することが可能である。これは、高価な、不明確な、若しくは実現困難なハードウエアセットアップを、従前要求した複数の利用例のシナリオを提供し得る。例示は、例えば、外部追跡の必要の無いフリーハンドの三次元超音波ボリュームの生成、外部追跡の無い３Ｄ超音波ベースのニードルガイダンス、改良されたマルチモデル登録、簡素化した画像オーバレイ、若しくは、拡張期間に亘る無線カプセル内視鏡のための配置及び軌跡の再構成を、含む。

センサの同じセットは、本発明の複数の実施形態に係る更なるプロジェクションコンポーネントを用いて、相互作用の、適所の視覚化を可能にし得る。

現下の超音波処置は、大抵、スキャンされる３Ｄボリューム（「対象の領域」／ＲＯＩ）を介して平面イメージスライスを戻すハンドヘルドの２Ｄ超音波（ＵＳ）プローブを使用する。この場合、臨床的状況の十分な理解を獲得するために、ソノグラフは、多数の様々な位置及び角度からＲＯＩをスキャンし根本的な３Ｄ形状の描写を知的に組み合わせる必要がある。連続する画像の間の変換（「パス」）と共に２Ｄ画像のシーケンスをコンピュータシステムに提供することにより、完全な３Ｄ超音波ボリュームの再構成をアルゴリズム上実行するように機能し得る。このパスは従来の光学、ＥＭ（電磁気）などの追跡装置により提供され得るが、実質的により低いコストの解決策は、３Ｄ超音波の利用を極めて増大させる。

ニードルガイダンスを要求する経皮的介入のため、ニードル軌跡の予測は、現下、遠位（外部）ニードル端部に添付されたセンサによる追跡に基づき、更に軌跡の知的外挿法に基づくものであり、オペレータの経験に依存する。３Ｄ超音波、ニードルトラッキング、ニードル軌跡予測及び相互作用ユーザガイダンスとの統合システムは、非常に有用である。

図１は、本発明の実施形態に係る撮像システムのための拡張装置１００の形態の図である。拡張装置１００は、撮像システムの撮像コンポーネント１０４に添付するべく構成されるブラケット１０２を含む。図１の例では、撮像コンポーネント１０４は超音波プローブであり、ブラケット１０２は超音波プローブのプローブハンドルに添付するように構成されている。しかしながら、本発明の広汎な概念は、この例にのみ限定されるものではない。ブラケット１０２は、例えば、整形外科動力ツール若しくはスタンドアローンのハンドヘルドブラケットなどの、イメージガイド手術のための他のハンドヘルド器具に添付するように構成され得る。他の実施形態では、ブラケット１０２は、例えば、Ｘ線システム若しくはＭＲＩシステムのＣアームに添付するように構成され得る。

拡張装置１００は、ブラケット１０２に添付するプロジェクタ１０６も含む。プロジェクタ１０６は、撮像コンポーネント１０４による撮像と協働して表面上に画像を投射するように配置され構成される。プロジェクタ１０６は、可視光撮像プロジェクタ、レーザ撮像プロジェクタ、パルスプロジェクタ、又は（可視光、レーザ若しくは赤外光線／紫外光線を用いる）固定された若しくは選択可能なパターンのプロジェクタのうち、少なくとも一つであればよい。利用例に拠り、様々なスペクトル領域及びパワー強度の利用は、例えば、可視オーバレイと同時の構造化光照明のための赤外線、（ＭｅｄｉａＧｌａｓｓ、ＳｕｐｅｒＩｍａｇｉｎｇＩｎｃ．などの）紫外線（ＵＶ）感知透光グラススクリーンのための紫外線、若しくは光音響撮像のためのパルスレーザなどの、様々な能力を可能にする。固定されたパターンプロジェクタは、例えば、スライド、マスク、レチクル、若しくは、対象の領域上へ所定のパターンが投射されるような他の光パターン構造を介して、投射するように配置される光源を、含み得る。例えば、これは、対象の領域上へ（グリッドや、局所的に一意的なパターンなどの）構造化光パターンを投射するのに、用いられ得る。それらプロジェクタのための別の利用は、動的ニードル挿入サポートシンボル（サークルや十字、図８参照）などの、対象の領域へのユーザガイダンス情報のオーバレイであってもよい。そのようなプロジェクタは、ある利用例では非常にコンパクトに作成され得る。選択可能パターンのプロジェクタは、光パターンコンポーネントを選択する及び／又は交換するメカニズムを伴うこと以外は、固定パターン装置と同様であってもよい。例えば、複数の所定の光パターンセクションの一つが対象の領域上に投射される光源からの光のパス内に、移動する、回転コンポーネントが用いられてもよい。別の実施形態では、前記プロジェクタは、システムのスタンドアローンエレメントでもよく、本発明内に記載される他のコンポーネントのサブセットと組み合わされてもよく、即ち、別の撮像装置とブラケット若しくはホルダ内で必ずしも統合されなくてもよい。ある実施形態では、プロジェクタは、カメラ、撮像ユニット、及び／又は、スイッチ可能フィルムスクリーンと同期してもよい。

拡張装置１００は、ブラケット１０２に添付する少なくとも一つのカメラ１０８を含んでもよい。ある実施形態では、第２のカメラ１１０が、プロジェクタと共に若しくはプロジェクタ無しに、ブラケット１０２に添付して、例えば、ステレオビジョンを提供してもよい。本発明の複数の実施形態において、カメラは、可視光カメラ、赤外線カメラ、若しくは飛行時間カメラのうちの少なくとも一つであってもよい。カメラは、利用例により、スタンドアローンでも、一つの装置内で一つ以上の投射ユニットと統合されるものでもよい。それらカメラは又、プロジェクタ及び／又はスイッチ可能フィルムグラススクリーンと同期としなければならないものであってもよい。

本発明の一般的な概念から乖離することなく、メイン装置に物理的に添付して、別のコンポーネントで、若しくは独立で、更なるカメラ及び／又はプロジェクタが設けられてもよい。カメラは、従来の投射カメラである必要は無く、反射屈折若しくは他の全方向設計、ラインスキャンなどの、他のタイプのものであってもよい。例えば、図５を参照されたい。

カメラ１０８及び／又は１１０は、対象の領域に近接する表面領域を撮像コンポーネント１０４の動作の間に観察するように、配置され得る。図１の実施形態では、二つのカメラ１０８及び１１０が、対象の領域のステレオ観察のために、配置され構成され得る。一方で、ユーザの視察位置に関する情報を提供する視覚化の間に、カメラ１０８及び１１０の一つ、若しくは更なるカメラ、又は、二つ以上が、ユーザの顔の位置を追跡するように配置されてもよい。例えば、このことは、ビューアの位置を考慮に入れるように、例えば、視差の課題を取り扱うように、対象の領域上に情報の投射を許してもよい。

図２は、ブラケット１０２が明確には示されていない、図１の拡張装置１００の模式図である。図２は、本発明の複数の実施形態に係る拡張装置１００内に含まれ得る、更なる光学局所感知コンポーネントを示す。例えば、拡張装置１００は、ブラケット１０２に添付する局所センサシステム１１２を含んでもよい。局所センサシステム１１２は、例えば、ＥＭ（電磁気）追跡システムなどの、従来の追跡システムの一部であってもよい。一方で、局所センサシステム１１２は、撮像コンポーネント１０４の位置及び／又は方向の情報を提供し、利用の際に従来の光学若しくはＥＭ（電磁気）追跡システムなどによる外部参照フレームに対する要求無く、撮像コンポーネント１０４の追跡を許可し得る。それら局所センサシステムは、撮像コンポーネントだけでなく、ハンドヘルドスクリーン（図４）若しくはカプセル内視鏡の（例えば、方向を決定する）追跡においても助けとなり得る。或る実施形態では、局所センサシステム１１２は、例えば、光学、慣性、若しくは容量性センサのうちの少なくとも一つを含んでもよい。或る実施形態では、局所センサシステム１１２は、例えば、一つ以上のジャイロスコープ及び／又は線形加速度計を含み得る慣性センサコンポーネント１１４を含む。一つの実施形態では、局所センサシステム１１２は、回転の三直交軸に関する回転情報を提供する三軸ジャイロシステムを有する。三軸ジャイロシステムは、例えば、微小電気機械システム（ＭＥＭＳ）三軸ジャイロシステムであってもよい。局所センサシステム１１２は、一方で、若しくは更に、本発明の実施形態における一つ以上の直交軸の加速情報を提供する、一つ以上の線形加速度計を含む。線形加速度計は、例えば、ＭＥＭＳ加速度計であってもよい。

慣性センサコンポーネント１１４に加えて、若しくは、慣性センサコンポーネント１１４に換えて、局所センサシステム１１２は、表面に対する撮像コンポーネント１０４の動作を検出するように配置された光学センサシステム１１６含んでもよい。光学センサシステム１１６は、例えば、（可視光線、赤外線、若しくはレーザ光線を用いる）従来の光学マウスのセンサシステムと同様のものであってもよい。しかしながら、他の実施形態では、特定の利用例のために、光学センサシステム１１６は最適化されてもよく、さもなければカスタマイズされてもよい。これは、（スケール不変フィーチャ変換／ＳＩＦＴ及び同時配置及びマッピング／ＳＬＡＭなどの）特定の特性及びデバイストラッキングアルゴリズムにより経時的にデバイス、種々の表面特性、若しくは表面領域パッチを追跡し、軌跡再構成若しくはステレオ表面再構成をサポートする、（潜在的にステレオの）カメラの利用を含む。

慣性センサコンポーネント１１４に加えて、若しくは、慣性センサコンポーネント１１４に代えて、局所センサシステム１１２は、空中光音響効果を利用する局所超音波センサシステムを含み得る。この実施形態では、一つ以上のパルスレーザプロジェクタは、患者組織表面、周辺エリア若しくは両方に向かってレーザエネルギを仕向け、プローブ自身周りに配置された空中超音波レシーバは、装置の極近傍にツール若しくはニードルなどの電位目的物を検出し配置する助けとなる。

或る実施形態では、プロジェクタ１０６は、撮像コンポーネント１０４に近接して局所環境上に画像を投射するように配置され得る。例えば、プロジェクタ１０６は、カメラ１０８及び１１０の視界にて表面上にパターンを投射するように調整され、これにより、カメラの視界にてステレオ目的物認識及び目的物追跡を促進するものであっってもよい。例えば、本発明の複数実施形態では、構造化光は患者の皮膚若しくは器官に投射され得る。ある実施形態では、プロジェクタ１０６は、超音波撮像装置から取得された超音波撮像データに基づく画像を投射するように構成され得る。ある実施形態では、例えば、プロジェクタ１０６は、例えば、Ｘ線コンピュータトモグラフィ撮像デバイス、若しくは磁気共鳴撮像装置から取得された、撮像データに基づく画像を投射するように構成され得る。サライ、術前データ若しくはリアルタイムガイダンス情報は、プロジェクタ１０６により投射されてもよい。

ステレオビジョンを用いる再構成は、ステレオマッチングパフォーマンスで助けとなるパターンを投射することにより改良されるが、従来の構造化光パターンを投射することは、外科医に対して気をそらさせ得る。しかしながら、超音波画像のスペックルパターンは、外科医にとって有益でもある自然なフォームのテクスチャを提供する。よって、本発明は、超音波データの投射を含んでもよく、同時にその投射はステレオ再構成パフォーマンスを改良するのに用いられ得る。例えば、図１７を参照されたい。

一方で、表面再構成のためのステレオマッチングパフォーマンスを改良するために、画像の範囲内及び経時的の両方にて、投射パターンのパラメータを修正することが有用であると分かり得る。それらパラメータは、表面距離、見掛けの構造サイズ、若しくはカメラ解像度（例えば、図１８及び１９を参照されたい）に適合する（平滑変遷に対するエッジの存在、及びカラーパッチサイズの両方の）空間周波数、若しくは（ｂ）スキンタイプなどの表面特性、若しくはアンビエント照明などの環境状況に適合する、カラー、若しくは（ｃ）経時的に様々なパターンを介するランダム化／反復（例えば、図２０を参照されたい）を、含み得る。構造化光パターンと投射されたガイダンスシンボルの両方は、表面再構成パフォーマンスに寄与するが、例えば、ストレートエッジがニードルトラッキングを妨げるとき、全体のシステムパフォーマンスに弊害をもたらし得る。その場合、投射パターン及びガイダンスシンボルは、例えば、より曲線の特性を導入することにより、（成功／ロバスト性、表面異常値率等のトラッキングなどの）システム測定基準を最適化するように調整され得る。

拡張装置１００は、本発明の複数の実施形態に係る、局所センサシステム１１２、カメラ１０８、カメラ１１０若しくはプロジェクタ１０６のうちの少なくとも一つと通信する通信システムも含む。通信システムは、ブルートウース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）無線通信システムなどの（但しこれに限定されない）或る実施形態に係る無線通信システムであればよい。

図１及び図２は、超音波撮像システムとして、ブラケット１０２が超音波プローブハンドル１０４に添付するように構成されている撮像システムを示すが、本発明の広汎な概念はこの例に限定されない。ブラケットは、例えば、Ｘ線及び磁気共鳴撮像システムなどの（但しこれらに限定されない）他の撮像システムに添付可能なように構成されてもよい。

図３Ａは、Ｘ線撮像システムのＣアーム２０２に添付する拡張装置２００の模式図である。この例では、拡張装置２００は、プロジェクタ２０４、第１のカメラ２０６及び第２のカメラ２０８を備えるように示される。従来の及び／又は局所のセンサシステムが拡張装置２００内に任意に含まれ、構造変形に対するＣアーム角度エンコーダ分解能及び評価ロバスト性を強化することにより単体のＣアームＸ線画像の配置を改良するものであってもよい。

動作時には、Ｘ線源２１０は通常、患者の身体を完全に包含するのに十分に幅広いものでは無いＸ線ビームを投射し、所謂コーンビームＣＴ（ＣＢＣＴ）画像データの再構成における深刻な切り捨てアーチファクトと成ってしまう。カメラ２０６及び／又はカメラ２０８は、ビーム幅を超えて患者の伸展の搭載に関する情報を提供できる。この情報は、Ｃアーム２０２が患者２１２周りを回転する際、各角度に対して集められ、ＣＢＣＴ画像の処理内に組み込まれて限定されたビーム幅に対して少なくとも部分的に補償し切り捨てアーチファクトを減少させ得る。更に、従来の及び／又は局所のセンサは、例えば、（潜在的なＣアームエンコーダ自身よりもより正確であり、変動する方向下でのアームの変形に影響される可能性が殆ど無い）Ｘ線源による照射の正確な角度の精密データを提供できる。カメラ投射組み合わせユニットの他の利用は、表面サポートされたマルチモダリティ登録、ビジュアルニードル若しくはツールトラッキング、又は、ガイダンス情報オーバレイである。図３Ａの実施形態は、ＭＲＩシステムのための拡張装置の構成に非常に類似する。

図３Ｂは、本発明の複数の実施形態に係るイメージガイド手術のためのシステム４００の模式図である。イメージガイド手術のためのシステム４００は、撮像システム４０２、及び、撮像システム４０２により撮像の間に対象の領域上に画像を投射するように構成されたプロジェクタ４０４を含む。プロジェクタ４０４は、図示されるように、撮像システム４０２に近接して配置されてもよいし、又は、撮像システムに添付しても若しくは統合されてもよい。この場合、撮像システム４０２は、Ｘ線撮像システムとして概略示される。しかしながら、本発明はこの特定の例に限定されない。前述の実施形態のように、撮像システムは、例えば、超音波撮像システムでも、磁気共鳴撮像システムでもよい。プロジェクタ４０４は、例えば、白色光撮像プロジェクタ、レーザ光撮像プロジェクタ、パルスレーザ、又は、固定パターン若しくは選択可能パターンのプロジェクタのうち、少なくとも一つであってもよい。

イメージガイド手術のためのシステム４００は、撮像システムによる撮像の間に対象の領域の画像をキャプチャするように配置されたカメラ４０６を含んでもよい。本発明の複数の実施形態では、第２のカメラ４０８が含まれてもよい。複数の実施形態において、第３、第４若しくはそれ以上のカメラが含まれてもよい。撮像システム４０２により観察される対象の領域は、カメラ４０６及び／又はカメラ４０８により観察される対象の領域と実質的に同じであってもよい。カメラ４０６及び４０８は、例えば、可視光カメラ、赤外線カメラ、若しくは飛行時間カメラのうちの少なくとも一つであってもよい。カメラ４０６、４０８等の各々は、撮像システム４０２の近傍に配置されてもよく、又は、撮像システム４０２に添付しても、若しくは撮像システム４０２と統合してもよい。

イメージガイド手術のためのシステム４００は、例えば、センサシステム４１０及び４１２などの、一つ以上のセンサシステムを含んでもよい。この例では、センサシステム４１０及び４１２は、従来のＥＭ（電磁気）センサシステムの一部である。しかしながら、光学追跡システムなどの他の従来のセンサシステムが、図示されるＥＭセンサシステムの代わりに若しくはＥＭセンサシステムセンサシステムに加えて、用いられてもよい。一方で、若しくは更に、局所センサシステム１１２などの一つ以上の局所センサシステムが、センサシステム４１０及び／又は４１２の代わりに、含まれてもよい。センサシステム４１０及び／又は４１２は、例えば、撮像システム４０２、プロジェクタ４０４、カメラ４０６、若しくはカメラ４０８のうちのどの一つに添付されてもよい。プロジェクタ４０４並びにカメラ４０６及び４０８は、例えば、共にグループ化されてもよく、分離されてもよく、撮像システム４０２に添付しても統合されてもよく、又は、撮像システム４０２に近傍に配置されてもよい。

図４は、ＭＲＩやＣＴ等の医療撮像装置と連結するカメラ／プロジェクション組み合わせユニットの一つの可能な利用を示す。これらのモダリティに基づくイメージガイド介入は、とりわけ、撮像装置内部の空間制約のため適所介入が厄介若しくは不可能であるという事実から派生する、登録の困難を課題とする。従って、潜在的に融合した術前及び術中画像データの相互作用オーバレイをサポートするマルチモダリティ画像登録システムが、例えば、継続期間、放射線被曝、コストなどの点で大きく減少した撮像条件によってニードルベースの経皮的介入をサポートする、即ち可能にする。メイン撮像システムの外部のカメラ／プロジェクションユニットは、患者を追跡し、例えば、構造化光及びステレオ再構成を用いて身体表面を再構成し、ニードル及びそれに関連する他のツールを登録し追跡し得る。更に、スイッチ可能フィルムグラススクリーンを含むハンドヘルドユニットは、光学的に追跡され、相互作用オーバレイプロジェクション表面として用いられ得る。例えば、図２１を参照されたい。それらスクリーンに対する追跡の正確性は、前述のスクリーンに（少なくとも部分的に）局所センサシステムを添付することにより改良され、視覚的手掛かりのみを用いるより良好な方向評価を可能にする。スクリーンは、基本的な患者の表面の（潜在的に構造化光サポートされる）再構築を妨げる必要は無く、その表面のユーザの視覚をブロックする必要も無い。それらは、表面上へのパターン及びガイダンス情報のプロジェクションを可能にする透明モードと、例えば、追跡される３Ｄデータ視覚化のやり方で他のユーザターゲットのデータをブロックし表示する不透明モードとの間で、交互に（秒当たり数百回まで）迅速にスイッチされ得るからである。

それらスイッチ可能フィルムグラススクリーンは、図６の超音波プローブ及び前述のブラケットなどのハンドヘルド撮像装置に添付されてもよい。このように、撮像及び／又はガイダンスデータは、リモートモニタスクリーン上の代わりに、対象の領域内で撮像装置に直ぐに近接して、不透明モードで、ハンドヘルドスクリーン上に表示され得る。更に、透明モードでは、構造化光のプロジェクション及び／又は表面再構成は、スクリーンにより妨げられるものではない。例えば、図２２を参照されたい。両方の場合、データは、前述のプロジェクションユニットを用いてスイッチ可能スクリーン上へ若しくは介して投射され、よりコンパクトなハンドヘルド設計又は更なるリモート投射を可能にする。更に、（ハンドヘルドの、若しくはブラケット搭載の）これらのスクリーンは、例えば、ＵＶ（紫外線）感知／蛍光ガラスを用いて実現可能である。これらスクリーンは、スクリーン上に明画像を形成するための（カラー複製のために潜在的にマルチスペクトルである）ＵＶ（紫外線）プロジェクタを要求するが、スクリーンモードスイッチングの能動制御が不必要である。後者の場合、構造化光がガラスにより妨げられない周波数を使用するという条件下で、スクリーン上へのオーバレイデータのプロジェクション、及び患者表面上への構造化光のプロジェクションが並列して動作可能である。

図７は、ファイバを介して患者の表面に向かい、組織伝搬光音響効果を励起し、撮像装置の側部に向かって環境内にレーザパルスを発し、空気伝搬光音響撮像を可能にする、プロジェクションユニットとしての一つ以上のパルスレーザを含む、ハンドヘルド撮像装置に対して記載される拡張装置（「ブラケット」）の可能な伸展を記載する。後者に対して、ハンドヘルド撮像装置及び／又は拡張装置は、環境の中に向く、装置自身の周辺の超音波レシーバを含む。両方の光音響チャネルは、例えば、体内及び体外のツールトラッキング、若しくは平面外のニードル検知及びトラッキングを可能にするのに用いられ得、種々の状況下でツール／ニードルの検知可能性と可視性の両方を改良する。

内視鏡システムでは、光音響効果は、内視鏡ビデオと超音波の間の登録のための構造化光の形態と共に用いられ得る。内視鏡セットアップ内のプロジェクションユニットからパルスレーザパターンを発することにより、光入射配置の一意的パターンが、観察器官の内視鏡に面する表面側上に生成される。内視鏡装置内でプロジェクションユニットの隣にある一つ以上のカメラユニットは、パターンを観察し、器官表面上にその三次元形状を潜在的に再構成する。同時に、観察下の器官の反対側の遠位超音波撮像装置は、結果として光音響波パターンを受信し、パルスレーザ入射配置に対応して、それらパターンの原点を再構成し配置することができる。この「リアプロジェクション」スキームにより、システムの両側、内視鏡と超音波の間で、簡易な登録が可能になる。

図８は、対象の領域内の表面上に視差独立して直接投射する（つまりユーザの位置は方法の達成とは関係が無い）ことによりユーザにニードルガイダンス情報を表示する一つの可能なアプローチを示す（同じ方法は、例えば、前述の装置装着のスクリーン上への、若しくは、ハンドヘルドスクリーン上への、投射に適用され得る。）。例えば、移動、潜在的にはカラー／サイズ／厚さ／等のコード化されたサークル、及びクロスの組み合わせを用いて、ニードル挿入を制御する自由度５（２の各々は挿入ポイント位置とニードル方向に対するものであり、１は挿入深さ及び／又はターゲット距離に対するものである）は、ユーザに直観的に表示され得る。一つの或る実装では、表面上への投射されるサークルの位置及びカラーは、現在のニードルの位置とターゲット配置との間の線と、患者の表面との交点、及び、計画された挿入ポイントからの挿入ポイントの距離を、示す。投射されたクロスの位置、カラー、及びサイズは、ターゲット配置に向かう正確な方向に関するニードルの現下の方向、及び、ターゲットからのニードルの距離を、コード化する。方向の偏差は、適切な位置／方向の構成に向かって指し示す矢印によっても示され得る。別の実装では、ニードルの方向を調整するのに必要なガイダンス情報が、ニードル挿入ポイントに隣接する表面上への仮想シャドウとして投射され、ユーザに挿入に向けてニードルを適切に方向付けるべくシャドウ長を最小化するように促すものであってもよい。

ニードルガイダンスは、上述の全自由度に対する照準線若しくは他のターゲット情報を投射することにより、アクティブとなり得る。ニードルガイダンスは、アラインメントの手段としてもシャドウを利用し得る。「単体シャドウアラインメント」は、例えば、サークルや照準線など（例えば、図２４参照）の、残余の自由度のための更なるアクティブトラッキング／ガイダンスを伴う、自由度１のために用いられ得る。一方で、多重プロジェクタが利用可能であれば、ステレオガイダンスは、シャドウ、アクティブ光平面、若しくは他の類似の方法を利用し得る。例えば、図２３、３２を参照されたい。この場合、ニードルガイダンスは、ステレオビュー／カメラで、又はデュアルプロジェクタシャドウ若しくはパターンで簡素なアラインメントを用いることにより（ニードルトラッキング無しで）受動的となり得る。

特定のプロジェクションパターンは、トラッキングのスピード即ち信頼性を向上させるのに用いられ得る。例示は、投射シャドウ（「バルビライン」など）によってニードルシャドウを迅速に且つ正確にアラインする助けとなる、特定のシャドウ「ブラッシュタイプ」若しくはプロファイルを含む。例えば、図２５を参照されたい。他のパターンは、粗雑アラインメント及び精密アラインメントに対して、より良いものとなり得る。

システムは、患者表面上への臨界エリア若しくは禁止領域の「シャドウ」若しくはプロジェクションを利用し、術前のＣＴ／ＭＲＩ若しくは非患者特定のアトラスを用いて介入のための「ロードマップ」を規定してもよい。例えば、図２５を参照されたい。

前述のユーザガイダンスディスプレイはユーザ視覚の方向から独立しているが、（図４に示すイメージガイド介入システム上の幾つかのバリエーションなどの）複数の他の情報ディスプレイは、撮像装置、拡張装置、別のハンドヘルドカメラ／プロジェクションユニット、及び／又は、プロジェクションユニット若しくは患者表面に対する、ユーザの眼の配置に関する知識から恩恵を受け得る。例えば、ユーザの眼の配置を決定する顔検出能力と組み合わせれば、（ハンドヘルド超音波撮像装置から上方、などの）ユーザの顔が向くことが予想できる空間領域に向けて、対象の撮像領域から離れて、指し示す（例えば、可視光、若しくは赤外線光の）一つ以上の光学カメラを用いて、それら情報を収集し得る。

例示
以下は、本発明の複数の実施形態に係る複数の例示を提供する。これらの例示は、本発明の概念の一部の記載を促進するのに提供されるものであり、本発明の広汎な概念を限定することを意図するものでは無い。

局所センサシステムは、例えば、三軸ジャイロシステムなどの慣性センサ５０６を含み得る。例えば、局所センサシステム５０４は、三軸ＭＥＭＳジャイロシステムを含んでもよい。複数の実施形態では、局所センサシステム５０４は、カプセル撮像装置５００の動作を検出する光学位置センサ５０８、５１０を含み得る。局所センサシステム５０４は、カプセル撮像装置５００に、撮像データに沿って位置情報を記録させ、例えば、カプセル撮像装置５００のリカバリの後に患者の生体構造の特定部位を伴う画像データを登録することを促進できる。

本発明の複数の実施形態は、例えば、異なるセンサの組み合わせ、三軸加速器に基づく慣性計測ユニット、外側面変位計測のための一つ若しくは二つの光学変位トラッキングユニット（ＯＴＵ）、二つ以上の光学ビデオカメラ、及び、（ハンドヘルド及び／又は線形などの）超音波（ＵＳ）プローブを含む、現存装置の拡張版を提供し得る。後者は、光音響（ＰＡ）構成、即ち、一つ以上のアクティブレーザ、光音響アクティブエクステンション、及び、一つ以上の独立のレシーバアレイと、置き換えてもよく、これらを添付してもよい。更に、本発明の実施形態は、少なくとも二つの顕著な特徴を投射できる小型のプロジェクション装置を含んでもよい。

これらのセンサ（若しくは組み合わせ）は、例えば、共通のブラケット若しくはホルダに搭載され、ハンドヘルドＵＳプローブ上へ搭載され、（一つ以上ならば、ＵＳアレイの対向する側面であるのが好ましい）走査表面に向かって及び近接してポインティングするＯＴＵを伴い、（例えば、ステレオ配置で）カメラが搭載され走査エリア、ニードル若しくはツール、及び／又は、動作ルーム環境の環境を捕捉でき、加速器が共通のホルダ上で基本的には任意であるが固定された配置にあってもよい。特定の実施形態では、プロジェクション装置は、主として走査表面上へポインティングしてもよい。別の特定の実施形態では、一つのＰＡレーザが、ＰＡエクステンションに向かってポイントしてもよく、同じ若しくは別のレーザが外部にポイントし、ＵＳ（超音波）レシーバアレイが反射するＵＳエコーをキャプチャできるように適切に配置されてもよい。前述のセンサが別途の組み合わせがされてもよい。

搭載ブラケットは、固定の位置若しくは方向に限定される必要は無い。拡張装置は、再構成可能／回転可能セットアップに搭載され、オペレータの要求に拠って、面内のプロジェクション及びガイダンスから面外のプロジェクション及びガイダンスへ装置を再方向付けし得ることになる。搭載メカニズムは、拡張装置のエレベーションが異なるユーザの習慣（低い／高いニードルグリップなど）に適合するように調整可能とすることもできる。搭載システムは、モジュラでもよく、例えば、適用例に対して要求されるように仰角を制御するため、ユーザにカメラを加えることや、プロジェクタを加えることや、メカニカルガイドを加えることをさせてもよい。

特定の適用例及び／又は実施形態に対して、間質性ニードル若しくは他のツールが用いられてもよい。ニードル若しくはツールは、患者の身体外での光学的可視性をより良くするためにマーカが添付されてもよい。更に、ニードル若しくはツールは、身体内に挿入されることが想定されるならば、良好な超音波可視性のために最適化されてもよい。特定の実施形態では、ニードル若しくはツールは、慣性トラッキングコンポーネント（即ち、加速器）と組み合わされてもよい。

特定の適用例及び／又は実施形態に対して、患者の身体表面上での登録若しくは参照位置の規定のために、更なるマーカが用いられてもよい。これらは、可視性及び最適化光学特性抽出のために設計される幾何学的特性の明確なスポット若しくは配置であってもよい。

特定の適用例及び／又は実施形態に対しては、提示の発明により拡張される装置は、ハンドヘルドＵＳ（超音波）プローブであってもよい。他の適用例及び／又は実施形態に対しては、無線カプセル内視鏡（ＷＣＥ）であってもよい。他の装置は適切に規定された適用例のためのものでもよく、それら適用例は提示の発明の更なる追跡及びナビゲーション能力から恩恵を受け得る。

ソフトウエアコンポーネント
一つの実施形態（ハンドヘルドＵＳプローブトラッキング）では、本発明の形態は光慣性プローブトラッキング（ＯＩＴ）のためのソフトウエアシステムを含む。ＯＴＵは、走査表面（例えば、皮膚若しくは腸壁）に亘る局所移動データを含み、加速器及び／又はジャイロスコープは、アブソルートオリエンテーション及び／又は回転動作データを提供する。局所データについてのそれらのストリームは、経時上組み合わされ、実際のＯＩＣセンサ組み合わせ及び現下のプローブのポーズ／動作に依存して、ｎ＝２・・・６でのｎ−Ｄｏｆプローブ軌跡を再構成する。

概略、現在のポーズＱ（ｔ）＝（Ｐ（ｔ）、Ｒ（ｔ））は以下の式により漸化的に計算され得る。
ここで、Ｒ（ｉ）は、加速器から直接サンプルされ、及び／又は、時間ｉにおける（一より多ければ）複数のＯＴＵ間の相対変位からの漸化的に追跡される方向であり、Δｐ（ｉ）は、ＯＴＵにより計測される時間ｉにおける横変位である。Ｐ（０）は、任意に選ばれた初期基準位置である。

一つの実施形態（ハンドヘルドＵＳプローブトラッキング）では、スペックルベースのプローブトラッキングのためのソフトウエアシステムが含まれる。（超音波イメージベースの）スペックル非相間分析（ＳＤＡ）アルゴリズムは、非相間による単体の超音波イメージパッチペアのための高精度の１自由度移動（距離）情報、及び、平面２Ｄ−２Ｄ登録技術と組み合わせたときの完全な超音波画像のための６自由度情報を提供する。適切な画像パッチペアは、ＦＤＳ（完全進展スペックル）検出により予め選択される。距離評価の精度は、統計値をより大きいセットのインプットペアに基づかせることにより、改良される。

両方のアプローチ（光慣性トラッキングとＳＤＡの両方）は、組み合わされてより大きい実効性及び／又はロバスト性を達成することもできる。ＳＤＡ内のＦＤＳ検出ステップを落とし、代わりに光慣性トラッキングを信頼して考慮すべきパッチペアのセットを抑制し、よって明白なＦＤＳ分類無しで適切なＦＤＳパッチの比率を黙示的に増大させることによって、このことは達成される。

別のアプローチは、光慣性トラッキング情報を最大事後（ＭＡＰ）変位評価と統合することであってもよい。更に別のアプローチでは、ＯＩＴとＳＤＡ間のセンサデータ融合が、カルマンフィルタを用いて行われてもよい。

一つの実施形態（ハンドヘルドＵＳプローブトラッキング）では、カメラベースのプローブトラッキング、並びに、ニードル及び／若しくはツールトラッキング及びキャリブレーションのための、システムが含まれ得る。

ホルダ搭載カメラは、例えば、システムの近傍でニードルを、検知しセグメント化できる。二つのポイントＰ_１及びＰ_２を検出することにより、ここで、Ｐ_１は患者組織内へのニードル挿入ポイントであり（若しくは、水容器内の表面交差ポイントであり）、Ｐ_２はニードルの端部若しくは別の適切な遠位ポイントであり、第三のポイントＰ_ｉはＵＳ（超音波）画像フレーム内のニードル交差ポイントであるが、以下の式により、関数の形で一ステップでカメラ−超音波（ＵＳ）プローブシステムを構成することが可能である。
ここで、ＸはＵＳ（超音波）フレーム及びカメラにリンクする検索キャリブレーションマトリクスである。

超音波装置、一対のカメラ、及びプロジェクション装置をキャリブレートする方法は、以下のように進む。プロジェクタは、平面ターゲット上にパターンを投射する。平面ターゲットはカメラにより観察され、同時に超音波プローブにより計測される。複数のそれら画像が取得される。平面ターゲット上の特性は、カメラシステムのためのキャリブレーションを生成するのに用いられる。このキャリブレーションを用いて、空間の平面の一が、カメラシステムを用いて計算され得る。プロジェクタは、同じ情報を用いてキャリブレートされ得る。超音波ビームの平面との交差の対応する位置は、超音波画像内にラインを生成する。複数のそれらラインの処理により、カメラと超音波プローブとの相対位置の計算ができる。

高い正確性を保証するために、撮像コンポーネントの同期化が必要である。一つ以上のカメラが超音波システムと同期することがなされてもよい。このことによりトリガ信号が超音波システムから導出され若しくは超音波システムにより生成され、このトリガ信号がカメラ捕捉をトリガするのに用いられる。トリガ信号は、超音波データ収集ハードウエアから生じてもよく、超音波システムと関連するビデオディスプレイから生じてもよい。同じ超音波信号は、特定の画像若しくはパターンを示すプロジェクション装置をトリガするのに用いられてもよい。

別途のものは、ソフトウエアによる一時的同期の方法であり、カメラペア及び超音波システムはターゲット上を周期的に移動する。カメラと超音波の両方の中のターゲットの動作が計測され、二つの軌跡をマッチングし若しくはフィッテングすることにより、一時的差異が計算される。このような方法は、「Ｎ．Ｐａｄｏｙ、Ｇ．Ｄ．Ｈａｇｅｒによる“Ｓｐａｔｉｏ−ＴｅｍｐｏｒａｌＲｅｇｉｓｔｒａｔｉｏｎｏｆＭｕｌｔｉｐｌｅＴｒａｊｅｃｔｏｒｉｅｓ，ＰｒｏｃｅｅｄｉｎｇｓｏｆＭｅｄｉｃａｌＩｍａｇｅＣｏｍｐｕｔｉｎｇａｎｄＣｏｍｐｕｔｅｒ−ＡｓｓｉｓｔｅｄＩｎｔｅｒｖｅｎｔｉｏｎ（ＭＩＣＣＡＩ）”Ｔｏｒｏｎｔｏ、Ｃａｎａｄａ、２０１１年９月」（非特許文献４）に開示される。

これは、ガイダンスのための、及び、ステレオ再構成などの他の目的のためのパターンをインタリーブする手段を提供し、これにより、トリガ信号はプロジェクタに対してパターン間でスイッチさせる。ユーザが変遷により混乱しないようにカメラシステムにより用いられるパターンが裸眼には不可視であってもよい。

図２６Ａ及び図２６Ｂに示すように、特別に構成されたボリュームを用いることにより、キャリブレーションが為されてもよい。超音波システムがボリューム上を通過し、ボリュームは同時にカメラシステムにより観察される。超音波とカメラシステムの両方から、表面モデルが、形状のコンピュータモデルに登録され、これから、カメラ及び超音波システムの相対位置が計算される。

別途の実装は、超音波照射下で破裂し、使い捨てキャリブレーションファントム内で不透明層を形成する、ナノカプセルを用いるものである。

更に、前述のキャリブレーション条件が（カメラにより検出可能な）適時のあるポイントにて有効で無いならば、シングル２ＤＵＳ（超音波）画像フレームからニードル曲がりが推測され、オペレータは適宜通知され得る。

更に、３Ｄ画像データ登録が、患者皮膚表面を監視するカメラによっても補助される。逆の幾何学的条件下でも、３自由度（傾斜、ロール、及び高さ）は、カメラを用いて抑制可能であり、登録サーチ空間を制約し（それをより速くし）若しくは初期変換評価を与える（それをより容易に及び／又はより信頼性高くする）ことによって３ＤＵＳ（超音波）及び、例えば、Ｃｔ若しくは類似のモダリティの登録を促進できる。このことは、患者の皮膚表面上への光学マーカの添付により促進され得るのであり、このことは、マルチプル３Ｄボリュームの統合のための明白な固定された基準座標系の形成にて助けとなる。

一方で、システムのパフォーマンスを明確に強化するように設計されたドレープも利用可能であり、ここでこれらドレープは、容易検知されるパターン、基準若しくは他の基準点、及び、患者へのドレープ接着剤を含む。更に、ドレープは透明であり、カメラにドレープを直接介して患者を見せしめるものである。追跡されるニードルからドレープを識別すべく、ドレープに特別の色付けがされていてもよい。プローブ動作を計算するカメラの能力を強化するように、ドレープが構成されていてもよい。

カメラ及びプロジェクタの機能を保持若しくは強化しつつ、カメラ及びプロジェクタの滅菌性を保持するため特別の透明エリアを含む、滅菌プローブカバリングにより、滅菌性が保持されてもよい。

複数の実施形態では、圧力感知ドレープを利用してＵＳ（超音波）プローブ下の組織歪みを示すことは有用である。例えば、そのようなドレープは、超音波弾性計測を強化するのに用いられ得る。圧力感知ドレープは、加えられる圧力のレベルに着目して登録を訂正することにより装置の利用をモニタし、その情報に基づいてディスプレイするように、用いられ得る。

更に、カメラは、ポーズトラッキングのための更なるデータを提供する。概略、これは、光慣性トラッキングに加えて、冗長な回転動作情報から成る。しかしながら、特別なケースでは、この情報は、ＯＩＴ（例えば、一つ若しくは両方の光学移動検出器の表面トラッキング損失の場合の水平面でのヨー動作、若しくは、鉛直軸に関する移動成分の無い傾斜動作）から回復され得ない。この情報は、一般的なオプティカルフローベースの回転評価から生じ得るのであり、特に、患者の皮膚表面上へ特別に添付される光学マーカの追跡から生じ、このことは、マルチプル３Ｄボリュームの統合のための明白な固定された基準座標系の形成にて助けとなる。

更に、ニードルの体外部分を検出しセグメント化することにより、カメラは、ニードル移動情報を提供し得る。これは、ニードルを追跡し、前述のキャリブレーションマトリクスＸを用いて、推定されたニードル動作をＵＳ（超音波）フレームの予測される動作成分に変換することによって、変位評価のための（方向及び大きさの）サーチ空間を抑制する超音波弾性撮像アルゴリズムに対する入力としての、役目を果たし得る。

更に、カメラは、ニードルの挿入エリアの高密度テクスチャ３Ｄ画像データを提供し得る。例えば、実際のニードル／患者画像を用いて、皮膚表面に向かってニードルシャフトに沿って投射される際の挿入軌跡の表示として、これは、オペレータに強化された視覚化を提供するのに用いられ得る。

システムは、空中のニードルのポーズ（配置及び方向）を用いて超音波を最適化し身体内のニードルを検出し、また逆も行う。例えば、図２７を参照されたい。

深度撮像システムにて異なる視界及び深度範囲を有することは、興味あることである。例えば、表面上では、カメラは表面から数十センチであればよい。しかし他の場合略一メートルである。この場合、例えば、更に、異なる相対方向及び／又は異なる焦点距離のセットにて、三若しくは四のビデオカメラ又はマルチプル深度センサを用いて、同じヘッド部、マウント部、又はブラケット内にマルチプル深度変動構成が組み込まれるのが、有用である。

特定の利用例及び／又は実施形態に対して、マイクロプロジェクタユニットの統合により、例えば、ガイダンス目的のための、更なる、リアルタイムの、相互作用のビジュアルユーザインタフェースが提供され得る。プローブの近傍の患者表面上にナビゲーションデータを投射すれば、オペレータは、介入側から適宜のターゲット表面下領域へ自らの眼を動かす必要は無い。前述のカメラを用いてニードルを追跡すると、現下のニードル位置及び方向を前提とする、投射されたニードルエントリポイント（患者皮膚表面とニードルシャフトの進展部分の交差部分）は、適切な表示（例えば、赤ドット）を用いて]投射され得る。更に、現下のニードル位置及び方向を前提とする、最適なニードルエントリポイントは、適切な表示（例えば、緑ドット）を用いて患者の皮膚表面上に投射され得る。これらは、リアルタイムで配置可能であり、外部追跡の必要なく皮膚穿刺の前のニードルの相互の再配置が可能となる。

前述のように、例えば、プローブの側の患者表面上に直接に、（ａ）スクリーン上、若しくは（ｂ）一つ以上のプロジェクタを介して投射して、様々にユーザに対して視覚的に提供され得る。また、このガイダンスは、超音波画像として又はモノ若しくはマルチ接眼カメラレンズとして、（ａ）独立して又は（ｂ）二次的画像ストリームに対するオーバレイで、提供されてもよい。また、このガイダンスは、（ａ）基本的な画像若しくは環境配置に登録されオーバレイシンボルが配置、並びにサイズ及び／又は形状における（ターゲットエリアなどの）環境特性に対応してもよいし、（ｂ）位置独立であり、例えば、配置、カラー、サイズ、形状などのシンボル特性、更には音量、音声ファイル及び／又は周波数変化などの聴覚キューがユーザに対してツール若しくはプローブをどこに仕向けるかをしめすものでもよい。

特異性の増す順に、ガイダンスシンボルは、（ａ）（例えば、色変動背景、フレーム若しくは画像色合い、又は聴覚キューにより、一般的な「近さ」を示す）近接マーカ、（ｂ）（例えば、照準線、サークル、標的などの）ターゲットマーカ（例えば、図２８Ａ参照）、（ｃ）（例えば、ライン、扇形、多角形とぴったり合う）アラインメントマーカ（例えば、図２８Ｂ参照）、若しくは（ｄ）（例えば、臨界領域、幾何学的若しくは解剖学的にアクセスできない領域などを示す形状を回避するための）エリア境界設定（例えば、図２８Ｃ参照）を含んでもよい。

オーバレイガイダンスシンボルは、例えば、ニードルを追跡するとき、全体システムパフォーマンスの妨げとなり得、よって、（ラインを楕円若しくは曲線構成に置換するなど）投射される基本図形の調整はアーチファクトを減少し得る。更に、例えば、サークル／ディスク／楕円などの「真珠の数珠」シリーズから成るガイダンス「ライン」は、ユーザのためのアラインメントパフォーマンスを改良できる。更に、ガイダンスライン／構成の見掛けの厚さは、検出されるツールの幅、プロジェクタへの距離、表面への距離、過度の介入期間などに基づいて、変更され、アラインメントパフォーマンスを改良し得る。

前述の概念の特定の―非排他的な―例は、ａ）スクリーン上の若しくは患者上へ投射される生の超音波ビューへの照準線及び／又は外挿ニードルポーズをオーバレイすること、ｂ）現下の標的エラーベクトルに依存してサイズ、色、相対位置を変更する（サークル、トライアングルなどの）対のシンボルを投射すること、ｃ）所望のニードルポーズ表示するシングル／ステレオ／マルチプルカメラビューへアラインメントラインをオーバレイし、ターゲットポーズと、質のコントロールの目的のために現下追跡されるニードルポーズを表示するラインを伴うニードルのカメラ画像を、ユーザに集めさせること、並びに、ｄ）表面上にニードルアラインメントラインを投射し、一つ以上のプロジェクタから、（ガイダンスのための）ポーズと（質のコントロールのための）現下追跡されるポーズの両方を表示することを、含む。

本発明の重要な形態は、プローブとビデオカメラとに相対するプロジェクタの配置の高精度推量である。このことを行う一つの手段は、カメラから投射される可視光線がプロジェクタの光心にて交差する直線を、間隙を介して形成することを観察することである。よって、ステレオカメラ若しくは類似の撮像装置が、これらの光線が当たる複数の表面を観察するので、システムは、投射の中心を計算するように外挿され得る一連の３Ｄポイントを計算できる。図２９を参照されたい。このことは、殆どどの平面の若しくは非平面の一連の投射表面でも為され得る。

異なる利用例及び／又は異なるハードウエア実施形態に対して、ソフトウエアコンポーネントの異なる組み合わせが可能である。また、全体構成は、１）超音波マシンオペレーション、２）視覚化、３）更には、透明情報オーバレイに対する患者の登録のための、タブレットコンピュータ上で一つ以上のカメラを用いることによる、タブレットコンピュータなどのハンドヘルドコンピュータにより拡張され得、及び／又は、該ハンドヘルドコンピュータから制御され得る。

装置に利用されるコンピュータリソースは、他の場所に配置される更なるコンピュータにより拡張されてもよい。この遠隔コンピュータは、（例えば、計算上強い登録プロセスを実行するために）装置から生じる情報を処理するのに用いられてもよく、（例えば、この患者を他の類似の患者と比較して「最良の実践」処置オプションを提供するために）装置の機能に有益な情報を呼び戻すのに用いられてもよく、（例えば、ＣＴ画像内の病変の表れをバイオプシのため遠隔中心に伝達するように）装置を仕向ける方法を提供するのに用いられてもよい。外部コンピュータの利用は、装置の利用のコストで計測可能であり関連づけされ得る。

ニードル軌跡上にガイダンスを示すことに加えて、ガイダンスは、貫通の正確な深度を示すのに提供されてもよい。このことは、ニードル上に基準を検出し、経時的にこれら基準を追跡することで実行され得る。例えば、これら基準は、ニードル自身上のダークリングでもよく、視覚システムを用いてこれらダークリングがカウントされてもよく、若しくは、基準はニードルの端部に添付される反射エレメントでもよく、深度は患者表面から空間の基準の位置を差し引き、ニードルの全隊長からその結果を差し引くことで、計算可能である。

（例えば、光の基点など）基準をニードル上に投射し、正確な深度とすべくどのポイントにニードルが挿入されるべきかを示すことによっても、ユーザへの挿入の深度を示すことが可能である。

更に、システムのディスプレイは、現下のシステムのポーズに対して正確な深度で患者の外部に在る基準リングの数を受動的に表示してもよい。ニードルが正確な深度に在るかどうかを手動で判定するのに基準リングが用いられ得る、という主観的糸口をユーザに与えることになる。

ニードルガイダンスのためのプロジェクタを用いるとき、システムは、可能なニードルポーズのための「キャプチャレンジ」として投射された挿入ポイントを利用し、その範囲外の候補を放棄し、若しくは、計算された３Ｄポーズが予測されたターゲットビヘイビアを破るときを検出するようにしてもよい。図３０を参照されたい。

撮像のため、ＰＡ（光音響）レーザは、組織壁にて直接に且つ拡散して発射し、前述の受動的ＵＳ（超音波）アレイで受けられる、そこから発するＰＡ音波を励起し、そして診断目的で用いられてもよい。理想的には、前述のトラッキング方法を用いて、診断結果は、胃腸管沿いの特定の配置に関連づけされ得る

本出願の複数の実施形態により、外部トラッキング装置に対する必要無しで、２Ｄ超音波プローブの６自由度軌跡を確実に再構成することができる。同じメカニズムは、例えば、（無線）カプセル内視鏡に同様に適用され得る。このことは、プローブの動作シーケンスを介してプローブの位置を漸化的に追跡する局所センサの協働のセットにより、達成され得る。現下の発明の幾つかの形態は以下のように要約され得る。

第一に、（超音波イメージベースの）スペックル非相間分析（ＳＤＡ）アルゴリズムは、非相間によるイメージパッチペアのための高精度の１自由度移動（距離）情報、及び、平面２Ｄ−２Ｄ登録技術と組み合わせたときの完全な超音波画像のための６自由度情報を提供する。距離評価の精度は、統計値をより大きいセットのインプットペアに基づかせることにより、改良される。（より大きいインプット画像セットによる並列化アプローチは、スピード及び信頼性を大きく増大し得る。）

更に、若しくは一方で、（例えば、無線カプセル内視鏡内における、空間若しくはエネルギの制約のため）、フル送信／受信超音波トランシーバを用いる代わりに、本出願のある実施形態によれば、超音波レシーバのみが用いられ得る。この場合の活性化エネルギは、埋め込みレーザから生じる。通常のレーザ放電（放出）は、周囲組織の不規則性を励起し、レシーバにより拾い上げられ得る光音響インパルスを生成する。このことは、表面及び表面下特性を追跡する助けとなり得、プローブ配置に対して更なる情報を提供し得る。

第二に、コンポーネント、ブラケット、又は、光学、慣性及び／又は容量性センサのセットを収容するホルダは、（超音波画像フリーの）モーション情報の独立ソースを表す。（例えば、光学式マウス若しくはカメラから）光学変位トラッカは、（例えば、皮膚若しくは腸壁などの）スキャン表面に亘る局所移転データを生成し、加速器及び／又はジャイロスコープは、アブソリュート・オリエンテーション及び／又は回転動作データを提供する。光学センサが表面コンタクトを失うとき、さもなければトラッキング損失を経験するとき、容量性センサは組織への距離を推量できる。局所データのそれらのストリームは経時的に組み合わされ、実際のＯＩＣセンサ組み合わせ及びプロセッサ利得素子−部の現下のポーズ／動作に依存して、ｎ＝２・・・６であるｎ自由度のプローブ軌跡を再構成する。

第三に、周囲環境を見渡させる見晴らし良好のポイントにて、二つ以上のビデオカメラが、好ましくはステレオ式で超音波プローブに添付されるのであり、その周囲環境は、患者皮膚表面、好ましくは器具及び／又はニードル、好ましくは更なるマーカ、及び操作ルーム環境の部分の、いずれか若しくは全てを含む。このように、光学ビデオカメラは、キャリブレーション、画像データ登録サポート、更なるトラッキングインプットデータ、超音波弾性撮像をサポートする更なるインプットデータ、ニードル曲げ検出インプット、及び／又は、拡張視覚のためのテクスチャ３Ｄ環境モデルデータを、提供する役目を果たす。

医療に用いられるとき、カメラプロジェクタ装置は無菌環境で維持されることが必要である。このことは多数の方法で為され得る。ハウジングが滅菌剤に耐性があるものであってもよいし、ワイピングによりクリーンにされていてもよい。無菌バッグカバー内に配置されていてもよい。この場合、カメラ及びプロジェクタに添付するカバー内に固形プラスチックの「ウインドウ」を形成することが好ましい。このウインドウは、機械的に添付するものであってもよいし、磁気的に添付するものであってもよいし、若しくは静電引力（「スタティッククリング」）により添付するものであってもよい。無菌性を維持する別の方法は、プロジェクタカメラ装置が内部に搭載される無菌（好ましくは使い捨て）ハウジングを作成することである。

一つの実施形態は、プローブによる登録を維持し、視覚化及びガイダンスの両方に用いられ得るディスプレイシステムを含む。例えば、プローブは、取り外し可能であり、空間のその位置に基づく関連の術前ＣＴ情報を示す付随ディスプレイを有してもよい。それはターゲット情報をオーバレイしてもよい。一つの例は、プローブに登録され、ユーザに「シースルー」若しくは「ヘッドアップ」ディスプレイを提供できる眼鏡を含む。

拡張システムに付随するカメラは、システムの全体パフォーマンスに関する「質のコントロール」を行うように用いられてもよい。例えば、ニードルの軌跡は、視覚トラッキングにより計算され、よって超音波画像内に投射される。画像内のニードルがこの投射と矛盾するならば、システムの食い違いがあるということである。それとは異なり、ニードルが超音波画像内で検出されれば、それはビデオ画像内に投射し戻され、ニードルの外部ポーズがその追跡された画像と一致するということを裏付ける。

更なる実施形態によると、システムは同時に、超音波画像とビデオ画像の両方でニードルを追跡し、それらの計算値を用いてニードルの曲がりを検出し、ニードルの推定される既製を更新するか、若しくは、ニードル上に圧力を加えているとユーザに警告するか、又は、両方を行う、というものであってもよい。

質のコントロールは超音波画像を処理することによっても実行可能であり、それが予測される構成を有することを判定する。例えば、超音波マシンの深度のセッティングがプローブにより予測されるものと異なるならば、画像の構成はこの場合に予測されるものとは検出可能なように、例えば、画像上の「ブラックスペース」の不適切な量、若しくはスクリーン上の不適切な注釈で、異なるであろう。

ガイダンスを提供するのに用いられ得る様々な配置がある。一つの実施形態では、投射のセンターは、超音波システムの平面上若しくは近傍にある。この場合、プロジェクタは、この平面がどこにあるのかを示すシングルライン若しくはシャドウを投射し得る。正確な平面に配置されるニードル若しくは類似のツールは、夫々、明るく若しくは暗くなる。この平面の外部のビデオカメラは場面を見ることができ、この画像はスクリーン上にディスプレイされ得る。実際に、超音波ビューと共にそれが含まれてもよい。この場合、臨床医は、同じスクリーン上で同時にニードルに関する外部と内部の両方のガイダンスを見ることができる。特定の角度を達成するためのガイダンスは、カメラ画像上に重ね合わされ、超音波平面と、重ね合わされるガイダンスにより形成される平面との交差部分はニードルの所望の軌跡であるラインを形成し得る。例えば、図３１を参照されたい。

別の実施形態によると、カメラは超音波平面沿いに配置され、プロジェクタは平面から外れて配置されてもよい。配置は同様であるが、この実施形態によると、カメラ重ね合わせ画像は平面を規定するのに用いられ、ラインはプロジェクタにより投射されニードルの軌跡を規定する。

更なるバリエーションは、シングルの若しくはマルチプルのカメラ若しくはプロジェクタを含み、それらの少なくとも一つはモバイル装置自身に搭載され同時に環境内に静的に搭載され、モバイルコンポーネントと固定コンポーネントとの間の登録が常時維持されガイダンスを可能にする。この登録の維持は、例えば、環境内に存在し及び／又は対象の共通フィールド内に投射される周知の特性を検出し追跡することにより、達成され得る。

システムの登録コンポーネントは、患者の呼吸若しくは心臓動作に基づいてリアルタイムで「ゲート」することができる利点を利用し得る。実際に、リアルタイムでの表面及び表面下の変化をモニタできるプローブの能力は、それが「映画」（タイムシリーズ）ＭＲ若しくはＣＴ画像に登録し得、患者動作と同期してそれを示し得ることも意味する。

更に、スペックル非相間分析（ＳＤＡ）のための超音波ＲＦ（無線周波数）データを用いることを超えて（ＯＩＣセンサーブラケットなどの）更なる局所センサを組み込むことにより、アルゴリズムの複雑さを簡素にすることが可能になり、変位推定の前に完全に発達したスペックル（ＦＤＳ）パッチを検出することでロバスト性を改良することが可能となる。このＦＤＳパッチ検出はＳＤＡのため従来必要であるが、ＯＩＣを用いることは、可能なパッチの空間を制限することによる有効なパッチの選択に対する制約を与えることになり、よって、例えば、ＲＡＮＳＡＣサブセットセレクションアルゴリズムと組み合わせて、ロバスト性を増大することになる。

最後に、超音波プローブ内に統合された（レーザ若しくはイメージプロジェクションベースの）マイクロプロジェクション装置は、オペレータに相互作用のリアルタイム可視化モダリティを提供し得、ニードル交差ポイント、最適エントリポイント、及びプローブ近傍の患者皮膚表面上にこれらを投射することによる直接の介入配置の他のサポートデータなどの、関連データを表示する。

カメラとプロジェクタの組み合わせは、患者表面上、若しくは他の投射可能表面上、直観的且つ無菌のユーザ表面を構築するのに用いられ得る。例えば、標準的アイコン及びボタンが、患者上に投射可能であり、フィンガ若しくはニードルは追跡されてこれらボタンをアクティブにするのに用いられ得る。このトラッキングは、例えば、投射される視覚フィードバック無しでジェスチャトラッキングのために、非視覚ユーザインタフェースで用いられ得る。

表面上で撮像装置の配置をガイドすることが、本発明の別の目的である。例えば、ビデオ撮像システムが身体の外部から画像をキャプチャする際に身体の内部から画像を取得するため、超音波プローブ若しくは類似の撮像装置の能力を利用することで、プローブは身体の座標に登録され得る。システムは、所与のターゲットを可視化するためにプローブをどのように動かすかに関するガイダンスを投射してもよい。例えば、診断画像で若しくは従前のスキャンで、主要が特定されると仮定する。登録後、プロジェクションシステムは、プローブがどの方向に動くのかを示す矢印を患者の上に投射できる。この方法は、患者の従前のモデル若しくは患者特定のスキャンに基づいて、ユーザが特定の器官を視覚化するようにガイドするのに用いられ、若しくは所与のターゲットに関して追跡する若しくは方向付けする助けとなるのに用いられ得る、ということが、当業者には理解される。例えば、特定のターゲットに関して（例えば、ドップラ超音波のための）ゲートウインドウを配置しそれを内部に維持するのが好ましい。

拡張システムは、可視帯及び（ＩＲなど様々な）不可視帯の両方でマルチバンドプロジェクションを、同時に若しくは時分割多重で用いてもよい。前述のように、本発明は、シャドウ減少、強度拡張、若しくは受動的ステレオガイダンスのために、マルチプロジェクタセットアップを用いてもよい。

プロジェクション画像は、カメラと同期して時分割多重化されてもよく、カメラは一方で、追跡（ニードル存在を最大化する）、ガイダンス（手掛かりをオーバレイする）、表面（ステレオ再構成を最適化する）のための投射を最適化してもよい。プロジェクションパターンは、様々な目的のために空間的にモジュレートされ多重化されてもよく、例えば、一つのエリア内にパターンを他のエリアにガイダンスを投射してもよい。

ステレオプロジェクションを形成するために、プロジェクションシステムは、「アーム」等を用いて画像を分割し若しくは全指向性プロジェクションを完遂することにより、一つのプロジェクタを二つ（以上）にするミラーを利用してもよい。図３２を参照されたい。

プロジェクションシステムは、３Ｄガイダンスのための偏光を利用してもよく、又は、３Ｄ現場超音波ガイダンスディスプレイのための偏光及び（受動）グラスによるデュアルアーム若しくはデュアル装置プロジェクションを用いてもよい。プロジェクションは、略現場の投射表面として、フォッグスクリーン、スイッチ可能フィルム、及びＵＶ（超音波）蛍光性グラスを含む、スクリーン上に、投射されてもよい。

プロジェクションシステムは、ステレオシステムにより計算される配置を用いて、身体に情報を投射する際に身体の湾曲を補正してもよい。

プロジェクションシステムは、ユーザを追跡し配置の歪み若しくはプローブ動作から視覚を訂正する助けをする外向的カメラを、含んでもよい。これは、３Ｄで投射する際、視差の問題を解決するのにも用いられ得る。

プロジェクションシステムは、上方の環境上に固定のパターンを投射し（環境構成によって、限定された自由度で）ステレオカメラでのトラッキングをサポートしてもよい。プロジェクションシステムは、上方の環境上に固定のパターンを投射しステレオカメラでのトラッキングをサポートしてもよい。システムは、投射されたパターンから計算された３Ｄ情報を利用してもよく、世界中のオブジェクトから来る画像外観情報を利用してもよく、若しくは、外観と深度の両方の情報を利用してもよい。パターンを伴う及び伴わない画像が取得されるように、プロジェクションを同期することは有用である。深度及び強度の情報を用いて３Ｄ基準配置を実行する方法は、周知である。

プロジェクタは、「患者にプリントされた」光活性化染料を利用してもよいし、この目的のための予備的に制御されるレーザを含んでもよい。

プロジェクション表面として患者表面を当てにするのでは無く、プロジェクタは代わりに、作業空間内の他の強固な若しくは変形可能なオブジェクト上に投射してもよい。例えば、カメラは、空間内で１枚の紙を再構成してもよく、プロジェクタは、術前スキャンのＣＴデータを紙上に投射してもよい。紙が変形されると、ＣＴデータは警告され、紙が身体内部にあるならば紙は「スライスする」というデータを反映する。このことにより、湾曲した表面若しくは曲線構成の視覚化が可能になる。

患者は多数回画像化され、例えば、放射線癌治療のためのガイダンスを提供することが多い。この場合、ターゲット周りの画像は記録され、後続の撮像では、これらの画像は、所望のターゲットに対してどのようにプローブを動かすかに関するガイダンス、及び、従前の撮像位置に達したときの表示を、提供するのに用いられる。

これらの方法の利用可能性を改良するために、システムは、利用の容易なように重要なターゲット情報を記録する電子若しくはプリント可能サインを有してもよい。この情報は、患者が再画像化されたとき装置自身によりロードされ若しくは視覚的にスキャンされてもよい。

プローブ及びニードルガイダンスの上述の方法の興味深い利用は、非エキスパートに分かりやすい超音波治療をすることである。これは、治療若しくは介入超音波に関するそれらの学習のためのトレーニングを含んでよく、即ち、一般集団が病気のための超音波ベースの治療を利用することを可能にする。これらの方法は、撮像プローブ及び／又はニードルなどの利用をモニタし、ユーザが不十分にしか訓練されていないとき示すようにしてもよい。

前述の利用の例は、薬局にて超音波システムが導入されることであり、技術の無いユーザにより自動頸動脈診察を行うことである。

超音波及び薬を超えるこれらのアイデアのための、多数の別途の利用例がある。例えば、プレーンウイングの非破壊インスペクションは超音波やＸ線を用いてもよいが、いずれの場合も、問題になっているインスペクションの位置（例えば、ウイングアタッチメント）に対する正確なガイダンスを要求する。前述の方法はこのガイダンスを提供し得る。より一般的なセッティングでは、システムは、例えば、ダーツを投げること、プールボールを打つこと、若しくは類似のゲームのための、ガイダンスを提供してもよい。

この明細書で示して説明した実施形態は、本発明を利用するために、発明者の知る最良のものを当業者に示すことを意図するに過ぎない。本発明の前述の実施形態では、明確さのために特定の用語を用いている。しかしながら、本発明は、そのように選択された特定の用語に限定されることを意図しない。本発明の前述の実施形態は、本発明から乖離すること無く、前述の開示に照らして当業者に理解されるように、修正され変更され得る。従って、クレーム及びその均等物の範囲内で、本発明は、特に記した以外にも別途実施され得ることが理解されるべきである。

例１：超音波ガイド肝臓アブレーション治療

最近の証拠は、複数のケースでの熱アブレーションが切除の結果と対比可能な結果に到達し得ることを示している。特に、切除を小さいＨＣＣのためのＲＦＡに対比する、最近の任意抽出の臨床試験は、アブレーションアームのより低い罹患率を伴う、同等の長期間の結果を、見出すものである（Ｃｈｅｎ−２００６）。重要なことであるが、多くの研究は、ＲＦＡの有効性は、急勾配の学習曲線に関連することが多い、処置をする医師の経験と努力に大きく依存する、ということを示す（Ｐｏｏｎ−２００４）。しかも、複数の研究により報告されている経皮的アプローチに関する開口手術ＲＦＡの明白な有効性は、ターゲティング及び撮像に関する困難性は寄与因子たり得ることを示す（Ｍｕｌｉｅｒ−２００５）。ＦＲＡに続く失敗パターンの研究は同様に、切除治療に関するリアルタイムの撮像、ターゲティング、モニタリングの制約は、局所再発の増加するリスクに寄与する傾向があることを示す（Ｍｕｌｉｅｒ−２００５）。

ＦＲＡなどの切除アプローチの最も有用な特性の一つは、最小限の非侵襲技術を用いて適用され得る、ということである。この技術を用いれば、入院期間、費用、及び罹患率は減少し得る（Ｂｅｒｂｅｒ−２００８）。これらの利点は、おそらく最小限の残存疾患のためのより実効的な全身性治療と組み合わせれば、肝臓腫瘍のための局所療法の適用を他の腫瘍タイプにまで拡げることの訴求力を増大させる。ＲＦＡによる腫瘍破壊のコントロール、サイズ、及びスピードの向上により、肝臓腫瘍をもつ患者に対しても同様に処理のオプションを再考することができ始めるであろう。しかしながら、臨床転帰データは明確であり、十分なマージンを伴う完全な腫瘍破壊は、永続的な局所制御及び生存利益を達成するためには不可避である。このことが局所治療のゴールである。部分的な、不完全な、若しくは、一時しのぎの局所治療は、殆ど示されない。残存疾患を伴う不完全な破壊は、実際、局所残存腫瘍セルの、有害で、刺激のある腫瘍成長となり得ることを示す研究もある（Ｋｏｉｃｈｉ−２００８）。腫瘍アブレーションを考察するときこの概念は正当に評価されないことが多く、正確且つ完全な腫瘍破壊の重要性の一部の認識を欠くということになる。十分なアブレーションの改良されたターゲティング、モニタリング、及びドキュメンテーションは、このゴールに達するのに重要である。この問題に関する最近の研究のＧｏｌｄｇｅｒｇ（Ｇｏｌｄｇｅｒｇ−２０００）は、この技術を前進させる重要な領域は、（１）イメージガイダンス、（２）術中モニタリング、及び（３）アブレーション技術自身を向上させることを含む、切除治療フレームワークを記載する。

切除治療の成果を約束するに拘わらず、大きい技術障壁が、その有効性、安全性、及び多数患者への適用可能性に関して存在する。特に、これらの制約は（１）主要の局所性／ターゲティング、及び（２）アブレーションゾーンのモニタリングを、含む。

ターゲティング制約：現下利用可能な一つの共通の特性は、特定局所におけるエンドエフェクタチップの正確な配置の必要であり、通常、腫瘍の体積中心の範囲内であり、十分な破壊を達成するためのものである。周囲の通常の実質の腫瘍及びゾーンが、切除され得る。腫瘍は術前撮像、主としてＣＴ及びＭＲにより特定され、術中の超音波検査法（ＩＯＵＳ）により手術により（若しくは腹腔鏡により）局所化される。経皮的に実行するとき、腹部横断の超音波検査法が最も一般的に用いられる。現下の方法では、術前の診断撮像をリアルタイムの手順撮像と視覚上比較することが要求され、横断面撮像をＩＯＵＳに主観的に対比することが要求されることが多い。よって、手動のフリーハンドＩＯＵＳは、超音波ガイダンスの下の組織切除のフリーハンド配置と組み合わせて採用される。切除プローブの挿入におけるターゲット動作により、同時のターゲット撮像による治療装置適切な配置を局所化することが困難となる。切除アプローチの主たる制約は、腫瘍の中心内文意おけるプローブ局所化の精度の欠如である。これは特に重要である。組織マージンは切除後、肝臓切除（リセクション）アプローチとは対照的に、切除（アブレーション）後評価され得ないからである（Ｋｏｎｉａｒｉｓ−２０００）（Ｓｃｏｔｔ−２００１）。更に、手動のガイダンスでは、アブレータチップの多重パス及び再配置が要求され、更に、出血及び腫瘍散布のリスクが増大する。所望のターゲットゾーンが単一のアブレーションサイズ（例えば、５ｃｍ腫瘍及び４ｃｍアブレーション装置）よりも大きい状況では、完全な腫瘍破壊を達成するために、多重のオーバラップ領域が要求される。この場合、幾何学的に複雑なプランニングが要求される複雑な３Ｄ、及び第１のアブレーションからの画像歪みアーチファクトにより、多重の手動アブレーションを精度よくプランする能力が大きく損なわれ、更に、治療に関するターゲットの信頼性及び潜在的有効性を減少してしまう。ＩＯＵＳは、プローブ配置のための腫瘍及びガイダンスの優れた可視化を提供することが多いが、その２Ｄ性状及び超音波操作者の技術への依存性は、その実効性を限定する（Ｗｏｏｄ−２０００）。

切除治療のプランニング、デリバリ及びモニタリングのための改良されたリアルタイムのガイダンスは、この有望な治療の正確且つ有効な適用を可能にするのに必要とされる欠落したツールを提供する。最近の研究は、サイズ、局所、オペレータの経験、及び技術的アプローチを含む、切除アプローチの減退する有効性の理由を特定し始めている（Ｍｕｌｉｅｒ−２００５）（ｖａｎＤｕｉｊｎｈｏｖｅｎ−２００６）。これらの研究は、ターゲットし切除モニタする装置は、局所の失敗の重要な理由である傾向があると示している。また、気泡、出血、若しくは浮腫により、ＩＯＵＳ画像は、腫瘍マージン更にはＲＦＡの間の塗布器電極位置の視覚化を制限してしまう（Ｈｉｎｓｈａｗ−２００７）。

腫瘍ターゲティングに関する放射線の完全なレスポンスのインパクトは、肝臓に向けられた治療の重要な新たな問題である。特に、この問題は、治療時にターゲットの肝臓を特定できないことに関連する。実効的な組み合わせの全身化学療法は、肝臓にむけられた治療の前にますます頻繁に用いられ、新補助アプローチとして潜在的な微小転移疾患を処置し、特に結腸直腸転移を処置する（Ｇｒｕｅｎｂｅｒｇｅｒ−２００８）。このことにより、後続の後処置の化学療法をプランする助けとして化学反応を判定するゲージとして肝臓腫瘍を用いる機会が持てることになる。しかしながら、このアプローチでは、ターゲットの損傷は、後続の切除若しくはアブレーションの間には特定され得ないことが多い。指標たる肝臓の損傷はもはや可視化されなくても、微小腫瘍は、８０％以上のケースで未だ存在する（Ｂｅｎｏｉｓｔ−２００６）。従って、潜在的に治癒的アプローチは、疾患の全ての源の位置の完全な切除若しくは局所破壊を要求するものである。この場合、想像可能な腫瘍が検出され得ない肝臓の領域で「ブラインドの」アブレーションを凝視する状況に、介入者は直面し得る。従って、疾患の源の位置を特定できなければ、術前の全身治療は、治療の局所ターゲティングに到達できることを実際には妨げてしまい、逆説的なことに長期間の生存を悪化させるおそれがある。このプロジェクトで提案されるように、前化学治療横断面撮像（ＣＴ）の登録のためのストラテジを処置ベースの撮像（ＩＯＵＳ）と統合することは、切除ガイダンスの非常に重要な情報を提供する。

図１と図１の両方に記載される我々の実施形態は、前述の利用例で用いられ得る。超音波プローブに添付された構造化光により、患者表面はリアルタイムでキャプチャされデジタル化され得る。続いて、医師は、超音波画像から直接に若しくは融合した術前データから間接的に、損傷を観察できる位置をスキャンする、対象の領域を選択するであろう。融合は、構造化光からの表面データと僅かな超音波画像の両方を統合することで実施され、ユーザからの手動のインプット無しにリアルタイムで更新され得る。損傷がＵＳ（超音波）プローブ空間で特定されると、医師は、切除プローブを導入でき、そこでＳＬＳシステムは、患者に挿入する前にツールを容易に分割／追跡し局所化できる（図９）。プロジェクタは、リアルタイムガイダンス情報をオーバレイするのに用いられ、ツールを方向付けし必要な挿入深度に関するフィードバックを提供する助けとなり得る。

前述の実施形態は図１に記載される。しかしながら、我々の発明は多くの代替物を含む。例えば、１）飛行時間カメラは、ＳＬＳ構成を置換して表面データを提供し得る（Ｂｉｌｌｉｎｇｓ−２０１１）（図１０）。この実施形態では、飛行時間カメラは超音波プローブに添付されず、外部トラッカは両方のコンポーネントを追跡するのに用いられる。プロジェクタは尚、超音波プローブに添付され得る。２）別の実施形態は、ＳＬＳ若しくは飛行時間カメラで構成され、表面情報及び超音波プローブに添付されるプロジェクタを提供する。カメラ構成、即ち、ＳＬＳは、表面データ、追跡介入ツール、及びプローブ表面を抽出でき、よってニードルをＵＳ（超音波）画像座標に配置できる。この実施形態では、プローブ表面形状と、超音波画像の実際の配置との間の変位を推定するオフラインキャリブレーションが要求される。プロジェクタは尚、ニードル配置をオーバレイするのに用いられガイダンス情報を可視化し得る。３）更に、実施形態は、プロジェクタと局所センサとからのみで構成され得る。図７は、光音響（ＰＡ）現象を用いて空気中及び組織中の介入ツールを追跡するパルスレーザプロジェクタから成るシステムを記載する（Ｂｏｃｔｏｒ−２０１０）。介入ツールは、パルス化光エネルギを、プローブ表面上に配置されたマルチプル音響センサにより拾い上げられ得る音響波に変換でき、それについては周知の三角形アルゴリズムを適用してニードルを配置できる。レーザ光をニードルに直接適用できること、即ち、光ファイバ構成をニードル端に添付できることに留意することが重要である。ニードルは、生成される音響波を伝搬でき（即ち、ウエーブガイドのように作用し）この音響波の一部はニードルシャフト及びチップから伝搬可能であり、ＰＡ（光音響）信号、即ち生成される音響信号は、表面に添付するセンサと超音波アレイ素子の両方により、拾い上げられ得る。ニードルに直接投射されるレーザ光に加えて、プローブ下に光エネルギを配置する少数のファイバを延在でき、これにより組織内のニードルを追跡できる（図７）。

一つの可能な実施形態は、超音波プローブを、一つの内視鏡チャネル上に保持され、独立チャネル内に接続するプロジェクタコンポーネントを有する、内視鏡カメラと統合する。このプロジェクタは構造化光が可能であり、内視鏡カメラは、術前モダリティによるハブリッドの表面／超音波登録を行う助けとなる、表面推定を行う。また、プロジェクタは、ＰＡ（光音響）効果が可能であるパルス化レーザプロジェクタであってもよく、カメラに添付された超音波プローブは対象の領域のためのＰＡ（光音響）画像を生成してもよい。

参考文献

[Benoist-2006] Benoist S, Brouquet A, Penna C, Julie C, El Hajjam M,
Chagnon S, Mitry E, Rougier P, Nordlinger B, "Complete response of colorectal liver metastases after chemotherapy: does it mean cure?" J Clin Oncol. 2006 Aug 20;24(24):3939- 45.

[Berber-2008] Berber E, Tsinberg M, Tellioglu G, Simpfendorfer CH,
Siperstein AE. Resection versus laparoscopic radiofrequency thermal ablation of solitary colorectal liver metastasis. J Gastrointest Surg. 2008 Nov; 12(1 1): 1967-72.

[Billings-2011] Billings S, Kapoor A, Wood BJ, Boctor EM, "A hybrid surface/image based approach to facilitate ultrasound/CT registration," accepted SPIE Medical Imaging 2011.

[Boctor-2010] E. Boctor, S. Verma et al. "Prostate brachytherapy seed localizationusing combined photoacoustic and ultrasound imaging," SPIE Medical Imaging 2010.

[Chen-2006] Chen MS, Li JQ, Zheng Y, Guo RP, Liang HH, Zhang YQ, Lin
XJ, Lau WY. A prospective randomized trial comparing percutaneous local ablative therapy and partial hepatectomy for small hepatocellular carcinoma. Ann Surg. 2006
Mar;243(3):321-8.

[Goldberg-2000] Goldberg SN, Gazelle GS, Mueller PR. Thermal ablation therapy for focal malignancy: a unified approach to underlying principles, techniques, and diagnostic imaging guidance. AJR Am J Roentgenol. 2000 Feb; 174(2):323-31.

[Gruenberger-2008] Gruenberger B, Scheithauer W, Punzengruber R,
Zielinski C, Tamandl D, Gruenberger T. Importance of response to neoadjuvant
chemotherapy in potentially curable colorectal cancer liver metastases. BMC Cancer. 2008 Apr 25;8: 120.

[Hinshaw-2007] Hinshaw JL, et. al., Multiple-Electrode Radiofrequency
Ablation of Symptomatic Hepatic Cavernous Hemangioma, Am. J. Roentgenol., Vol. 189, Issue 3, W -149, September 1 , 2007.

[Koichi-2008] Koichi O, Nobuyuki M, Masaru O et al., "Insufficient radiofrequency ablation therapy may induce further malignant transformation of
hepatocellular carcinoma," Journal of Hepatology International, Volume 2, Number 1 , March 2008, pp 1 16-123.

[Koniaris-2000] Koniaris LG, Chan DY, Magee C, Solomon SB, Anderson
JH, Smith DO, DeWeese T, Kavoussi LR, Choti MA, "Focal hepatic ablation using interstitial photon radiation energy," J Am Coll Surg. 2000 Aug; 191 (2): 164-74.

[Mulier-2005] Mulier S, Ni Y, Jamart J, Ruers T, Marchal G, Michel L. Local recurrence after hepatic radiofrequency coagulation: multivariate meta-analysis and review of contributing factors. Ann Surg. 2005 Aug;242(2): 158-71.

[Poon-2004] Poon RT, Ng KK, Lam CM, Ai V, Yuen J, Fan ST, Wong J.
Learning curve for radiofrequency ablation of liver tumors: prospective analysis of initial 100 patients in a tertiary institution. Ann Surg. 2004 Apr;239(4):441-9.

[Scott-2001] Scott DJ, Young WN, Watumull LM, Lindberg G, Fleming JB,
Huth JF, Rege RV, Jeyarajah DR, Jones DB, "Accuracy and effectiveness of laparoscopic vs open hepatic radiofrequency ablation," Surg Endosc. 2001 Feb; 15(2): 135-40.

[van Duijnhoven-2006] van Duijnhoven FH, Jansen MC, Junggeburt JM, van
Hillegersberg R, Rijken AM, van Coevorden F, van der Sijp JR, van Gulik TM, Slooter GD, Klaase JM, Putter H, Tollenaar RA, "Factors influencing the local failure rate of radiofrequency ablation of colorectal liver metastases," Ann Surg Oncol. 2006
May;13(5):651-8. Epub 2006 Mar 17.

[Wood-2000] Wood TF, Rose DM, Chung M, Allegra DP, Foshag LJ, Bilchik
AJ, "Radiofrequency ablation of 231 unresectable hepatic tumors: indications, limitations, and complications," Ann Surg Oncol. 2000 Sep;7(8):593-600.

例２：進歩的超音波撮像を用いる新補助化学治療のモニタリング

毎年、乳がんと診断される２０万人以上の女性のうち、約１０％は局所的に進行した疾患を呈する（Ｖａｌｅｒｏ−１９９６）。（新補助化学治療、ＮＡＣの名でも知られる）初期の化学治療は、これら患者の管理における標準として、補助（術後）化学治療に迅速に置き換わりつつある。更に、ＮＡＣは、手術可能なステージＩＩ若しくはＩＩＩの乳がんを持つ女性に導入されることが多い（Ｋａｕｆｍａｎｎ−２００６）。ＮＡＣの利点は、２要素である。第１に、ＮＡＣは、胸の保存療法の比率を増加できる。さもなければ乳腺切除の候補となる女性の５０％が、ＮＡＣ誘導腫瘍収縮のために胸の保存療法の資格があることになっている、と研究は示している（Ｈｏｒａｂａｇｙｉ−１９９８、Ｂｏｎａｄｏｎｎａ−１９９８）。第２に、ＮＡＣにより、インビボの化学感知評価が可能である。初期の薬耐性を検出できると、無効から有効レジメンへの変化が促進される。結果として、医師は、毒性を減少させ結果を向上できる。インビボの有効性を判定するのに最も一般に用いられるメリットは、ＮＡＣによる腫瘍の大きさの変化である。

不運なことであるが、身体検査、マンモグラフィ、及びＢモード超音波などの、ＮＡＣの間に腫瘍の大きさを計測するのに用いられる臨床ツールは、理想には届かないものであると示されている。病理学的計測と対比して、身体検査、超音波、及びマンモグラフィによるＮＡＣ後の腫瘍サイズ推定は、夫々、０．４２、０．４２、及び０．４１の相関係数を有することを、研究者は示している（Ｃｈａｇｐａｒ−２００６）。ＭＲＩ及びＰＥＴは、ＮＡＣの間に対して、より応答を予測可能に思われるが、しかしながら、これらのモダリティは高価であり、不便であり、ＰＥＴに関して言えば、過剰な放射線暴露のため一連の利用に対する実行が難しい（Ｓｍｉｔｈ−２０００、Ｒｏｓｅｎ−２００３、Ｐａｒｔｒｉｄｇｅ−２００２）。必要とされるものは安価であり、便利であり、ＮＡＣの間に腫瘍応答を繰り返し精度よく計測できる安全な技術である。

超音波は、それ自身を容易に一連の利用に導く安全なモダリティである。しかしながら、医学的用途で現下最も一般的なシステム、Ｂモード超音波は、腫瘍の大きさの微妙な変化を判定するのに、十分感度が良いようではない。従って、従来の超音波撮像に対する潜在的に有用な拡張として、ＵＳＥＩが現れた。ＵＳＥＩはおそらく二つの発見により形成された。（１）異なる組織はそれらの力学的特性における十分な差異を有しており、（２）（スペックルの名でも知られる）コヒーレント散乱でエンコードされた情報は、機械的刺激に続くこれらの差異を計算するのに十分である（Ｏｐｈｉｒ−１９９１）。振動の速度、変位、歪み、波伝搬の速度、及び弾性係数などの、パラメータの配列は、首尾良く推定され（Ｋｏｎｏｆａｇｏｕ−２００４、Ｇｒｅｅｎｌｅａｆ−２００３）、腫瘍（Ｈａｌｌ−２００２、Ｌｙｓｈｃｈｉｋ−２００５、Ｐｕｒｏｈｉｔ−２００３）や、切除された損傷（Ｖａｒｇｈｅｓｅ−２００４、Ｂｏｃｔｏｒ−２００５）などのより固い組織塊を表すことができる。乳がん検知は第１の（Ｇａｒｒａ−１９９７）そして最も有望な（Ｈａｌｌ−２００３）ＵＳＥＩの利用例である。

この利用例のための実施形態は、超音波プローブと、外部の受動的アームに添付されたＳＬＳ構成を利用することである。我々は、外部トラッキング装置を用いてＳＬＳと超音波プローブの両方を追跡してもよく、若しくは、ＳＬＳ自身の参照フレームに関してプローブを追跡するＳＬＳ自身の参照フレーム構成を利用するのみであってもよい。初日に、我々は対象の領域上にプローブを置き、ＳＬＳ構成は胸の表面情報を捕獲し、超音波プローブは以下のタスクに対して実質的なインプットを提供する。１）ＵＳ（超音波）プローブは追跡可能であり、よって３ＤＵＳ（超音波）ボリュームは２Ｄ画像から再構成され得る（ＵＳ（超音波）プローブは２Ｄプローブである。）。若しくは、３Ｄプローブから結果として小ボリュームをまとめることが可能であり、パノラマボリュームを形成可能である。２）ＵＳ（超音波）プローブは、エラストグラフィスキャンの間に追跡可能である。この追跡情報は、質を拡張するＥＩアルゴリズム内で統合される（Ｆｏｒｏｕｇｈｉ−２０１０）（図１１）。３）第１の治療セッションに関する超音波プローブの配置と後続のセッションの間の登録は、ＵＳ（超音波）プローブと胸の両方のための（図１２に示すような）ＳＬＳ表面情報を用いて容易にリカバし得る。

参考文献

[Boctor-2005] Boctor EM, DeOliviera M , Awad M., Taylor RH, Fichtinger
G, Choti MA, Robot-assisted 3D strain imaging for monitoring thermal ablation of liver, Annual congress of the Society of American Gastrointestinal Endoscopic Surgeons, pp 240- 241, 2005.

[Bonadonna-1998] Bonadonna G, Valagussa P, Brambilla C, Ferrari L,
Moliterni A, Terenziani M, Zambetti M, "Primary chemotherapy in operable breast cancer: eight-year experience at the Milan Cancer Institute," SOJ Clin Oncol 1998 Jan;16(l):93-100.

[Chagpar-2006] Chagpar A, et al., "Accuracy of Physical Examination,
Ultrasonography and Mammogrpahy in Predicting Residual Pathologic Tumor size in patients treated with neoadjuvant chemotherapy" Annals of surgery Vol.243, Number 2, February 2006.

[Greenleaf-2003] Greenleaf JF, Fatemi M, Insana M. Selected methods for imaging elastic properties of biological tissues. Annu Rev Biomed Eng. 2003;5:57-78.

[Hall-2002] Hall TJ, Yanning Zhu, Spalding CS "In vivo real-time freehand palpation imaging Ultrasound Med Biol. 2003 Mar; 29(3):427-35.

[Konofagou-2004] Konofagou EE. Quovadis elasticity imaging? Ultrasonics.
2004 Apr;42(l-9):331-6.

[Lyshchik-2005] Lyshchik A, Higashi T, Asato R, Tanaka S, Ito J, Mai JJ,
Pellot-Barakat C, Insana MF, Brill AB, Saga T, Hiraoka M, Togashi K. Thyroid gland tumor diagnosis at US elastography. Radiology. 2005 Oct;237(l):202-1 1.

[Ophir- 1991] Ophir J, Cespedes EI, Ponnekanti H, Yazdi Y, Li X:
Elastography: a quantitative method for imaging the elasticity of biological tissues.
Ultrasonic Imag. ,13: 1 1 1-134, 1991.

[Partridge-2002] Partridge SC, Gibbs JE, Lu Y, Esserman LJ, Sudilovsky D,
Hylton NM, " Accuracy of MR imaging for revealing residual breast cancer in patients who have undergone neoadjuvant chemotherapy," AJR Am J Roentgenol. 2002 Nov; 179(5): 1 193- 9.

[Purohit-2003] Purohit RS, Shinohara K, Meng MV, Carroll PR. Imaging clinically localized prostate cancer. Urol Clin North Am. 2003 May;30(2):279-93.

[Rosen-2003] Rosen EL, Blackwell KL, Baker JA, Soo MS, Bentley RC, Yu
D, Samulski TV, Dewhirst MW, "Accuracy of MRI in the detection of residual breast cancer after neoadjuvant chemotherapy," AJR Am J Roentgenol. 2003 Nov; 181 (5): 1275-82.

[Smith-2000] Smith IC, Welch AE, Hutcheon AW, Miller ID, Payne S,
Chilcott F, Waikar S, Whitaker T, Ah-See AK, Eremin O, Heys SD, Gilbert FJ, Sharp PF, "Positron emission tomography using [(18)F]-fluorodeoxy-D-glucose to predict the pathologic response of breast cancer to primary chemotherapy," J Clin Oncol. 2000
Apr; 18(8): 1676-88.

[Valero- 1996] Valero V, Buzdar AU, Hortobagyi GN, "Locally Advanced
Breast Cancer," Oncologist. 1996; 1(1 & 2):8-17.

[Varghese-2004] Varghese T, Shi H. Elastographic imaging of thermal lesions in liver in-vivo using diaphragmatic stimuli. Ultrason Imaging. 2004 Jan;26(l): 18-28.

[Foroughi-2010] P. Foroughi, H. Rivaz, I. N. Fleming, G. D. Hager, and E.
Boctor, "Tracked Ultrasound Elastography (TrUE)," in Medical Image Computing and Computer Integrated surgery, 2010. [00269] Example 3: Ultrasound Imaging Guidance for Laparoscopic Partial Nephrectomy

例３：腹腔鏡腎部分切除術のための超音波撮像ガイダンス

腎臓がんは、全ての泌尿生殖器腫瘍のうちで最も致死率が高く、５５０００の新たに診断されたケースのうち、２００８年に１３０００人以上が死亡している［６１］。更に、腎臓がんと診断される率が増加している［１、２、６２］。「小さい」局所腫瘍は、現在、腎臓細胞がん腫の新たな診断の約６６％を表す。

外科手術は依然、局所腎臓腫瘍の処置のための現在の代表存在である。但し、活動的サーベイランス及び新たな切除技術を含む別途の治療アプローチ［５］が存在する。外科処置された小さい腎腫瘍に対する５年がん特有生存率は、９５％以上である［３、４］。外科的治療は、単純な腎摘出術（腎臓の除去）、根治的腎摘出術（腎臓、副腎及び周囲の組織の摘出）、及び腎部分切除術（腫瘍及び周辺組織の小マージンの除去、但し損なわれていない腎臓の残りを残す）を含む。より最近には、腎部分切除術のための腹腔鏡オプション（ＬＰＮ）が、開口アプローチと対比される明白に同等ながんコントロール結果により、発達している［９、１０］。腹腔鏡アプローチの利点は、美容術の向上、減少した疼痛、及び開口アプローチに対し回復期の向上、である。

腎全摘は腫瘍を除去するものであるが、他の腎臓が損傷している若しくは損失している患者、又は、さもなければ酷く危険に晒された腎臓機能を発達させるリスクにある患者に対して深刻な結果を与え得る。一般集団における糖尿病や高血圧などの慢性腎不全に対する危険因子の有病率を考えると、このことは重要である［７、８］。腎部分切除術は、４ｃｍより小さいサイズの腎腫瘍の治療のための腎全摘除去と腫瘍学的に均等であることが示される（例えば、［３、６］）。更に、患者の小さい腎腫瘍の治療のための腎部分切除術を受ける患者は、根治的腎摘出術を受ける患者と対比して生存利益を受けることを、データが示している［１２−１４］。サーベイランス、疫学、及び最終結果のがんレジストリを利用する最近の研究は、４ｃｍより小さい腎腫瘍のために根治的腎摘出術若しくは腎部分切除術で治療された６６歳より上の２９９１名の患者を特定した。根治的腎摘出術は、腎部分切除術と対比して、手術後、全死亡率の増加するリスク（ＨＲ１．３８、ｐ＜０．０１）、及び、心血管系イベントの１．４倍数と、関連した。

結果の利点にもかかわらず、腎部分切除術は、７．５％のケースでしか行われない［１１］。この不釣り合いに対する一つの重要な理由は、処置の技術的困難性である。医師は、切除を完了し、必要な吻合を行い、及び、腎臓が損傷しないうちに循環を回復するために、非常に迅速に動かなければならない。更に、医師は、できるだけ多くの良好な腎臓組織を保持しつつがんの無い切除マージンを保証して切る位置を、知っていなければならない。切除実行の際、医師は術前ＣＴに関連する記憶と視覚による判断、及び、患者の腎臓の物理的実体に対する他の情報に、依存しなければならない。器具に関する器用さの減少、及び、腹腔鏡からの視覚の減少のために、処置が腹腔鏡で為されるときこれらの困難性は非常に拡大される。

この技術的に挑戦的な介入を克服するために、二つの実施形態を考案した。図１３は、ＳＬＳコンポーネントが、ＵＳ（超音波）プローブ及びＳＬＳの両方を追跡するために、腹腔鏡アーム、腹腔鏡超音波プローブ、及び外部トラッキング装置上に保持される、第１のシステムを示す［Ｓｔｏｌｋａ−２０１０］。しかしながら、ＳＬＳ構成へのアクセスがあるので、我々は外部トラッキング装置に拠る必要は無い。ＳＬＳは、腎臓表面及びプローブ表面をスキャンでき、腎臓とＵＳ（超音波）プローブの両方を追跡できる。更に、我々の発明は、ハイブリッドの表面／超音波の登録に関する。この実施形態では、ＳＬＳは、腎臓表面をスキャンし、僅かな超音波画像と共に術前データによる信頼性のある登録が実行可能であり、図１３に示されるものと類似の拡張された可視像が、添付のプロジェクタを用いて可視化され得る。

図１４には第２の実施形態が示され、超音波プローブが患者の外部に配置され、腎臓の表面側に直接向かって対向している。内部では、腹腔鏡ツールがＳＬＳ構成を保持する。ＳＬＳシステムはリアルタイムで腎臓表面情報を提供し、３ＤＵＳ（超音波）も同じ表面（組織大気インタフェース）を撮像する。表面対表面の登録を適用することで、超音波ボリュームは、ＳＬＳ連勝フレームに容易に登録され得る。異なる実施形態では、光音響効果を用いても登録が為され得る（図１５）。通常、ＳＬＳ構成内の投射は固定パターンを伴うパルスレーザプロジェクタでもよい。光音響信号は特定のポイントにて生成され、周知のキャリブレートパターンを生成する。超音波撮像装置はこれらポイントのＰＡ信号を検出できる。続いて、容易なポイントツーポイントの登録が行われ、カメラ／プロジェクタ−空間と超音波空間との間のリアルタイムの登録を確立できる。

Ｃアームガイド介入利用例

プロジェクションデータ切断問題は、再構成されたＣＴ及びＣアーム画像との共通の問題である。この問題は、ギャップ付きトロイダルコイル２増境界近傍で明確に見られる。切断は、ＣＴ／Ｃアームモダリティから取得される不完全なデータセットの結果である。この切断エラーを克服するアルゴリズムが開発されてきた［Ｘｕ−２０１０］。プロジェクションデータに加えて、このアルゴリズムは、Ｘ線検出器に関する、３Ｄ空間の患者の輪郭を要求する。この輪郭は、再構成方法をガイドするのに要求される信頼範囲を生成するのに用いられる。デジタルファントムに関するシミュレーションの研究が為され［Ｘｕ−２０１０］、新たな方法により達成される拡張を明らかにしている。しかしながら、信頼範囲を得るための実際の方法が開発されなければならない。図３及び図４は、患者の輪郭情報を追跡して取得し、結果としてスキャンの個々の視野角における信頼範囲を取得する、新規の実際の実施形態を示す。信頼範囲は、再構成方法をガイドするのに用いられる［Ｉｓｍａｉｌ−２０１１］。

Ｘ線は軟組織撮像のための理想的モダリティではないことは周知である。最近のＣアーム介入システムには、平面パネル検出器が備えられ、コーンビーム再構成を実行できる。再構成ボリュームは、術中Ｘ線データを術前ＭＲＩに登録するのに用いられ得る。通常、再構成タスクを実行するために、数百のＸ線ショットが撮られる必要がある。我々の新規の実施形態は、ＳＬＳ若しくはＴｏＦ又は類似の表面スキャナセンサからの、リアルタイムの術中表面を利用することにより、表面対表面の登録を実行することができる。よって、Ｘ線被ばく量を減少することが達成される。にもかかわらず、登録タスクを微調整する必要があるならば、この場合僅かなＸ線画像が全体フレームワーク内に統合され得る。

前述のＵＳ（超音波）ナビゲーション例及び方法と同様に、Ｃアームに構成されキャリブレートされたＳＬＳコンポーネントも介入ツールを追跡でき、添付のプロジェクタがリアルタムの視覚化を提供し得ることは、明らかである。

更に、超音波プローブは、現下のセットアップに追加も変更も無く、Ｃアームシーンに容易に導入され得る。ＳＬＳ構成は、ＵＳ（超音波）プローブを追跡できる。重要なことであるが、小児科の介入適用例では、超音波撮像装置をＣアームスイートに統合する必要がある。これらのシナリオでは、ＳＬＳ自身の参照フレーム構成は、Ｃアームに添付されても、超音波プローブに添付されても、若しくは分離してアームに添えられても、よい。この超音波／Ｃアームシステムは、一つ以上のＳＬＳ構成、若しくはこれらセンサの組み合わせから成ってもよい。例えば、カメラ若しくはマルチプルカメラは、プロジェクタがＵＳ（超音波）プローブに添付され得るＣアームに固定され得る。

最後に、我々の新規の実施形態は、Ｃアームキャリブレーションに質のコントロールを提供できる。Ｃアームは、動作する設備であり堅固なボディとは考えられない。即ち、製造現場において計測／キャリブレートされる必要がある小さい揺れ／振動動作が有り、これらの数値は再構成の間に補償するのに用いられる。このキャリブレーションを変える不完全な条件が発生すれば、会社は、システムを再キャリブレートすることを通知される必要がある。これらの不完全な条件は検出するのが困難であり、ＱＣキャリブレーションの繰り返しは実行不可能であり費用が掛かる。我々の正確な表面トラッカは、Ｃアームの動作を判定することができ、同時に背景では、製造キャリブレーションに対比することができる。不完全な条件が発生すると、我々のシステムはそれを発見し訂正できる。

参考文献

[Jemal-2007] Jemal A, Siegel R, Ward E, Murray T, Xu J, Thun MJ. Cancer statistics, 2007. CA Cancer J Clin2007 Jan-Feb;57(l):43-66.

2. [Volpe-2004] Volpe A, Panzarella T, Rendon RA, Haider MA,
Kondylis FI, Jewett MA. The natural history of incidentally detected small renal masses. Cancer2004 Feb 15;100(4):738-45

3. [Fergany-2000] Fergany AF, Hafez KS, Novick AC. Long-term results of nephron sparing surgery for localized renal cell carcinoma: 10-year followup. J Urol2000 Feb; 163(2):442-5.

4. [Hafez- 1999] Hafez KS, Fergany AF, Novick AC. Nephron sparing surgery for localized renal cell carcinoma: impact of tumor size on patient survival, tumor recurrence and TNM staging. J Urol 1999 Dec; 162(6): 1930-3.

5. [Kunkle-2008] Kunkle DA, Egleston BL, Uzzo RG. Excise, ablate or observe: the small renal mass dilemma-a meta-analysis and review. J Urol2008
Apr; 179(4): 1227-33; discussion 33-4.

6. [Leibovich-2004] Leibovich BC, Blute ML, Cheville JC, Lohse CM,
Weaver AL, Zincke H. Nephron sparing surgery for appropriately selected renal cell carcinoma between 4 and 7 cm results in outcome similar to radical nephrectomy. J Urol2004 Mar; 171 (3): 1066-70.

7. [Coresh-2007] Coresh J, Selvin E, Stevens LA, Manzi J, Kusek JW,
Eggers P, et al. Prevalence of chronic kidney disease in the United States. JAMA2007 Nov 7;298(17):2038-47.

8. [Bijol-2006] Bijol V, Mendez GP, Hurwitz S, Rennke HG, Nose V.
Evaluation of the nonneoplastic pathology in tumor nephrectomy specimens: predicting the risk of progressive renal failure. Am J Surg Pathol2006 May;30(5):575-84.

9. [Allaf-2004] Allaf ME, Bhayani SB, Rogers C, Varkarakis I, Link
RE, Inagaki T, et al. Laparoscopic partial nephrectomy: evaluation of long-term oncological outcome. J Urol2004 Sep; 172(3):871-3.

10. [Moinzadeh-2006] Moinzadeh A, Gill IS, Finelli A, Kaouk J, Desai
M. Laparoscopic partial nephrectomy: 3-year followup. J Urol2006 Feb; 175(2):459-62.

11. [Hollenbeck-2006] Hollenbeck BK, Taub DA, Miller DC, Dunn RL,
Wei JT. National utilization trends of partial nephrectomy for renal cell carcinoma: a case of underutilization Urology2006 Feb;67(2):254-9.

12. [Huang-2009] Huang WC, Elkin EB, Levey AS, Jang TL,
Russo P. Partial nephrectomy versus radical nephrectomy in patients with small renal tumors-is there a difference in mortality and cardiovascular outcomes? J Urol2009
Jan; 181(l):55-61 ; discussion -2.

13. [Thompson-2008] Thompson RH, Boorjian SA, Lohse CM,
Leibovich BC, Kwon ED, Cheville JC, et al. Radical nephrectomy for pTl a renal masses may be associated with decreased overall survival compared with partial nephrectomy. J Urol2008 Feb; 179(2):468-71 ; discussion 72-3.

14. [Zini-2009] Zini L, Perrotte P, Capitanio U, Jeldres C, Shariat
SF, Antebi E, et al. Radical versus partial nephrectomy: effect on overall and noncancer mortality. Cancer2009 Apr 1 ; 1 15(7): 1465-71.

15. Stolka PJ, Keil M, Sakas G, McVeigh ER, Taylor RH, Boctor EM, "A
3D-elastography-guided system for laparoscopic partial nephrectomies". SPIE Medical Imaging 2010 (San Diego, C A/US A)

61. [Jemal-2008] Jemal A, Siegel R, Ward E, et al. Cancer statistics, 2008. CA Cancer J Clin 2008; 58:71-96. SFX

62. [Hock-2002] Hock L, Lynch J, Balaji K. Increasing incidence of all stages of kidney cancer in the last 2 decades in the United States: an analysis of surveillance, epidemiology and end results program data. J Urol 2002; 167:57-60. Ovid Full Text Bibliographic Links

63. [Volpe-2005] Volpe A, Jewett M. The natural history of small renal masses. Nat Clin Pract Urol 2005; 2:384-390. SFX

[Ismail-2011] Ismail MM, Taguchi K, Xu J, Tsui BM, Boctor E, "3D-guided
CT reconstruction using time-of- flight camera," Accepted in SPIE Medical Imaging 201 1

[Xu-2010] Xu, J.; Taguchi, K.; Tsui, B. M. W.; , "Statistical Projection
Completion in X-ray CT Using Consistency Conditions," Medical Imaging, IEEE
Transactions on , vol.29, no.8, pp.1528-1540, Aug. 2010

１００・・・拡張装置、１０２・・・ブラケット、１０４・・・撮像コンポーネント、１０６・・・プロジェクタ、１０８、１１０・・・カメラ。

Claims

手術の間に身体に関する器具の利用をガイドする際に用いる視覚情報を提供するシステムであって、
撮像面に沿って身体を撮像するように構成された身体撮像システムと、
前記撮像システムの動作の間に撮像の領域を観察するように構成されたカメラと、
前記撮像面と整列するプロジェクタと
を含み、
前記カメラは、前記撮像面に関して軸外で整列し、
前記プロジェクタは、撮像面の配置を示す画像を投射するように構成され、
前記カメラにより記録された画像はスクリーン上にディスプレイされ、
システムはカメラディスプレイ上にガイダンス情報を重ね合わせるように構成され、これにより、前記撮像面と前記重ね合わされたガイダンスにより形成された平面との交差部が前記器具の所定の軌跡に対応するラインを形成する
システム。
ディスプレイスクリーンは、前記カメラにより記録された画像と共に、前記撮像システムにより生成された画像をディスプレイするように構成されている
請求項１に記載のシステム。
手術の間に身体に関する器具の利用をガイドする際に用いる視覚情報を提供する方法であって、
撮像面に沿って身体を撮像するステップと、
カメラを用いて前記撮像するステップの領域をモニタリングするステップと
を含み、
プロジェクタは前記撮像面と整列し、
前記カメラは、前記撮像面に関して軸外で整列し、
前記プロジェクタは、撮像面の配置を示す画像を投射し、
前記カメラにより記録された画像はスクリーン上にディスプレイされ、
ガイダンス情報はカメラディスプレイ上に重ね合わせられる、これにより、前記撮像面と前記重ね合わせられたガイダンス情報により形成された平面との交差部が前記器具の所定の軌跡に対応するラインを形成する
方法。
手術の間に身体に関する器具の利用をガイドする際に用いる視覚情報を提供するシステムであって、
撮像面に沿って身体を撮像するように構成された身体撮像システムと、
前記撮像システムの動作の間に撮像の領域を観察するように構成され、前記撮像面と整列するカメラと、
前記撮像面に関して軸外で整列するプロジェクタと
を含み、
前記カメラにより記録された画像はスクリーン上にディスプレイされ、
撮像面の配置を示す情報がディスプレイされたカメラ画像上に重ね合わされ、
プロジェクションシステムは、所定の器具の軌跡に対応するラインを投射する
システム。
手術の間に身体に関する器具の利用をガイドする際に用いる視覚情報を提供する方法において、
撮像面に沿って身体を撮像するステップと、
カメラを用いて撮像の領域をモニタリングするステップであって、前記カメラは前記撮像面と整列する、ステップと、
前記カメラにより記録された画像をスクリーン上にディスプレイするステップと、
撮像面の配置を示す情報を前記ディスプレイされたカメラ画像上に重ね合わすステップと、
所定の器具の軌跡に対応するラインを前記投射された画像上に投射するステップと
を含み、
前記投射された画像は、前記撮像面に関して軸外で整列するプロジェクタから投射される、
方法。
手術の間に身体に関する器具の利用をガイドする際に用いる視覚情報を提供するシステムであって、
撮像面に沿って身体を撮像するように構成された身体撮像システムと、
前記撮像システムの動作の間に撮像の領域を観察するように構成されたカメラと、
画像を投射するように構成されたプロジェクタと
を含み、
前記カメラと前記プロジェクタのうちの一つは、前記撮像面と整列し、
前記器具が前記手術のための適切な位置及び方向に配置されると、前記プロジェクタは、前記器具により投じられた影の計算された位置に対応する画像を投射するように構成されている、
システム。
手術の間に身体に関する器具の利用をガイドする際に用いる視覚情報を提供する方法であって、
撮像面に沿って身体を撮像するステップと、
カメラを用いて撮像の領域をモニタリングするステップであって、前記カメラと前記プロジェクタのうちの一つは前記撮像面と整列し、前記カメラと前記プロジェクタのうちのもう一つのものは、前記撮像面に関して軸外で整列する、ステップと、
前記手術のための適切な位置及び方向に配置された器具により投じられた影の位置を計算するステップと、
前記計算された位置に対応する画像を投射するステップと
を含む
方法。
前記計算された位置に対応する前記投射された画像がラインである
請求項７に記載の方法。
前記計算された位置に対応する前記投射された画像が様々な厚さのラインである
請求項７に記載の方法。
前記計算された位置に対応する前記投射された画像がカラーを含み、様々なカラーは、器具のための最も好ましい位置に関連する多かれ少なかれ正確性の程度を示す、
請求項７に記載の方法。
前記計算された位置に対応する前記投射された画像が構造化光パターンの一部である
請求項７に記載の方法。
手術の間に身体に関する器具の利用をガイドする際に用いる視覚情報を提供するシステムであって、
撮像面に沿って身体を撮像するように構成された身体撮像システムと、
前記撮像システムの動作の間に撮像の領域を観察するように構成された第１のカメラと、
前記撮像システムの動作の間に撮像の領域を観察するように構成された第２のカメラであって、前記第１と第２のカメラは前記撮像の領域の立体観察のために構成され且つ配置された、第２のカメラと
を含み、
前記第１と第２のカメラは、前記器具の位置及び動作を能動的に追跡するように構成され、
前記システムは、前記手術のための器具の所定の位置及び方向に関連して、器具の位置及び方向に関するガイダンス情報をディスプレイするように構成されている
システム。
前記ガイダンス情報がディスプレイスクリーン上にディスプレイされる
請求項１２に記載のシステム。
前記ガイダンス情報が患者上に投射される
請求項１２に記載のシステム。
前記ガイダンス情報がディスプレイスクリーン上にディスプレイされ患者上に投射される、請求項１２に記載のシステム。
前記ガイダンス情報が、前記撮像システムによりキャプチャされた画像の投射上のオーバレイとして、投射される、請求項１２に記載のシステム。
前記ガイダンス情報が、近接マーカ、ターゲットマーカ、アラインメントマーカ、及びエリア境界設定から成るグループから選択される、請求項１２に記載のシステム。
前記ガイダンス情報が、投射される画像に若しくは患者に、登録される、請求項１２に記載のシステム。
前記ガイダンス情報が、位置独立である、請求項１２に記載のシステム。
更に、ユーザに対して器具の位置及び方向に関する聴覚キューを提供するように構成されている、請求項１２に記載のシステム。
更に、撮像システムの配置に関するガイダンスを投射するように構成されている、請求項１２に記載のシステム。
撮像システムにより獲得された画像は、カメラにより記録された画像と共に登録され、プロジェクタは前記登録された画像を用いて、選択されたターゲットに関する視覚化の改良のためのガイダンス情報を投射する
請求項１２に記載のシステム。
前記身体の格納された従前の画像を参照して、所望のターゲットの最適な撮像のための撮像システムの配置に関するガイダンスを提供するように構成されている、
請求項１、４、６、及び１２のうちのいずれか一に記載のシステム。
前記撮像システムからのライブ画像を覆って重ね合わされル前記ガイダンス情報を表示するように構成されている、
請求項１、４、６、及び１２のうちのいずれか一に記載のシステム。
前記ガイダンス情報が、照準線、外挿ニードル位置及び方向ライン、並びに、標的エラーベクトルに基づいてサイズ、色、及び／又は相対位置を変更する対のシンボルからなるグループから選択される
請求項１、４、６、及び１２のうちのいずれか一に記載のシステム。
シングル、ステレオ、若しくはマルチプルビューに亘る所望の器具の位置及び方向に対応して、整列ラインを重ね合わせるように構成され、現下の器具の位置及び方向を示す器具整列ラインを投射するように構成された、請求項１、４、６、及び１２のうちのいずれか一に記載のシステム。
前記投射されたガイダンス情報は、ユーザによる器具整列の容易さを改良するように構成されている、請求項１、４、６、及び１２のうちのいずれか一に記載のシステム。
ガイダンス情報はラインのフォームを取り、ラインはラインに亘って集中するサークル、ディスク、若しくは楕円のシリーズにより、強調される
請求項１、４、６、及び１２のうちのいずれか一に記載のシステム。
前記ガイダンスの厚さは、検出された器具の寸法、プロジェクタへの距離、身体への距離に基づいて変動する
請求項１、４、６、及び１２のうちのいずれか一に記載のシステム。
手術の間に身体に関する器具の利用をガイドする際に用いる視覚情報を提供するシステムであって、
撮像面に沿って身体を撮像するように構成された身体撮像システムと、
前記撮像システムの動作の間に撮像の領域を観察するように構成された第１のカメラと、
前記撮像システムの動作の間に撮像の領域を観察するように構成された第２のカメラであって、前記第１と第２のカメラは前記撮像の領域の立体観察のために構成され且つ配置された、第２のカメラと、
二つの異なる角度から、前記撮像システムからの画像を投射するように構成されたプロジェクタアセンブリと
を含み、
前記第１と第２のカメラは、前記器具の位置及び動作を能動的に追跡するように構成され、
前記システムは、交差するシャドウを用いて、前記手術のための器具の所定の位置及び方向に関連して、器具の位置及び方向に関するガイダンス情報をディスプレイするように構成されている
システム。
前記プロジェクタアセンブリは、二つのプロジェクタを含む
請求項３０に記載のシステム。
前記プロジェクタアセンブリは、単体のプロジェクタ、ビームスプリッタ、及び、同じ画像の多重投射を生成する複数のミラーを含む
請求項３０に記載のシステム。
撮像システム、プロジェクタ、及び一対のカメラをキャリブレートする方法であって、
平面ターゲット上にパターンを投射するステップと、
カメラにより平面ターゲットを観察するステップと、
撮像システムにより平面ターゲットの複数の画像を同時に生成するステップと、
カメラのキャリブレーションを生成するために平面ターゲット上で特性を利用するステップと、
空間内のターゲット平面の位置を算出するためにキャリブレーションを利用するステップと、
複数の画像平面とターゲット平面との交差を表す多重ラインを処理することにより、カメラと撮像システムの相対位置を計算するステップと
を含む方法。
撮像システム、及びカメラをキャリブレートする方法であって、
カメラにより平面ターゲットを観察するステップと、
前記撮像システムにより周知の形状を撮像するステップと、
カメラと撮像システムの相対位置を計算するために、平面ターゲット及び周知の形状の特性を利用するステップと
を含む方法。
前記平面ターゲット及び前記周知の形状の相対位置が周知である
請求項３４に記載の方法。
周知の形状が二重のくさびであり、平面ターゲットが二重のくさびに直接に若しくは間接に接続する
請求項３４に記載の方法。
カメラシステムにより撮像システムをキャリブレートする方法であって、
カメラシステムにより複雑なボリュームを撮像し同時にボリュームを記録するステップと、
撮像システム及びカメラシステムの各々を用いて、ボリュームの表面モデルを生成するステップと、
ボリュームの計算モデルに前記表面モデルを登録するステップと、
カメラと撮像システムの相対位置を計算するステップと
を含む方法。
カメラシステムにより撮像システムをキャリブレートする方法であって、
前記撮像システム及び前記カメラシステムを用いて、マイクロカプセルの破裂を同時に記録するステップと、
前記システムにより記録された前記破裂からのデータを登録するステップと、
前記登録に基づいてカメラと撮像システムの相対位置を計算するステップと
を含む方法。
撮像システム、ステレオカメラシステム、及びプロジェクタをキャリブレートする方法であって、
前記カメラシステムから投射される可視光線が落ち、プロジェクタの光心と交差する、複数の表面を観察するステップと、
投射の中心を計算するために外挿される、空間における一連のポイントを算出するために前記観察を利用するステップと
を含む方法。
撮像システムによりカメラシステムを一時的にキャリブレートする方法であって、
撮像システムによりトリガ信号を生成するステップと、
カメラの取得をトリガするために前記トリガ信号を利用するステップと
を含む方法。
カメラシステムと撮像システムを一時的にキャリブレートする方法であって、
ターゲット上で、前記カメラシステムと前記撮像システムを移動するステップと、
カメラシステムと撮像システムの夫々の軌跡をマッチすることにより、一時的差異を計算するステップと
を含む方法。
身体撮像システムと利用する、投射ガイダンスシステムのインテグリティをチェックする方法であって、
カメラシステムを利用して、器具の配置及び方向を記録するステップと、
撮像システムにより生成される画像に対して、器具の画像を投射するステップと、
器具の観察された配置が、器具の投射された画像と異なるならば、ユーザに食い違いのキューを与えるステップと
を含む方法。
身体撮像システムと利用する、投射ガイダンスシステムのインテグリティをチェックする方法であって、
撮像システムを利用して、器具の配置及び／又は方向を記録するステップと、
前記器具の、カメラ記録画像をおおって、前記記録された配置及び／又は方法をディスプレイするステップと、
器具の観察された配置が、器具のディスプレイされた配置と異なるならば、ユーザに食い違いのキューを与えるステップと
を含む方法。
身体撮像システムと利用する、投射ガイダンスシステムのインテグリティをチェックする方法であって、
身体撮像システムとカメラアセンブリの両方を用いて、器具の配置及び方向を能動的に追跡するステップと、
器具の配置、方向、及び軌跡に関する情報をユーザに提供するために前記能動的に追跡するステップからの情報を利用するステップと
を含む方法。
器具の曲がりを検出するために前記能動的に追跡するステップからの情報を利用するステップを含む、請求項４２〜４４のうちのいずれか一に記載の方法。
身体内の器具の配置を追跡するために撮像システムの利用を最適化する方法であって、身体の外部で前記器具の配置及び方向を検出するために前記撮像システムを利用するステップと、
軌跡ガイダンスを決定し投射するために、ターゲット配置及び方向と共に、検出された配置及び方向を利用するステップと
を含む方法。
身体撮像システムと連動して器具ガイダンスのためにプロジェクタを利用する方法であって、
器具のための身体挿入ポイントを計算して投射するステップと、
初期の器具の画像キャプチャのためのターゲットエリアとして前記投射された身体挿入ポイントの近傍の領域を利用するステップと
を含む方法。
身体撮像システムと連動して器具ガイダンスのためにプロジェクタを利用する方法であって、
器具のための身体挿入ポイントを計算して投射するステップと、
前記投射された身体挿入ポイントの近傍の領域の外部に落ちる器具画像キャプチャデータを放棄するステップと
を含む方法。
身体撮像システムと連動して器具ガイダンスのためにプロジェクタを利用する方法であって、
器具のための身体挿入ポイントを計算して投射するステップと、
前記器具の計算された配置及び方向が予測された器具の振る舞いに反する時期を検出するステップと
を含む方法。
身体内での器具の貫通の深度を示す方法であって、
撮像システム、カメラシステム、及び両者の組み合わせから選択された装置を用いて器具上の基準を検出するステップと、
経時的に基準の配置を追跡するステップと
を含む方法。
基準は器具に添付された反射素子を含む
請求項５０に記載の方法。
基準は器具上のダークリングである
請求項５０に記載の方法。
貫通の深度は、患者表面から、空間における基準の配置を差し引き、その結果をニードルの長さから差し引くことで、計算される
請求項５０に記載の方法。
器具が身体に送球されるとき、身体に対応する器具上の配置を示す基準ランドマークが、前記器具上に投射される
請求項５０に記載の方法。
身体の外部に残余して身体内における器具の所望の深度に関するリマインダをユーザに示す、複数の基準マークを器具上にディスプレイするステップを、更に含む
請求項５０に記載の方法。
プロジェクタが、表面上に視覚インターフェースを投射するように構成され、
カメラシステムが、視覚インターフェースと相互作用することでユーザがシステムに命令を与える視覚インターフェースとのユーザのインターアクションを追跡するように構成されている
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
投射表面上に視覚インターフェースを投射するとき、プロジェクタが投射表面の三次元構造を構成する
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
カメラシステムが、システム命令のためのユーザジェスチャを追跡するように構成されている
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
撮像システムのリモートコントロールのために構成されているハンドヘルド装置を、更に含む
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
前記カメラ及び／又は前記撮像システムにより記録される画像のディスプレイのために構成されているハンドヘルド装置を、更に含む
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
透過情報オーバレイのため、患者への登録のために構成されているハンドヘルド装置を、更に含む
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
撮像システムによる登録を維持し、視覚化とガイダンスの両方のために構成されている、ディスプレイシステムを、更に含む
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
前記撮像システムは、空間における位置に基づいて術前情報を示すように構成されている取り外し可能のディスプレイを有する
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
ネットワーク接続を更に含み、システム計算及び／又はデータ記録は前記ネットワーク接続に亘って遠隔で行われる
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
前記システムとの統合のために更なるカメラ若しくはプロジェクタを受けるように構成されている搭載ブラケットを、更に含む
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
前記カメラ及びプロジェクタの少なくとも一部を包含し、殺菌剤に耐性がある、ハウジングを、更に含む
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
前記カメラ及びプロジェクタのうちの少なくとも一つのための殺菌さやを更に含み、前記殺菌さやは、投射及びカメラの記録をさせる透明固定プラスチックウインドウを包含する
請求項１、４、６及び１２のうちのいずれか一に記載のシステム。
前記対象者の少なくとも一部を覆うドレープ上に前記画像を投射するステップを含む
請求項３、５、７及び７９のうちのいずれか一に記載の方法。
前記ドレープが、構造化光透過のドレープ、ＩＲ透過のドレープ、及び波長固有のドレープから成るグループから選択される
請求項６８に記載の方法。
前記ドレープが、直接表面追跡及び登録を行うのに十分である検出可能基準座標系を含む
請求項６８に記載の方法。
前記ドレープが、蛍光性若しくはリン光性高価を有する感光性物質を含む
請求項６８に記載の方法。
光活性ダイを用いて前記患者上に情報をプリントするステップを含む
請求項３、５、７及び７９のうちのいずれか一に記載の方法。
追跡、ガイダンス及び表面のための投射を最適化するために、カメラにより投射画像を時分割多重化するステップを、更に含む
請求項３、５、７及び７９のうちのいずれか一に記載の方法。
投射パターンを時分割多重化する若しくは空間変調するステップを、更に含む
請求項３、５、７及び７９のうちのいずれか一に記載の方法。
空間及び／又は時間に従って適応パターンを投射するステップを、更に含み、
前記適応パターンは、表面距離によるパターンの空間周波数の変化、構造サイズ及び／又はカメラ解像度、表面特性に適合するパターンカラーの変化、及び経時的なパターンのランダム化から成るグループから、選択される
請求項３、５、７及び７９のうちのいずれか一に記載の方法。
投射されたパターンとガイダンス情報の両方が統合され、身体表面を再構成するように最適化される
請求項３、５、７及び７９のうちのいずれか一に記載の方法。
投射アウトプットを同期化し、ガイダンスとステレオ構造の両方のために、時間に対し空間多重化パターンを許容するステップを、更に含む
請求項３、５、７及び７９のうちのいずれか一に記載の方法。
同時に若しくは時分割多重化により、可視光帯と不可視光帯の両方を伴うマルチバンド投射を利用するステップを、更に含む
請求項３、５、７及び７９のうちのいずれか一に記載の方法。
手術の間に身体に関する器具の利用をガイドする際に用いる視覚情報を提供する方法において、
撮像面に沿って身体を撮像するステップと、
前記撮像システムの手術間の撮像の領域を第１のカメラにより観察するステップと、
前記撮像システムの手術間の撮像の領域を第２のカメラにより観察するステップであって、前記第１と第２のカメラは前記撮像の領域の立体視観察のために構成され且つ配置されている、ステップと、
前記第１と第２のカメラにより、前記器具の配置及び移動を能動的に追跡するステップと、
前記手術のための器具の所望の配置及び方向に関連して器具の配置及び方向に関するガイダンス情報をディスプレイするステップと
を含む方法。