JP2005518854A - 位置的ガイダンスシステムからの可聴式フイードバック - Google Patents

Abstract

空間内で少なくとも１つの追跡可能な点のガイダンスを助けるために可聴式フイードバック（２６０）を発生するコンピュータベースのシステム（２００）が提供される。外科用の実施例は、例えば、腫瘍（１００）の様な関心のある容積に対して、手術領域内でプローブ（２３０）の先端（２３５）を動かす外科医への可聴式フイードバック（２６０）を発生する（可視的及び触覚式フイードバックにを補間するために）過程を含む。他の外科的実施例は、ペデイクルスクリューの精密な挿入を助けるために可聴式フイードバック（２６０）を発生する過程を含む。この様な外科的実施例では、外科医が手術領域内でプローブ又は器具（２３０）を動かすと、コンピュータ（２００）は基準マーカー（２４０，２４２，２４４、そして２４６）のシステムに対する空間内の該プローブ及び／又は器具（２３０）の現在位置を解析する。次いで該コンピュータ（２００）は、例えば、核磁気共鳴画像形成（ＭＲＩ）走査、コンピュータ化トモグラフイー（ＣＴ）走査及び／又は超音波走査により得られた外科的図象（surgical view）のコンピュータ再構成上で前に識別された予め決められた関心のある特徴｛腫瘍（１００）の様な｝に対する該プローブ及び／又は器具（２３０）の位置に関する可聴式フイードバック（２６０）を該外科医に提供する。該可聴式フイードバック（２６０）は該プローブ及び／又は器具（２３０）が該関心のある特徴（複数の特徴を含む）に対し動くと、トーン、ボリューム、パターン及び／又はスタイルでの様な、多くの方法で変化してもよい。

Description

本出願は一般的に３次元（３Ｄ）画像（imagery）からの可聴式フイードバック（audible feedback）に関し、特に外科医が再構成された外科的図象（reconstructed surgical views）上に写像（mapped）された手術器具（surgical instrument）の位置に基づく可聴式フイードバックを受ける実施例に関する。
関連出願
本出願はその特許の開示が引用によりここに組み入れられる共通に発明され、共通に譲渡された米国特許第５、９６１、４５６号に関係する。

定位的手術（stereotactic surgery）は手術空間内でターゲットをローカライズ（localizing）する技術として当該技術で公知である。トモグラフ的画像形成に基づく定位的計測の使用が手術では従来行われて来た。脳及び他の神経外科（neurosurgery）用に使われる時、この様な方法は患者の頭蓋骨へのヘッドリング装置（headring apparatus）の取り付けと、次いでデータが該ヘッドリングに空間的に関係している所で該画像形成用データを取得するための従来技術の使用と、を含む。外科医（surgeon）はその頭の位置をＸ線画像と関係付けるためにアークシステム（arc system）を使用してもよい。インデックス用デバイス（indexing device）、ローカライザー構造体（localizer structure）又は他の基準装置（fiducial apparatus）が、該基準装置に対する該患者の頭内のターゲット（targets）｛腫瘍（tumors）の様な｝の定量的座標を指定するために一般的に使用される。該手順の間可視化を助けるためエギゾスコープ（exoscope）が使用されてもよい。

又現在の技術は手術室内で可視的基準を提供するフレームレス（frameless）システムの使用も可能にする。再び脳外科を参照すると、手術前（pre operative）の核磁気共鳴画像形成（magnetic resonance imaging）（ＭＲＩ）又はコンピュータ化トモグラフイー（computerized tomography）（ＣＴ）の走査の時現れるように該患者の頭の周りに基準マーカー（fiducial markers）が置かれる。当該分野で公知の技術が該患者上に配置された該基準マーカーをローカライズするために手術前に使用され、コンピュータはこの情報を前の画像形成からのそれと比較する。該患者の頭の実際の位置は、かくして、該患者の頭のコンピュータ化された３次元再構成に登録され、それと相関付けられる。

手術が進むと、外科医は、該器具自身上に配置された基準マーカーのライブタイムの認識（live-time recognition）に基づき、手術ターゲットを標定（locate）し、該ターゲットに対する切除器具の空間内位置（resection instrument's position in space）を追跡（tr ack）するため、画像ガイダンスシステムを使用出来る。画像への可視的フイードバックを使うこの様な画像ガイダンスシステムは引用によりここに組み入れられる特許文献１に開示され、詳細に論じられている。特許文献１で開示された実施例は外科医が該手術領域（surgial field）の実際の、実時間画像と空間内を動く該器具とを投影するビデオモニターを観察可能にする。その画像上に手術前の走査から得られ、ターゲットの位置を開示する現実味を増した画像が重畳される。

手術が進むと、外科医は手術ターゲットを標定するために該画像ガイダンスシステムを使用出来る。同ガイダンスシステムは該ターゲットに対する切除器具（resection instrument）の関係を空間内でローカライズ出来る。外科医のための改良されたガイダンス用にサービス可能であり、有用であるが、この様な従来技術の視覚的フイードバックシステムは、該器具を追跡させるために該手術器具及び該患者から該モニターへ彼の／彼女の視野を周期的に再配向することを該外科医に要求する。もし該外科医が該手術領域を連続的に見ながら該ターゲットをローカライズし、その容積（volume）を規定出来るなら更に進んだ利点が入手可能である。

上記の従来技術上の更に進んだ変型は該外科医が顕微鏡の助けを借りてフレームレスの定位的手術を行うことである。該顕微鏡は手術領域の拡大した視認を助ける。この応用で外科医は、該顕微鏡を直接通して見られる該手術領域内に、対応する３次元的容積上に重畳された該手術前走査の２次元画像を見ることが出来る。微視的な腫瘍の精細で、微妙な手術手順用に有益であるが、この技術は、限定した利点しか有せず、何故ならば該顕微鏡の視野は小さく、そして顕微鏡プログラムは特定の施設（institution）では入手可能でないからである。拡大した及び拡大されない両環境で外科医をガイドするために手術前走査（pre-operative scans）を使うシステムは非常に有利である。
米国特許第５、９６１、４５６号明細書 米国特許第４、７２２、０５６号明細書、１９８８年１月２６日付与

当該技術のこれら及び他のニーヅは、空間内の追跡可能な点のガイダンスを
助ける可聴式フイードバックを発生するコンピュータベースのシステムにより取り組まれる。外科的実施例は、例えば、腫瘍の様な関心のある容積（volume of interest）に対して手術領域のプローブの先端を動かす外科医への（視覚的及び触覚的フイードバックを補間する）可聴式フイードバックの発生を含む。他の外科的実施例は、脳等の中へ生検套管（biopsy cannula）又は電極を挿入する、ペデイクルスクリュー（pedicle screw）の精密挿入を助けるための可聴式フイードバックの発生を含む。

例示用の外科的実施例は可聴信号のレキシコン（lexicon）を介して、解剖対象（anatomical object）の３次元（３Ｄ）再構成｛three dimensional(3-D) reconstruction｝を実時間の定位的手術（real-time stereotactic surgery）に相関（correlating）させることに基づく。特に、これらの可聴信号は、複数の基準又は基準的マーカー（plurality of fiducial or fiduciary markers）に対して２つ以上のカメラにより見られる、手術空間内のプローブ又は他の器具の点の位置により発生される。該カメラの図象（views）は該基準マーカーを介して手術領域又は手術ターゲットの３Ｄ再構成と前に対応（matched）させられる。点、境界、面及び／又は容積の様な該３Ｄ再構成上で視認出来る関心のある特徴（Features of interest）は前に識別され、予め決められた可聴式フイードバックと相関させられる。該外科医が該手術領域内でプローブ又は器具を動かすと、コンピュータは基準マーカーに対する空間内の該プローブ又は器具の現在位置を解析し、該３Ｄ再構成上で識別された該予め決められた関心のある特徴に対するその位置に関して可聴式フイードバックを提供する。該プローブ及び／又は器具が該３Ｄ再構成上で識別された該関心のある特徴に対し動くと、該可聴式フイードバックは多数の仕方で変わってもよく、それはトーン（tone）、ボリューム（volume）、パターン及び／又はスタイルの変化を含むが、それらに限定されない。

本発明の種々の図解的実施例は手術室内で豊富で、比較的重荷とならない感覚様式（sensory modality）を提供し、従来の視覚志向のシステム及び技術から独立して又はそれと一緒に実施されてもよい。

従って、１側面に依れば、可聴式フイードバックを発生する方法が提供され、該方法は、全体的容積（overall volume）のコンピュータで発生される再構成（computer-generated reconstruction）を創る過程を具備しており、該再構成は該全体的容積内で１つ以上の関心のある特徴を識別し、そして該方法は又該全体的容積のコンピュータで発生される実時間画像（computer-generated real-time image）を創る過程を具備しており、該コンピュータで発生された実時間画像は少なくとも１つの追跡可能な点（trackable point）を含んでおり、該追跡可能な点（複数を含む）は該全体的容積に対し実時間で移動可能である。又該方法はコンピュータに、実質的な空間的一致と実質的な空間的忠実性で該コンピュータで発生される実時間画像と該コンピュータで発生される再構成とをオーバーレイさせる過程と、該コンピュータに、該実時間画像への実質的な位置的忠実性で該追跡可能な点（複数を含む）を追跡させる過程と、そしてコンピュータで発生される可聴式フイードバックを創る過程とを具備しており、該フイードバックは該関心のある特徴（複数を含む）に対する該追跡可能な点（複数を含む）の位置を説明している。

第２の側面に依れば、可聴式フイードバックを発生するための方法が提供されるが、該方法は成層画像のシリーズ（series of layered images）から全体的容積のコンピュータで発生される３Ｄ再構成を創る過程を具備しており、該再構成は該全体的容積内の１つ以上の関心のある特徴を識別しており、そして該方法は又少なくとも２つのビデオカメラからのデジタル出力を解明（resolving）することにより該全体的容積のコンピュータで発生される実時間３Ｄ画像を創る過程を具備しており、該コンピュータで発生される実時間画像は更に少なくとも１つの追跡可能な点を含んでおり、該追跡可能な点（複数点を含む）は該全体的容積に対し実時間で移動可能である。又該方法はコンピュータに、基準マーカーのシステムの参照を介して、実質的な空間的一致と実質的な空間的忠実さで該コンピュータで発生される実時間の画像と該コンピュータで発生される再構成とをオーバーレイさせる過程と、該コンピュータに、該実時間の画像への実質的な位置的忠実さで該追跡可能な点（複数点を含む）を追跡させる過程と、コンピュータで発生される可聴式フイードバックを創る過程とを具備しており、該フイードバックは該関心のある特徴（複数の特徴を含む）に対する該追跡可能な点（複数の点を含む）の位置を説明しており、そして該方法は更に該可聴式フイードバックに、選択された追跡可能な点又は複数の点が予め規定された関心のある特徴又は複数の特徴に近付く（approach）及び／又はそれから退出する（withdraw）時、予め決められた仕方で選択的に変化させる過程を具備している。

第３の側面に依れば、可聴式フイードバックを発生するためにその上に記録されたコンピュータ読み出し可能なロジック（computer-readable logic）を有するコンピュータプログラム製品（computer program product）が提供され、該コンピュータプログラムは汎用コンピュータ（general purpose computer）上で動作可能であり、該コンピュータはプロセサー、メモリーそして音声発生器（sound generator）を有しているが、該コンピュータ読み出し可能なロジックは該コンピュータに、全体的容積のコンピュータで発生される再構成を参照させるためのインストラクションを具備しており、該コンピュータで発生される再構成は該全体的容積内の１つ以上の関心のある特徴を識別しており、そして該ロジックは又該コンピュータに、該全体的容積のコンピュータで発生される実時間の画像を参照させるためのインストラクションを具備しており、該コンピュータで発生される実時間の画像は更に少なくとも１つの追跡可能な点を含んでおり、該追跡可能な点（複数点を含む）は該全体的容積に対し実時間で移動可能である。又該コンピュータ読み出し可能なロジックは該コンピュータに、基準マーカーのシステムの参照を介して、実質的な空間的一致と実質的な空間的忠実さで該コンピュータで発生される実時間画像と該コンピュータで発生される再構成とをオーバーレイさせるためのインストラクションと、該コンピュータに、該コンピュータで発生される実時間の画像への実質的な位置的忠実さで該追跡可能な点（複数点を含む）を追跡させるためのインストラクションと、そして該コンピュータに可聴式フイードバックを発生させるためのインストラクションとを具備しており、該フイードバックは該関心のある特徴（複数特徴を含む）に対する該追跡可能な点（複数点を含む）の位置を説明する。

従って、外科的実施例で、手順（procedure）中、可聴音（audible sound）が外科医に位置的フイードバックを提供するために使用されることは本発明の種々の図解的実施例の技術的利点である。これは外科医が手術中にモニター及び／又はスクリーンへの頻繁な参照のニーヅ無しに位置的フイードバックを受けることを可能にする。該外科医にモニターと手術領域との間で前後して見るよう要求することは通常手術時間を長くする。高まる感染のリスクは増加する手術時間に付随することが多い。加えて、手術のコストは減少した手術時間で減少する。更に、定位的手順（stereotactic procedure）中に配向用モニターを使うことは２次元（２Ｄ）のモニターが３Ｄの解剖対象に関係付けられることを要する。ビデオのみよりも寧ろガイダンス用オーデイオ（audio for guidance）を使うことにより、手術全体が３次元（３Ｄ）環境で行われ得る。

本発明の種々の図解的実施例の更に進んだ技術的利点は、手術の実施例で、手術中の高められた精度がもたらされそうなことである。翻って、これは神経学的損傷（neurological damage）、スカーリング（scarring）及び／又は癒着形成（adhesion formation）の可能性の減少に帰着しそうである。

本発明の種々の図解的実施例の更に進んだ技術的利点は腫瘍の様な解剖的対象の境界が発見されることである。腫瘍の様な解剖的対象の境界はカメラ、拡大鏡（magnification）、及び／又は裸眼で決定することは難しいことが多い。しかしながら、境界は放射線写真画像上でより精密に決定される。外科的実施例では、本発明の種々の図解的実施例は可聴式フイードバックが３Ｄの再構成画像の助けを借りて実際の組織境界を決定するため使用されることを可能にする。結果として、解剖的対象の境界はより精密に決定される。他の外科的実施例は更に、プローブの先端の該関心のある外科的特徴（複数の特徴を含む）からの距離と配向に相関付けられた可聴式フイードバックを提供する。

本発明の種々の図解的実施例の更に進んだ技術的利点は解剖的対象の位置がより容易にそしてより精密に決定されることである。例えば、本発明の種々の図解的実施例はペデイクルスクリュー（pedicle screws）、生検套管（biopsy cannulas）、電極及び／又はその様なものの挿入用に有用である。

詳細には論じないが、例えば、定位的フレームのある又はフレーム無しの何れかのガイダンスシステムで生検ニードル又は電極の挿入時、同様なコード化された可聴信号がビデオデイスプレー無しで使用出来る。加えて、該可聴信号は、手術の他に、彫り込み（engraving）、切り分け（carving）、設置（mounting）、及び／又は対象の挿入を含む他の目的で使用出来る。

上記は、以下の本発明の詳細な説明がより良く理解されるために本発明の特徴と技術的利点の多くをやや広く概説した。本発明の請求項の主題を形成する本発明の追加的特徴と利点は以下で説明される。開示される概念と特定の実施例は本発明の同じ目的を実行するために変型したり、他の構造体を設計するためのベースとして容易に利用されることは当業者により評価されるべきである。又この様な均等な構造が付属する請求項で表明される本発明の精神と範囲から離れるものでないことは当業者により悟られるべきである。

図１及び２は脳手術（brain surgery）が可聴式フイードバックで助けられる本発明の実施例を略図解する。本発明が図１及び２で描かれる脳手術の実施例に限定されないことは評価されるであろう。実施例が、作業領域（field of work）に対するプローブ及び／又は他の作業点（workpoint）の位置を実質的に実時間で（substantially in real-time）モニター及び／又はガイドするために可聴信号を使うことが有利などんな応用に於いても可能であることは更に評価されるであろう。

図１は脳腫瘍１００を有するあおむけの患者の頭（a supine patient's head）１０を略図解する。該患者はこの出願で開示される可聴式フイードバックを使用するために定位的手術手順用に準備されている。基準マーカー（fiducial markers）１２，１４，１６そして１８が該患者の頭を囲んでいる。数多くの基準マーカーシステムが当該技術で公知であり、使用される基準マーカーの数は適切に変えられてよいことは理解されるだろう。或るシステムは該基準マーカーを患者の頭に直接取り付け、その例は図１で図解される。その例は図解されてないが他のシステムは、従来技術で良く規定されているフレームベースの定位的システム（frame-based stereotactic systems）を使用してもよい。本発明が何等かの特定の種類の基準マーカーシステムに限定されないことは理解されるであろう。

更に図１を参照すると、成層画像のシリーズ（series of layered images）１０２は断面の種々の点の於ける該患者の頭／脳１０と腫瘍１００を描いている。該成層画像１０２は、核磁気共鳴画像形成（magnetic resonance imaging）（ＭＲＩ）及び／又はコンピュータ化トモグラフイー（computerized tomography）（ＣＴ）及び／又は超音波（ultrasound）等の様な良く知られた技術を使って手術前手順中に前もって得られ、コンピュータで記録された。図１は更に、該定位的手順用と同じ側面で画像形成中に、該画像上に記録され、該患者の頭１０と整合された基準マーカー１２，１４，１６及び１８を含む該成層画像１０２を描いている。

図１はこの実施例で関心のある項目又は特徴（item or feature of interest）として該腫瘍１００を略図解する。本発明がこの点に限定されないことは評価されるであろう。該関心のある項目は、それに対して、その空間内でプローブ及び／又は他の器具をガイドすることを助けるためには可聴式フイードバックが有利である、３次元空間内のどんな点（point）、対象（object）、容積（volume）及び／又は境界（boundary）であってもよい。該技術が他の外科的及び／又は非外科的分野にも同様に適用されてもよいが、脳腫瘍の手術は該技術の１つの有用な応用であり、それは可聴式フイードバックが脳組織の微妙な手術領域で外科医の手をガイドすることを助けるからであることは評価されるであろう。例えば、この技術が有利な幾つかの例は、画像無しの代わりの位置的ガイダンスシステム、非画像形成解剖ガイダンスシステム（non-imaging anatomical guidance systems）、及び研究応用を含む。

図２は、可聴式フイードバックを使って手術を受ける図１の患者を略図解する。コンピュータシステム２００はプロセサー２０５とモニター２１０を有する。該コンピュータシステム２００は、前に取得され図１を参照して上記で説明された成層画像１０２のシリーズの３Ｄ解明（3-D resolution）による、該患者の頭及び脳の再構成された３Ｄ画像を、発生し、表示することは理解されるであろう。この様なコンピュータで発生され再構成される３Ｄ画像の拡大した３Ｄ帯域（3-D zone）を含む図象（view）２１５を表示するモニター２１０が図２上に示されている。該モニター２１０上に表示された該図象２１５は該患者の頭／脳１０の部分的図象のみであり、そこでは該腫瘍１００を含む手術領域が視認出来ることは図２上で見られるであろう。当該技術で公知のコンピュータ化された技術は該成層画像１０２の再構成の拡大率を増大又は減少出来て、同じものを該モニター２１０上に表示出来る。

本発明が何等特定のコンピュータシステム２００に限定されないことは評価されるであろう。成層図象のシリーズから解明された再構成３Ｄ画像を発生し、次いでデイスプレー上で該再構成画像を拡大、回転及び／又は総合的に操作する、処理機能を有する、スタンドアローンか又はネットワーク化された両コンピュータシステムは当該技術で公知である。現在使用されている適当なコンピュータシステム２００の例は、マサチューセッツ州、バーリントン（Burlington, Massachusetts）のラデイオニクス／アールエスアイ（Ra dionics/RSI）により作られたシステム、又はコロラド州、ブルムフイールド（Broomfield, Colorado）のメドトロニクのサージカルナビゲーションテクノロジーデビジョン（Surgical Navigation Technology Division of Medtronic）により作られたステルスイメージガイデッドシステム（Stealth Image Guided System）、を含む。

代わりに（図解されてないが）、画像形成用データに基づく、コンピュータグラフイック画像が手術用顕微鏡の直接視野内に置かれてもよい。例えば、ロバート他（Robert et al.）への特許である特許文献２を参照されたい。コロラド州、ブルムフイールドのメドトロニクのサージカルナビゲーションテクノロジーデビジョンにより作られたステルスイメージガイデッドシステムは又、その能力が、手術領域と同時に見られる”ヘッドアップ（head-up）”デイスプレー内に、直接か又は手術用顕微鏡を通してか何れかで、再構成グラフイック画像を取り込むことを含む、システムを作っている。

更に図２を参照すると、該モニター２１０上に表示された図象２１５上に基準マーカー１２及び１４が視認出来る。該モニター２１０上に表示されるため発生された全体的再構成３Ｄ画像は、図１を参照して上記説明した成層画像のシリーズ１０２から取り込まれた基準マーカー１２，１４，１６そして１８を含むことが、理解される。

図２のモニター２１０上の該図象２１５をより近づけて見ると、手術前に、コンピュータシステム２００は該再構成３Ｄ画像内の視認可能な関心のある帯域を規定及び／又は識別するようコード化されていることが理解される。これらの関心のある帯域は該再構成３Ｄ画像上で視認可能で、該コンピュータシステム２００により区別できる｛区別され得る（differentiated）及び／又は際立たされ得る（distinguished）｝点、容積、面及び／又は境界を含んでもよい。図２に示す例の場合、該コンピュータシステム２００は少なくとも２つの容積と１つの３Ｄ境界：該腫瘍１００，健常な脳組織Ｔ、そして該腫瘍１００と該健常脳組織Ｔの間の境界Ｂ、を規定し、識別するよう予めコード化されている。

図２は又種々の側面から手術器具２３０上に置かれた基準マーカー２４０，２４２，２４４そして２４６をローカライズする（localize）ために該患者の頭１０の周りに置かれたカメラ２２５を示す。カメラ２７０は該手術領域を可視化するため置かれている。カメラ２２５及び２７０からのデジタル出力信号は該コンピュータシステム２００により受信される（接続は簡単明瞭のため省略されている）。次いで該コンピュータシステム２００は、当該技術で公知の従来のコンピュータ処理技術を用いて、該カメラの信号を該患者の頭１０のコンピュータで発生される組合せ”ステレオ（stereo）”３Ｄ図象に解明する。

図２は簡単明瞭のために１つの可視化カメラ２７０と２つのローカライズ用カメラ２２５のみを示すが、多数の追加的カメラが含まれてもよいことは評価されるであろう。当該技術で良く理解される様に、該患者の頭１０を見るカメラの数が多く提供される程、同時に解明するこの様な多数のカメラの図象により、該頭１０のより精巧で、詳細な”ステレオ”３Ｄ図象が得られる。

図２を更に参照すると、患者の頭１０の脳組織内で使うためのプローブ２３０が外科医に提供される。該プローブ２３０は該組織と接触する先端２３５をその端部に提供し、それがカメラ２２５により追跡可能とさせる機構を提供する。本発明はこの面に限定されないが、典型的に、該追跡可能な機構は、該先端２３５のローカライズ化を間接的に示す、該手術器具自身上に設置された基準マーカー２４０，２４２，２４４及び２４６であってもよい。又、使用される該基準マーカーの数は適当に変わってもよい。該機構は、種々の形の電磁放射及び／又は放射線放射（radioactive emissions）等を含め、該先端２３５を追跡可能にするどんな種類の源（source）を含んでもよい。

図２で見られる様に、該カメラ２２５は該プローブ２３０上の該基準マーカー２４０，２４２，２４４及び２４６を追跡し、該先端２３５の軌跡が該コンピュータシステム２００により決定されることを可能にする。かくして、手術前のＣＴ及び／又はＭＲＩに部分的に基づく該３Ｄ図象と、該カメラの組合せ図象に基づく該ローカライズ化と、を伴い、該カメラ２２５の組合せ図象に基づく該患者の頭１０のコンピュータで発生されたステレオ３Ｄ図象（computer-generated stereo 3-D view）は、更に該先端２３５の軌跡のみならず、該基準マーカー１２，１４，１６、及び１８を含む。

本発明が追跡可能な先端２３５の発生で外科医により使用されるどんな種類の器具にも限定されないことは評価されるであろう。図２の実施例がプローブ２３０を描いているが、該外科医により使用される該器具は、スカルペル（scalpel）又は他の器具の様な、その上で追跡可能な点又は複数の点が展開されてもよいどんな適当な器具であってもよい。実際、本発明は手術器具の使用、又は先端上の追跡可能な点の位置、又は１つの器具及び／又は追跡可能な点への制限、に限定されないことは更に評価されよう。本発明の応用と展開により、どんな数の器具及び／又は追跡可能な点が使用されてもよい。更に、該追跡可能な点は該器具に対しどんな望まれる位置で展開されてもよい。更に、多数の追跡可能な点が使用される実施例では、種々の追跡可能な点が、該カメラ２２５により区別可能な種々の追跡の記号を示す限り、該カメラ２２５の組合せ図象に基づく該患者の頭１０のコンピュータで発生されるステレオの３Ｄ図象はこの様な種々の追跡可能な点の各々用の別々の軌跡を含んでもよいことは評価される。

図２に戻ると、該コンピュータシステム２００は今度は、（上記で図１を参照して説明した手術前の走査に基づく）成層画像のシリーズ１０２の３Ｄ解明による患者の頭及び脳のコンピュータで発生された再構成３Ｄ画像と、（カメラ２７０及び２２５の組合せ図象に基づく）該患者の頭１０のコンピュータで発生されたステレオ３Ｄ図象を、オーバーレイ（overlays）する。コンピュータで発生されたステレオ３Ｄ図象（computer-generated stereo 3-D view）と該コンピュータで発生された再構成３Ｄ画像図象（computer-generated reconstructed 3-D image view）のオーバーレイを協調（coordinate）させ、対応（match）させるために、コンピュータシステム２００は該基準マーカー１２，１４，１６，及び１８を有利に使用する。

一旦、該コンピュータで発生されたステレオ３Ｄ図象と該コンピュータで発生された再構成３Ｄ画像図象とが協調させられると、該コンピュータシステム２００は次いで、該カメラに２２５により追跡された、該プローブ２３０の該先端２３５の軌跡を、該再生３Ｄ画像上の前にコード化された関心のある帯域（previously-coded zones of interest）に関係付ける。特に、図２で描かれた例では、該コンピュータシステム２００は、該カメラ２２５により追跡された該先端２３５を３角測量（triangulate）し、そして次いで該コンピュータで発生された再構成３Ｄ画像上の前にコード化された関心のある帯域又は複数帯域に対する該先端２３５の現在位置を正確に示す（pinpoint）ために、基準マーカー１２，１４，１６及び１８と該基準マーカー２４０，２４２，２４４及び２４６を使用出来る。かくして、該コンピュータシステム２００は前に規定された及び前にコード化された関心のある帯域又は複数帯域を参照することにより、何時該先端２３５が腫瘍１００内に，又は健常組織Ｔ内に、又は境界Ｂにあるか、を識別出来る。

更に図２を参照すると、該再構成された３Ｄ画像上の前にコード化された関心のある帯域又は複数帯域に対する該先端２３５の位置に従って、該コンピュータシステム２００が可聴式フイードバック２６０を外科医に与えることを可能にするためにラウドスピーカー（loudspeaker）２５０が提供される。図２に描かれた実施例では、該モニター２１５上に示す様に該先端２３５が位置２２及び２４にある時、該コンピュータシステム２００は該先端２３５が該境界Ｂにあると検出し、そして位置番号２２及び２４に付随する可聴式フイードバック２６０で示される方形波（square wave）により図２で示される様に、方形波特有のバズ音（buzz sound）を含む可聴式フイードバック２６０を発生する。該先端２３５が位置２６にある時、該コンピュータシステム２００は該先端２３５が該腫瘍１００内にあると検出し、そして位置番号２６に付随する可聴式フイードバック２６０内に示す、より低い周波数で、より低い振幅の正弦波により図２で示される様に、正弦波特有の純音（pure tone）を含む可聴式フイードバック２６０を発生する。該先端２３５が位置２８にある時、該コンピュータシステム２００は該先端２３５が該健常な脳組織Ｔ内にあると検出し、そして位置番号２８に付随する可聴式フイードバック２６０内に示す、より高い周波数で、より高い振幅の正弦波により図２で示される様に、異なる（より高い）トーンを含む可聴式フイードバック２６０を発生する。

かくして外科医は全体的手術領域内で関心のある容積及び／又は境界に対する器具の位置に関する可聴式フイードバックを受ける。該外科医は次いで、手術を行いながら受ける可視的及び／又は触覚的フイードバックを増強するためにこの可聴式フイードバックを使用してもよい。

本発明は図２に関して上記で例示的形式で説明した種類の可聴式フイードバックに限定されないことは評価されるであろう。本発明の全体的範囲と一貫性を有して、種々の可聴式フイードバックが、例えば、トーン（tone）、ボリューム（volume）、パターン、パルス、チューン（tune）及び／又はスタイル（style）で変わってもよく、白色雑音（white noise）及び／又は該外科医により認識可能な予め録音された発声（utterances）を含んでもよい。他の実施例では、該可聴式フイードバックは、該外科医が便宜良くその振動を感じる所に置かれた振動デバイス（vibrating device）（図解されてない）を含む相補的触覚式フイードバックシステム（complemetary tactile feedback system）と、置き換えられて及び／又はそれで補足されてもよい。種々の種類の振動的フイードバックに対応するために、速い又はゆっくりした、ソフトな又はハードな、連続性の又はパルス化された（pulsed）、増大する又は減少する等を含む、種々の可聴式フイードバックが展開されてもよい。種々の図解的実施例では、例えば、切除器具及び／又はポインターが帯域の境界に到達するまで増大するピッチを有し、最も高いピッチは該関心のある帯域又は複数帯域との接触を示す様な、定常トーン（steady tone）は該関心のある帯域に近づきつつあることを示すことが出来る。更に、該器具の先端が該関心のある帯域又は複数帯域内にある時、その最高ターゲットピッチの断続トーンが聞こえて、該信号の周波数は該境界に到達した時定常トーンになるまで、増加することが出来る。

本発明は更に、該可聴式フイードバックが予め規定された関心のある帯域に対する追跡可能な点の位置による静的（static）なものである実施例に限定されないことは評価されるであろう。動的（dynamic）実施例（図解されてない）が本発明の範囲内に入るが、そこでは、例えば、該追跡可能な点が、予め規定された関心のある帯域内で、もう１つの関心のある帯域の方へ又はそこから離れるよう動く時、予め決められたそして認識可能な仕方で該可聴式フイードバックが変化してもよい。例えば、図２の該可聴式フイードバック２６０が、例示の動的実施例（図解されてない）に従って、該境界Ｂ上の全ての位置（位置２２及び２４を含む）用には無音、該腫瘍１００内の全ての位置（位置２６を含む）用には純粋な正弦波トーンそして健常脳組織Ｔ内の全ての位置（位置２８を含む）用には方形波”バズ（buzz）”、を含むならば、該コンピュータ２００は、該先端２３５の位置が該境界Ｂのより近くへ動くと、該正弦波トーンと該方形波”バズ”のピッチを増そうとしてもよい。かくして、外科医はなお更に高められたモードで該動的可聴式フイードバックを解釈出来て、そこでは音（sound）のピッチと種類（pitch and type）が手術領域内の器具の動き及び／又は配置を助けるために適応的に使われ得る。もう１つの図解的システム実施例は該先端２３５が腫瘍１００内にある時間歇的な脈打つ（intermittent pulsatile）及び／又は鼓動する（pulsating）音を含んでもよく、鼓動の速度（rate of pulsation）は該境界Ｂが近付くと増大するので該鼓動速度（pulsation rate）は該境界Ｂでは実質的に連続性となり次いで規定された容積の外では無音（silent）となる。

勿論、ボリュームの変化、及び／又は予め決まった発声の変化の様な、可聴式フイードバックに関する他の動的変型（dynamic variations）も可能である。これらの他の変型（variations）は上記で示唆したピッチ及び／又は種類の変化と置き換えられてもよく、そして／又はそれを補間してもよくて、該可聴式フイードバックをもっと多次元的とすることにより該可聴式フイードバックをなお更に向上させる。

図３は整形外科的応用（orthopedic application）での本発明の更に進んだ図解的実施例を示す。従来の手術で公知の様に、スクリュー（示されてない）は椎骨（vertebra）３００のペデイクル（pedicle）３０２内に挿入（inserted）されてもよい。成功裡のペデイクルスクリュー（pedicle screw）挿入は、貫入（penetration）の最適角度３０６を得ることに依存する最適な該スクリューの貫入深さと位置を知り、達成する外科医に依存する部分がある。上記で説明した該動的可聴式フイードバックは、スクリューの該ペデイクル３０２内への挿入を助けることに、特に、有用であると見られる。

図３で、ペデイクル３０２内へのパイロット孔の挿入（insertion）用にドリル３２０が使用される。正しい配置３０４を達成するために、該ペデイクル３０２内へのドリルビット３４０のエントリー角度３０６は、該パイロット孔内へ挿入される、該スクリューの先端の能力（ability）を予め決定する。スクリュー挿入用の望まれる距離を得るために該孔のドリリング（drilling）の前にビットガード（bit guard）３５０が該ドリルビット上に置かれる。ドリルガイド３３０の１端には３つの基準マーカー３１０，３１２，３１４が配置されるが、それらは図２に示すそれらと同様にローカライズ用カメラにより追跡され得る。該ローカライズ用カメラから集められたデータは１つ以上のコンピュータにより解析され、可聴出力は、ターゲット３０４に到達する該ドリルビット３４０の挿入用の正しい角度３０６と位置を得るのに外科医を助ける。

又本発明のコンピュータ化された側面が、上記説明のそれらの商業的に入手可能なコンピュータシステムの様な従来のコンピュータシステム上で、又は、代わって、少なくともプロセサー、メモリーそして音声発生器を有する当該技術で標準的な汎用コンピュータ上で、動作するソフトウエアで具体化されてもよいことを、当業者は評価するであろう。ＩＢＭ、デル（Dell）、コンパック（Compaq）、サン（Sun）そして他の良く知られたコンピュータ製造者は、本発明に関してここで説明されたコンピュータ化された機能を達成するために工夫されたソフトウエアをラン（run）させるための汎用プロセサーを作っている。この様な汎用機械上で動作可能として良く知られたＵＮＩＸ及びＣ＋＋の様な従来のソフトウエア言語が該ソフトウエアを創るために使われてもよい。

本発明とその利点が詳細に説明されたが、付属する請求項により規定された本発明の精神と範囲を離れることなく種々の変化、交換及び変更が、ここで行われ得ることは理解されるべきである。

本発明と、その利点のより完全な理解のために、付属する図面と連携して行われる上記説明が参照されるが、該図面では引用数字の最左位数はそれぞれの引用数字が現れる最初の図を示す。

可聴式フイードバック技術により助けられる脳手術用に患者が準備される実施例を略図解する。 手術中の図１で描かれた患者を略図解する。 可聴式フイードバックがペデイクルスクリューの精密な挿入を助ける更に進んだ実施例を略図解する。

Claims (22)

1. 可聴式フイードバックを発生するための方法に於いて、該方法が
   （ａ）全体的容積のコンピュータで発生される再構成を創る過程を具備しており、該コンピュータで発生される再構成は該全体的容積内に少なくとも１つの関心のある特徴を識別しており、該方法は又
   （ｂ）該全体的容積のコンピュータで発生される実時間画像を創る過程を具備しており、該コンピュータで発生される実時間画像は更に少なくとも１つの追跡可能な点を含んでおり、該少なくとも１つの追跡可能な点は該全体的容積に対し実時間で移動可能であり、該方法は更に
   （ｃ）コンピュータに、実質的な空間的一致と実質的な空間的忠実さとで、該コンピュータで発生される実時間画像と該コンピュータで発生される再構成とをオーバーレイさせる過程と、
   （ｄ）該コンピュータに、該コンピュータで発生される実時間画像への実質的な位置的忠実さで該少なくとも１つの追跡可能な点を追跡させる過程と、そして
   （ｅ）コンピュータで発生される可聴式フイードバックを創る過程とを具備しており、該コンピュータで発生される可聴式フイードバックは該少なくとも１つの関心のある特徴に対する該少なくとも１つの追跡可能な点の動きを説明することを特徴とする該方法。
2. 該コンピュータで発生される再構成と該コンピュータで発生される実時間画像とが共に３次元であることを特徴とする請求項１の該方法。
3. 該コンピュータで発生される可聴式フイードバックが、
   （１）トーン
   （２）バズ
   （３）チューン
   （４）白色雑音
   （５）予め録音された発声
   （６）実質的無音
   （７）間歇的脈打ちトーン
   から成るグループから選択された少なくとも１つの種類の音を含むことを特徴とする請求項１の該方法。
4. 該コンピュータで発生される可聴式フイードバックが
   （１）ピッチ変型
   （２）ボリューム変型
   （３）パルス変型
   （４）音の種類の変型
   （５）発声変型
   から成るグループから選択された少なくとも１つの変型を含むことを特徴とする請求項１の該方法。
5. （ｃ）及び（ｄ）が基準マーカーのシステムを用いて行われることを特徴とする請求項１の該方法。
6. 該少なくとも１つの追跡可能な点が手術器具の先端であることを特徴とする請求項１の該方法。
7. 該コンピュータで発生される再構成が部分的に成層画像のシリーズを解明することにより発生されることを特徴とする請求項２の該方法。
8. 該成層画像のシリーズが
   （１）コンピュータ化トモグラフイー（ＣＴ）
   （２）核磁気共鳴画像形成（ＭＲＩ）
   （３）超音波
   のグループから選択された過程を用いて得られることを特徴とする請求項７の該方法。
9. 該全体的容積の該コンピュータで発生される実時間画像を創る過程が更に、少なくとも１つのビデオカメラからのデジタル出力を解明することにより部分的に頭をローカライズする過程を備えることを特徴とする請求項２の該方法。
10. 該全体的容積が少なくとも動物組織の１部分を含んでおり、そして該少なくとも１つの関心のある特徴が腫瘍を含むことを特徴とする請求項１の該方法。
11. 該全体的容積が少なくとも動物骨の１部分を含んでおり、そして該少なくとも１つの関心のある特徴が整形外科のデバイス用の該動物骨内の予め決められた挿入軌跡を含むことを特徴とする請求項１の該方法。
12. 該動物骨が椎骨であり、該整形外科のデバイスがペデイクルスクリューであることを特徴とする請求項１１の該方法。
13. 該コンピュータで発生される可聴式フイードバックが手術用顕微鏡の使用を助けるために発生されることを特徴とする請求項１の該方法。
14. 更に
    （ｆ）該コンピュータで発生される可聴式フイードバックに、選択された追跡可能な点が予め規定された関心のある特徴に近づく及びそれから退出する時、予め決められた仕方で選択的に変化させる過程を具備することを特徴とする請求項１の該方法。
15. 可聴式フイードバックを発生する方法に於いて、該方法が
    （ａ）成層画像のシリーズから全体的容積のコンピュータで発生される３Ｄ再構成を創る過程を具備しており、該コンピュータで発生される再構成は該全体的容積内に少なくとも１つの関心のある特徴を識別しており、該方法は又
    （ｂ）少なくとも２つのビデオカメラのデジタル出力を解明することにより該全体的容積のコンピュータで発生される実時間３Ｄ画像を創る過程を具備しており、該コンピュータで発生される実時間３Ｄ画像は更に少なくとも１つの追跡可能な点を含んでおり、該少なくとも１つの追跡可能な点は該全体的容積に対し実時間で移動可能であり、該方法は更に
    （ｃ）コンピュータに、基準マーカーのシステムへの参照を介して実質的な空間的一致と実質的な空間的忠実さで、該コンピュータで発生される実時間３Ｄ画像と該コンピュータで発生される３Ｄ再構成とをオーバーレイさせる過程と、
    （ｄ）該コンピュータに、該コンピュータで発生される実時間３Ｄ画像への実質的な位置的忠実さで該少なくとも１つの追跡可能な点を追跡させる過程と、
    （ｅ）コンピュータで発生される可聴式フイードバックを創る過程とを具備しており、該コンピュータで発生される可聴式フイードバックは該少なくとも１つの関心のある特徴に対する該少なくとも１つの追跡可能な点の動きを説明しており、そして該方法はなお更に
    （ｆ）該コンピュータで発生される可聴式フイードバックに、少なくとも１つの選択された追跡可能な点が予め規定された関心のある特徴に近付く及びそれから退出する時、予め決められた仕方で選択的に変化させる過程を具備することを特徴とする該方法。
16. 該少なくとも１つの追跡可能な点が手術器具の先端であることを特徴とする請求項１５の該方法。
17. 該全体的容積が少なくとも動物組織の１部分を含み、該少なくとも１つの関心のある特徴が腫瘍を含むことを特徴とする請求項１５の該方法。
18. 該全体的容積が少なくとも動物椎骨の１部分を含み、該少なくとも１つの関心のある特徴がペデイクルスクリュー用の該椎骨内の予め決められた挿入軌跡を含むことを特徴とする請求項１５の該方法。
19. 可聴式フイードバックを発生するためにその上に記録されたコンピュータ読み出し可能なロジックを有するコンピュータプログラム製品に於いて、該コンピュータプログラムは汎用コンピュータ上で動作可能であり、該コンピュータはプロセサーと、メモリーとそして音声発生器とを有しており、該コンピュータ読み出し可能なロジックが
    該コンピュータに、全体的容積のコンピュータで発生される再構成を参照させるためのインストラクションを具備しており、該コンピュータで発生される再構成は該全体的容積内の少なくとも１つの関心のある特徴を識別しており、該ロジックは又
    該コンピュータに、該全体的容積のコンピュータで発生される実時間画像を参照させるためのインストラクションを具備しており、該コンピュータで発生される実時間画像は更に少なくとも１つの追跡可能な点を含んでおり、該少なくとも１つの追跡可能な点は該全体的容積に対し実時間で移動可能であり、該ロジックは更に
    該コンピュータに、実質的な空間的一致と実質的な空間的忠実さで、該コンピュータで発生される実時間画像と該コンピュータで発生される再構成とを、基準マーカーのシステムへの参照を介して、オーバーレイさせるためのインストラクションと、
    該コンピュータに、該コンピュータで発生される実時間画像への実質的な位置的忠実さで該少なくとも１つの追跡可能な点を追跡させるためのインストラクションと、そして
    該コンピュータに、可聴式フイードバックを発生させるためのインストラクションとを具備しており、該コンピュータで発生される可聴式フイードバックは該少なくとも１つの関心のある特徴に対する該少なくとも１つの追跡可能な点の動きを説明することを特徴とする該コンピュータプログラム製品。
20. 該コンピュータ読み出し可能なロジックが更に
    該コンピュータに、少なくとも１つの選択された追跡可能な点が予め規定された関心のある特徴に近付く及びそれから退出する時、該コンピュータで発生される可聴式フイードバックを予め決められた仕方で選択的に変えさせるためのインストラクションを具備することを特徴とする請求項１９の該コンピュータプログラム製品。
21. 該コンピュータ読み出し可能なロジックが更に
    該コンピュータに、成層画像のシリーズから該コンピュータで発生される再構成を発生させるためのインストラクションを具備することを特徴とする請求項１９の該コンピュータプログラム製品。
22. 該コンピュータ読み出し可能なロジックが更に
    該コンピュータに、少なくとも２つのビデオカメラからのデジタル出力を解明することにより該コンピュータで発生される実時間画像を発生させるためのインストラクションを具備することを特徴とする請求項１９の該コンピュータプログラム製品。

Images