JP2007520280A - 手術中の2次元画像および手術前の3次元画像をアフィン重ね合わせするための方法およびシステム - Google Patents

手術中の2次元画像および手術前の3次元画像をアフィン重ね合わせするための方法およびシステム Download PDF

Info

Publication number
JP2007520280A
JP2007520280A JP2006551180A JP2006551180A JP2007520280A JP 2007520280 A JP2007520280 A JP 2007520280A JP 2006551180 A JP2006551180 A JP 2006551180A JP 2006551180 A JP2006551180 A JP 2006551180A JP 2007520280 A JP2007520280 A JP 2007520280A
Authority
JP
Japan
Prior art keywords
image
graph
skeleton
target feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006551180A
Other languages
English (en)
Other versions
JP4490442B2 (ja
Inventor
サンダー ハリ
スー チェンヤン
ザウアー フランク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Solutions USA Inc filed Critical Siemens Medical Solutions USA Inc
Publication of JP2007520280A publication Critical patent/JP2007520280A/ja
Application granted granted Critical
Publication of JP4490442B2 publication Critical patent/JP4490442B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Abstract

手術中のターゲットフィーチャの2次元(2D)医学画像を手術前のターゲットフィーチャの3次元(3D)医学画像と重ね合わせるためのシステムおよび方法が開示される。ターゲットフィーチャの3D画像は第1スケルトングラフに変換される。ターゲットフィーチャの2D画像は第2スケルトングラフに変換される。第1スケルトングラフと第2スケルトングラフのグラフマッチングがグラフの荒いアライメントを得るために実行され、第1スケルトングラフト第2スケルトングラフが重ね合わされる。

Description

関連出願の相互参照
本出願は、米国暫定出願番号60/537820、2004年6月21日出願の優先権を主張するものであり、この刊行物全体を参照する。
技術分野
本発明は、手術中および出術前の画像を重ね合わせする方法および装置に関するものであり、より詳細には、手術中の2次元画像を手術前の3次元画像と重ね合わせるための方法およびシステムに関連する。
背景技術
人間組織および器官の画像は、多くの医学条件の診断および治療を支援するのに使用される重要なツールである。磁気共振画像法(MRI)およびコンピュータトモグラフ(CT)などの画像様式は高品質な3次元(3D)画像を形成する。これら画像様式は典型的には、手術前に患者を画像化するのに使用される。
実際、胸部ガン、ほふく性ガン、および脳腫瘍の治療で、手術前画像は腫瘍の程度を良好に表す。なぜなら動的な画像化、パラメトリックなモデリングを実行することができからである。しかし複数のキャプチャを行なう拡散または他の機能的MRまたはCT画像化方法は、インタラクティブな内部手続き画像化には非実用的なものとなる。典型的には治療中に2次元(2D)蛍光透視鏡画像が記録される。これらの画像はインターベンショナルデバイスをリアルタイムで監視するのには役に立つが、閉鎖された磁気MRおよびCTの画像品質および組織コントラストを有していない。
インターベンショナル蛍光透視鏡画像または治療中の蛍光透視鏡画像は診断のため、または侵襲性治療介入を最小にするガイド装置として使用される。介入的外科治療は、患者の解剖学についてのアップデートにアクセスし、または可動器官の位置を変更するのに医師を必要とする。介入中のリアルタイム画像(重ね合わせなし)は、患者と画像との所要の関係を確立する。透視鏡画像の画像品質が低いと、種々異なる治療に対するその使用が妨げられる。手術中の蛍光透視鏡画像を(容積は3次元画像とみなされ、以下では画像とする)、従来の高磁界MRIシステムまたはCTシステムからの高品質手術前容積/画像により増強する重ね合わせ手続きが必要である。
発明の概要
本発明は、手術中のターゲットフィーチャの2次元(2D)医学画像を手術前のターゲットフィーチャの3次元(3D)医学画像と重ね合わせる装置および方法に関するものである。ターゲットフィーチャの3D画像は第1スケルトングラフに変換される。ターゲットフィーチャの2D画像は第2スケルトングラフに変換される。第1スケルトングラフと第2スケルトングラフのグラフマッチングがグラフの荒いアライメントを得るために実行され、第1スケルトングラフと第2スケルトングラフが重ね合わされる。
次に、図面を参照しながら本発明の有利な実施形態について以下で詳しく説明する。図中、同じ要素には同じ参照符号が付されている。
図1は、本発明による例としての磁気共鳴画像(MRI)装置に対するシステムアーキテクチャの概略図である。
図2は、本発明により手術中の2次元画像を得るためのCアームガントリーの概略図である。
図3は、手術前の3次元画像を手術中の2次元画像と本発明により重ね合わせるための装置の概略的ブロック回路図である。
図4a−4bは、本発明により手術前画像と手術中画像とを重ね合わせるための処理を示すフローチャートである。
図5は、本発明によるターゲットフィーチャのスケルトングラフと相応する3Dグラフを表す図である。
図6は、本発明により第1の期間で、一連の血管をモニタされる造影剤がどのように流れるかを示す図である。
図7は、本発明により第2の期間で、一連の血管をモニタされる造影剤がどのように流れるかを示す図である。
実施例
本発明は、手術前の3次元画像を手術中の2次元画像と重ね合わせ、介入手続きを支援するための方法に関するものである。種々の様式を、磁気共鳴画像(MRI)またはコンピュータトモグラフのような3次元画像を得るために使用することができる。画像を得るために使用することのできる装置の例は、Siemens社製造のMAGNETOM SymphonyおよびSONATOM Sensationである。
図1は、本発明により高品質の手術前3D画像を得るために使用することのできる例としてのMRIシステムのコンポーネントを概略的に示す。MRIシステムはスキャンルーム100に配置されている。マグネット108は画像化手続きのために第1磁界を形成する。マグネット108には勾配コイル110が、磁界にX,Y,Z方向で勾配を形成するために配置されている。勾配コイル110にはラジオ周波数(RF)コイル112が配置されている。RFコイル112は、スピンを90゜または180°回転させるのに必要な第2磁界を形成する。RFコイル112はまた身体内のスピンからの信号を検知する。
患者102はマグネット108内で、コンピュータにより制御される患者テーブル106に配置される。テーブル106は1mmの精度で位置決めされる。スキャンルーム100はRFシールド104によって包囲されている。シールド104は高出力RFパルスが病院へ輻射されるのを防止する。シールドはまた、テレビジョンおよびラジオからの種々のRF信号がMRIシステムにより検知されるのを防止する。いくつかのスキャンルームはまた磁気シールドにより包囲されており、この磁気シールドは磁界が病院へ伝播するのを防止する。最近のマグネットでは、マグネットシールドがマグネットの必須部分である。
MRIシステムの中央エレメントはコンピュータ126である。コンピュータ126はMRIシステムのすべての要素を制御する。コンピュータ126の制御下にあるRF要素はラジオ周波数源138とパルスプログラマ134である。ラジオ周波数源138は所望の周波数の正弦波を形成する。パルスプログラマ134はRFパルスをアポダイズされたsincパルスに整形する。RF増幅器136はパルス出力をmWからkWに増幅する。コンピュータ126はまた勾配パルスプログラマ122を制御し、この勾配パルスプログラマ122は3つの勾配フィールドのそれぞれの形状と振幅を設定する。勾配増幅器120は勾配パルスの出力を、勾配コイル110を駆動するのに十分なレベルに増幅する。
MPIシステムの操作者は、コントロールコンソール128によりコンピュータ126に入力する。画像化シーケンスが選択され、コンソール128からカスタマイズされる。操作者は画像を、コンソール128に配置されたビデオディスプレイ上で観察することができるか、またはフィルムプリンタ(図示せず)上に画像のハードコピーを作成することができる。
本発明によれば、外科的手続きに先行して患者は、前記のMRIシステムのような高品質の画像化システムにより画像化される。外科的手続きの間には、低品質の2次元画像が記録される。典型的にはX線システムがこれらの画像を得るために使用される。このようなシステムの例は、Siemens社により製造されるAXIOM Artis MPである。
図2は、蛍光透視鏡X線画像化システムを概略的に示す。Cアーム212はX線源208と画像増倍装置210を患者の周囲軌道(例えば円形軌道)に支持する。当業者には公知のように、X線画像は対象物から平面への放射線投影である。この投影は、X線源208から画像面上の各点(x、y)に放射されたX線に沿ったすべての吸収の集合を記録する各点(x、y)におけるxとyの2次元関数であるとみなすことができる。3D血管造影像データは、X線装置のCアームガントリーが、患者が存在するときにそのアイソセンタを中心に回転することによってキャプチャされる。
図3は、手術前3D画像を手術中の2D画像と重ね合わせるための本発明の例としてのシステムのブロック回路図である。本発明は、手術前画像と手術中画像を利用して、ターゲットフィーチャ、例えば特定の組織領域内の血管のより有益で、費用のかからない記録画像を提供するものである。このことは侵襲性が最小である治療的介入のテーマである。例えば腫瘍は手術前に近接MRIシステムまたはCTシステムを使用して画像化し、手術中に蛍光透視鏡システムを使用して画像化することができる。画像は記録され、混合され、腫瘍および影響を受ける腫瘍領域についての構造情報と機能情報を提供する。
蛍光透視鏡システムを使用して手術中に記録された連続画像は手術前画像と時間を越えて混合され、医師を支援する。手術中に変形が検知されると、手術前画像を変形し、手術中画像と重ね合わせる前に変形をエミュレートするために本発明を使用することができる。
所望の組織領域または器官の3次元(3D)画像は近接MRIシステム(図1)またはCTシステム(図示せず)を使用して得ることができる。これは例えば1.5 T MAGNETOM Sonata scannerであり、Siemens Medical Solutions社から市販されている。データが組織領域または器官lの画像から収集され、プロセッサ304によるさらなる処理のために記憶される。とりわけターゲットフィーチャ、例えば特定の組織領域と関連する血管の断面は画像からセグメント化され、スケルトングラフが後で詳細に説明するように記憶される。この画像は手術的手続きの前に獲得される。他の器官または内部構造も必要であれば画像化される。
同じ所望のターゲットフィーチャの2次元(2D)画像が次に蛍光透視鏡システム302を使用して獲得される。手術的手続き中に初期画像が獲得され、プロセッサ304に記憶される。蛍光透視鏡システムからの2D画像と、近接MRIからの手術前3D画像の厳密な記録が実行される。有利には3D画像手術前画像と2D画像手術中画像は比較的類似の状態にある。例えば画像化された内部器官は、適切な重ね合わせを補償するために両方の画像化プロセスに対して近似的に同じ状態(例えば位置と遠近)であるべきである。
上に示したように3D画像データと2D画像データはプロセッサ304に入力される。プロセッサ304はグラフィックユーザインタフェース(GUI)を含み、これによりユーザは手動で画像中の対象領域の周りに境界線または輪郭線を描くことができる。択一的に、セグメント化アルゴリズムを使用して対象領域を識別し、ユーザの相互作用なしで輪郭線を描くことができる。当業者には公知のセグメント化アルゴリズムを使用することができる。プロセッサ304は、画像を記憶するデータベース306を有する。
ディスプレイ310が画像表示のために含まれており、記録された画像を表示する。インタフェースデバイス308、例えばキーボード、マウスまたは他の公知の形式のデバイスも含まれている。
図4a−4bは、本発明により手術前3D画像を手術中2D画像とを重ね合わせるための方法を示すフローチャートである。患者は手術的手続きの前にMRIスキャンまたはCTスキャンを受け、ターゲットフィーチャの手術前3D画像が獲得される(ステップ402)。スキャンされた3D画像は後で使用するために記憶される。本発明との関連でターゲットフィーチャは血管である。血管と周囲組織を観察することにより種々の異常を診断することができる。例えばこのような方法は肝臓のガン細胞、脳異常、および心臓異常の検知に使用することができる。
ターゲットフィーチャは3D画像からセグメント化される(ステップ404)。造影剤が通常のようにタ―ゲットエリアに、介入手続き中に注入される。血管のセグメント化はまったく容易である。造影剤の血管を通る流れは、3D血管が蛍光透視鏡画像シーケンスから抽出するのにも使用することができる。これについては後で詳細に説明する。3D画像は所望エリアの高解像度像を提供し、ユーザはこのエリアの柔組織を視覚化することができ、深度測定を行なうこともできる。
次にセンタラインがセグメント化された3D画像から抽出される(ステップ406)。本発明によれば、3D対象物間引きのための平行間引きアルゴリズムがセンタラインの識別のために使用される。このようなアルゴリズムの例は刊行物"A Parallel Thinning Algorithm or 3−D Pictures"、Tsao & Fu著、Computer Graphics and Image Processing, 17:315−331, 1981に記載されており、ここに参考文献として挙げておく。センタラインの抽出により、血管の中央軸にあるボクセルの集合が得られる。連結性に対するテストが実行され、これは血管セグメントおよび分枝の識別に使用される。例えば血管セグメントの一部であるボクセルは典型的には2つだけの隣接ボクセルを有し、これに対し、分枝ボクセルは通常以下に示すようなより多くの隣接ボクセルを有する:
xx xxxxxx
xxxxxo
xxxxxxxx
ここでoは分枝ボクセルであり、xは隣接ボクセルである。
3Dスケルトンツリーは間引きアルゴリズムから達成され、データベース306に3Gグラフとして記憶される(ステップ408)。このようなグラフの例が図5に示されている。スケルトングラフは、各血管セグメントをスケルトングラフのノードとして提示することにより発生される。血管セグメントに関する付加的情報はデータベール306に記憶される。このような情報は血管セグメントの長さと直径をノードの属性として含むことができる。血管セグメント間の連結情報はスケルトングラフのエッジとして提示される。血管の特有構造であるから、スケルトングラフは常にツリー形状である。より詳細にはグラフは通常、有限の根付きツリーである。スケルトングラフは有向非環グラフに、方向をエッジに造影剤の流れ(これは後で説明するように2Dグラフから得られる)に基づいて割り当てることにより変換され、比較的に太い直径の血管ノードから比較的に細い直径の血管ノードへ(3Dグラフに対して)。
次に患者は手術的手続きの開始時に2D画像蛍光透視鏡システムを使用してスキャンされる(ステップ410)。有利には患者は、手術前に3D画像化システムによりスキャンされたときと同じ位置に位置決めされる。ここでスキャンの角度と遠近は同じである。2Dスキャンからの画像も同様に記憶される。
ターゲットフィーチャは2D画像からセグメント化される(ステップ412)。このことは、フィーチャをゼロコントラスト画像から減算することにより実行される。いったんターゲットフィーチャがセグメント化されると、2D画像の3Dグラフを得ることが所望される。しかしこれは簡単なタスクではない。2D画像は画像中の対象物の深さを指示することはできないから、重なり合う対象物が接続しているのか否かを区別するのは困難である。例えばターゲットフィーチャが一連の血管の場合、2D画像では血管の所定のセグメントが重なっており、従って別個の血流なのか、またはセグメントの重なりが連結された血管の分枝を指示するのかを区別するのは不可能である。
これを区別するために、血管を通る造影剤の流れが所定の期間にわたって調査される(ステップ414)。血管を通る造影剤の流れは、ルーテッド有向非環グラフをマッチングするのに類似する方法を使用して検知することができる。このような方法は"Skeleton Based Shape Matching and Retrieval"、H. Sundar et al. 著、Proceedings, Shape Modeling and Applications Conference, SMI 2003に記載されており、本願の参考文献とする。血管のグラフは、血管の各交差点または分枝点における造影剤の到着時間および出発時間を記録することにより作成される。流れをモニタすることにより、深さを検出することができる。
本発明によれば、各交差点または分枝点における造影剤の到着時間および出発時間が記録される(ステップ416)。図6は、造影剤が血管をどのように流れるかを示すグラフィック表示である。最初の時点で、造影剤のスタート点が検出される。次に血管を通る造影剤の流れが所定のインターバルで追跡される。このモニタは所定のインターバルで反復され、これにより造影剤の流れを分析して、血管の構造を検出することができる。画像602は、造影剤が存在しない血管を含む組織領域を示す。
画像604は、造影剤が血管に注入され、所定の期間にわたってモニタされた同じ組織領域を示す。
造影剤が血管の特定のセグメントを通って流れると、この血管はハイライトされ、特定のセグメントが隣接するセグメントに接続しているのか、または2つのセグメントが重なっているのかを指示する。図6は、この関係をグレースケール強度が変化する血管によって示すが、当業者であれば別のカラースキームを使用するような別の形式の提示を使用できることも理解されよう。血管606−614の各分枝は異なる強度を有する。
図7は、同じ組織領域602を示し、画像704は画像604に対するよりも後の時点での造影剤の流れを示す。この画像から、血管606と608は重なっており、接続していないことが分る。このような決定により、組織領域での深度測定を行なうことができ、2D蛍光透視鏡画像を3D画像に重ね合わせる際の手助けとなる。
いったん血管を通る造影剤の流れが分析されると、3Dグラフが2Dスケルトンツリーから形成される(ステップ418)。3Dグラフは組織領域にある血管の構造を示し、血管の重なりおよび偽りの交差に関する曖昧さを明瞭にする。次に3Dグラフのグラフマッチングが、スケルトンツリーを2D画像から3D画像に粗くアライメントすることにより実行される(ステップ420)。ルーテッド有向非環グラフマッチングのために普通使用される方法をこのステップの実施のために使用することができる。このような方法の一例は上記の"Skeleton Based Shape Matching and Retrieval"に記載されている。
いったん粗いアライメントが得られると、反復最近点(Iterative Closeset Point (ICP))アルゴリズムがスケルトンツリーの重ね合わせをリファインするために使用される。単葉蛍光透視鏡画像が、2D−3D重ね合わせを実行するために使用される。グラフマッチングは粗いアライメントを提供するだけでなく、2Dと3Dとの間の血管の対応関係も提供する。対応関係は、ICPアルゴリズムをセンタライン(ポンとの集合)に適用する際に制約として使用される。これにより重ね合わせプロセス中に局所的最小値が回避され、このことはアルゴリズムを非常に頑強にする。
付加的に、造影剤の流れをモニタしている間に得られた2D画像のシーケンス全体が、2D−3D重ね合わせの間に使用される。この情報は主に、3D画像の単葉投影に存在する曖昧さを回避するために使用される。重ね合わせパートナーは、2Dフィーチャと3Dフィーチャの投影におけるすべての対応点の最小二乗差を使用して最適化される。最適化は6つのパラメータに対して、すなわち3つの並進運動と3つの回転運動に対して実行される。
3D手術前画像を2D手術中画像と重ね合わせるための方法に対する実施例を説明したが、当業者であれば上述の説明に基づき種々の変形を施すことができる。例えば本発明は画像の固定的な重ね合わせを指向するものであるが、変形可能な重ね合わせを実行することもできる。このような場合、最適化ステップは変形を制御するためのパラメータを含むこととなる。いったん2D画像と3D画像との間で一次重ね合わせが完成されると、重ね合わせは2D画像でフィーチャを追跡することによって維持される。いずれの動き追跡アルゴリズムもこの目的のために使用することができる。
シェープモデルも、3D画像または以前の2D画像シーケンスからシェープモデルを獲得することにより使用することができる。シェープモデルは、スケルトン抽出を導くために、および最適化ステップのために使用することができる。
したがって、特許請求の範囲に記載された本発明の枠内にある既述の個々の実施形態において変更を行えることは自明である。
図1は、本発明による例としての磁気共鳴画像(MRI)装置に対するシステムアーキテクチャの概略図である。 図2は、本発明により手術中の2次元画像を得るためのCアームガントリーの概略図である。 図3は、手術前の3次元画像を手術中の2次元画像と本発明により重ね合わせるための装置の概略的ブロック回路図である。 図4a−4bは、本発明により手術前画像と手術中画像とを重ね合わせるための処理を示すフローチャートである。 図5は、本発明によるターゲットフィーチャのスケルトングラフと相応する3Dグラフを表す図である。 図6は、本発明により第1の期間で、一連の血管をモニタされる造影剤がどのように流れるかを示す図である。 図7は、本発明により第2の期間で、一連の血管をモニタされる造影剤がどのように流れるかを示す図である。

Claims (26)

  1. 手術中のターゲットフィーチャの2次元(2D)医学画像を手術前のターゲットフィーチャの3次元(3D)医学画像と重ね合わせるための方法であって:
    ・ターゲットフィーチャの3D画像を第1スケルトングラフに変換するステップ;
    ・ターゲットフィーチャの2D画像を第2スケルトングラフに変換するステップ;
    ・第1スケルトングラフと第2スケルトングラフのグラフマッチングを、グラフの荒いアライメントを獲得するために実行するステップ;
    ・第1スケルトングラフと第2スケルトングラフとを重ね合わされるステップ;
    を有することを特徴とする方法。
  2. 請求項1記載の方法であって、
    ターゲットフィーチャは特定の組織領域における血管である方法。
  3. 請求項1記載の方法であって、
    ターゲットフィーチャの3D画像を第1スケルトングラフに変換するステップはさらに:
    ・3D画像からのターゲットフィーチャをセグメント化するステップ;
    ・セグメント化された3Dからセンタラインを抽出するステップ;
    を有する方法。
  4. 請求項3記載の方法であって、
    センタラインを平行間引きアルゴリズムを使用して抽出する方法。
  5. 請求項1記載の方法であって、
    ターゲットフィーチャの2D画像を第2スケルトングラフに変換するステップはさらに:
    ・2D画像からのターゲットフィーチャをセグメント化するステップ;
    ・ターゲットフィーチャを通る造影剤の流れを調査するステップ;
    を有する方法。
  6. 請求項5記載の方法であって、
    造影剤の流れを調査するステップはさらに:
    ・ターゲットフィーチャの各交差点における造影剤の流れの到着時間および出発時間を記録するステップ;
    ・到着時間と出発時間に基づいて、交差点が接続された交差点であるのか、重なり合う交差点であるのかを検出するステップ;
    を有する方法。
  7. 請求項1記載の方法であって、
    グラフマッチングを実行するステップはさらにルーテッド有向非環グラフの使用を含む方法。
  8. 請求項1記載の方法であって、
    第1スケルトングラフと第2スケルトングラフを重ね合わせるステップはさらに:
    ・反復最近点アルゴリズムを使用して重ね合わせをリファインするステップ;
    を有する方法。
  9. 請求項1記載の方法であって、
    第1スケルトングラフと第2スケルトングラフの重ね合わせは、造影剤を2D画像で追跡することにより維持する方法。
  10. 請求項1記載の方法であって、
    単葉蛍光画像を、2D画像と3D画像の重ね合わせ実行のために使用する方法。
  11. 請求項1記載の方法であって、
    2D画像のシーケンスは時間的に連続する方法。
  12. 請求項1記載の方法であって、
    ターゲットフィーチャは人間器官に関連する方法。
  13. 請求項12記載の方法であって、
    器官は肝臓である方法。
  14. 手術中のターゲットフィーチャの2次元(2D)医学画像を手術前のターゲットフィーチャの3次元(3D)医学画像と重ね合わせるためのシステムであって、該システムは:
    ・ターゲットフィーチャを画像化するために2D画像化装置と;
    ・ターゲットフィーチャの3D画像を記憶するためのデータベースと;
    ・2D画像を受信し、処理するためのプロセッサとを有し;
    該プロセッサは:
    i)ターゲットフィーチャの3D画像を第1スケルトングラフに変換するステップ;
    ii)ターゲットフィーチャの2D画像を第2スケルトングラフに変換するステップ;
    iii)第1スケルトングラフと第2スケルトングラフのグラフマッチングを実行して、グラフの粗いアライメントを獲得するステップ;
    iv)第1スケルトングラフと第2スケルトングラフを重ね合わせるステップ;
    を実行し、
    重ね合わされた画像を表示するシステム。
  15. 請求項14記載のシステムであって、
    ターゲットフィーチャは特定の組織領域における血管であるシステム。
  16. 請求項14記載のシステムであって、
    ターゲットフィーチャの3D画像を第1スケルトングラフに変換するステップはさらに:
    ・3D画像からのターゲットフィーチャをセグメント化するステップ;
    ・セグメント化された3Dからセンタラインを抽出するステップ;
    を有するシステム。
  17. 請求項16記載のシステムであって、
    センタラインを平行間引きアルゴリズムを使用して抽出するシステム。
  18. 請求項14記載のシステムであって、
    ターゲットフィーチャの2D画像を第2スケルトングラフに変換するステップはさらに:
    ・2D画像からのターゲットフィーチャをセグメント化するステップ;
    ・ターゲットフィーチャを通る造影剤の流れを調査するステップ;
    を有するシステム。
  19. 請求項18記載のシステムであって、
    造影剤の流れを調査するステップはさらに:
    ・ターゲットフィーチャの各交差点における造影剤の流れの到着時間および出発時間を記録するステップ;
    ・到着時間と出発時間に基づいて、交差点が接続された交差点であるのか、重なり合う交差点であるのかを検出するステップ;
    を有するシステム。
  20. 請求項14記載のシステムであって、
    グラフマッチングを実行するステップはさらにルーテッド有向非環グラフの使用を含むシステム。
  21. 請求項14記載のシステムであって、
    第1スケルトングラフト第2スケルトングラフを重ね合わせるステップはさらに:
    ・反復最近点アルゴリズムを使用して重ね合わせをリファインするステップ;
    を有するシステム。
  22. 請求項14記載のシステムであって、
    第1スケルトングラフト第2スケルトングラフの重ね合わせは、造影剤を2D画像で追跡することにより維持するシステム。
  23. 請求項14記載のシステムであって、
    単葉蛍光画像を、2D画像と3D画像の重ね合わせ実行のために使用するシステム。
  24. 請求項14記載のシステムであって、
    2D画像のシーケンスは時間的に連続するシステム。
  25. 請求項14記載のシステムであって、
    ターゲットフィーチャは人間器官に関連するシステム。
  26. 請求項25記載のシステムであって、
    器官は肝臓であるシステム。
JP2006551180A 2004-01-21 2005-01-18 手術中の2次元画像および手術前の3次元画像をアフィン重ね合わせするための方法およびシステム Expired - Fee Related JP4490442B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US53782004P 2004-01-21 2004-01-21
US11/036,528 US7450743B2 (en) 2004-01-21 2005-01-14 Method and system of affine registration of inter-operative two dimensional images and pre-operative three dimensional images
PCT/US2005/001357 WO2005073917A2 (en) 2004-01-21 2005-01-18 Method and system of affine registration of inter-operative two dimensional images and pre-operative three dimensional images

Publications (2)

Publication Number Publication Date
JP2007520280A true JP2007520280A (ja) 2007-07-26
JP4490442B2 JP4490442B2 (ja) 2010-06-23

Family

ID=34829722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006551180A Expired - Fee Related JP4490442B2 (ja) 2004-01-21 2005-01-18 手術中の2次元画像および手術前の3次元画像をアフィン重ね合わせするための方法およびシステム

Country Status (4)

Country Link
US (1) US7450743B2 (ja)
EP (1) EP1709588A2 (ja)
JP (1) JP4490442B2 (ja)
WO (1) WO2005073917A2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007229473A (ja) * 2006-02-28 2007-09-13 Toshiba Medical Systems Corp X線診断装置
JP2014529823A (ja) * 2011-09-02 2014-11-13 クアルコム,インコーポレイテッド グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング
JP2016013233A (ja) * 2014-07-01 2016-01-28 富士通株式会社 出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置
JP2016514565A (ja) * 2013-04-03 2016-05-23 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 血管セグメント化
KR101768526B1 (ko) 2012-07-27 2017-08-17 삼성전자주식회사 혈관 구조에 기초하여 환자에 특화된 대상 장기의 모델을 생성하는 방법 및 장치
JP2017164573A (ja) * 2011-10-05 2017-09-21 ニューヴェイジヴ,インコーポレイテッド 画像表示の生成方法
JP2018524122A (ja) * 2015-07-27 2018-08-30 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 血管再生位置特定並びに術前及び術後定量的冠動脈造影
JP2018175864A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US10966790B2 (en) 2014-02-04 2021-04-06 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
US11941179B2 (en) 2010-10-06 2024-03-26 Nuvasive, Inc. Imaging system and method for use in surgical and interventional medical procedures

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768446B2 (en) * 2004-11-02 2014-07-01 Medtronic, Inc. Clustering with combined physiological signals
WO2006050524A1 (en) * 2004-11-02 2006-05-11 Medtronic, Inc. Techniques for data retention upon detection of an event in an implantable medical device
US8024029B2 (en) * 2004-11-02 2011-09-20 Medtronic, Inc. Techniques for user-activated data retention in an implantable medical device
US7917199B2 (en) * 2004-11-02 2011-03-29 Medtronic, Inc. Patient event marking in combination with physiological signals
CN101065062B (zh) * 2004-11-23 2010-11-03 皇家飞利浦电子股份有限公司 图像处理系统和介入期间显示图像的方法
WO2007069168A2 (en) * 2005-12-15 2007-06-21 Koninklijke Philips Electronics, N.V. System and method for visualizing heart morphologyduring electrophysiology mapping and treatment
WO2008001264A2 (en) * 2006-06-28 2008-01-03 Koninklijke Philips Electronics N. V. Spatially varying 2d image processing based on 3d image data
US20080275467A1 (en) * 2007-05-02 2008-11-06 Siemens Corporate Research, Inc. Intraoperative guidance for endovascular interventions via three-dimensional path planning, x-ray fluoroscopy, and image overlay
WO2009045368A1 (en) * 2007-09-28 2009-04-09 Johns Hopkins University Combined multi-detector ct angiography and ct myocardial perfusion imaging for the diagnosis of coronary artery disease
DE102007052123A1 (de) * 2007-10-31 2009-05-14 Siemens Ag Verfahren zur Erstellung eines Fusionsbildes aus wenigstens einer zweidimensionalen und wenigstens dreidimensionalen auf wenigstens ein Blutgefäß bezogenen medizinischen Bildaufnahme sowie zugehörige medizinische Einrichtung
US20090287066A1 (en) * 2008-05-19 2009-11-19 Oliver Meissner Method for minimally invasive medical intervention
WO2009156918A1 (en) * 2008-06-25 2009-12-30 Koninklijke Philips Electronics N.V. Device and method for localizing an object of interest in a subject
KR100985035B1 (ko) * 2008-10-14 2010-10-05 한국과학기술연구원 스캐닝 장치의 움직임 추적 방법
US8494243B2 (en) * 2009-07-29 2013-07-23 Siemens Aktiengesellschaft Deformable 2D-3D registration of structure
US8942457B2 (en) 2010-01-12 2015-01-27 Koninklijke Philips N.V. Navigating an interventional device
US8768029B2 (en) 2010-10-20 2014-07-01 Medtronic Navigation, Inc. Selected image acquisition technique to optimize patient model construction
US10524765B2 (en) * 2010-12-27 2020-01-07 St. Jude Medical, Atrial Fibrillation Division, Inc. Refinement of an anatomical model using ultrasound
DE102011080588A1 (de) * 2011-08-08 2013-02-14 Siemens Aktiengesellschaft Verfahren sowie Datenverarbeitungseinrichtung zur 3-D/3-D-Registrierung von Bilddatensätzen der medizinischen Bildgebung
US8948487B2 (en) * 2011-09-28 2015-02-03 Siemens Aktiengesellschaft Non-rigid 2D/3D registration of coronary artery models with live fluoroscopy images
US9510771B1 (en) 2011-10-28 2016-12-06 Nuvasive, Inc. Systems and methods for performing spine surgery
WO2014191262A2 (en) 2013-05-31 2014-12-04 Koninklijke Philips N.V. Assisting apparatus for assisting a user during an interventional procedure
US9848922B2 (en) 2013-10-09 2017-12-26 Nuvasive, Inc. Systems and methods for performing spine surgery
US9478048B2 (en) * 2014-07-02 2016-10-25 Siemens Medical Solutions Usa, Inc. Prior image based three dimensional imaging
US9521988B2 (en) * 2015-02-17 2016-12-20 Siemens Healthcare Gmbh Vessel tree tracking in angiography videos
US10349909B2 (en) * 2015-06-30 2019-07-16 General Electric Company Systems and methods for flow rate compensated acquisition parameters for medical imaging
JP7118890B2 (ja) 2016-02-12 2022-08-16 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 画像誘導手術において位置合わせされた蛍光透視画像を使用するためのシステム及び方法
CN108078628A (zh) * 2016-12-02 2018-05-29 王健 基于视觉误差补偿的机器人空间定位方法
WO2018191648A1 (en) 2017-04-14 2018-10-18 Yang Liu System and apparatus for co-registration and correlation between multi-modal imagery and method for same
US11915446B2 (en) 2018-10-24 2024-02-27 Siemens Healthineers Ag Generating a medical result image
US11710249B2 (en) 2019-12-20 2023-07-25 Unify Medical, Inc. Generation of three-dimensional scans for intraoperative imaging
KR102350998B1 (ko) 2020-03-04 2022-01-14 숭실대학교 산학협력단 혈관 특징 정보 기반 다중 모달리티 비강체 정합 방법, 이를 수행하기 위한 기록 매체 및 장치
CA3180220A1 (en) 2020-05-26 2021-12-02 Yang Liu Generation of three-dimensional images with digital magnification

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930329A (en) * 1997-09-22 1999-07-27 Siemens Corporate Research, Inc. Apparatus and method for detection and localization of a biopsy needle or similar surgical tool in a radiographic image
US7646903B2 (en) * 2005-06-22 2010-01-12 Siemens Medical Solutions Usa, Inc. System and method for path based tree matching

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007229473A (ja) * 2006-02-28 2007-09-13 Toshiba Medical Systems Corp X線診断装置
US11941179B2 (en) 2010-10-06 2024-03-26 Nuvasive, Inc. Imaging system and method for use in surgical and interventional medical procedures
JP2014529823A (ja) * 2011-09-02 2014-11-13 クアルコム,インコーポレイテッド グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング
US9582896B2 (en) 2011-09-02 2017-02-28 Qualcomm Incorporated Line tracking with automatic model initialization by graph matching and cycle detection
JP2017164573A (ja) * 2011-10-05 2017-09-21 ニューヴェイジヴ,インコーポレイテッド 画像表示の生成方法
JP2018034013A (ja) * 2011-10-05 2018-03-08 ニューヴェイジヴ,インコーポレイテッド 画像表示の生成方法
KR101768526B1 (ko) 2012-07-27 2017-08-17 삼성전자주식회사 혈관 구조에 기초하여 환자에 특화된 대상 장기의 모델을 생성하는 방법 및 장치
JP2019162470A (ja) * 2013-04-03 2019-09-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 血管セグメント化
JP2016514565A (ja) * 2013-04-03 2016-05-23 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 血管セグメント化
US10966790B2 (en) 2014-02-04 2021-04-06 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
US11376075B2 (en) 2014-02-04 2022-07-05 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
US11786311B2 (en) 2014-02-04 2023-10-17 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
JP2016013233A (ja) * 2014-07-01 2016-01-28 富士通株式会社 出力制御方法、画像処理装置、出力制御プログラムおよび情報処理装置
JP2018524122A (ja) * 2015-07-27 2018-08-30 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 血管再生位置特定並びに術前及び術後定量的冠動脈造影
JP2018175864A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US10950019B2 (en) 2017-04-10 2021-03-16 Fujifilm Corporation Automatic layout apparatus, automatic layout method, and automatic layout program

Also Published As

Publication number Publication date
JP4490442B2 (ja) 2010-06-23
US7450743B2 (en) 2008-11-11
EP1709588A2 (en) 2006-10-11
US20050203385A1 (en) 2005-09-15
WO2005073917A2 (en) 2005-08-11
WO2005073917A3 (en) 2006-04-27

Similar Documents

Publication Publication Date Title
JP4490442B2 (ja) 手術中の2次元画像および手術前の3次元画像をアフィン重ね合わせするための方法およびシステム
US7467007B2 (en) Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images
CN100559397C (zh) 手术中二维图像与手术前三维图像的仿射配准方法和系统
JP6453857B2 (ja) 超音波画像の3d取得のためのシステムおよび方法
US8099155B2 (en) Method for assisting with percutaneous interventions
EP1719078B1 (en) Device and process for multimodal registration of images
JP6085366B2 (ja) 画像誘導手順用の超音波撮像システム及びその作動方法
US20110178389A1 (en) Fused image moldalities guidance
US20050004449A1 (en) Method for marker-less navigation in preoperative 3D images using an intraoperatively acquired 3D C-arm image
KR20090098842A (ko) 이미지 유도 중재 시술에서 수술중 움직임을 보상하는 개선된 이미지 정합 및 방법
CN101410060A (zh) 测定插入患者体内的对象周围的组织
Wang et al. Intravascular catheter navigation using path planning and virtual visual feedback for oral cancer treatment
JP2011143055A (ja) 医療画像診断装置及び医療画像表示装置
JP2008148932A (ja) 3次元画像処理装置、3次元画像処理方法、記憶媒体及びプログラム
Aylward et al. Intra-operative 3D ultrasound augmentation
Nagelhus Hernes et al. Computer‐assisted 3D ultrasound‐guided neurosurgery: technological contributions, including multimodal registration and advanced display, demonstrating future perspectives
JP4991181B2 (ja) 3次元画像処理装置、3次元画像処理方法及び3次元画像処理装置で使用される制御プログラム
JP2007167152A (ja) 磁気共鳴イメージング装置
NL2016800B1 (en) Method of positioning an interventional device.
EP1697903B1 (en) Method for the computer-assisted visualization of diagnostic image data
Rasche et al. Fusion of three-dimensional X-ray angiography and three-dimensional echocardiography
Holmes III et al. Visualization in image-guided interventions
RU2816071C1 (ru) Комбинированная интраоперационная навигационная система с использованием генерации ультразвуковых изображений методом трассировки лучей
Hassenpflug et al. Generation of attributed relational vessel graphs from three-dimensional freehand ultrasound for intraoperative registration in image-guided liver surgery
Zhao et al. Navigation with the integration of device tracking and medical imaging

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100205

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100303

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100401

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4490442

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140409

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees