JP2021524302A - マルチモーダル画像レジストレーション - Google Patents

Abstract

磁気共鳴画像法（ＭＲＩ）の画像を追跡空間に位置合わせするためのコントローラは、命令を格納するメモリ、及び命令を実行するプロセッサを含む。命令により、コントローラに、器官の正中矢状面の２次元座標、器官の正中矢状面の画像レジストレーション、及び正中矢状面の超音波画像の追跡空間内の追跡位置に基づいて、追跡空間において３次元磁気共鳴イメージングボリュームの画像レジストレーションを生成するプロセスを実行させる。

Description

本願は、マルチモーダル画像レジストレーションに関する。

介入医療処置は、介入医療装置が人体の内部に配置される処置である。人体は、磁気共鳴画像法（ＭＲＩ）及び超音波を含む、様々な方法でイメージング（画像化）される。様々なイメージングモードによる画像は、それら画像によって介入医療装置で役立つ様々な情報を表示できるため、ディスプレイ上で一緒に融合されることがある。「融合（fusion）イメージング」では、画像の共通の特徴が画像の同じ場所に表示されるように、画像を同じ座標系で一緒に位置合わせする必要がある。

従って、ＭＲＩ超音波融合ガイド前立腺生検等の「融合イメージング」処置には、正確なマルチモーダル画像レジストレーション（registration：位置合わせ）が必要である。マルチモーダル画像レジストレーションは、ＭＲＩ及び超音波での前立腺の画像の場合等に、共通の画像特徴がないため、非常に困難な場合がある。この目的のための正確でロバストな完全自動化画像レジストレーションプロセスは知られていない。代わりに、画像レジストレーションを実行、手動で修正、又は検証する負担はユーザが担っている。経験の浅い又は訓練が不十分なユーザにとって、そのようなマルチモーダル画像レジストレーションを作成することはまた困難であり、エラーが発生し易く、潜在的に不正確なマルチモーダル画像レジストレーションが生じ、こうして不正確な融合ガイダンスをきたす。生検又は治療処置に使用される場合に、不正確な画像レジストレーションは、不正確なガイダンス、組織の不正確なサンプリング（サンプル採取）、又はさらに不正確な治療につながる可能性がある。

介入医療処置で使用される技術の複雑さに加えて、電磁追跡が、超音波プローブ及び介入医療処置を受ける人体の部分を含む空間内の超音波プローブを追跡するために使用される。さらに、近年、画像セグメンテーションが２次元及び３次元の画像及び画像ボリュームに適用され、画像及び画像ボリュームが器官等の構造に分割される線、平面、及び他の形状のビューを提供する。

本開示の一態様によれば、磁気共鳴画像法（ＭＲＩ）の画像を、超音波プローブと、超音波プローブによって生成された超音波画像で取り込まれた器官とを含む追跡空間に位置合わせするためのコントローラは、命令を格納するメモリと、命令を実行するプロセッサとを含む。命令がプロセッサによって実行されると、命令によって、コントローラに、器官のセグメンテーションを含む３次元セグメント化磁気共鳴イメージングボリュームと器官を通る正中矢状面との交差部に基づいて、器官のセグメンテーションによって切断された正中矢状の２次元座標を取得することを含むプロセスを実行させる。コントローラによって実行されるプロセスには、追跡される超音波プローブを使用して、器官の正中矢状面の超音波画像の追跡空間内の追跡位置を生成すること；及び器官の正中矢状面の２次元セグメント化超音波表現を、器官の正中矢状面の２次元セグメント化磁気共鳴イメージング表現に位置合わせすること；も含まれる。コントローラによって実行されるプロセスには、器官のセグメンテーションの正中矢状面の２次元座標、器官の正中矢状面の画像レジストレーション、及び正中矢状面の超音波画像の追跡空間内の追跡位置（の追跡位置）に基づいて、３次元磁気共鳴イメージングボリュームの追跡空間へのレジストレーションを生成することがさらに含まれる。

本開示の別の態様によれば、磁気共鳴画像法（ＭＲＩ）の画像を、超音波プローブと、超音波プローブによって生成された超音波画像で取り込まれた器官とを含む追跡空間に位置合わせする方法は、器官のセグメンテーションを含む３次元セグメント化磁気共鳴イメージングボリュームと、器官の中央矢状面の２次元セグメント化磁気共鳴イメージング表現との交差部に基づいて、器官のセグメンテーションによって切断された正中矢状面の２次元座標を取得するステップを含む。この方法はまた、追跡される超音波プローブを使用して、器官の正中矢状面の超音波画像の追跡空間内の追跡位置を生成するステップと；プロセッサ及びメモリを含むコントローラのプロセッサによって、器官の正中矢状面の２次元セグメント化超音波表現を正中矢状面の２次元セグメント化磁気共鳴イメージング表現に位置合わせして、器官の正中矢状面の画像レジストレーションを取得するステップと；を含む。この方法はさらに、プロセッサによって、器官の正中矢状面の２次元座標、器官の正中矢状面の画像レジストレーション、及び正中矢状面の超音波画像の追跡空間内の追跡位置に基づいて、３次元磁気共鳴イメージングボリュームの追跡空間へのレジストレーションを生成するステップを含む。

本開示のさらに別の態様によれば、磁気共鳴画像法（ＭＲＩ）の画像を、超音波プローブと、超音波プローブによって生成された超音波画像で取り込まれた器官とを含む追跡空間に位置合わせするためのシステムは、超音波プローブと、命令を格納するメモリ及び命令を実行するプロセッサを含むコントローラとを含む。命令がプロセッサによって実行されると、命令によって、コントローラに、器官のセグメンテーション含む３次元セグメント化磁気共鳴イメージングボリュームと、器官の正中矢状面の２次元セグメント化磁気共鳴イメージング表現との交差部に基づいて、器官のセグメンテーションによって切断された正中矢状面の２次元座標を取得することを含むプロセスを実行させる。コントローラによって実行されるプロセスにはまた、超音波プローブを使用して、器官の正中矢状面の超音波画像の追跡空間内の追跡位置を生成すること；及び器官の正中矢状面の２次元セグメント化超音波表現を、器官の正中矢状面の２次元セグメント化磁気共鳴イメージング表現に位置合わせして、器官の正中矢状面の画像レジストレーションを取得すること；が含まれる。コントローラによって実行されるプロセスにはさらに、器官の正中矢状面の２次元座標、器官の正中矢状面の画像レジストレーション、及び正中矢状面の超音波画像の追跡空間内の追跡位置に基づいて、３次元磁気共鳴イメージングボリュームの追跡空間へのレジストレーションを生成することが含まれる。これらの各態様は、臨床医が使用する標準の２Ｄ参照フレームに位置合わせするための３Ｄデータ及びアルゴリズムを使用して、迅速で実行可能なマルチモダリティ画像レジストレーションを実現する。

例示的な実施形態は、添付の図面図と共に読むとき、以下の詳細な説明から最もよく理解される。様々な特徴が必ずしも一定の縮尺で描かれているわけではないことを強調しておく。実際、説明を明確にするために、寸法を適宜増減する場合がある。適用可能で実用的な場合はいつでも、同様の参照符号は同様の要素を指す。
代表的な実施形態による、マルチモーダル画像レジストレーションのプロセスを示す図である。 代表的な実施形態による、マルチモーダル画像レジストレーションで使用されるセグメント化された磁気共鳴イメージングボリュームの形状を示す図である。 代表的な実施形態による、マルチモーダル画像レジストレーションで使用されるような、セグメント化された３次元超音波ボリューム（３Ｄ超音波ボリューム）の幾何学的形状、セグメント化された３Ｄ超音波ボリュームの空間で取得された２次元超音波画像（２Ｄ超音波画像）の幾何学的形状、及びセグメント化された３Ｄ超音波ボリュームへの２Ｄ超音波画像の画像レジストレーションを示す図である。 代表的な実施形態による、マルチモーダル画像レジストレーションのための別のプロセスを示す図である。 代表的な実施形態による、マルチモーダル画像レジストレーションのためのシステムを示す図である。 代表的な実施形態による、マルチモーダル画像レジストレーションのための別のプロセスを示す図である。 代表的な実施形態による、マルチモーダル画像レジストレーションの方法を実施することができる一般的なコンピュータシステムを示す図である。

以下の詳細な説明では、限定ではなく説明の目的で、本教示による実施形態の完全な理解を与えるために、特定の詳細を開示する代表的な実施形態が示される。代表的な実施形態の説明を曖昧にしないように、既知のシステム、装置、材料、動作方法、及び製造方法の説明が省略され得る。それにもかかわらず、当業者の範囲内にあるシステム、装置、材料、及び方法は、本教示の範囲内であり、代表的な実施形態に従って使用することができる。本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、限定することを意図するものではないことを理解されたい。規定された用語は、本教示の技術分野で一般的に理解され受け入れられている規定された用語の技術的及び科学的意味に追加される。

本明細書では、第１、第２、第３等の用語を使用して様々な要素又は構成要素を説明する場合があるが、これらの要素又は構成要素はこれらの用語によって限定すべきではないことが理解されよう。これらの用語は、ある要素又は構成要素を別の要素又は構成要素から区別するためにのみ使用される。こうして、以下で議論する第１の要素又は構成要素は、本発明の概念の教示から逸脱することなく、第２の要素又は構成要素と呼ぶことができる。

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、限定することを意図するものではない。明細書及び添付の特許請求の範囲で使用される場合に、用語「１つの（a, an）」及び「その（the）」の単数形は、文脈が明確に別段の指示をしない限り、単数形と複数形との両方を含むことを意図している。さらに、本明細書で使用される場合の「備える、有する、含む（（comprises）及び／又は（comprising））」という用語、及び／又は同様の用語は、記載された特徴、要素、及び／又は構成要素の存在を指定するが、１つ又は複数の他の特徴、要素、構成要素、及び／又はそれらのグループの存在又は追加を排除するものではない。本明細書で使用される場合に、「及び／又は」という用語は、関連するリストされたアイテムの１つ又は複数のありとあらゆる組合せを含む。

特に断りのない限り、要素又は構成要素が別の要素又は構成要素に「接続」、「結合」、又は「隣接」すると言われる場合に、要素又は構成要素は、他の要素又は構成要素に直接接続又は結合され得るか、或いは介在する要素又は構成要素が存在し得る。すなわち、これら及び類似の用語は、１つ又は複数の中間要素又は構成要素を使用して、２つの要素又は構成要素を接続し得る場合を包含する。ただし、要素又は構成要素が別の要素又は構成要素に「直接接続」されると言われる場合に、これは、２つの要素又は構成要素が中間又は介在する要素又は構成要素なしに互いに接続される場合のみを包含する。

前述した観点から、本開示は、こうして、その様々な態様、実施形態、及び／又は特定の特徴又はサブ構成要素の１つ又は複数を通じて、以下に具体的に記載されるような１つ又は複数の利点をもたらすことを意図する。限定ではなく説明の目的で、本教示による実施形態の完全な理解を与えるために、特定の詳細を開示する例示的な実施形態が示される。ただし、本明細書に開示される特定の詳細から逸脱する、本開示と一致する他の実施形態は、添付の特許請求の範囲内にとどまる。さらに、例示的な実施形態の説明を曖昧にしないように、周知の機器及び方法の説明が省略され得る。そのような方法及び機器は、本開示の範囲内にある。

図１は、代表的な実施形態による、マルチモーダル画像レジストレーションのプロセスを示す。

以下の説明において、磁気共鳴画像法（magnetic resonance imaging）は、頭字語を取ってＭＲＩ又はＭＲと呼ばれ得る。超音波（ultrasound）は頭字語を取ってＵＳと呼ばれ得る。電磁気（electromagnetic）は頭字語を取ってＥＭと呼ばれ得る。これらの頭字語はいずれも、明細書及び図の基礎となる用語と同じ意味で使用され得る。

図１において、プロセスは、３Ｄ ＭＲＩボリューム内の指定された器官（例えば、前立腺）をセグメント化して３Ｄセグメント化ＭＲＩボリュームを取得するときの、Ｓ１１０で開始する。セグメンテーション（セグメント化）は、器官の表面の表現であり、例えば、器官の表面上の３Ｄ ＭＲＩ座標の点のセット、及び３点の隣接するグループを接続することによって規定される三角形平面セグメントで構成され、それによって、器官表面全体が、交差しない三角形平面のメッシュで覆われている（例えば、図２Ａの左側を参照）。３Ｄ ＭＲＩボリュームは、別の場所及び別の日付を含む、介入医療処置の前に取得され得る。

すなわち、Ｓ１１０では、３Ｄ ＭＲＩ画像Ｉ_{３ＤＭＲＩ}内の前立腺をセグメント化して、前立腺の３Ｄ ＭＲＩセグメンテーションＳ_{３ＤＭＲＩ}を生成することができる。３Ｄ ＭＲＩ座標系は、器官の軸方向（axial）ビューがｘｙ平面に対応し、器官の矢状方向（sagittal）ビューがボリュームにおけるＹＺ平面に対応するように規定され得る。

ＭＲＩの簡単な説明として、図４に示される磁気共鳴イメージングシステム４７２は、送信段階で可変シーケンスを使用して、無線周波数（ＲＦ）コイルを介してＢ１磁場（B1 field）を被検体（subject）に選択的に送達する。受信段階では、Ｂ１磁場によって刺激された水素原子は、元の位置（つまり、Ｂ１磁場の選択的送達の前の位置）に戻り、弱い無線周波数信号を発し、この信号は、ローカルコイル（被検体の体の上又はその近くにある局所的な無線周波数コイル）によって拾われ、且つ画像を生成するために使用することができる。磁気共鳴イメージング情報は、人体の水素原子からの弱い無線周波数信号を拾うために特別に配置されたローカルコイルによって検出される弱い無線周波数信号からの情報を含む。

Ｓ１２０では、正中矢状面の２Ｄセグメント化ＭＲＩ表現が、３Ｄセグメント化ＭＲＩボリュームから抽出される。正中矢状面は、体又は器官を左右の部分に分割する解剖学的平面である。この平面は、体の中心にあり、体を２つの部分に分ける。以下で説明する図２Ａ及び図２Ｂでは、図２ＡのＸ_{ＭＲ＿ＭＬ}、Ｙ_{ＭＲ＿ＭＬ}及び図２ＢのＸ_{ＵＳ＿ＭＬ}及びＹ_{ＵＳ＿ＭＬ}とラベル付けされた破線は、３Ｄボリュームに示されるセグメント化された前立腺の正中矢状面を規定する。正中矢状面は、医用イメージングで一般的に使用される参照面である。ＭＲＩシステム等の医療器具は、正中矢状面のビューを表示するように予め設定され得る。医師は、フリーハンド超音波を用いて正中矢状面を取得することに慣れている。

図２Ａの左側に示されるように、Ｓ_３ＤＭＲにおける正中矢状面位置ｘ_ｍ、すなわち前立腺セグメンテーションの中心を切断するｙｚＭＲＩセクションのｘ座標を決定することができる。Ｓ_３ＤＭＲの正中矢状面位置ｘ_ｍは、例えば、Ｓ_３ＤＭＲの表面上の全ての点の重心のｘ座標を計算することによって決定することができる。あるいはまた、ｘ_ｍは、ｘ軸に沿ったＳ_３ＤＭＲの周りの境界ボックスの中央平面として計算することができる。もちろん、ｘ_ｍは手動で決定することもできる。ｘ_ｍを使用して、３Ｄ ＭＲＩ座標系からＭＲＩ正中矢状面の座標系への変換、つまりＴ_{３ＤＭＲ→ＭＲ＿ＭＬ}を決定することができる。Ｓ１３０で規定された座標規則が与えられると、この変換は、図２Ａの右側に示されるように、ｙ軸の周りの９０度の回転と、それに続くｚ軸に沿ったｘ_ｍだけの並進から構成される。

図２Ａに示されるように、次に、正中矢状ＭＲＩセグメンテーションＳ_{ＭＲ＿ＭＬ}は、ｘ位置ｘ_ｍでのＳ_{３ＤＭＲＩ}とＹＺ平面との交差部を計算することによって決定することができる。

Ｓ１３０では、ＭＲＩ正中矢状面の２Ｄ座標は、正中矢状面の２Ｄセグメント化ＭＲＩ表現から規定される。これは、図２Ａの左側ボックスに具体的に示されており、破線が前立腺のセグメンテーションによる正中矢状面を示しており、このような正中矢状面の２Ｄ座標は、３Ｄセグメント化ＭＲＩボリュームの元の情報から容易に導き出される。

Ｓ１４０では、３Ｄ超音波ボリュームが取得され、次に、セグメント化されて、セグメント化された３Ｄ超音波ビューが取得される。３Ｄ超音波ボリュームは、ライブで（つまり、リアルタイムで）取得する必要はないが、超音波プローブが器官を横切ってスイープされるときに、（追跡される）２Ｄ超音波面のセットの取得により再構成することもできる。３Ｄ超音波ボリュームは、典型的に、介入医療処置の開始時等、介入医療処置と同じ日に（すなわち、時間的に近い）取得される。

３Ｄ超音波ボリュームは、介入医療処置中に取得され得、次に、元の３Ｄセグメント化ＭＲＩボリュームを、３Ｄ超音波ボリュームを取得するために使用された超音波プローブを追跡するために使用される追跡空間に最終的に位置合わせするために、本明細書に記載のプロセスへの入力として使用され得る。一例として、介入的医療処置の開始時又はその最中に、追跡される３Ｄ超音波（３ＤＵＳ）画像又は前立腺の再構成Ｉ_３ＤＵＳを取得することができる。追跡される３Ｄ超音波再構成Ｉ_３ＤＵＳは、前立腺を横切って超音波画像プローブをスイープしている間に取得された一連の空間的に追跡される２次元超音波画像（２Ｄ超音波画像）をボリュームに再構成することによって取得することができる。Ｉ_３ＤＵＳのセグメンテーションはＳ_３ＤＵＳを生成する。

Ｓ１５０では、正中矢状面の超音波画像が取得される。超音波画像は、超音波プローブを自動的に制御することによって、又はユーザからの入力に基づいて等で取得され得る。例えば、ユーザは、プローブによって取得された２Ｄ画像が器官の正中矢状面であるように超音波プローブを位置付けするのを具体的に試みるように求められ得る。一例として、オペレータは、前立腺の正中線に沿って正中矢状画像Ｉ_{ＵＳ＿ＭＬ}を取得するように超音波プローブを位置付けし、追跡空間における超音波プローブの対応する追跡される空間姿勢を取得するように指示され得る。追跡座標系の正中矢状面は、図２Ｂの左側の面ｘｙ_{ＵＳ＿ＭＬ}に対応する。Ｉ_{ＵＳ＿ＭＬ}の追跡姿勢は、例えば、２ＤＵＳ画像座標系から電磁追跡座標系への座標変換Ｔ_{ＵＳ→ＥＭ}の形式で記録することができる。

Ｓ１６０では、正中矢状面の超音波画像は、セグメント化された３Ｄ超音波ビューに位置合わせされ、正中矢状面の２Ｄ超音波セグメンテーションが取得される。例えば、正中矢状画像Ｉ_{ＵＳ＿ＭＬ}は、３ＤＵＳセグメント化画像ボリュームＩ_３ＤＵＳに自動的に位置合わせすることができる。次に、Ｉ_{ＵＳ＿ＭＬ}と前立腺セグメンテーションＳ_３ＤＵＳとの交差部を計算することができる。この交差部は、図２Ｂの右側に示されるように、Ｉ_{ＵＳ＿ＭＬ}における前立腺の２次元セグメンテーションＳ_{ＵＳ＿ＭＬ}を生成する。結果は、３ＤＵＳボリュームが（ＭＲＩボリュームとは異なり）必ずしもボリューム座標軸に対する前立腺の特定の整列で取得されるとは限らないため、３ＤＵＳの正中矢状面を単に取得するよりも正中矢状超音波ビューのより正確な表現となる。

Ｉ_{ＵＳ＿ＭＬ}からＩ_３ＤＵＳへの画像レジストレーションを支援するために、部分的スイープＩ_{３ＤＵＳ＿ＭＬ}が、正中矢状面ｘｙ_{ＵＳ＿ＭＬ}から始まり、略垂直方向に移動して取得され得る。単一の正中矢状画像Ｉ_{ＵＳ＿ＭＬ}のみを使用する場合と比較して、部分的スイープに含まれる空間情報が増えると、画像レジストレーションの精度が高くなり得る。

Ｓ１７０では、Ｓ１６０からの正中矢状面の２Ｄ超音波セグメンテーションは、Ｓ１２０からの正中矢状面の２Ｄセグメント化ＭＲＩ表現と位置合わせされ、ＭＲＩから超音波への２Ｄ変換が取得される。換言すると、Ｓ_{ＵＳ＿ＭＬ}とＳ_{ＭＲ＿ＭＬ}との間で２Ｄ画像レジストレーションが実行される。つまり、超音波及びＭＲＩそれぞれの正中矢状セグメンテーションが実行され、変換Ｔ_{ＭＲＩ→ＵＳ}が生成される。画像レジストレーションは、例えば反復最接近点（iterative closest point）アルゴリズム（ＩＣＰアルゴリズム）を使用して、Ｓ_{ＵＳ＿ＭＬ}とＳ_{ＭＲ＿ＭＬ}との間のポイント間（point-to-point）境界距離を最小化するように取得できる。あるいはまた、３Ｄ ＭＲＩセグメンテーションＳ_{３ＤＭＲＩ}と３ＤＵＳセグメンテーションＳ_３ＤＵＳとの間の境界距離を最小化に使用することもできるが、Ｔ_{ＭＲ→ＵＳ}を解くときに面内変換パラメーターのみを更新することができる。

Ｓ_３ＤＭＲとＳ_３ＤＵＳとの間の６自由度での完全なレジストレーションと比較して、２Ｄ面内画像レジストレーションは、計算がより簡素であり、誤った面外並進及び回転の可能性を排除し、その面外並進及び回転は、ユーザがプローブを正中矢状位置に手動で配置するように指示したため、無視できる程度であると想定される。境界は、画像レジストレーションの前に予め略整列されている場合がある。例えば、境界は重心位置に基づいて概算することができる。
Ｓ１８０では、元の３Ｄ ＭＲＩボリュームは、Ｓ１３０からの正中矢状面の２Ｄ座標、Ｓ１７０でのＭＲＩから超音波への２Ｄ変換、及びＳ１５０からの追跡空間内の正中矢状面の追跡位置を使用して、追跡空間に位置合わせされる。最終的に、図１のプロセスの結果は、ＭＲＩ画像から追跡空間への３Ｄ変換であり、それによって、３Ｄ ＭＲＩボリュームは追跡空間に位置合わせされる。このようにして、ＭＲＩは、これまで得られなかった又は得ることができなかった精度で、追跡空間内の超音波と一緒に表示することができる。すなわち、ディスプレイを制御して、全体的な電磁追跡空間内の磁気共鳴画像法の画像の対応するセクションと融合したライブで追跡される超音波画像を表示することができる。

Ｓ１８０の個々の変換を記号形式表現として読み取る方法は、右から左への連結によるものであり、最終的に所望のＴ_{３ＤＭＲ→ＥＭ}をもたらす。特に、超音波座標系ＵＳ＿ＭＬは、ユーザが正中矢状位置で２ＤＵＳ画像を取得するように指示されたため、２Ｄ超音波座標系と同一視される。正中矢状位置は、少なくとも前立腺の標準的な臨床超音波ビューであり、この主題に精通している医師は容易に特定（identify）できるはずである。

得られた変換Ｔ_{３ＤＭＲ→ＥＭ}は、ライブの追跡される超音波画像とＭＲＩ画像の対応するセクションとの融合画像表示に使用することができる。これは、例えば、任意のライブ超音波画像の追跡位置Ｔ_{ＵＳ→ＥＭ}を取得し、Ｔ_{ＵＳ→３ＤＭＲ}＝（Ｔ_{３ＤＭＲ→ＥＭ}）^−１・Ｔ_{ＵＳ→ＥＭ}を計算して現在の２ＤＵＳ画像に対応するＭＲＩ座標を取得することによって、行うことができ、ここで（・）^−１は逆変換を示す。

図２Ａは、代表的な実施形態による、マルチモーダル画像レジストレーションで使用されるセグメント化された磁気共鳴イメージングボリュームの幾何学的形状を示す。

図２Ａは、３Ｄ ＭＲＩ前立腺セグメンテーションによって切断された正中矢状の抽出を示しており、右側の２Ｄでの分離されたＳ_{ＭＲ＿ＭＬ}をもたらす。図２Ａの左側に示される座標Ｘｍは、ＸＹＺ座標系の３Ｄ座標である。破線はＹＺ平面の矢状ビューである。左側の境界ボックス内の不規則な形状の対象物（object）は、３Ｄでの前立腺のセグメンテーションである。特に、図２Ａの左側の３Ｄでの前立腺の表現の周りの不規則な実線は、前立腺セグメンテーションと前立腺の正中矢状面との交差部であり、図２Ａの右側の２Ｄでの不規則な実線と相関している。すなわち、図２Ａの右側は、ＭＲＩにおける前立腺のセグメント化された正中矢状面の２Ｄ表現を示している。

図２Ｂは、代表的な実施形態による、マルチモーダル画像レジストレーションで使用されるような、セグメント化された３Ｄ超音波ボリュームの幾何学的形状、３Ｄ超音波ボリュームと同じ空間で得られた２Ｄ超音波画像の幾何学的形状、及びセグメント化された３Ｄ超音波ボリュームへの２Ｄ超音波画像の画像レジストレーションを示す。

図２Ｂは、左側の３Ｄ超音波ボリュームに位置合わせされた正中矢状ビューＩ_{ＵＳ＿ＭＬ}で得られた２Ｄ超音波画像を示す。３Ｄ超音波ボリュームとの対応する交差部はＩ_{ＵＳ＿ＭＬ}座標に変換される。換言すると、図２Ｂの左側の３Ｄモデルは、右側の２Ｄ画像と再び相関している。

ちなみに、図２Ｂの右側の画像では、前側（anterior）が上、後側（posterior）が下、頭が左、足が右である。さらに、図２Ｂの左側の前立腺の表現の周りの不規則な実線は、図２Ｂの右側の不規則な実線に相関している。具体的には、図２Ｂの不規則な実線は、左側の３Ｄ ＭＲＩ座標に示される、正中矢状面と器官セグメンテーションとの交差部である。

図３は、代表的な実施形態による、マルチモーダル画像レジストレーションのための別のプロセスを示す。

図３は、超音波プローブの電磁追跡を伴う前立腺融合生検のためのＭＲＩ超音波画像レジストレーションの特定の場合の要素の実施形態を示し、且つ説明する。換言すると、図３の実施形態では、３つの別個の視覚化、すなわち、前立腺を含むＭＲＩ、前立腺を含む超音波、及び超音波イメージングプローブと前立腺とを含む３次元空間での電磁追跡が組み合わされる。図３に関して示され、説明される特徴は、他の器官、イメージングモダリティ及び処置に適用できる。

図３において、目的は、予め取得したＭＲＩボリューム画像（Ｉ_{３ＤＭＲＩ}）と融合イメージング処置中に使用される電磁追跡座標系との画像レジストレーション、すなわちＴ_{３ＤＭＲＩ→ＥＭ}を計算することである。

Ｓ３０２での第１のステップ又はプロセスにおいて、前立腺の３Ｄ ＭＲＩボリュームの画像がＩ_{３ＤＭＲＩ}として取得される。Ｓ３１１での第２のステップ又はプロセスにおいて、前立腺の３Ｄ ＭＲＩボリュームの画像Ｉ_{３ＤＭＲＩ}がセグメント化され、前立腺３Ｄ ＭＲＩセグメンテーションＳ_{３ＤＭＲＩ}が生成される。

Ｓ３２１での第３のステップ又はプロセスにおいて、３Ｄ ＭＲＩから２Ｄ正中矢状面座標への座標変換、すなわち、Ｔ_{３ＤＭＲＩ}→_{ＭＲＩ＿ＭＬ}が規定される。Ｓ３３１での第４のステップ又はプロセスにおいて、ＭＲＩセグメンテーションＳ_{３ＤＭＲＩ}の正中矢状面、つまりＳ_{ＭＲＩ＿ＭＬ}が抽出される。ＭＲＩセグメンテーションの正中矢状面は、Ｓ_{３ＤＭＲＩ}と２Ｄ正中矢状面との交差部である。

Ｓ３４１での第５のステップ又はプロセスにおいて、追跡される３Ｄ超音波ボリューム又は前立腺の再構成、すなわちＩ_３ＤＵＳが取得される。Ｓ３５１での第６のステップ又はプロセスにおいて、３Ｄ超音波ボリュームＩ_３ＤＵＳの前立腺がセグメント化されて、Ｓ_３ＤＵＳが生成される。

Ｓ３６１での第７のステップ又はプロセスにおいて、オペレータは、超音波プローブを用いて前立腺の正中矢状超音波画像Ｉ_{ＵＳ＿ＭＬ}を取得及び記録するように指示される。Ｓ３７１での第８のステップ又はプロセスにおいて、超音波プローブの追跡位置Ｔ_{ＵＳ→ＥＭ}が電磁追跡空間で記録される。

Ｓ３７６での第９のステップ又はプロセスにおいて、正中矢状超音波画像Ｉ_{ＵＳ＿ＭＬ}は、３Ｄ超音波ボリュームＩ_３ＤＵＳと／に自動的に位置合わせされる。Ｉ_{ＵＳ＿ＭＬ}と前立腺セグメンテーションＳ_３ＤＵＳとの交差部が計算によって抽出され、正中矢状画像に前立腺の２ＤセグメンテーションＳ_{ＵＳ＿ＭＬ}が生成される。

Ｓ３８１での第１０のステップ又はプロセスにおいて、２Ｄ画像レジストレーションが、超音波正中矢状面のセグメンテーションＳ_{ＵＳ＿ＭＬ}と磁気共鳴画像化正中矢状面のセグメンテーションＳ_{ＭＲＩ＿ＭＬ}との間で実行される。第１０のステップ又はプロセスにおける２Ｄ画像レジストレーションは、例えば、反復最接近点（ＩＣＰ）アルゴリズムを使用して実行され得る。第１０のステップ又はプロセスの結果は、磁気共鳴画像座標から超音波座標への変換Ｔ_{ＭＲＩ→ＵＳ}である。

Ｓ３９１での第１１のステップ又はプロセスにおいて、一連の変換は、３Ｄ磁気共鳴画像化が電磁追跡に位置合わせされる、すなわちＴ_{３ＤＭＲＩ→ＥＭ}の結果となる。変換は、３Ｄ磁気共鳴画像法から磁気共鳴画像法の正中矢状面へ、次に磁気共鳴画像法の正中矢状面から超音波の正中矢状面へ、そして超音波の正中矢状面から電磁追跡フィールドへの変換、すなわちＴ_{３ＤＭＲＩ}→_{ＭＲＩ＿ＭＬ}、Ｔ_{ＭＲＩ→ＵＳ}、及びＴ_{ＵＳ→ＥＭ}へと行われ、目的のＴ_{３ＤＭＲＩ→ＥＭ}を生成する。つまり、Ｓ３９１での最終結果は、予め取得したＭＲＩボリューム３Ｄ ＭＲＩと、融合イメージング処置中に使用される電磁追跡座標系との画像レジストレーション、すなわちＴ_{３ＤＭＲＩ→ＥＭ}である。

図４は、代表的な実施形態による、マルチモーダル画像レジストレーションのためのシステムを示す。

図４において、超音波システム４５０は、プロセッサ４６１及びメモリ４６２を含む中央ステーション４６０、タッチパネル４６３、モニタ４５９、及びデータ接続４５８（例えば、有線又は無線データ接続）によって中央ステーション４６０に接続された超音波イメージングプローブ４５６を含む。本明細書に記載のマルチモーダル画像レジストレーションは、典型的には又は少なくともしばしば介入医療プロセスを伴うが、マルチモーダル画像レジストレーションが、介入医療装置に特有のものよりも様々なモードからの画像レジストレーションに関係しているため、介入医療装置は図４には示されていない。

磁気共鳴イメージングシステム４７２も示されている。明確にするために、マルチモーダル画像レジストレーションで使用されるＭＲＩ画像は、超音波システム４５０とは異なる時間及び異なる場所から提供され得る。その場合に、磁気共鳴イメージングシステム４７２は、必ずしも超音波システム４５０と同じ場所にあるとは限らない。図４では、磁気共鳴イメージングシステム４７２が超音波システム４５０とともに示され、ＭＲＩモード及び超音波モードからの画像が、プロセッサ４９１及びメモリ４９２を含む位置合わせ（レジストレーション）システム４９０に提供される。マルチモーダル画像レジストレーションの文脈では、位置合わせシステム４９０は、本明細書で説明されるように、複数のモードからの画像を位置合わせするためのプロセスを制御するコントローラと見なすことができる。換言すると、位置合わせシステム４９０は、本明細書で説明される機能及びプロセスのパフォーマンスを実行するか、又は他に制御するコントローラであり得る。位置合わせシステム４９０は、スタンドアロンシステムであり得るか、又は介入医療処置で使用される超音波システム等の修正された電子システムで実現され得る。

位置合わせシステム４９０は、プロセッサ４９１及びメモリ４９２を含む。位置合わせシステム４９０は、磁気共鳴イメージングシステム４７２から、ネットワークを介して又はコンピュータ可読媒体から等、直接的又は間接的にデータを受信する。位置合わせシステム４９０は、例えば、メモリ３９２内の命令を実行するプロセッサ３９１によって本明細書に記載のプロセスを実行させる。しかしながら、位置合わせシステム４９０はまた、中央ステーション４６０内又は中央ステーション４６０によって、或いは任意の他のメカニズムで実現され得る。プロセッサ４９１とメモリ４９２との組合せは、位置合わせシステム４９０であろうと別の構成であろうと、本明細書で使用される用語として「コントローラ」と見なすことができる。

図５は、代表的な実施形態による、マルチモーダル画像レジストレーションのための別のプロセスを示す。

図５において、左側は最初にＭＲＩプロセスを示し、右側は最初に超音波プロセスを示す。この視覚化は、様々なプロセスが並行して実行される場合もあれば、全く異なる時間に様々な場所で実行される場合があることを反映している。

Ｓ５０１では、３Ｄ ＭＲＩボリュームが取得される。Ｓ５１１では、３Ｄ ＭＲＩボリュームの前立腺がセグメント化される。Ｓ５２１では、２Ｄ正中矢状面座標が取得され、Ｓ５３１では、セグメント化された３Ｄ ＭＲＩと２Ｄ正中矢状面との交差部から正中矢状セグメンテーション平面が抽出される。

Ｓ５４１では、追跡される３Ｄ超音波が取得される。Ｓ５５１では、追跡される３Ｄ超音波の前立腺がセグメント化される。Ｓ５６１では、３Ｄ超音波の２Ｄ正中矢状面が取得され、Ｓ５７１では、２Ｄ正中矢状面とセグメント化された３Ｄ超音波セグメンテーションとの交差部から正中矢状セグメンテーション平面が抽出される。

Ｓ５８１では、超音波及びＭＲＩからの２Ｄセグメンテーションが位置合わせされる。Ｓ５９１では、追跡座標系で追跡される３Ｄ超音波が処置前の３Ｄ ＭＲＩに位置合わせされる。その結果、処置前ＭＲＩと超音波イメージとの両方を同じ座標空間に表示させることができる。具体的には、処置前ＭＲＩ及び超音波は、超音波が超音波プローブを追跡するために最初に提供された追跡空間に表示することができる。

図６は、代表的な実施形態による、マルチモーダル画像レジストレーションの方法を実施することができる一般的なコンピュータシステムを示す。

コンピュータシステム６００は、コンピュータシステム６００に、本明細書に開示される方法又はコンピュータベースの機能のうちの任意の１つ又は複数を行わせるために実行され得る一組の命令を含むことができる。コンピュータシステム６００は、スタンドアロン装置として動作することができ、又は、例えばネットワーク６０１を使用して、他のコンピュータシステム又は周辺装置に接続することができる。図６のコンピュータシステム６００の要素及び特性のいずれか又は全ては、中央ステーション４６０、位置合わせシステム４９０、超音波イメージングプローブ４５６、超音波システム４５０、又はコントローラを含み且つ本明細書に記載のプロセスを実行することができる他の同様の装置及びシステムの要素及び特性を表すことができる。

ネットワーク化された展開において、コンピュータシステム６００は、サーバクライアントユーザネットワーク環境におけるクライアントの能力で動作し得る。コンピュータシステム６００はまた、制御ステーション、イメージングプローブ、パッシブ超音波センサ、固定コンピュータ、移動コンピュータ、パーソナルコンピュータ（ＰＣ）、又はそのマシンによって実行されるアクションを指定する一組の命令（順次又は他の方法）を実行することができる他の任意のマシン等の様々な装置として完全に又は部分的に実現又は組み込むことができる。コンピュータシステム６００は、追加の装置を含む統合システム内にある装置として、又はこの装置内に組み込むことができる。一実施形態では、コンピュータシステム６００は、ビデオ又はデータ通信を提供する電子装置を使用して実現することができる。さらに、コンピュータシステム６００が示されているが、「システム」という用語はまた、１つ又は複数のコンピュータ機能を実行するための命令のセット又は複数のセットを個別に又は共同で実行するシステム又はサブシステムの任意の集合を含むと解釈するものとする。

図６に示されるように、コンピュータシステム６００は、プロセッサ６１０を含む。コンピュータシステム６００のプロセッサ６１０は、有形で非一時的である。本明細書で使用される場合に、「非一時的」という用語は、状態の恒久的な特性としてではなく、ある期間に亘って続く状態の特性として解釈すべきである。「非一時的」という用語は、搬送波又は信号の特性等のつかの間の特性、或いはいつでもどこでも一時的にのみ存在する他の形式を明確に否定する。本明細書に記載の任意のプロセッサは、製品及び／又は機械部品である。コンピュータシステム６００のプロセッサは、本明細書の様々な実施形態に記載されている機能を実行するためのソフトウェア命令を実行するように構成される。コンピュータシステム６００のプロセッサは、汎用プロセッサであり得るか、又は特定用途向け集積回路（ＡＳＩＣ）の一部であり得る。コンピュータシステム６００のプロセッサはまた、マイクロプロセッサ、マイクロコンピュータ、プロセッサチップ、コントローラ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、状態マシン、又はプログラマブルロジックデバイスであり得る。コンピュータシステム６００のプロセッサはまた、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルゲートアレイ（ＰＧＡ）を含む論理回路、又はディスクリートゲート及び／又はトランジスタロジックを含む別のタイプの回路であり得る。コンピュータシステム６００のプロセッサは、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、又はその両方であり得る。さらに、本明細書に記載の任意のプロセッサは、複数のプロセッサ、並列プロセッサ、又はその両方を含み得る。複数のプロセッサが、単一の装置又は複数の装置に含まれるか、又はそれらに結合され得る。

さらに、コンピュータシステム６００は、バス６０８を介して互いに通信することができるメインメモリ６２０及びスタティックメモリ６３０を含む。本明細書に記載のメモリは、データ及び実行可能命令を格納することができる有形の記憶媒体であり、命令がそこに格納される期間中、非一時的である。本明細書で使用される場合に、「非一時的」という用語は、状態の恒久的な特性としてではなく、ある期間に亘って続く状態の特性として解釈すべきである。「非一時的」という用語は、搬送波又は信号の特性等のつかの間の特性、或いはいつでもどこでも一時的にのみ存在する他の形式を明確に否定する。本明細書に記載のメモリは、製品及び／又は機械部品である。本明細書に記載のメモリは、コンピュータがデータ及び実行可能命令を読み出すことができるコンピュータ可読媒体である。本明細書に記載のメモリは、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、電気的にプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、テープ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、ブルーレイディスク、又は当技術分野で知られている他の形式の記憶媒体であり得る。メモリは、揮発性又は不揮発性、セキュア及び／又は暗号化され、非セキュア及び／又は暗号化されていない可能性がある。

示されるように、コンピュータシステム６００は、液晶ディスプレイ（ＬＤＣ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、ソリッドステートディスプレイ、又はブラウン管（ＣＲＴ）等のビデオディスプレイユニット６５０をさらに含み得る。さらに、コンピュータシステム６００は、キーボード／仮想キーボード又はタッチ感知入力画面又は音声認識を含む音声入力等の入力装置６６０と、マウス又はタッチ感知入力画面又はパッド等のカーソル制御装置６７０とを含み得る。コンピュータシステム６００はまた、ディスクドライブユニット６８０、スピーカ又はリモートコントロール等の信号生成装置６９０、及びネットワークインターフェイス装置６４０を含み得る。

一実施形態では、図６に示されるように、ディスクドライブユニット６８０は、コンピュータ可読媒体６８２を含むことができ、その中に、１つ又は複数の命令のセット６８４、例えばソフトウェアを埋め込むことができる。命令セット６８４は、コンピュータ可読媒体６８２から読み出すことができる。さらに、命令６８４は、プロセッサによって実行されるときに、本明細書に記載される方法及びプロセスのうちの１つ又は複数を実行するために使用され得る。一実施形態では、命令６８４は、コンピュータシステム６００による実行中に、メインメモリ６２０、スタティックメモリ６３０内、及び／又はプロセッサ６１０内に完全に又は少なくとも部分的に存在し得る。

代替実施形態では、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックアレイ、及び他のハードウェアコンポーネント等の専用ハードウェア実施態様を構築して、本明細書に記載の方法の１つ又は複数を実施することができる。本明細書に記載の１つ又は複数の実施形態は、２つ以上の特定の相互接続されたハードウェアモジュール、又はモジュール同士の間及びモジュールを介して通信できる関連する制御及びデータ信号を含む装置を使用して機能を実現することができる。従って、本開示は、ソフトウェア、ファームウェア、及びハードウェアの実施態様を包含する。本願のいかなるものも、有形の非一時的プロセッサ及び／又はメモリ等のハードウェアではなく、ソフトウェアのみで実施又は実施可能であると解釈すべきではない。

本開示の様々な実施形態によれば、本明細書に記載の方法は、ソフトウェアプログラムを実行するハードウェアコンピュータシステムを使用して実施することができる。さらに、例示的な非限定的な実施形態では、実施態様は、分散処理、コンポーネント／オブジェクト分散処理、及び並列処理を含むことができる。仮想コンピュータシステム処理は、本明細書に記載の方法又は機能の１つ又は複数を実現するように構築することができ、本明細書に記載のプロセッサを使用して、仮想処理環境をサポートすることができる。

本開示は、命令６８４を含むか、又は伝播される信号に応答して命令６８４を受信及び実行するコンピュータ可読媒体６８２を企図し、それによってネットワーク６０１に接続された装置がネットワーク６０１を介してビデオ又はデータを通信できる。さらに、命令６８４は、ネットワークインターフェイス装置６４０を経由してネットワーク６０１を介して送信又は受信され得る。

従って、マルチモーダル画像レジストレーションは、前立腺がイメージングされるとき等の異なるモードに対して共通ではないイメージングされた特徴を用いても、処置前ＭＲＩと処置内超音波との画像レジストレーションを可能にする。

マルチモーダル画像レジストレーションについて、いくつかの例示的な実施形態を参照して説明してきたが、使用された単語は、限定の単語ではなく、説明及び例示の単語であることが理解される。その態様のマルチモーダル画像レジストレーションの範囲と精神から逸脱することなく、現在示されているように、また補正される場合に、添付の特許請求の範囲内で変更を加えることができる。マルチモーダル画像レジストレーションについて、特定の手段、材料、及び実施形態を参照して説明してきたが、マルチモーダル画像レジストレーションは、開示された詳細に限定することを意図していない。むしろマルチモーダル画像レジストレーションは、添付の特許請求の範囲内にあるような、全ての機能的に同等の構造、方法、及び使用にまで及ぶ。
例えば、再位置合わせ又は動き補償は、図１、図３、及び図５の方法について示され、説明されるプロセスの後者の特徴等、本明細書に記載される特徴を使用して実行することができる。例えば、前立腺が動いたときに、再位置合わせ又は動き補償を行うことができる。すなわち、本明細書に記載のプロセスは、前立腺の動きの決定に基づいて、器官の正中矢状面の２次元座標、器官の正中矢状面の画像レジストレーション、及び正中矢状面の超音波画像の追跡空間内の追跡位置に基づく追跡空間における３次元磁気共鳴イメージングボリュームの画像レジストレーションを再生成することを含むことができる。

さらに、２Ｄ ＭＲＩ正中矢状面セグメンテーションＳ_{ＭＲ＿ＭＬ}は、３Ｄ ＭＲＩ画像において前立腺を通る正中矢状面のｘ位置を推定すること等によって、最初にＳ_３ＤＭＲを取得することなく直接取得することができる。これは、例えば前立腺が３Ｄ ＭＲＩ画像の中心にあると仮定することによって行うことができる。次に、２Ｄセグメンテーションは、３Ｄ ＭＲＩボリュームの選択された正中矢状面でのみ実行することができる。

さらに、前立腺の２Ｄ正中矢状超音波画像は、３Ｄ超音波ボリュームに位置合わせし、３Ｄセグメンテーションによって２Ｄセクションを抽出するのではなく、直接セグメント化することができる。

別の代替法として、３Ｄ超音波の正中矢状面が既知である場合に、２Ｄ画像レジストレーションを直接実行することができる。具体的には、３Ｄ超音波の正中矢状面は、上記の実施形態で説明した２Ｄから３Ｄへの画像レジストレーションの代わりに、超音波の正中矢状面の画像に直接位置合わせすることができる。３Ｄ超音波の正中矢状面は、ボリュームの手動評価、又は３Ｄスイープの取得中に実施される特定のユーザ指示に基づいて、自動化を含む、様々な方法で特定することができる。

さらに別の代替法として、使用される超音波プローブのタイプ及びイメージングされる器官に応じて、「矢状」以外の異なる参照ビューを選択することができる。例えば、軸方向ビュー又は冠状ビューを選択して使用することができる。

本明細書に記載の実施形態の図は、様々な実施形態の構造の一般的な理解を与えることを意図している。議論される実施形態は、融合ガイド前立腺生検に関連しているが、本発明はそれに限定されない。特に、本明細書の開示は、一般に、前立腺だけでなく他の器官にも適用可能である。図は、本明細書に記載される本開示の全ての要素及び特徴の完全な説明として役立つことを意図するものではない。本開示を検討すると、他の多くの実施形態が当業者には明らかになり得る。構造的及び論理的な置換及び変更が、本開示の範囲から逸脱することなくなされ得るように、他の実施形態が利用され、本開示から導き出され得る。さらに、図は単なる表現であり、縮尺どおりに描かれていない場合がある。図内の特定の比率は誇張される場合がある一方、他の比率は最小化される場合がある。従って、開示及び図は、限定的ではなく例示的であると見なすべきである。

本開示の１つ又は複数の実施形態は、本願の範囲を特定の発明又は発明概念に自発的に限定することを意図することなく、単に便宜のために「発明」という用語によって、本明細書において個別に及び／又は集合的に言及され得る。さらに、特定の実施形態が本明細書に例示及び記載されているが、同じ又は同様の目的を達成するように設計された後続の任意の構成を、示される特定の実施形態の代わりに使用できることを理解されたい。この開示は、様々な実施形態のその後のあらゆる全ての適応又は変形を網羅することを意図している。上記の実施形態と、本明細書に具体的に記載されていない他の実施形態との組合せは、詳細な説明を検討すると当業者には明らかになるであろう。

開示の要約は、米国特許規則 セクション１．７２に準拠するために提供されており、特許請求の範囲又は意味を解釈又は制限するために使用されないことを理解した上で提出される。さらに、前述した詳細な説明では、開示を合理化（streaming）する目的で、様々な特徴を一緒にグループ化するか、又は単一の実施形態で説明することができる。この開示は、特許請求の範囲に記載された実施形態が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映していると解釈すべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の主題は、開示された実施形態のいずれかの特徴の全てよりも少ないものに向けられ得る。従って、以下の特許請求の範囲は詳細な説明に組み込まれ、各請求項は、個別にクレームされた主題を規定するものとして独立している。

開示される実施形態の前述した説明は、当業者が本開示に記載される概念を実践することを可能にするために提供される。そのため、上記の開示された主題は、例示的であり、限定的ではないと見なすべきであり、添付の特許請求の範囲は、本開示の真の精神及び範囲内にあるそのような全ての修正、強化、及び他の実施形態を網羅することを意図している。こうして、法律で認められる最大限の範囲で、本開示の範囲は、以下の請求項及びそれらの同等物の最も広い許容可能な解釈によって決定されるべきであり、前述した詳細な説明によって制限又は限定されないものとする。

Claims (14)

1. 磁気共鳴画像法（ＭＲＩ）の画像を、追跡される超音波プローブと、該超音波プローブによって生成された超音波画像で取り込まれた器官とを含む追跡空間に位置合わせするためのコントローラであって、当該コントローラは、
   命令を格納するメモリと、
   前記命令を実行するプロセッサと、を含み、
   前記命令が前記プロセッサによって実行されると、前記命令によって、当該コントローラに、
   前記器官のセグメンテーションを含む３次元セグメント化磁気共鳴イメージングボリュームと前記器官を通る正中矢状面との交差部に基づいて、前記器官の前記セグメンテーションによって切断された正中矢状の２次元座標を取得すること、
   追跡される超音波プローブを使用して、前記器官の前記正中矢状面の超音波画像の前記追跡空間内の追跡位置を生成すること、
   前記器官の前記正中矢状面の２次元セグメント化超音波表現を前記器官の前記正中矢状面の２次元セグメント化磁気共鳴イメージング表現に位置合わせして、前記器官の前記正中矢状面の画像レジストレーションを取得すること、及び
   前記器官の前記セグメンテーションの前記正中矢状面の前記２次元座標、前記器官の前記正中矢状面の前記画像レジストレーション、及び前記正中矢状面の前記超音波画像の前記追跡空間内の前記追跡位置に基づいて、前記３次元磁気共鳴イメージングボリュームの前記追跡空間へのレジストレーションを生成すること、を含むプロセスを実行させる、
   コントローラ。
2. 前記コントローラによって実行される前記プロセスには、
   ３次元磁気共鳴イメージングボリュームをセグメント化して、前記３次元セグメント化磁気共鳴イメージングボリュームを取得すること、
   前記３次元セグメント化磁気共鳴イメージングボリューム内の前記器官の前記正中矢状面を特定して、前記器官の前記正中矢状面の前記２次元セグメント化磁気共鳴イメージング表現を取得することがさらに含まれる、請求項１に記載のコントローラ。
3. 前記コントローラによって実行される前記プロセスには、前記正中矢状面の前記２次元セグメント化磁気共鳴イメージング表現の座標を前記器官の前記正中矢状面の前記２次元座標に変換することがさらに含まれる、請求項２に記載のコントローラ。
4. 前記コントローラによって実行される前記プロセスには、
   ３次元超音波ボリュームの生成を制御すること、
   該３次元超音波ボリュームをセグメント化して、セグメント化された３次元超音波ボリュームを取得すること、及び
   該セグメント化された３次元超音波ボリューム内の前記器官の前記正中矢状面を特定して、超音波正中矢状面を特定することがさらに含まれる、請求項１に記載のコントローラ。
5. 前記器官の前記正中矢状面は、ユーザから促された入力に基づいて特定される、請求項４に記載のコントローラ。
6. 前記コントローラによって実行される前記プロセスには、
   前記器官の前記正中矢状面の前記２次元セグメント化磁気共鳴イメージング表現を取得すること、
   ３次元超音波ボリュームの生成を制御すること、
   該３次元超音波ボリュームをセグメント化して、セグメント化された３次元超音波ボリュームを取得すること、
   該セグメント化された３次元超音波ボリューム内の前記器官の前記正中矢状面を特定して、超音波正中矢状面を特定すること、及び
   前記器官の前記正中矢状面の前記２次元セグメント化磁気共鳴イメージング表現を前記超音波正中矢状面に位置合わせすることがさらに含まれる、請求項１に記載のコントローラ。
7. 前記器官の前記正中矢状面の前記２次元セグメント化磁気共鳴イメージング表現を前記超音波正中矢状面に位置合わせすることは、反復最接近点アルゴリズムを使用して実行される、請求項６に記載のコントローラ。
8. 前記器官には、前立腺が含まれる、請求項１に記載のコントローラ。
9. 前記追跡空間における前記３次元磁気共鳴イメージングボリュームの前記画像レジストレーションは、介入医療処置中にライブで実行される、請求項１に記載のコントローラ。
10. 前記コントローラによって実行される前記プロセスには、前記器官を横切って前記超音波プローブをスイープしている間に取得された一連の空間的に追跡された２次元超音波画像をボリュームに再構成することにより、３次元超音波ボリュームを生成することがさらに含まれる、請求項１に記載のコントローラ。
11. 前記コントローラによって実行される前記プロセスには、磁気共鳴画像法の画像の対応するセクションと融合したライブで追跡される超音波画像を表示するようにディスプレイを制御することがさらに含まれる、請求項１に記載のコントローラ。
12. 前記コントローラによって実行される前記プロセスには、
    前記器官の動きを決定すること、及び
    該器官の動きの決定に基づいて、前記器官の前記正中矢状面の前記２次元座標、前記器官の前記正中矢状面の前記画像レジストレーション、及び前記正中矢状面の前記超音波画像の前記追跡空間内の前記追跡位置に基づく前記追跡空間への前記３次元磁気共鳴イメージングボリュームの位置合わせを再生成することがさらに含まれる、請求項１に記載のコントローラ。
13. 磁気共鳴画像法（ＭＲＩ）の画像を、超音波プローブと、該超音波プローブによって生成された超音波画像で取り込まれた器官とを含む追跡空間に位置合わせするための方法であって、当該方法は、
    前記器官のセグメンテーションを含む３次元セグメント化磁気共鳴イメージングボリュームと、前記器官の正中矢状面の２次元セグメント化磁気共鳴イメージング表現との交差部に基づいて、前記器官の前記セグメンテーションによって切断された正中矢状面の２次元座標を取得するステップと、
    追跡される超音波プローブを使用して、前記器官の正中矢状面の超音波画像の前記追跡空間内の追跡位置を生成するステップと、
    プロセッサ及びメモリを含むコントローラの前記プロセッサによって、前記器官の前記正中矢状面の２次元セグメント化超音波表現を前記正中矢状面の２次元セグメント化磁気共鳴イメージング表現に位置合わせして、前記器官の前記正中矢状面の画像レジストレーションを取得するステップと、
    前記プロセッサによって、前記器官の前記正中矢状面の前記２次元座標、前記器官の前記正中矢状面の前記画像レジストレーション、及び前記正中矢状面の前記超音波画像の前記追跡空間内の前記追跡位置に基づいて、前記３次元磁気共鳴イメージングボリュームの前記追跡空間へのレジストレーションを生成するステップと、を含む、
    方法。
14. 磁気共鳴画像法（ＭＲＩ）の画像を、超音波プローブと、該超音波プローブによって生成された超音波画像で取り込まれた器官とを含む追跡空間に位置合わせするためのシステムであって、当該システムは、
    命令を格納するメモリ、及び前記命令を実行するプロセッサを含むコントローラと、
    超音波プローブと、を含み、
    前記命令が前記プロセッサによって実行されると、前記命令によって、前記コントローラに、
    前記器官のセグメンテーションを含む３次元セグメント化磁気共鳴イメージングボリュームと、前記器官の正中矢状面の２次元セグメント化磁気共鳴イメージング表現との交差部に基づいて、前記器官のセグメンテーションによって切断された前記正中矢状面の２次元座標を取得すること、
    前記超音波プローブを使用して、前記器官の正中矢状面の超音波画像の前記追跡空間内の追跡位置を生成すること、
    前記器官の前記正中矢状面の２次元セグメント化超音波表現を前記器官の前記正中矢状面の２次元セグメント化磁気共鳴イメージング表現に位置合わせして、前記器官の前記正中矢状面の画像レジストレーションを取得すること、及び
    前記器官の前記正中矢状面の前記２次元座標、前記器官の前記正中矢状面の画像レジストレーション、及び前記正中矢状面の前記超音波画像の前記追跡空間内の前記追跡位置に基づいて、前記３次元磁気共鳴イメージングボリュームの前記追跡空間へのレジストレーションを生成すること、を含むプロセスを実行させる、
    システム。

Images