JP2015515297A - マルチモダリティ・デフォーマブルレジストレーション - Google Patents

Abstract

関数従属性が欠けているか非常に特定困難かである２つの異なるモダリティ間でマルチモダリティ・デフォーマブル画像レジストレーションを実行する方法、システム及びコンピュータプログラムが提供される。この方法は、２つのモダリティ内の限られた数の識別可能ランドマークのみの非線形マッピングと関心構造の統計的な変形モデルとを計算することによって、２つの画像モダリティ内の全て点対の間の非線形マッピングを提供する。この方法は、複数の被検体についての異なる変形状態での同じ撮像モードによる画像から、身体構造の平均変形と複数の変形モード固有ベクトルとを計算し、同じ被検体についての２つの異なる撮像モダリティからの画像間で有限数の一意的に識別可能なランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場を計算し、平均変形及び変形モードベクトルとともにランドマークでの変形場の値を用いて、各変形モード固有ベクトルの重みを決定し、重み付けられた変形モードベクトルの線形結合と平均変形場とを加算して、画像内の全ての点に関する異なる撮像モード間の変形場を決定することを有する。

Description

本発明は、医用撮像の分野に関し、より具体的には、統計に基づく変形モデリングと疎らな変形データとを用いる自動的なマルチモダリティ・デフォーマブルレジストレーションのための方法、システム及びコンピュータプログラムに関する。

画像レジストレーションは、医用画像処理における重要な課題である。医用画像レジストレーションにおける主な目標は、同じ物体又は構造の同一の画像又は複数の異なる画像をアライメントする幾何学変換を計算することである。複数の異なる画像は同一のモダリティ又は複数の異なるモダリティを有し得る。医用画像レジストレーションに関する一般的なモダリティは、以下に限られないが、磁気共鳴撮像（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、及び超音波（ＵＳ）を含む。

画像レジストレーション問題の重要な一部分が、マルチモダリティ画像融合と呼ばれることもある異なる画像モダリティからの画像のマッチングに取り組んでいる。マルチモダリティ画像のグレー値（濃淡値）間の関係は常に容易に決定されるわけではなく、また一部のケース（例えば、ＵＳに対するＭＲＩ）では、関数従属性が一般的に欠けているか非常に特定困難かであるので、マルチモダリティ画像レジストレーションは特に難題である。

マルチモダリティ画像レジストレーションの一例は、例えば前立腺生検又は小線源治療などの画像誘導（画像ガイド下）手技におけるＵＳ画像とのＭＲＩ画像の融合である。ＭＲＩモダリティは、高解像度の解剖学的画像を提供するが、ＭＲＩは、前立腺生検などの術中手技には高価である。一方、ＵＳモダリティは、前立腺生検などの画像誘導手技に必要とされるリアルタイム撮像に理想的であるが、非常に乏しい画像解像度を有する。これら２つのモダリティの融合は、リアルタイム撮像（ＵＳ）の利益を高分解能撮像（ＭＲＩ）と結合させる。例えば、標的前立腺生検手技において、術前ＭＲＩ画像のリアルタイムＵＳ撮像との融合は、ＭＲＩ画像内で容易に識別されることが可能な癌性領域を超音波画像内で位置特定することに極めて重要である。前立腺の術前ＭＲＩ画像をリアルタイム経直腸超音波（trans-rectal ultrasound；ＴＲＵＳ）撮像と融合する自動画像レジストレーション技術を開発することが有利となる。

ＭＲＩとＵＳという画像モダリティ間の関数従属性の欠如は、強度に基づくメトリック（計量）を画像レジストレーションに利用することを非常に困難にしている。故に、提案される殆どのＭＲＩ対ＵＳ画像融合方法は、以下の２つの手法のうちの一方でのポイントマッチング法（点整合法）に集中している：（１）双方のモダリティからの画像内で視認可能な一組の共通のランドマーク（例えば尿道の輪郭など）が手動あるいは自動的の何れかで抽出されて、点ベースのレジストレーションに使用される；又は（２）自動技術又は手動技術を用いて２つのモダリティの各々内で前立腺の表面がセグメント化され、抽出された点群が、これら二組の点の間の距離を最小化しようとする点ベースのレジストレーションフレームワークに与えられる。

例えば、フィリップス社のＵｒｏｎａｖシステムでは、セグメント化された前立腺表面点データを用いてＭＲＩをＴＲＵＳとレジストレーションするために、点ベースの剛体レジストレーション手法が使用されている。前立腺は、ＵＳ画像及びＭＲＩ画像の双方で、一組の表面輪郭点として自動的にセグメント化される。剛体レジストレーションは、これら二組の点の間の距離を最小化する最良の並進パラメータ及び回転パラメータの組を発見しようとする。しかしながら、前立腺は剛性の形状ではなく、前立腺の形状は、これらのモダリティの各々による画像の収集中に様々に変形し得る。ＭＲＩ画像は典型的に、画像品質を高めるために直腸コイル（Endorectal coil；ＥＲＣ）が直腸に挿入されている間に収集される。ＴＲＵＳ撮像は、前立腺に隣接する直腸壁に直に接触するようにＴＲＵＳプローブを配置してフリーハンド実行され、それにより、画像収集中に前立腺の形状が変形される。

マルチモダリティ・デフォーマブル画像レジストレーションのための方法、システム及びコンピュータプログラムを提供する。

本発明の一態様によれば、マルチモダリティ・デフォーマブル画像レジストレーションのための方法が提供される。この方法は２つの段階を有する。第１段階にて、異なる変形状態での同じ“高精細”撮像モダリティからの画像を用いて、変形モデルが訓練されて、平均変形と複数の変形モードベクトルとが決定される。この文脈において、高精細とは、関心ある構造を明瞭に描写する撮像モダリティを表す。第２段階にて、１つの変形状態での１つの撮像モダリティからの画像を、異なる変形状態での別の撮像モダリティからの画像にマッチングするのに必要な変形が推定される。２つの異なるモダリティにおける２つの変形状態間の変形を推定するため、双方のモダリティで一意的に識別可能な一組のランドマークが抽出されて非線形にレジストレーションされる。そして、識別されたランドマークの位置での計算された変形値を変形モデルに挿入して変形モードの固有係数を解くことによって、全ての点で２つのモダリティをマッチングする変形場が実現される。最後に、重み付けられた変形モードベクトルの線形結合と平均変形の場とが足し合わされて、残りの点における２つの撮像モード間の変形場が決定される。

一実施形態によれば、平均変形及び複数の変形モードベクトルは、各被検体について、画像を共通基準フレームに対して空間的にアライメントし、同じ撮像モダリティ且つ異なる変形状態からの各被検体の撮像データを、例えば強度に基づくメトリックなどの類似度メトリック及び例えばＢスプラインなどの非線形変換技術を用いてワーピングし、且つ主成分分析を実行して平均変形及び複数の変形モードベクトルを決定することによって計算される。

一実施形態によれば、訓練段階において、同じモダリティの（異なる変形状態での）強度画像間でデフォーマブルレジストレーションを適用することに代えて、大きいランドマークセットが使用されてもよい。この実施形態においては、関心ある身体構造に関する変形場を生成するために、強度ベースのレジストレーションに代えて、点ベースの非線形レジストレーションが２つの異なる変形状態における全てのランドマーク間で実行される。そして、複数の被検体の変形場から、平均変形と変形モード固有ベクトルとが計算される。

一実施形態によれば、別の撮像モダリティからの画像は、平均変形と複数の変形モードベクトルとを計算するために使用された変形状態の何れからも異なる変形状態でのものである。例えば、ＴＲＵＳプローブに伴う前立腺の変形状態は、ＭＲＩ撮像中に使用される直腸コイルに伴う変形状態とも、ＭＲＩ撮像中の直腸コイルなしでのゼロ変形状態とも異なるものである。

一実施形態によれば、別の撮像モダリティはリアルタイム撮像モダリティである。一実施形態において、このリアルタイム撮像モダリティは、ＴＲＵＳプローブを用いる超音波撮像である。

本発明の他の一態様によれば、マルチモダリティ・デフォーマブル画像レジストレーションを実行するシステムが提供される。このシステムは、少なくとも１つのプロセッサと、プロセッサに動作的に接続される少なくとも１つのメモリと、少なくとも１つのメモリに格納されて少なくとも１つのプロセッサによって実行される少なくとも１つのプログラムの命令とを有する。このプログラムの命令は、複数の被検体についての異なる変形状態での同じ高精細撮像モードからの画像から、身体構造に関する平均変形と複数の変形モード固有ベクトルとを計算するためのプログラム命令と、同じ被検体についての高精細撮像モダリティからの一組のランドマーク点と別の撮像モダリティからの一組のランドマーク点との間で非線形レジストレーションを実行して、これらの画像からのランドマークに関する変形場を計算するためのプログラム命令と、平均変形及び変形モードベクトルとともにランドマーク位置の変形場の値を用いて、各変形モード固有ベクトルの重みを決定するためのプログラム命令と、重み付けられた変形モードベクトルの線形結合と平均変形の場とを足し合わせて、異なる撮像モード間の変形場を決定するためのプログラム命令とを有する。

一実施形態によれば、このシステムは更に、上記別の撮像モダリティを用いるリアルタイム撮像システムを有する。

一実施形態によれば、リアルタイム撮像システムは、超音波撮像システムであり、且つ、撮像データを生成するよう少なくとも１つのプロセッサに動作的に接続される経直腸超音波トランスデューサを更に有する。

一実施形態によれば、このシステムは更に、高精細画像を生成するよう少なくとも１つのプロセッサと動作的に接続される高精細撮像システムを有する。

一実施形態によれば、高精細撮像システムは、磁気共鳴撮像装置に動作的に接続される磁気共鳴撮像システムである。

一実施形態によれば、このシステムは更に、高精細撮像システムの撮像を向上させるように被検体内に配置される直腸コイルを有する。

一実施形態によれば、平均変形及び複数の変形モードベクトルは、各被検体について、画像を共通基準フレームに対して空間的にアライメントし、同じ撮像モダリティであるが異なる変形状態からの各被検体の撮像データを、例えば強度に基づくメトリックなどの類似度メトリック及び例えばＢスプラインなどの非線形変換技術を用いてワーピングし、且つ主成分分析を実行して平均変形及び複数の変形モードベクトルを決定することによって計算される。

本発明の他の一態様によれば、マルチモダリティ・デフォーマブル画像レジストレーションを提供するためのコンピュータプログラムプロダクトが提供される。このコンピュータプログラムプロダクトは、少なくとも１つのコンピュータ実行可能プログラムの命令をエンコードした少なくとも１つのコンピュータ読み取り可能記憶装置を有し、この少なくとも１つのコンピュータ実行可能プログラムの命令は、複数の被検体についての異なる変形状態での同じ高精細撮像モードからの画像から、身体構造に関する平均変形と複数の変形モード固有ベクトルとを計算するためのプログラム命令と、同じ被検体についての高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場を計算するためのプログラム命令と、平均変形及び変形モードベクトルとともにランドマーク位置の変形場の値を用いて、各変形モード固有ベクトルの重みを決定するためのプログラム命令と、重み付けられた変形モードベクトルの線形結合と平均変形の場とを足し合わせて、異なる撮像モード間の変形場を決定するためのプログラム命令とを有する。

一実施形態によれば、平均変形と複数の変形モードベクトルとを計算するためのプログラム命令は、各被検体について、画像を共通基準フレームに対して空間的にアライメントするためのプログラム命令と、同じ撮像モダリティであるが異なる変形状態からの各被検体の撮像データを、例えば強度に基づくメトリックなどの類似度メトリック及び例えばＢスプラインなどの非線形変換技術を用いてワーピングするためのプログラム命令と、主成分分析を実行して平均変形及び複数の変形モードベクトルを決定するためのプログラム命令とを有する。

以下の好適実施形態の詳細な説明を添付図面と関連付けて読むことにより、本発明の特徴及び効果が更に明瞭に理解されることになる。図面には以下の図が含まれる。
本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションの第１画像収集を提供するシステムを示す等角図である。 本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションの第２画像収集を提供するシステムを示す等角図である。 本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションを提供するシステムを示すブロック図である。 本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションに使用される変形モデルを訓練する方法を示すフロー図である。 本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションにおいて変形を推定する方法を示すフロー図である。

本発明は、マルチモダリティ・デフォーマブル画像レジストレーションのための方法、システム及びコンピュータプログラムを提供する。マルチモダリティ・デフォーマブルレジストレーションは二段階で実行される。第１段階において、レジストレーションされる画像の現場となる身体構造の変形モデルが生成される。このモデルは、複数の被検体の各々に対しての、相異なる変形状態での、同じ高精細撮像モードによる複数の画像、を用いて生成される。変形モデルは、平均変形及び複数の変形モードベクトルの形態で生成される。

第２段階において、第１段階からの１つの変形状態での高精細撮像モードによる画像を、異なる１つの変形状態を有した別の撮像モダリティからの画像に変形するための変形場が推定される。異なるモダリティからの単一の被検体の画像同士をマッチングするのに必要な変形場が、これらの異なるモダリティからの画像間でのレジストレーションを双方の撮像モダリティで一意的に識別可能な一組のランドマークを用いて実行することによって推定される。限られた数のランドマークに関して計算された変形値を用いて、上記複数の変形モードベクトルの各々の重みが決定される。（上述のレジストレーションに使用されたランドマーク以外の）残りの点の位置での、これら２つの異なる撮像モダリティ間の変形場を決定するため、平均変形場と、重み付けられた変形モードベクトルの線形結合とが足し合わされる。

図１は、本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションの第１段階を提供するシステムを示している。このシステムは、高精細撮像装置１７０を有している。図示した例において、高精細撮像装置は、ＭＲＩ画像を取得するＭＲＩ装置である。しかしながら、理解されるように、本発明を実施することには、例えばＣＴ又は超音波マシンなどの、その他の高精細撮像装置も使用され得る。

マルチモダリティ・デフォーマブル画像レジストレーションの第１段階を実行するシステムはまた、例えば汎用コンピュータ又はその他のプロセッシング装置などの、処理システム１００を有している。

図３は、本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションを実行するシステムのブロック図である。図３に示すように、処理システム１００（図１）は、プロセッサ１１０と、例えばシステムバス１２０によってなどでプロセッサに動作的に接続されるメモリ１３０と、撮像装置１７０をプロセッサ１１０に動作的に接続する入力／出力（Ｉ／Ｏ）コネクタ１１５とを有している。プロセッサ１１０は、例えば１つ以上のマイクロプロセッサなど、プログラム命令を実行することが可能な如何なる装置ともし得る。また、プロセッサ１１０は汎用コンピュータにて具現化されてもよい。

メモリ１３０は、例えばリムーバブルディスク、ハードドライブ、ＣＤ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、又はこれらに類するものなど、データ及びプログラム命令を格納するのに適した如何なる揮発性記憶装置又は不揮発性記憶装置ともし得る。また、メモリ１３０は１つ以上の記憶装置を有し得る。

Ｉ／Ｏコネクタ１１５は、プロセッサ１１０を撮像装置１７０、別のコンピュータ又はデータソースに動作的に接続する如何なるハードウェアともし得る。Ｉ／Ｏコネクタは、以下に限られないが、ＲＳ２３２シリアルインタフェースポート、イーサネット（登録商標）ポート、及びＵＳＢポートを含み得る。

処理システム１００は更に、メモリ１３０に格納された撮像プログラム１３２を有し、撮像プログラム１３２は、プロセッサ１１０によって実行されて、撮像装置１７０から撮像データを受信して処理し、ディスプレイ１４０上に画像を表示する。撮像プログラム１３２は、高精細画像を取得するために使用される撮像装置種類に適した如何なる既知の撮像プログラムであってもよく、様々な画像処理機能に関するモジュール又はユニットを含み得る。

処理システム１００はまた、詳細に後述されるように、マルチモダリティ画像レジストレーションに使用される変形モデルを生成するモデリングプログラム１３４を有している。

図４は、本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションに使用される変形モデルを訓練する方法のフロー図である。以下の説明においては、例えば前立腺生検又は小線源治療などの画像誘導手技のために前立腺のＭＲＩ画像を同じ被検体の前立腺のリアルタイム超音波画像にレジストレーションする一実施形態が記述される。しかしながら、当業者に理解されるように、更なる実施形態は、ＭＲＩ以外、超音波以外、又はこれら双方以外の撮像モダリティに向けられ得る。また、更なる実施形態は、異なる身体構造及び異なる手技に向けられ得る。

撮像プログラム１３２が、複数の被検体の各々に対して、相異なる変形状態で高精細画像を取得する（ステップ４１０）。図示した例においては、前立腺の変形を引き起こす直腸コイル（ＥＲＣ）１８０を直腸に挿入した第２変形状態で画像が撮影されるとともに、ＥＲＣなしの第１変形状態で画像が撮影される。技術的に知られているように、ＥＲＣは、前立腺ＭＲＩ画像の画像品質を高めるために使用される。被検体数は、変形モデル内で使用されることになるモードベクトル数より多いように選定される。例えば、５０の被検体サイズが使用され得る。

必要に応じて、セグメント化された画像が、ボクセルごとの識別及びレジストレーションを可能にする。

第１変形状態での全ての被検体からの画像（ＥＲＣなしＭＲＩ）が、例えば全ての被検体からのＥＲＣなし画像の平均などのテンプレートに空間的にアライメントされる（ステップ４３０）。空間的なアライメントは、剛体変換、アフィン変換、若しくは非線形レジストレーション、又はこれらの３つの何らかの組み合わせを用いて実現され得る。

そして、各被検体について、第１変形状態（ＥＲＣなし）ＭＲＩ画像が、同じ被検体からの第２変形状態（ＥＲＣあり）ＭＲＩ画像に対して、強度に基づくメトリックを用いて空間的にアライメントされる（ステップ４４０）。

第１変形状態（ＥＲＣなし）ＭＲＩ画像が同じ被検体からの第２変形状態（ＥＲＣあり）ＭＲＩ画像に空間アライメントされた後、第１変形状態（ＥＲＣなし）ＭＲＩ画像が、同じ被検体からの第２変形状態（ＥＲＣあり）ＭＲＩ画像へと、非線形にワーピングされる（歪められる）（ステップ４５０）。非線形ワーピングは各被検体について繰り返される。

非線形ワーピングは、強度に基づくメトリックを用いたＢスプラインレジストレーション技術を用いて実行され得る。他の例では、第２状態画像データを同じ被検体の第１状態画像データへとワーピングして各被検体の前立腺に関する変形場を得るために、例えば有限要素法などの別の非線形推定技術が使用されてもよい。変形場の式は：

であり、だたし、ｄ^＜ｉ＞、及びバー（−）付きｄは、それぞれ、サンプル訓練データｉについてのＥＲＣなしＭＲＩ対ＥＲＣありＭＲＩの非線形レジストレーションから得られる変形場、及び平均変形場を表す。

そして、平均変形が計算され、主成分分析（principal component analysis；ＰＣＡ）を用いて、マルチモダリティ画像レジストレーションの第１（モデル）段階に使用された被検体の変位場から変形モードが取得される（ステップ４６０）。

平均変形は、複数の被検体の変形の平均をとることによって：

として計算される。ただし、ｎはデータセット数すなわちサンプル数すなわち撮像される患者数であり、ｉ＝１，２，・・・，ｎはデータセットの索引を表す。

ＰＣＡを用いて、以下のようにして、サンプル画像の変位場から変形モードが取得される。計算された変位場（３つの成分ｘ，ｙ，ｚを有する）をＤ_{ｉ（ｍｘ３）}とする。各変形場が、そのデータセットの全てのデータ点からのｘ，ｙ，ｚ成分を連結することによって、１次元ベクトルへとフォーマット変更される。

共分散行列Σが：

のように計算される。

共分散行列Σを対角化する変形固有ベクトルの行列Ψが：

として見い出される。ただし、Λ＝｜λ_ｉ｜_ｎｘｎは、Σの固有値をその対角要素として有する対角行列である。

データセット内のデータ点の個数をｍとして、変位場行列（Ｄ_ｍｘｎ）の固有ベクトルが：

によって見い出される。

平均変形に変形モード（φ_ｉ）の線形結合を加えた線形結合：

から、任意の変位場を推定することができる。ただし、ｋは変形モードの個数であり、ｋ＜＜ｎである。

他の一実施形態において、第１段階又は訓練段階は、強度に基づくレジストレーションに代えて、大きいランドマークセット（ランドマークの組）を用いて変形場を計算することを有する。同一の撮像モダリティからの（相異なる変形状態での）強度画像間にデフォーマブルレジストレーションを適用することに代えて、大きいランドマークセットが使用され得る。ランドマークは、相異なる変形状態を用いて同一の撮像モダリティから測定される。一方の変形状態でのランドマーク位置と他方の変形状態でのランドマーク位置との間でレジストレーションが実行されて、変形場が生成される。例えば主成分分析を用いて、変形場から平均変形と変形モード固有ベクトルとを計算することができる。この実施形態において、訓練段階用のランドマークセットは、第２段階で変形モード固有ベクトルの重みを計算するために使用されるランドマークセットより遥かに大きくされる。

図２は、本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションの第２画像を提供するシステムを示している。このシステムは、高精細撮像装置１７０とは異なる撮像モダリティの第２の撮像装置２５０を有している。図示した例において、第２の撮像装置は、超音波撮像プローブであり、より具体的には、例えば前立腺生検などの画像誘導インターベンション手技のためのリアルタイム画像を撮影する経直腸超音波トランスデューサ（ＴＲＵＳ）である。しかしながら、理解されるように、本発明を実施することには、如何なるリアルタイム撮像装置又はその他の撮像装置が使用されてもよい。

ＴＲＵＳ２５０は、撮像システム２００と動作的に接続される。図３に示すように、撮像システム２００は、ＴＲＵＳ２５０から受信された撮像データからの超音波画像を処理して、それらをディスプレイ２４０上で提示するプロセッサ２１０を有している。プロセッサ２１０は、例えばバス２２０を介してなどで、メモリ２３０（図３）と動作的に接続される。入力／出力（Ｉ／Ｏ）コネクタ２１５が、撮像装置２５０をプロセッサ２１０に動作的に接続するとともに、高精細撮像システム１００をプロセッサ２１０に動作的に接続する。

プロセッサ２１０は、例えば１つ以上のマイクロプロセッサなど、プログラム命令を実行することが可能な如何なる装置ともし得る。また、プロセッサ２１０は汎用コンピュータにて具現化されてもよい。

メモリ２３０は、例えばリムーバブルディスク、ハードドライブ、ＣＤ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、又はこれらに類するものなど、データ及びプログラム命令を格納するのに適した如何なる揮発性記憶装置又は不揮発性記憶装置ともし得る。また、メモリ２３０は１つ以上の記憶装置を有し得る。

Ｉ／Ｏコネクタ２１５は、プロセッサ２１０を撮像装置２５０、別のコンピュータ又はデータソースに動作的に接続する如何なるハードウェアともし得る。Ｉ／Ｏコネクタは、以下に限られないが、ＲＳ２３２シリアルインタフェースポート、イーサネット（登録商標）ポート、及びＵＳＢポートを含み得る。

撮像システム２００及び高精細撮像システム１００は２つの別々のシステムとして示されているが、それらは実際には、単一の汎用コンピュータにて具現化された同じシステムであってもよい。他の例では、高精細撮像システム１００からの撮像データは、記憶装置上で撮像システム２００に提供されてもよいし、例えばイントラネット又はインターネットなどのネットワーク上でシステム間で伝送されてもよい。

メモリ２３０はその上に、撮像装置２５０から撮像データを受信して身体構造の画像を生成するための、プロセッサ２１０によって実行可能な撮像プログラムの命令２３２をエンコードしている。図示した実施形態において、撮像装置２５０はＴＲＵＳであり、生成される画像は前立腺のリアルタイム超音波画像である。

メモリ２３０はまたその上に、マルチモダリティ・デフォーマブル画像レジストレーションにおいて変形を推定するための、プロセッサ２１０によって実行可能な推定プログラムの命令２３４をエンコードしている。

図５は、本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションにおいて変形を推定する方法のフロー図である。これは、マルチモダリティ・デフォーマブル画像レジストレーションを提供する方法の第２段階である。

プロセッサ２１０によって実行される推定プログラムの命令２３４は、同じ被検体に関する２つの異なるモダリティからの２つの異なる変形状態での画像を、共通の基準に対して、空間的にアライメントする（ステップ５１０）。第１の画像モダリティは、ステップ４１０にて収集されて高精細撮像システム１００のプロセッサ１１０によって送信された、複数の被検体からの例えばＭＲＩなどの高精細画像モダリティのうちの１つとし得る。他の例では、高精細画像は、テンプレートを訓練するために使用された画像とは別個に、高精細撮像システム１００によって収集され得る。

別の撮像モダリティは、本発明の一実施形態によれば、ＴＲＵＳプローブ２５０を用いるリアルタイム超音波撮像モダリティとし得る。他の例では、高精細画像に対するレジストレーションに有利なその他の撮像モダリティの撮像システムが使用されてもよい。

一実施形態によれば、２つの異なる撮像モダリティは、変形モデルを訓練するために使用された高精細画像の平均に対して、空間的にアライメントされる。しかしながら、双方の画像が同一の基準にアライメントされる限り、如何なる共通基準が使用されてもよい。

推定プログラムの命令２３４は、同じ被検体からの双方の画像からランドマークを抽出する。図示した実施形態において、別のモダリティからの画像は、リアルタイム撮影されるＴＲＵＳプローブ２５０を用いた超音波画像である。リアルタイムＴＲＵＳ画像は、例えば前立腺生検などの手技のためのインターベンション中のツール誘導に使用される。この実施形態における他方の画像は術前ＭＲＩ画像である。推定プログラムの命令２３４を実行するプロセッサ２１０は、超音波撮像システム２００のプロセッサであってもよいし、どちらかの撮像システム内の、あるいは双方の撮像システムの外部の、別個のプロセッサであってもよい。

ランドマークは、例えば尿道の輪郭又は前立腺表面輪郭点など、双方の画像内で視認可能な如何なるランドマークともし得る。各画像内のランドマークの点が、例えば強度に基づくメトリックなどの既知の点抽出法を用いて抽出され得る。抽出される点の個数は好ましくは、ステップ４６０にて計算される全ての変形モードついて固有値（又は、固有重み若しくは固有係数）を解くのに十分にされる。

推定プログラムの命令２３４は、抽出されたランドマークを２つの異なる撮像モダリティ間でレジストレーションして、ランドマーク点に関する変換行列を決定する（ステップ５３０）。この変換行列は、ランドマークに関してのみ正確であり、身体構造に内在する様々な変形モードを補償するものではない。

ステップ４６０にて計算された変形モデルからの平均変形及び固有ベクトルにランドマーク点をマッチングするように、計算された変形場を用いて、推定プログラムの命令２３４内の変形モデルソルバーが、ｉ＝１，２，・・・，ｋとして、各変形モードｉに関する固有係数α_ｉ又は固有値を計算する（ステップ５４０）。変形モデルソルバーは、固有重みを：

のように計算する。ただし、Ｓはランドマーク点の組の索引に相当する。

そして、推定プログラムの命令２３４内の変形場エスティメータが、重み付けられた変形モードと平均変形とを足し合わせることによって、撮像された身体構造内の全ての点についての変形場を推定する（ステップ５５０）。変形場エスティメータは、ステップ４６０からの平均変形と、ステップ４６０からの変形モードの線形結合とを、ステップ５４０からの固有値を用いて：

のように加算する。ただし、Ｐは画像内の全ての点に相当する。

本発明は、完全にハードウェアの実施形態、又はハードウェア要素とソフトウェア要素との双方を含んだ実施形態の形態を取ることができる。例示的な一実施形態において、本発明はソフトウェアにて実装され、ソフトウェアは、以下に限られないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む。

また、本発明は、コンピュータ又は何らかの命令実行システム若しくは装置によって、あるいはそれとともに使用されるプログラムコードを提供するコンピュータ使用可能あるいはコンピュータ読み取り可能な媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取り得る。ここでの説明の目的で、コンピュータ使用可能あるいはコンピュータ読み取り可能な媒体は、命令実行システム、機器又は装置によって、あるいはそれとともに使用されるプログラムを収容あるいは格納することができる如何なる装置ともし得る。

以上の方法は、例えばコンピュータなどの機械によって実行されるときに当該方法のステップを実行する機械実行可能なプログラムの命令を有した機械読み取り可能媒体を有するプログラムプロダクトによって実現されてもよい。このプログラムプロダクトは、以下に限られないがコンパクトディスク、フロッピー（登録商標）ディスク及びＵＳＢメモリ装置などを含む多様な知られた機械読み取り可能媒体のうちの何れか上に格納され得る。

これらの媒体は、電子式、磁気式、光学式、電磁式、赤外線式、あるいは半導体のシステム（又は、機器若しくは装置）とすることができる。コンピュータ読み取り可能媒体の例は、半導体メモリ若しくはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、リジッドな磁気ディスク及び光ディスクを含む。光ディスクの現行例は、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、書換可能コンパクトディスク（ＣＤ−Ｒ／Ｗ）、及びＤＶＤを含む。

以上の説明及び添付の図面は、発明の限定ではなく、発明の例示を意図したものである。本発明の範囲は、以下の請求項の範囲全体に対して均等な変形及び構成を包含するものである。

例えば、フィリップス社のＵｒｏｎａｖシステムでは、セグメント化された前立腺表面点データを用いてＭＲＩをＴＲＵＳとレジストレーションするために、点ベースの剛体レジストレーション手法が使用されている。前立腺は、ＵＳ画像及びＭＲＩ画像の双方で、一組の表面輪郭点として自動的にセグメント化される。剛体レジストレーションは、これら二組の点の間の距離を最小化する最良の並進パラメータ及び回転パラメータの組を発見しようとする。しかしながら、前立腺は剛性の形状ではなく、前立腺の形状は、これらのモダリティの各々による画像の収集中に様々に変形し得る。ＭＲＩ画像は典型的に、画像品質を高めるために直腸コイル（Endorectal coil；ＥＲＣ）が直腸に挿入されている間に収集される。ＴＲＵＳ撮像は、前立腺に隣接する直腸壁に直に接触するようにＴＲＵＳプローブを配置してフリーハンド実行され、それにより、画像収集中に前立腺の形状が変形される。
Chowdhury，Najeeb他の“Linked statistical shape models for multi-modal segmentation：application to prostate CT-ME segmentation in radiotherapy planning”、Medical Imaging 2011：Computer-aided Diagnosis、SPIE、1000 20 ^th St.、Bellingham WA 98225-6705 USA、第7963巻、第1号、2011年3月3日、pp.1-15、XP060008531、DOI：10.1117/12.878416は、マルチモダリティレジストレーション用の薄板スプライン（ＴＰＳ）を用いて、異なるモダリティからの画像を互いにレジストレーションする方法を提示している。

Claims (18)

1. マルチモダリティ・デフォーマブル画像レジストレーションを提供する方法であって、
   複数の被検体に対して高精細撮像モダリティを用いて異なる変形状態で収集された関心身体構造の変形モデルを生成するステップと、
   前記モデルから前記関心身体構造に関して平均変形と複数の変形モードベクトルとを計算するステップと、
   同じ被検体についての前記高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場変換行列を計算するステップと、
   前記平均変形及び前記変形モードベクトルとともに前記ランドマークの位置の変形場の値を用いて、各変形モードベクトルの重みを決定するステップと、
   重み付けられた変形モードベクトルの線形結合と前記平均変形の場とを足し合わせて、異なる撮像モード間の変形場を決定するステップと、
   を有する方法。
2. 前記平均変形及び前記複数の変形モードベクトルは、
   各被検体について、画像を共通基準フレームに対して空間的にアライメントし、
   前記異なる変形状態からの各被検体の撮像データを、画像類似度メトリック及び非線形変換技術を用いてワーピングし、且つ
   主成分分析を実行して前記平均変形及び前記複数の変形モードベクトルを決定する
   ことによって計算される、請求項１に記載の方法。
3. 前記平均変形及び前記複数の変形モードベクトルは、
   各被検体について、一組のランドマークの位置を測定し、
   全ての前記ランドマーク間で点ベースの非線形レジストレーションを実行し、且つ
   前記ランドマークに関する変形モデルを生成する
   ことによって計算される、請求項１に記載の方法。
4. 前記別の撮像モダリティからの画像は、前記平均変形と前記複数の変形モードベクトルとを計算するために使用された前記変形状態の何れからも異なる変形状態でのものである、請求項１に記載の方法。
5. 前記別の撮像モダリティはリアルタイム撮像モダリティである、請求項１に記載の方法。
6. 前記別の撮像モダリティは経直腸超音波撮像（ＴＲＵＳ）である、請求項１に記載の方法。
7. 前記身体構造は前立腺である、請求項６に記載の方法。
8. マルチモダリティ・デフォーマブル画像レジストレーションを提供するシステムであって、
   少なくとも１つのプロセッサと、
   前記プロセッサに動作的に接続される少なくとも１つのメモリと、
   前記少なくとも１つのメモリに格納されて前記少なくとも１つのプロセッサによって実行される少なくとも１つのプログラムの命令と
   を有し、
   前記プログラムの命令は、
   複数の被検体についての異なる変形状態での同じ高精細撮像モダリティからの画像から、身体構造に関する平均変形と複数の変形モードベクトルとを計算するためのプログラム命令と、
   同じ被検体についての前記高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場変換行列を計算するためのプログラム命令と、
   前記平均変形及び前記変形モードベクトルとともに前記ランドマークの位置の変形場の値を用いて、各変形モードベクトルの重みを決定するためのプログラム命令と、
   重み付けられた変形モードベクトルの線形結合と前記平均変形の場とを足し合わせて、前記画像内の全ての点についての異なる撮像モード間の変形場を決定するためのプログラム命令と
   を有する、
   システム。
9. 前記別の撮像モダリティを用いるリアルタイム撮像システム、を更に有する請求項８に記載のシステム。
10. 前記リアルタイム撮像システムは、超音波撮像システムであり、且つ、撮像データを生成するよう前記少なくとも１つのプロセッサに動作的に接続される経直腸超音波プローブを更に有する、請求項９に記載のシステム。
11. 高精細画像を生成するよう前記少なくとも１つのプロセッサと動作的に接続される高精細撮像システム、を更に有する請求項８に記載のシステム。
12. 前記高精細撮像システムは、磁気共鳴撮像装置に動作的に接続される磁気共鳴撮像システムである、請求項１１に記載のシステム。
13. 前記高精細撮像システムの撮像を向上させるように被検体内に配置される直腸コイル、を更に有する請求項１２に記載のシステム。
14. 前記平均変形及び前記複数の変形モードベクトルは、
    各被検体について、画像を共通基準フレームに対して空間的にアライメントし、
    前記異なる変形状態からの各被検体の撮像データを、画像類似度メトリック及び非線形変換技術を用いてワーピングし、且つ
    主成分分析を実行して前記平均変形及び前記複数の変形モードベクトルを決定する
    ことによって計算される、請求項８に記載のシステム。
15. マルチモダリティ・デフォーマブル画像レジストレーションを提供するためのコンピュータプログラムプロダクトであって、当該コンピュータプログラムプロダクトは、少なくとも１つのコンピュータ実行可能プログラムの命令をエンコードした少なくとも１つのコンピュータ読み取り可能記憶装置を有し、前記少なくとも１つのコンピュータ実行可能プログラムの命令は、
    複数の被検体についての異なる変形状態での同じ高精細撮像モダリティからの画像から、身体構造に関する平均変形と複数の変形モードベクトルとを計算するためのプログラム命令と、
    同じ被検体についての前記高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場変換行列を計算するためのプログラム命令と、
    前記平均変形及び前記変形モードベクトルとともに前記ランドマークの位置の変形場の値を用いて、各変形モードベクトルの重みを決定するためのプログラム命令と、
    重み付けられた変形モードベクトルの線形結合と前記平均変形の場とを足し合わせて、前記画像内の全ての点についての異なる撮像モード間の変形場を決定するためのプログラム命令と
    を有する、
    コンピュータプログラムプロダクト。
16. 前記平均変形と前記複数の変形モードベクトルとを計算するための前記プログラム命令は、
    各被検体について、画像を共通基準フレームに対して空間的にアライメントするためのプログラム命令と、
    前記異なる変形状態からの各被検体の撮像データを、画像類似度メトリック及び非線形変換技術を用いてワーピングするためのプログラム命令と、
    主成分分析を実行して前記平均変形及び前記複数の変形モードベクトルを決定するためのプログラム命令と
    を有する、請求項１５に記載のコンピュータプログラムプロダクト。
17. 前記平均変形と前記複数の変形モードベクトルとを計算するための前記プログラム命令は、
    各被検体について、一組のランドマークの位置を測定するためのプログラム命令と、
    全ての前記ランドマーク間で点ベースの非線形レジストレーションを実行するためのプログラム命令と、
    前記ランドマークに関する変形モデルを生成するためのプログラム命令と
    を有する、請求項１５に記載のコンピュータプログラムプロダクト。
18. 高精細モダリティからの画像を別のモダリティからの画像とレジストレーションするように構成された撮像システムであって、前記レジストレーションは、これらモダリティ間での限られた数の識別可能なランドマークの非線形マッピングを、身体構造の統計的な変形モデルと結合することによって決定される、撮像システム。

Images