JP2015527108A - 画質駆動型非剛体画像レジストレーション - Google Patents
画質駆動型非剛体画像レジストレーション Download PDFInfo
- Publication number
- JP2015527108A JP2015527108A JP2015519406A JP2015519406A JP2015527108A JP 2015527108 A JP2015527108 A JP 2015527108A JP 2015519406 A JP2015519406 A JP 2015519406A JP 2015519406 A JP2015519406 A JP 2015519406A JP 2015527108 A JP2015527108 A JP 2015527108A
- Authority
- JP
- Japan
- Prior art keywords
- image
- registration
- image quality
- determining
- rigid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000010606 normalization Methods 0.000 claims abstract description 31
- 238000005457 optimization Methods 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 25
- 238000013442 quality metrics Methods 0.000 claims description 15
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 10
- 238000002591 computed tomography Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 230000005855 radiation Effects 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000011896 sensitive detection Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
画像レジストレーション装置は、画像類似度項及び正規化項の最適化を含む非剛体レジストレーションとレジストレーションステアリング係数とに基づき、レジスタリングする画像セットの画質駆動型画像レジストレーションを決定する画質駆動型画像レジストレーション決定手段と、画質駆動型画像レジストレーションを用いて画像セットをレジスタリングするレジストレーションコンポーネントとを含む。画像類似度項及び正規化項の最適化を含む非剛体レジストレーションとレジストレーションステアリング係数とに基づきレジスタリングする画像セットの画質駆動型画像レジストレーションを決定し、忠実性駆動型画像レジストレーションを用いて画像セットをレジスタリングし、レジスタリングされた画像セットを生成する方法。
Description
以下は、一般に既知のイメージングシステムの画質又はレジスタリングされた画像の少なくとも1つの画像の決定された画質の少なくとも1つに基づくレジストレーションステアリングファクタにより誘導される非剛体(弾性)画像レジストレーションに関し、CT(Computed Tomography)に対する特定の適用により説明される。しかしながら、以下はまた、他のイメージングモダリティに修正可能である。
画像レジストレーションは、1以上の画像をリファレンス画像の座標系に変換する処理である。2つの周知な変換モデルは、剛体(又はアファイン)及び非剛体(又は弾性)変換を含む。剛体変換は、一般に移動、回転及びスケーリング変換を含むリニア変換である。他方、非剛体変換はまた、画像をリファレンス画像と位置合わせするため、画像をローカルに曲げる。
非剛体画像レジストレーションは、CT画像間の対応関係を確立するためのベース技術としてますます受け入れられている。適用範囲は広く、フォローアップ研究におけるダイナミックコントラストイメージング及び変更定量化などの頻繁な適用をカバーする。しかしながら、非剛体レジストレーションは、典型的には、画像類似度項(相互情報又は二乗された差分の和など)及び付加的な正規化項を含む目的関数の繰り返し最適化を含み、付加的な正規化項が解をある意味現実的に維持しながら(例えば、通常は結果としての変形場の所定のスムーズネスの範囲内など)、画像類似度項が最大化される。
残念ながら、画像アーチファクトなどのミスを誘導する画像情報が、レジストレーション結果にエラーを生じさせる可能性があり、自動的に検出することを困難にする。さらに、画像類似度項は、レジストレーション中に最適化されるため、エラーを検出するのに利用可能でない。上記に鑑み、このようなミスを誘導する画像情報を処理するための未解決のニーズがある。
ここで説明される態様は、上述した問題点などに対処する。
一態様では、画像レジストレーション装置は、画像類似度項及び正規化項の最適化を含む非剛体レジストレーションとレジストレーションステアリング係数とに基づき、レジスタリングする画像セットの画質駆動型画像レジストレーションを決定する画質駆動型画像レジストレーション決定手段と、前記画質駆動型画像レジストレーションを用いて前記画像セットをレジスタリングするレジストレーションコンポーネントとを有する。
他の態様では、画像類似度項及び正規化項の最適化を含む非剛体レジストレーションとレジストレーションステアリング係数とに基づき、レジスタリングする画像セットの画質駆動型画像レジストレーションを決定するステップと、前記忠実性駆動型画像レジストレーションを用いて前記画像セットをレジスタリングし、これにより、レジスタリングされた画像セットを生成するステップとを有する方法。
他の態様では、方法は、非剛体レジストレーションによるレジストレーションステアリング係数を利用することによって、前記非剛体レジストレーションを不完全な画像情報に対してより影響を受けないようにすることによって、前記非剛体レジストレーションの結果を向上させるステップを有し、前記非剛体レジストレーションは、画像類似度項及び正規化項の最適化を含む。
本発明は、各種コンポーネント及びコンポーネントの各種構成と、各種ステップ及びステップの各種構成との形態をとりうる。図面は、好適な実施例を説明する目的だけのものであり、本発明を限定するものとして解釈されるべきでない。
以下において、画像類似度項及び正規化項を有する目的関数の最適化を含む画像レジストレーションアルゴリズムが、既知のイメージングシステムの画質又は従来のレジストレーションの決定された画質の少なくとも一方によって決定される画質の関数として画像類似度項から切り離され画像レジストレーションが説明される。当該レジストレーションは、MR、PET、SPECT、US、x線及び/又は他のイメージングモダリティなどのイメージングモダリティからの画像により利用可能であるが、説明上及び便宜上、CTイメージングシステム及びCT画像に関して、以下で説明される。
図1は、CTスキャナなどのイメージングシステム100を概略的に示す。
イメージングシステム100は、全体静止ガントリ102及び回転ガントリ104を有し、回転ガントリ104は、静止ガントリ102によって回転可能に支持され、z軸に関して検査領域106の周りを回転する。x線チューブなどの放射線ソース108は、回転ガントリ104により回転可能に支持され、回転ガントリ104と共に回転し、検査領域106を横切る放射線を発する。放射線感受性検出アレイ110は、検査領域106の全体で放射線ソース108に反対の角度の弧に対する。検出アレイ110は、検査領域106を横切る放射線を検出し、検出された各光子についてそれを示すプロジェクションデータを生成する。
イメージングシステム100は、移動するオブジェクトの4D画像セットを取得するのに利用可能である。ここで用いられる4D画像セットは、移動するオブジェクトの移動サイクルにおける移動するオブジェクトの3D画像を含み、それは、フル拡張フェーズ、フル収縮フェーズ、フル拡張フェースとフル収縮フェーズとの間の1以上のフェーズ、及びフル収縮フェーズとフル拡張フェーズとの間の1以上のフェーズを含む。再構成手段114は、プロジェクションデータを再構成し、イメージング領域106に配置された被検者又はオブジェクトのスキャンされた部分を示す3D及び/又は4D画像セットを生成する。
カウチなどの被検者サポート112は、スキャン前、スキャン中及び/又はスキャン後、検査領域106のオブジェクト又は被検者を支持する。汎用計算システム又はコンピュータは、オペレータコンソール116として機能する。コンソール116は、モニタなどの人間が可読な出力装置と、キーボードやマウスなどの入力装置とを含む。コンソール116に備えられたソフトウェアは、オペレータがユーザインタフェースなどを介しスキャナ100とやりとり及び/又は操作することを可能にする。このようなやりとりは、3D、4D又は他のイメージング取得などのスキャンプロトコルの選択、スキャニングの開始などを含む。
画像レジストレーション装置118は、イメージングシステム100及び/又は他のイメージングシステムにより取得された3D及び/又は4D画像セットの画像などの画像を少なくともレジスタリングする。画像レジストレーション装置118はまた、画像セットのレジストリングされた4D画像の間の変形ベクトル場(DVFS)を決定してもよい。一般に、DVFsは、ベースライン画像の動きフェーズを画像セットのその他の画像にマッピングし、これにより、ボクセル状の対応関係の確立又は移動するオブジェクトの動きサイクルに対するマッピングを含む。画像レジストレーション装置118は、レジスタリングされた画像、DVFS及び/又は他の情報の少なくとも1つを出力する。
一例では、画像レジストレーション装置118は、画像類似度項及び正規化項の最適化を含む非剛体レジストレーションを利用する。以下に詳細に説明されるように、画像レジストレーション装置118は、ボクセル又はボクセル領域ベースによりシステムにより生成された画像における既知のイメージングシステムの画質の変化又はレジスタリングされた画像の決定された画質の少なくとも一方に基づき、画像類似度項から離れて(及び/又は正規化項に向かって)非剛体レジストレーションを誘導する。レジストレーションの誘導はまた、ローカル領域ベースによりレジストレーションに対する画像類似度項の貢献をダウンウェイトすることによって、アーチファクトなどのミスを誘導する画像情報及び/又は既知のイメージングシステムの画質の制限によるローカルレジストレーションエラーを軽減することを可能にする。
画像レジストレーション装置118は、ディスプレイ120を介しレジスタリングされた画像、DVFs及び/又は他の情報の少なくとも1つを視覚的に提示可能である。一例では、画像レジストレーション装置118は、このようなデータをユーザインタラクティブグラフィカルユーザインタフェース(GUI)に提示する。このようなディスプレイは、ユーザがレジストレーション及び/又はDVF判定に影響を与える情報を入力することを可能にするものであってもよい。例えば、インタラクティブディスプレイは、画像レジストレーション装置118がどのように非剛体レジストレーションを誘導するか、及び/又は何れのデータが当該誘導、アルゴリズムのパラメータ、当該誘導に影響を与える判定閾値及び/又は以降のレジストレーションがどのように実行されるべきかなどを判断するのに利用されるかに影響を与える特定のアルゴリズムをユーザが提供、選択及び/又は変更することを可能にするものであってもよい。
画像レジストレーション装置118はまた、ユーザに対して通知及び/又は推奨を視覚的に提示できる。例えば、画像レジストレーション装置118が、判定閾値に基づきレジスタリングされる画像の画質が閾値を充足していると判断した場合、画像レジストレーション装置118は、当該レジストレーションが許容できるという通知を提示できる。しかしながら、画像レジストレーション装置118が判定閾値に基づきレジスタリングされる画像の1以上のボクセル及び/又はボクセル領域の画質が閾値を充足しないと判断した場合、画像レジストレーション装置118は、これを示す通知及び/又は画像のさらなるレジストレーションを実行する推奨を提示することが可能であり、当該ボクセル及び/又はボクセル領域の画像類似度項から離れてレジストレーションを誘導する。
画像レジストレーション装置118は、物理的メモリ及び/又は他の非一時的メモリなどのコンピュータ可読記憶媒体に符号化、埋め込み、格納などされた1以上のコンピュータ可読命令を実行する1以上のプロセッサを有するコンピュータなどの計算システムとすることが可能であることが理解されるべきである。さらに又はあるいは、コンピュータ可読命令の少なくとも1つは、信号、搬送波及び/又は他の一時的媒体によって搬送可能である。計算システムはまた、モニタなどの人間が可読な出力装置と、キーボード、マウスなどの入力装置とを含むものであってもよい。
図2は、画像レジストレーション装置118の一例を示す。
本例では、画像レジストレーション装置118は、画質(IQ)駆動型画像レジストレーションを生成するため、画像レジストレーションアルゴリズム204(メモリに入力及び/又は格納可能)及びレジストレーション誘導ファクタを組み合わせる画質(IQ)駆動型画像レジストレーション決定手段202を有する。レジストレーションコンポーネント206は、IQ駆動型画像レジストレーションを利用して、入力画像セットをレジスタリングする。一例となるアプリケーションは、例えば、放射線の影響を免れることが可能な良好に機能する領域を特定することが重要である場合、放射線治療計画のための領域ボリュームの変化を評価するため、4D画像(すなわち、経時的に取得された3D画像)のレジストレーションである。
画像レジストレーションアルゴリズム204は、画像類似度項及び正規化項を含む目的関数を最適化する非剛体レジストレーションを含む。図1に関して説明されたように、特定のアルゴリズムは、ディスプレイ120を介し提示されるインタラクティブGUIを介しユーザにより選択及び/又は変更可能である。画像類似度項は、相互情報、二乗された差分の和、強度相関などに基づくものとすることが可能であり、正規化項は、一般にペナルティを科すため、マッピングフィールドの第1及び/又は第2導関数にペナルティを科すことによって、所定のスムーズネスの程度を保証する。画像類似度項及び正規化項は、例えば、方法の選択、画像モダリティ、アプリケーションなどに依存して重み付け可能である。当該最適化は、勾配降下法、共役勾配法及び/又は他のアプローチなどのアルゴリズムに基づくものとすることができる。
このようなアルゴリズムの一例は、Kabus et al.,Fast elastic image registration,In:Proc.of MICCAI Workshop:Medical Image Analysis For The Clinic−A Grand Challenge,(2010)81−89に説明される。一般に、Kabus et al.に説明されているアルゴリズムは、リファレンス(又は固定)画像R(x)及びテンプレート(又は移動)画像T(x)を仮定する。それは、移動したテンプレート画像Tu(x):=T(φ(p;x)+u(x))が類似度D及び正規化項Sの双方を最小化するように、アファイン変換pと共に変形ベクトル場(DVF)u:R3→R3を求める。ここで、マッピングφ(p;x)は、ベクトルpにより与えられるアファイン変換の下でのボクセル位置xの変換を示す。
二乗された差分の和を用いて、適切な類似度項DはEQUATION1に示される。
レジストレーションステアリング係数決定手段208は、少なくとも1つのレジストレーションステアリング係数アルゴリズム210に基づきレジストレーションステアリング係数RSFを決定する。適切なレジストレーションステアリング係数アルゴリズム210は、限定することなく、イメージングシステムの画質に基づくアルゴリズム及びレジスタリングされる画像の画質に基づくアルゴリズムを含む。これらのアルゴリズムの具体例が後述される。他のアルゴリズムがまたここで想定される。図1に関して説明されたように、特定のアルゴリズム及び/又はそのパラメータは、ディスプレイ120を介し提示されるインタラクティブGUIを介しユーザにより選択及び/又は変更可能である。
IQ駆動型画像レジストレーション決定手段202は、EQUATION1及びRSF項を組み合わせ、EQUATION3を提供し、
一例では、レジストレーションは、結合関数
一般に、RSF項は、画像の異なるボクセル又はボクセル領域の画像類似度項Dの貢献をダウン(又はアップ)ウェイトすることを可能にする。例えば、特定のボクセル領域がより低い画質に関連することが知られている場合、RSF項は、画像類似度項Dをダウンウェイトするため1未満に設定でき、正規化項Sの方向にレジストレーションを誘導することになる。
特定のボクセル又はボクセル領域が排除されるべきであるとき、RSFはゼロ(0)に設定される。他のボクセル又はボクセル領域について、特定のボクセル又はボクセル領域が部分的に考慮されるべきである場合、RSFは、0.0<RSF<1.0に設定される。他のボクセル又はボクセル領域について、特定のボクセル又はボクセル領域が完全に考慮されるべきである場合、RSFは1に設定される。さらに又はあるいは、RSF項、異なる決定されたRSF項及び/又はRSF項から導出されたRSF項(RSF’=1−RSFなど)が正規化項に適用可能である。RSFのための他のマッピングがまたここで想定される。図1に関して説明されたように、RSFの値に影響を与えるパラメータは、ディスプレイ120を介し提示されたインタラクティブGUIを介しユーザにより選択及び/又は変更可能である。
上述されたように、適切なレジストレーションステアリング係数アルゴリズム210は、限定することなく、イメージングシステムの画質に基づくアルゴリズム及び/又はレジスタリングされる画像の決定された画質に基づくアルゴリズムを含む。
非限定的な例として、イメージングシステムの画質に基づくアルゴリズムに関して、レジストレーションステアリング係数は、イメージングシステムの画質の事前的な知識に基づくものとすることができる。一般に、画像の特定の領域がイメージングシステムに基づく既知の方法により、画像の他の領域より信頼性が低いか、又はより低い画質を有すると知られている場合(すなわち、所与の画像においてローカルな忠実性の変化がある)、当該情報は、レジストレーションステアリング係数を決定するため、レジストレーションステアリング係数決定手段208により利用可能である。
例えば、イメージングシステム100がコーンビームCTスキャナであり、画像が、一般に回転軸に近いほど高い画質を有し、回転軸から離れるほど低い画質(よりノイズのある)を有するコーンビームCT画像である場合、画像類似度項がより高い画質の領域に対して画像のノイズの大きい領域により低い程度で寄与するように、レジストレーションステアリング係数が正規化項に対してレジストレーションを誘導するよう生成可能である。領域間のステアリング遷移は、線形及び非線形関数を含み、段階的又はスムースなものとすることが可能である。同様に、MR取得について、局所的なコイル感度及び/又は磁気感受性勾配が、ステアリング係数を定義するのに利用可能である。
レジスタリングされる画像の決定された画質に基づくアルゴリズムに関して、一例では、生理学的力学が生理学により動機付けされたレジストレーションのために考慮できる。生理学的力学に基づくアルゴリズムは、レジストレーションが臓器運動などの生理学的ダイナミクスをキャプチャするアプリケーションに適しており、ここでは、特定範囲の結果としてのマッピングのみが生理学的に納得できる。この場合、レジストレーション忠実性は、以降(第2、第3などのパス)のレジストレーションのためのステアリング係数を決定するのに利用可能である。
画像レジストレーション装置118がレジスタリングされる画像の画質に基づくアルゴリズムを利用するよう構成される場合、画質(IQ)決定手段212は、レジスタリングされた画像を評価し、レジスタリングされた画像の1以上の画質を示す画質(IQ)メトリックを決定する。適切なIQメトリックを決定するためのアプローチの一例は、参照することによりここに援用される“MOTION PARAMETER ESTIMATION”という名称の特許出願第61/664,874号(整理番号2012PF00423)に記載される。
61/664,874では、変形ベクトル場(DVFs)が、4D画像セットのレジスタリングされた画像のペア間で決定され、各DVFは、画像のペアの一方の画像から他方の画像に各ボクセルがどのように移動したかを示す各ボクセルの動きベクトルを含む。各画像ペアは、例えば、4D画像セットからのベースライン又はリファレンス画像と、4D画像セットからの他の画像とを含むことが可能である。ベースライン又はリファレンス画像は、その他の画像の2以上について同一又は異なる画像とすることが可能である。
61/664,874では、ボリューム曲線がDVFsから生成され、関心のある動きに対応する運動モデル(呼吸、心臓、筋肉全体など)がボリューム曲線に適合される。信頼レベルは、その後、当該適合度に基づき生成され、EQUATION6に示されるように定義される。
IQ決定手段212は、IQメトリックとしてE(x)及び/又はそれの変形を利用可能である。例えば、モデルがスキャンされたオブジェクトの動きの正確な表現を提供し、レジスタリングされる画像が一般により高い画質領域を含む場合、E(x)は各ボクセルについてより小さなものになる。しかしながら、レジスタリングされた画像の少なくとも1つがより低い画質の領域を含む場合、E(x)は、より低い画質領域についてより大きくなる。また、E(x)は、より低い画質のボクセル又はボクセル領域を特定するのに利用可能である。
判定ロジック214は、所定の判定閾値216とE(x)とを比較し、以降(第2、第3など)のレジストレーションが実行されるべきか判断する。以降のレジストレーションが実行されるべきであると判断された場合(例えば、E(x)>判定閾値)、E(x)はレジストレーションステアリング係数決定手段208にフィードバックされ、その後、E(x)に基づきRSFを生成可能であり、それは、忠実性駆動型レジストレーションを生成するためIQ駆動型画像レジストレーション決定手段202により利用され、それに基づき画像をレジスタリングするため、レジストレーションコンポーネント206により利用される。図1に関して説明されるように、画像レジストレーション装置118はまた、以降のレジストレーションを推奨する通知及び/又は推奨を提示してもよい。この例では、以降のレジステーションはユーザにより起動され、及び/又は自動的であってもよい。
判定ロジック214は、比較結果(例えば、レジストレーション、DVFs、IQメトリック及び/又は他の情報)及び/又は以降のレジストレーションが実行されるべきかに関する通知及び/又は推奨を視覚的に提示可能である。本例では、画像レジストレーション装置118のディスプレイ120及び/又は入力装置を介しGUIを介し受信し、以降のレジストレーションに対するユーザの希望を示す入力が、所望される場合には以降のレジストレーションを呼び出し、又は所望されない場合には推奨を無視又は破棄する。他の入力は、判定閾値216の値を決定又は変更可能である。他の実施例では、判定ロジック214は、判定閾値216に基づき以降のレジストレーションを自動的に呼び出すよう構成される。
以降のレジストレーションについてRSFを決定するのにE(x)を利用することに関して、より大きなE(x)を有するボクセル又はボクセル領域について、RSFは1未満に設定可能であり、レジストレーションを正規化項Sに対して誘導することになる。より小さなE(x)を有するボクセル又はボクセル領域について、RSFは、レジストレーションが誘導されないように1に設定可能である。これらの間のE(x)のボクセル又はボクセル領域について、RSFは0と1との間の値に設定可能である。非限定的に具体例として、レジストレーションステアリング係数アルゴリズム210は、E(x)<0.80についてRSF=1、E(x)>0.95についてRSF=0、及び0.80≦E(x)≦0.95についてRSFは0〜1とされ、線形又は非線型の何れかであることを示すものであってもよい。もちろん、他のマッピング及び/又は遷移がここで想定される。
図3及び4は一例となる方法を示す。これらの方法のステップの順序は限定的でないことが理解されるべきである。また、他の順序がここで想定される。さらに、1以上のステップが省略されてもよく、及び/又は1以上の追加的なステップが含まれてもよい。
図3をまず参照して、既知のイメージングシステムの画質に基づきレジストレーションステアリング係数を決定するための一例となる方法が示される。
302において、画像類似度項及び正規化項を有する目的関数を含む非剛体レジストレーションが取得される。
304において、イメージングシステムの画質に基づくレジストレーションステアリング係数アルゴリズムが取得される。
306において、レジストレーションステアリング係数が、生成された画像における画質の既知の可変性を含むイメージングシステムの画質に関する知識とレジストレーションステアリング係数アルゴリズムとに基づく生成される。
308において、画質駆動型レジストレーションは、取得した非剛体レジストレーションアルゴリズム及び生成されたレジストレーションステアリング係数に基づき生成される。ここで説明されるように、レジストレーションステアリング係数は、画質の程度に基づき正規化項に対してレジストレーションを誘導する。
310において、画質駆動型レジストレーションは、入力画像セットをレジスタリングするのに利用される。
312において、レジスタリングされる画像の少なくとも1つ又はDVFSが出力される。
次に、図4において、レジスタリングされる画像の決定された画質に基づきレジストレーションステアリング係数を決定するための一例となる方法が示される。
402において、画像類似度項及び正規化項を有する目的関数を含む非剛体レジストレーションが取得される。
404において、レジスタリングされる画像の画質に基づくレジストレーションステアリング係数アルゴリズムが取得される。
406において、非剛体レジストレーションが、入力画像セットをレジスタリングするのに利用される。
408において、画質メトリックが、レジスタリングされた画像に基づき生成される。
410において、画質メトリックが所定の判定閾値に基づき充足されているか判断される。
412において、充足されていない場合、レジスタリングされた画像及び/又はそれらの間のマッピングが出力される。
414において、充足されている場合、画質メトリックが、レジストレーションステアリング係数を決定するのに利用される。
416において、画質駆動型画像レジストレーションが、取得された非剛体レジストレーション及びレジストレーションステアリング係数に基づき生成される。
418において、画質駆動型画像レジストレーションは、以降のパスのレジストレーションを介し入力画像セットをレジスタリングするのに利用される。
420において、レジスタリングされた画像又はレジスタリングされた画像のDVFSの少なくとも1つが取得される。
他の実施例では、図3及び4の方法は、レジストレーションが既知のイメージングシステムの画質に基づく第1レジストレーションに基づき、その後に再びレジスタリングされた画像の画質に基づく(既知のイメージングシステムの画質により又はなしで)ように組み合わされる。
上記方法は、コンピュータプロセッサにより実行されると、プロセッサに説明されたステップを実行させるコンピュータ可読記憶媒体に符号化又は埋め込まれたコンピュータ可読命令により実現されてもよい。さらに又はあるいは、コンピュータ可読命令の少なくとも1つは、信号、搬送波又は他の一時的な媒体により搬送される。
本発明が、好適な実施例を参照して説明された。上記の詳細な説明を参照及び理解した他の人には、改良及び代替が想到するかもしれない。本発明は、添付した請求項又はそれの均等の範囲内に属する限り、このような全ての改良及び代替を含むものとして構成されることが意図される。
Claims (26)
- 画像類似度項及び正規化項の最適化を含む非剛体レジストレーションとレジストレーションステアリング係数とに基づき、レジスタリングする画像セットの画質駆動型画像レジストレーションを決定する画質駆動型画像レジストレーション決定手段と、
前記画質駆動型画像レジストレーションを用いて前記画像セットをレジスタリングするレジストレーションコンポーネントと、
を有する画像レジストレーション装置。 - 前記レジストレーションは、前記画像セットの最初のレジストレーションである、請求項1記載の画像レジストレーション装置。
- イメージングシステムにより生成される前記画像セットの少なくとも1つの画像において変化する既知のイメージングシステムの画質に基づき、前記レジストレーションステアリング係数を決定するレジストレーションステアリング係数決定手段を更に有する、請求項2記載の画像レジストレーション装置。
- 前記レジストレーションステアリング係数は、画像のボクセル又はボクセル領域について前記画像類似度項を、前記ボクセル又はボクセル領域の画質の関数としてダウンウェイトする、請求項3記載の画像レジストレーション装置。
- 前記レジストレーションコンポーネントは、前記非剛体レジストレーションを用いて初期的なレジストレーションを実行し、前記レジストレーションは、前記非剛体レジストレーションを用いた前記レジストレーションの結果に基づく前記画像セットの以降のレジストレーションである、請求項1記載の画像レジストレーション装置。
- 前記非剛体レジストレーションによりレジスタリングされた前記画像のある画像の画質に対応する画質メトリックに基づき前記レジストレーションステアリング係数を決定するレジストレーションステアリング係数決定手段を更に有する、請求項5記載の画像レジストレーション装置。
- 前記非剛体レジストレーションによりレジスタリングされた前記画像の変形ベクトル場を決定し、前記変形ベクトル場に基づきボリューム曲線を生成し、運動モデルを前記生成されたボリューム曲線に適合させ、前記適合されたモデルと前記ボリューム曲線との間の誤差を決定する画質決定手段を更に有し、
前記画質メトリックは前記誤差であり、
前記誤差は、より低い画質の画像のボクセル領域についてはより大きくなり、より高い画質の前記画像のボクセル領域についてはより小さくなる、請求項6記載の画像レジストレーション装置。 - 前記画質メトリックが所定の判定閾値を充足していることに応答して、前記以降のレジストレーションを呼び出す判定ロジックを更に有する、請求項7記載の画像レジストレーション装置。
- 前記レジストレーションステアリング係数は、前記画像セットの少なくとも1つの画像において変化する既知のイメージングシステムの画質に基づき、
前記画像レジストレーションコンポーネントは、前記既知のイメージングシステムの画質に基づく初期的な画質駆動型画像レジストレーションを用いて、前記画像セットの初期的なレジストレーションを実行し、
前記レジストレーションは、前記初期的な画質駆動型画像レジストレーションを用いた前記レジストレーションの結果に基づく前記画像セットの以降のレジストレーションである、請求項1記載の画像レジストレーション装置。 - 前記初期的な画質駆動型画像レジストレーションの画質に対応する画質メトリックに基づき前記レジストレーションステアリング係数を決定するレジストレーションステアリング係数決定手段を更に有する、請求項9記載の画像レジストレーション装置。
- 前記初期的な画質駆動型画像レジストレーションによる前記レジストレーションについて変形ベクトル場を決定し、前記変形ベクトル場に基づきボリューム曲線を生成し、運動モデルを前記生成されたボリューム曲線に適合させ、前記適合されたモデルと前記ボリューム曲線との間の誤差を決定する画質決定手段を更に有し、
前記画質メトリックは前記誤差であり、
前記誤差は、より低い画質の画像のボクセル領域についてはより大きくなり、より高い画質の前記画像のボクセル領域についてはより小さくなる、請求項10記載の画像レジストレーション装置。 - 前記画質メトリックが所定の判定閾値を充足していることに応答して、前記以降のレジストレーションを呼び出す判定ロジックを更に有する、請求項11記載の画像レジストレーション装置。
- 前記レジストレーションステアリング係数は、前記レジスタリングされる画像の少なくとも1つの画質の程度に基づき、前記正規化項に対して前記画質駆動型画像レジストレーションを誘導し、
前記画質が低くなるに従って、前記レジストレーションは前記正規化項に対して誘導され、前記画像類似度項は前記レジストレーションにより小さく寄与する、請求項1乃至12何れか一項記載の画像レジストレーション装置。 - 画像類似度項及び正規化項の最適化を含む非剛体レジストレーションとレジストレーションステアリング係数とに基づき、レジスタリングする画像セットの画質駆動型画像レジストレーションを決定するステップと、
前記画質駆動型画像レジストレーションを用いて前記画像セットをレジスタリングし、レジスタリングされた画像セットを生成するステップと、
を有する方法。 - 前記レジストレーションは、前記画像セットの最初のレジストレーションであり、
イメージングシステムにより生成される前記画像セットの少なくとも1つの画像において変化する既知のイメージングシステムの画質に基づき、前記レジストレーションステアリング係数を決定するステップを更に有する、請求項14記載の方法。 - 前記非剛体レジストレーションを用いて前記画像セットを初期的にレジスタリングするステップを更に有し、
前記レジストレーションは、前記非剛体レジストレーションを用いた前記初期的なレジストレーションの結果に基づく前記画像セットの以降のレジストレーションである、請求項14記載の方法。 - 前記非剛体レジストレーションによりレジスタリングされた画像の画質に対応する画質メトリックに基づき、前記レジストレーションステアリング係数を決定するステップを更に有する、請求項16記載の方法。
- 前記非剛体レジストレーションによりレジスタリングされる前記画像について変形ベクトル場を決定し、前記変形ベクトル場に基づきボリューム曲線を生成し、運動モデルを前記生成されたボリューム曲線に適合させ、前記適合されたモデルと前記ボリューム曲線との間の誤差を決定することによって、前記画質メトリックを決定するステップを更に有し、
前記画質メトリックは前記誤差である、請求項17記載の方法。 - 前記レジストレーションステアリング係数は、前記画像セットの少なくとも1つの画像において変化する既知のイメージングシステムの画質に基づき、
前記既知のイメージングシステムの画質に基づく初期的な画質駆動型画像レジストレーションを用いて、前記画像セットの初期的なレジストレーションを実行するステップを更に有し、
前記レジストレーションは、前記初期的な画質駆動型画像レジストレーションを用いた前記レジストレーションの結果に基づく前記画像セットの以降のレジストレーションである、請求項14記載の方法。 - 前記初期的な画質駆動型画像レジストレーションの画質に対応する画質メトリックに基づき、前記レジストレーションステアリング係数を決定するステップを更に有する、請求項19記載の方法。
- 前記非剛体レジストレーションによりレジスタリングされる前記画像について変形ベクトル場を決定し、前記変形ベクトル場に基づきボリューム曲線を生成し、運動モデルを前記生成されたボリューム曲線に適合させ、前記適合されたモデルと前記ボリューム曲線との間の誤差を決定することによって、前記画質メトリックを決定するステップを更に有し、
前記画質メトリックは前記誤差である、請求項20記載の方法。 - 前記レジストレーションステアリング係数は、前記レジスタリングされた画像の画質の程度に基づき、前記正規化項に対して前記画質駆動型画像レジストレーションを誘導し、
前記画質が低くなるに従って、前記レジストレーションは前記正規化項に対してより誘導され、前記画像類似度項は前記レジストレーションにより小さく寄与する、請求項14乃至21何れか一項記載の方法。 - 前記レジストレーションステアリング係数を決定する入力をインタラクティブユーザインタフェースを介し受信するステップを更に有する、請求項14乃至22何れか一項記載の方法。
- 前記レジスタリングされた画像セットをインタラクティブユーザインタフェースを介し視覚的に表示するステップを更に有する、請求項14乃至22何れか一項記載の方法。
- 非剛体レジストレーションによるレジストレーションステアリング係数を利用することによって、前記非剛体レジストレーションを不完全な画像情報に対してより影響を受けないようにすることによって、前記非剛体レジストレーションの結果を向上させるステップを有し、
前記非剛体レジストレーションは、画像類似度項及び正規化項の最適化を含む方法。 - 前記レジストレーションステアリング係数は、より低い画質の領域においてレジストレーション中に最適化されるエネルギー項において、画像の影響をローカルに低下し、正規化の影響を増加させる、請求項24記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261664913P | 2012-06-27 | 2012-06-27 | |
US61/664,913 | 2012-06-27 | ||
PCT/IB2013/054978 WO2014001959A1 (en) | 2012-06-27 | 2013-06-18 | Image quality driven non-rigid image registration |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015527108A true JP2015527108A (ja) | 2015-09-17 |
Family
ID=49035619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015519406A Withdrawn JP2015527108A (ja) | 2012-06-27 | 2013-06-18 | 画質駆動型非剛体画像レジストレーション |
Country Status (7)
Country | Link |
---|---|
US (1) | US10290102B2 (ja) |
EP (1) | EP2867853B1 (ja) |
JP (1) | JP2015527108A (ja) |
CN (1) | CN104412297B (ja) |
BR (1) | BR112014032089A2 (ja) |
RU (1) | RU2015102343A (ja) |
WO (1) | WO2014001959A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6505078B2 (ja) * | 2013-03-29 | 2019-04-24 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像レジストレーション |
JP6501569B2 (ja) | 2015-03-18 | 2019-04-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2017102468A1 (en) * | 2015-12-15 | 2017-06-22 | Koninklijke Philips N.V. | Image processing systems and methods |
US10949973B2 (en) * | 2016-11-23 | 2021-03-16 | Wake Forest University Health Sciences | Medical image analysis using mechanical deformation information |
US11080849B2 (en) * | 2018-12-21 | 2021-08-03 | General Electric Company | Systems and methods for deep learning based automated spine registration and label propagation |
WO2023049045A1 (en) | 2021-09-21 | 2023-03-30 | Apple Inc. | Input location correction based on device motion |
US11755150B2 (en) * | 2021-09-21 | 2023-09-12 | Apple Inc. | Input location correction based on device motion |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4787171B2 (ja) * | 2003-12-11 | 2011-10-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 弾力的な画像位置合わせ |
US7426318B2 (en) | 2004-06-30 | 2008-09-16 | Accuray, Inc. | Motion field generation for non-rigid image registration |
US7822291B2 (en) * | 2004-10-28 | 2010-10-26 | Siemens Medical Solutions Usa, Inc. | Non-rigid multi-modal registration using statistical learning methods |
US7945117B2 (en) * | 2006-08-22 | 2011-05-17 | Siemens Medical Solutions Usa, Inc. | Methods and systems for registration of images |
CA2670261A1 (en) | 2006-11-16 | 2008-05-29 | Vanderbilt University | Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same |
EP2391271B1 (en) * | 2009-01-30 | 2015-11-04 | Koninklijke Philips N.V. | System for providing lung ventilation information |
US8805122B1 (en) * | 2011-02-03 | 2014-08-12 | Icad, Inc. | System, method, and computer-readable medium for interpolating spatially transformed volumetric medical image data |
US9129424B2 (en) * | 2012-04-17 | 2015-09-08 | Siemens Aktiengesellschaft | Phase sensitive T1 mapping in magnetic resonance imaging |
US9033887B2 (en) * | 2012-05-31 | 2015-05-19 | Siemens Corporation | Mitral valve detection for transthoracic echocardiography |
EP2867861B1 (en) * | 2012-06-27 | 2017-02-22 | Koninklijke Philips N.V. | Motion parameter estimation |
-
2013
- 2013-06-18 JP JP2015519406A patent/JP2015527108A/ja not_active Withdrawn
- 2013-06-18 EP EP13753209.9A patent/EP2867853B1/en active Active
- 2013-06-18 US US14/405,007 patent/US10290102B2/en active Active
- 2013-06-18 CN CN201380034134.9A patent/CN104412297B/zh active Active
- 2013-06-18 BR BR112014032089A patent/BR112014032089A2/pt not_active IP Right Cessation
- 2013-06-18 RU RU2015102343A patent/RU2015102343A/ru not_active Application Discontinuation
- 2013-06-18 WO PCT/IB2013/054978 patent/WO2014001959A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
BR112014032089A2 (pt) | 2017-06-27 |
CN104412297B (zh) | 2019-04-16 |
EP2867853B1 (en) | 2019-12-11 |
US20150161791A1 (en) | 2015-06-11 |
CN104412297A (zh) | 2015-03-11 |
WO2014001959A1 (en) | 2014-01-03 |
US10290102B2 (en) | 2019-05-14 |
RU2015102343A (ru) | 2016-08-10 |
EP2867853A1 (en) | 2015-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6145178B2 (ja) | 医療画像の位置合わせ | |
CN107886508B (zh) | 差分减影方法和医学图像处理方法及系统 | |
JP2015527108A (ja) | 画質駆動型非剛体画像レジストレーション | |
EP2867861B1 (en) | Motion parameter estimation | |
EP2815380B1 (en) | Image resolution enhancement | |
Riblett et al. | Data‐driven respiratory motion compensation for four‐dimensional cone‐beam computed tomography (4D‐CBCT) using groupwise deformable registration | |
US9675311B2 (en) | Follow up image acquisition planning and/or post processing | |
JP6363197B2 (ja) | 画像データ処理 | |
JP6505078B2 (ja) | 画像レジストレーション | |
JP2016522924A (ja) | ノイズ除去再構成画像データエッジ改善 | |
WO2010092494A1 (en) | Group-wise image registration based on motion model | |
US20160321821A1 (en) | Moving structure motion compensation in imaging | |
Van Stevendaal et al. | A motion‐compensated scheme for helical cone‐beam reconstruction in cardiac CT angiography | |
Ghafurian et al. | A computationally efficient 3D/2D registration method based on image gradient direction probability density function | |
Suh et al. | CT‐PET weighted image fusion for separately scanned whole body rat | |
US9839404B2 (en) | Image data Z-axis coverage extension for tissue dose estimation | |
Ehrhardt et al. | Temporal polyrigid registration for patch-based MPI reconstruction of moving objects | |
Hahn | DYNAMIC LINEAR INVERSE PROBLEMS WITH MODERATE MOVEMENTS OF THE OBJECT: ILL-POSEDNESS AND REGULARIZATION. | |
Sang et al. | 4d-cbct registration with a fbct-derived plug-and-play feasibility regularizer | |
US11704795B2 (en) | Quality-driven image processing | |
Parande | A Study on Robustness of Various Deformable Image Registration Algorithms on Image Reconstruction Using 4DCT Thoracic Images | |
WO2015083090A2 (en) | Image data processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160615 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20170110 |