JP2006521616A - データセットを最適に整合させるための方法及び装置 - Google Patents
データセットを最適に整合させるための方法及び装置 Download PDFInfo
- Publication number
- JP2006521616A JP2006521616A JP2006506714A JP2006506714A JP2006521616A JP 2006521616 A JP2006521616 A JP 2006521616A JP 2006506714 A JP2006506714 A JP 2006506714A JP 2006506714 A JP2006506714 A JP 2006506714A JP 2006521616 A JP2006521616 A JP 2006521616A
- Authority
- JP
- Japan
- Prior art keywords
- distribution
- force
- gray value
- mapping
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000009826 distribution Methods 0.000 claims abstract description 81
- 239000013598 vector Substances 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract 11
- 230000009466 transformation Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000013016 damping Methods 0.000 claims description 2
- 238000002059 diagnostic imaging Methods 0.000 claims description 2
- 238000003909 pattern recognition Methods 0.000 claims description 2
- 230000003252 repetitive effect Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims 1
- 238000013459 approach Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
Abstract
本発明は、第一のエレメントの第一の分布が第二のエレメントの第二の分布と整合するように、第一のデータセットのグレイ値の第一のエレメントを第二のデータセットのグレイ値の第二のエレメントと整合するための方法に関し、本方法は、以下のステップにより特徴付けされる。第一のエレメントを第二のエレメントにマッピングし、マッピングされた第一のエレメントをその関連付けされた第二のエレメントとの間のローカルグレイ値の分布の差を評価する。前記ローカルグレイ値の分布の差から、それぞれの前記第一のエレメントについて力の場の力ベクトルを導出する。前記力の場は、好適な動きの大きさ及び方向を示し、前記第一の分布と第二の分布との間の整合を改善する補正されたマッピングに前記第一のエレメントを集合的に繰返し移動するため、前記個別の力ベクトルを前記第一のエレメントに集合的に作用する1つの力及び1つのトルク値に結合する。
Description
本発明は、請求項1のプリアンブルに更に記載されるように、第一のデータセットのグレイ値の第一のエレメントを第二のデータセットのグレイ値の第二のエレメントと整合させて、第一のエレメントの第一の分布を第二のエレメントの第二の分布と最適に整合させる方法に関する。
様々な従来の方法は、かかる二次元又は三次元のグレイ値の分布を整合するために適用されてきている。エレメントは、空間的な二次元又は三次元のコンフィギュレーションにおけるピクセル、三次元におけるボクセル、又はその他である場合がある。グレイ値は、空間的な画素のグレイネスのような、それぞれのかかるエレメントのそれぞれの単一の値のパラメータのショートのために使用され、他のかかる変数が使用されている。公知の応用分野は、医療のグラフィックなデータ処理である。かかる方法は、相関又は画素の類似性のような技術を通して、複数の代替的な相対的な位置及び方向を検査する。実際の整合は、適用される基準について最も高い応答に基づいて判定される。つぎに、変換マトリクスは、整合の位置及び方向について、1つの分布から他の分布への変換を記述する。
一般に、医療応用における変換は、リジッド又はアファイン変換に制限されており、選択された骨の部分の分布がリジッド変換のみを受け、周囲の組織がアファイン変換により変換される組み合わせとなることがある。
別の方法は、これは走査された人体のデータにおける解剖学上の対象物のエッジ又はサイドを検出するために使用される場合がある、アクティブな二次元の輪郭又はアクティブな三次元の輪郭を使用する。かかる輪郭/対象物は、実際には仮想的な対象物であって、解剖学上の対象物のエッジを表現する画像データにおける特徴を発見することが可能である。かかる技術は、対象物の変換、回転及び変形をアクティブに発見し、次いで良好なフィットをなし、この技術は、走査された人体データにおける解剖学上の対象物のエッジ又はサイドを検出するために使用することができる。かかる技術は、対象物の変換、回転及び変形をアクティブに発見し、画像データにおける特徴への良好なフィットをなす。最良の整合は、最も強い応答を与える対象物が安定な位置の周りに移動するときである。かかることは、ローカルな最良のフィット又はむしろグローバルなフィットである。
本発明の発明者は、ベストマッチングの選択が複数の位置及び方向を調べることを必要とし、それぞれはマッチング基準を計算することを必要とするために、現在の手順が計算上高価であることを認識している。さらに、本発明の発明者は、繰返し手順の利益を認識している。
他方で、アクティブな輪郭又は対象物に基づいた現在の方法は、局部的(ローカル)な画像の特徴、及び特に「薄い」特徴を解釈することに基づいている。2次元では、かかることは1次元の輪郭又はセンターラインであり、3次元では、曲線にされた2次元の表面である。これらの方法は、典型的にエッジに基づいており、領域又は対象物内部のグレイ値の分布は、度外視している。他方で、非一様のグレイ値の分布は、誤ったエッジを示唆することがあり、これにより、誤った位置でのアクティブな輪郭又は対象物を位置合わせすることになる。
結果として、とりわけ、本発明の目的は、マッチ又はミスマッチを計算するためのローカル処理を使用すること、及び第一と第二の分布の間の相対的な動きを実現する繰返しステップを制御するためにその結果を使用することにある。ここで、その態様の1つによれば、本発明は、請求項1の特徴となる部分に従って特徴付けされる。
特に、Xavier Pennec, Pascal Cachier及びNicholas Ayacheによる文献“Understanding the “Demon’s Algorithm” 3D Non-rigid Registration by Gradient Descent”, 2nd Int. Conf. On Medical Image Computing and Computer-Assisted Intervention, pp.597-605, Cambridge, UK, Sept. 19-22, 1999は、強度差の基準の平方和に関する近似的に二次の降下を表すためのアルゴリズムを開示している。しかし、本質的に、本発明は、繰返しのアプローチを使用しており、これにより、様々なレベルの高い複雑さを回避することができ、特に、比較的シンプルなコンフィギュレーションの複雑さは、無視することができない。
また、本発明は、請求項1に記載される方法を実現するために配置されるシステム、及び請求項14に記載されるコンピュータプログラムに関する。本発明のコンピュータプログラムは、CD−ROMのようなデータキャリアに提供され、又はワールドワイドウェブのようなデータネットワークからダウンロードすることができる。本発明の更なる利点となる態様は、従属の請求項に記載される。
本発明のこれらの特徴、態様及び利点、並びに更なる特徴、態様及び利点は、本発明の好適な実施の形態の開示を参照して、特に添付図面を参照して、以下に更に詳細に開示される。
第一と第二の分布(distribution)の間の相対的な動きを与える繰返しステップは、アクティブオブジェクトアプローチに適用されるエネルギー最適化ステップとして解釈することができる。グレイ値の分布間の実際の整合は、このステップを繰返し適用することで最適化される。1つのグレイ値の分布は、アクティブオブジェクトの役割を果たし、2つのグレイ値の分布間の最小の差を表す位置及び方向へのやり方を発見するための多数のステップを自動的に実行し、その後、プロセスは自動的に停止する。
本発明の特定の態様は、関与する画像エレメントの数に実質的に等しい数において、ローカルの計算のみが必要とされることである。従来の技術は、少なくともかかる数の平方に実質的に比例する多数の計算を必要とすることが考慮される。
本発明の別の利点となる態様は、計算されたグレイ値の差が、2つのグレイ値の分布を相対的に再位置合わせするための方向を与える力の場(フォースフィールド:force field)を直接的につながることである。エネルギー機能の複雑な評価が必要とされる。
提案されるアクティブオブジェクトは、任意の二次元又は三次元の形状から構成される場合があり、ピクセル又はボクセルの形式で非常に多数のエレメントを含んでいる場合がある。グレイ値の分布を記述する関与するエレメント数を低減するため、グレイ値の分布の特徴的なサブエリアにおけるエレメントのような、他の低減されたコンフィギュレーションを使用することができる。かかる低減の可能性は、ダウンサンプリングである。後者は、特に、スケール−スペースアプローチを可能にする。2つのグレイ値の分布間の差の初歩のエレメント毎の評価に基づいて、1つの力ベクトルが特定の分布のそれぞれのエレメントについて生成される。
そのようにして発見されたベクトルは、多数のやり方で結合することができる。簡単なやり方は、エレメントが互いに関して移動すること、全体のエレメントの収集について、全ての力ベクトルを1つの単一の力及び1つの単一のトルクに結合することを許可しないことである。次いで、第一のグレイ値の分布は、リジットオブジェクトとして作用するようにされ、すなわち第二のグレイ値の分布に関して変換及び回転が可能である。アクティブオブジェクトのリロケーション(変換及び回転)は、加速度を導く力の物理的モデル、速度を導く加速度、及び変位を導く速度に従って、時間的に多数の離散的なステップとして実現される。同様に、トルクは角加速度を導き、この角加速度は角速度を導き、この角速度は回転を導く。本発明の方法は、スケーリングにより容易に拡張することができ、このスケーリングは、いわゆるリジットデフォーメーションに共通して含まれている。
力ベクトルを結合するための別のやり方は、第一のグレイ値の分布のピクセル又はボクセル間の所定量の制御される動きを許容することであり、たとえば、アクティブオブジェクトのアファインデフォーメーションを許容することである。勿論、第二のグレイ値の分布に関する第一のグレイ値の分布(アクティブオブジェクト)の高次の変形も可能である。
2つのグレイ値の分布間の差の評価に関する様々な詳細、そこから生じる力の計算、並びに、第二のグレイ値の分布に関する第一のグレイ値の分布の変換、回転及び変形は、以下に説明される。
図1a,図1bは、ステップ毎の再位置合わせによる、グレイ値の分布A,Bの整合を例示している。図1aでは、Aにより示される第一の分布は、Bにより示される第二の分布に最適に整合される。それ自身により、アイテムBは、公知のテストパターンであり、大規模(large scale)のグレイ値の分布、及びそこに重ね合わされる小規模(smaller-scale)の雑音分布がグレイ値で有している。意図される整合は、大規模及び小規模の両者であるべきである。ここで、左での第一のマッチングから、矢印の方向に移動するために第一の分布上に力が発生される。力の強度及び第一の分布の仮想的な量の値は、仮想的な時間内で変換及び/又は回転を生じる加速度を与える。量及び時間ユニットの選択は、動きの特徴を決定する。アンダーダンプされた動き(underdamped motion)は、望まれない発振を生じることがある。他方で、オーバダンプされた動き(overdamped motion)は、多くの計算サイクルを要する。さらに、幾つかのローカルの最適値のみへの最適な整合を取る傾向にある場合がある。簡潔さのため、この図に関して動的な振る舞いが考慮されていない。図1bに示されるように、最適な方針は、最小の移動距離を通して達成されている。実際に、それぞれが関連する回転角度をもつ他の位置は、この特定の第二の分布Bと大規模のグレイ値の分布に関する整合を生成するが、重ね合わされるノイズとの整合を生成しない。次いで、これらは、ローカルの最適な位置のみを生じる。実際に、単一の最適値のみが支配的である。さらに、本発明は、他の部分に対して余分の関連性を有すると考えられる分布の部分に高い重みを割り当てるような、分布の様々なサブセットに異なる重みを割り当てることが可能である。
[GWDG(Grayvalue Weighted Difference Gradient)]
提案される方法は、1次元又は二次元のコンテクストで説明される。3次元又はそれ以上への拡張も簡単である。
提案される方法は、1次元又は二次元のコンテクストで説明される。3次元又はそれ以上への拡張も簡単である。
[1次元の説明]
図2は、1次元の例を示しており、GWDGの原理、あるグレイ値の分布を第二の類似のグレイ値の分布に整合させるためにどのように使用することができるかを説明している。この図における曲線A(i)及びB(i)は、1次元のグレイ値の遷移を表している。B(i)は、A(i)の変換されたコピーであり、目的は、B(i)に最も整合する位置にA(i)を移動することである。
図2は、1次元の例を示しており、GWDGの原理、あるグレイ値の分布を第二の類似のグレイ値の分布に整合させるためにどのように使用することができるかを説明している。この図における曲線A(i)及びB(i)は、1次元のグレイ値の遷移を表している。B(i)は、A(i)の変換されたコピーであり、目的は、B(i)に最も整合する位置にA(i)を移動することである。
はじめに、差B(i)−A(i)の(離散的なケースでは、たとえば中央の差)勾配が計算される。
力の場
(外7)
は、変換の方向に関して対称的であるため、力の場として働くために非常に適切な量であるように見える。図3では、B(i)は、A(i)に関して正の方向に変換され、すなわちB(i)=A(i‐n)であり、全体の力について特定の値
は、変換の方向に関して対称的であるため、力の場として働くために非常に適切な量であるように見える。図3では、B(i)は、A(i)に関して正の方向に変換され、すなわちB(i)=A(i‐n)であり、全体の力について特定の値
整合される必要がある形状は、同じである必要はない。たとえば、様式化されたモデルを実際の形状に整合するとき、2つの間の大きな差でさえも、図5に例示されるように、
[二次元の説明]
つぎに、二次元の例が説明される。図6を参照されたい。図6の上の行は、図6a及び図6bにおいて、A(i,j)がB(i,j)に最適にフィットするように、整合されるべき、2つのシンプルな離散的なグレイ値の分布A(i,j)及びB(i,j)を示しており、この例では、A(i,j)の単に水平にシフトされたバージョンである、
(a)第一のグレイ値の分布A(i,j)
(b)第二のグレイ値の分布B(i,j)
(c)差D(i,j)=A(i,j)−B(i,j)
(d)X方向における勾配Gx(i,j)=∇xD(i,j)
(e)Fx(i,j)=A(i,j)・Gx(i,j)
(f)Y方向における勾配Gy(i,j)=∇yD(i,j)
(g)Fy(i,j)=A(i,j)・Gy(i,j)
評価における第一のステップは、2つのグレイスケールの分布B(i,j)とA(i,j)の間のポイント間の差D(i,j)を計算することである。
つぎに、二次元の例が説明される。図6を参照されたい。図6の上の行は、図6a及び図6bにおいて、A(i,j)がB(i,j)に最適にフィットするように、整合されるべき、2つのシンプルな離散的なグレイ値の分布A(i,j)及びB(i,j)を示しており、この例では、A(i,j)の単に水平にシフトされたバージョンである、
(a)第一のグレイ値の分布A(i,j)
(b)第二のグレイ値の分布B(i,j)
(c)差D(i,j)=A(i,j)−B(i,j)
(d)X方向における勾配Gx(i,j)=∇xD(i,j)
(e)Fx(i,j)=A(i,j)・Gx(i,j)
(f)Y方向における勾配Gy(i,j)=∇yD(i,j)
(g)Fy(i,j)=A(i,j)・Gy(i,j)
評価における第一のステップは、2つのグレイスケールの分布B(i,j)とA(i,j)の間のポイント間の差D(i,j)を計算することである。
効率及び速度の理由のため、計算されるべき力の場は、水平及び垂直成分に分裂され、次のステップは、図6d及び図6fに示されるx方向及びy方向におけるD(i,j)のグレイ値の勾配を計算することである。中央の差は、たとえば、勾配の近似として使用される。
図7a及び図7bから、水平方向において結果的に得られる全体の力が存在することがわかる。垂直方向における力は、互いにキャンセルされる。以下のセクションでは、グレイ値の分布A(i,j)がどのようにアクティブオブジェクトのように作用することができるか、計算された力がこのアクティブオブジェクトをグレイ値の分布B(i,j)を最も整合させる位置に移動するためにどのように適用することができるかが説明される。
[アクティブオブジェクト:アクティブピクセル/ボクセルのコレクション]
グレイ値の分布A(i,j)は、A(i,j)のピクセル又はボクセルといったエレメントの集合からなるアクティブオブジェクトとして見ることができる。これらの画素のそれぞれは、力
グレイ値の分布A(i,j)は、A(i,j)のピクセル又はボクセルといったエレメントの集合からなるアクティブオブジェクトとして見ることができる。これらの画素のそれぞれは、力
[リジッドデフォーメーション(堅い変形:rigid deformation)]
多くのケースでは、アクティブオブジェクトのリジッドデフォーメーションは十分であって、互いに関してエレメントの相対的な位置が変化しないことを意味する。これは、全体として集合の変換及び回転の自由度を残す。リジッドデフォーメーションには、スケーリングが共通して含まれる。1次元のケースでは、先に示されたように(図3及び図4)、個別の力がシンプルに互いに加えられる。2次元のケースでは、個別の力の組み合わせが全体の集合の重力の中心(COG)に作用する1つの力及び1つのトルクとなるので、自体は僅かに複雑になる。
多くのケースでは、アクティブオブジェクトのリジッドデフォーメーションは十分であって、互いに関してエレメントの相対的な位置が変化しないことを意味する。これは、全体として集合の変換及び回転の自由度を残す。リジッドデフォーメーションには、スケーリングが共通して含まれる。1次元のケースでは、先に示されたように(図3及び図4)、個別の力がシンプルに互いに加えられる。2次元のケースでは、個別の力の組み合わせが全体の集合の重力の中心(COG)に作用する1つの力及び1つのトルクとなるので、自体は僅かに複雑になる。
[ノンリジットデフォーメーション]
ノンリジットデフォーメーションが必要とされるケースでは、先に記載されたように、全体としてアクティブオブジェクトについて、1つの力及び1つのトルクにシンプルに力を結合することができない。エレメントは、互いに関して自由に移動することができない。これは、完全なカオスを招く可能性があるからである。しかし、アクティブオブジェクトが制御される方式でその形状を修正することができるように、自由度が許容されるものがある。
ノンリジットデフォーメーションが必要とされるケースでは、先に記載されたように、全体としてアクティブオブジェクトについて、1つの力及び1つのトルクにシンプルに力を結合することができない。エレメントは、互いに関して自由に移動することができない。これは、完全なカオスを招く可能性があるからである。しかし、アクティブオブジェクトが制御される方式でその形状を修正することができるように、自由度が許容されるものがある。
ここで、提案されるアプローチは、多数の部分にアクティブオブジェクトを少分割することであり、それぞれについて、力及びトルクが計算される。これらの部分のそれぞれについて変換、回転及びスケーリングを計算した後、変位曲線をこれらの部分の重力の中心を通してフィットすることができ、それぞれの個別のエレメントの位置は、これらの曲線に関して調節することができる。このアプローチは、図9に例示されており、線形な変位曲線がフィットされる。
要求される場合、部分の回転を考慮して、リシェーピング(再成形:reshaping)における多くの自由度について許容するため、高次の曲線及び/又は更なる小分割が適用される。
アクティブオブジェクトが分割される部分のサイズが小さくなり、それらの数が多くなると、より多くの自由度がノンリジットなデフォーメーションについて許容される。
アクティブオブジェクトが分割される部分のサイズが小さくなり、それらの数が多くなると、より多くの自由度がノンリジットなデフォーメーションについて許容される。
[力の結合]
エレメントに作用する全ての力は、全体のアクティブオブジェクト(又はノンリジットなデフォーメーションのケースではその一部)のCOGに作用する1つの力及び1つのトルクに変換される必要がある。ここで、ポイントを通過しないラインに沿って作用する力は、図10に示されるように、トルクと結合されるこのポイントへの力を生じる。
エレメントに作用する全ての力は、全体のアクティブオブジェクト(又はノンリジットなデフォーメーションのケースではその一部)のCOGに作用する1つの力及び1つのトルクに変換される必要がある。ここで、ポイントを通過しないラインに沿って作用する力は、図10に示されるように、トルクと結合されるこのポイントへの力を生じる。
全体のオブジェクトのCOGへの全体の力
[変換、回転、スケーリング変換の実現]
第二のグレイ値の分布に関する第一のグレイ値の分布(アクティブオブジェクト)を再び位置合わせするプロセスは、反復的な離散的な時間ステッピングプロセスとして実現することができ、このプロセスは、動的なプロセスが等しく配置された時間t=kΔtにおける離散ポイントで評価されることを意味し、連続する評価ポイントの間で状況が変化しないことが想定されることを意味する。このアプローチは、先に記載されており、2次元のアクティブな輪郭に連続して印加される。このアプローチは、加速度につながる力、速度につながる加速度、及び変位につながる速度の基本物理に似ている。
第二のグレイ値の分布に関する第一のグレイ値の分布(アクティブオブジェクト)を再び位置合わせするプロセスは、反復的な離散的な時間ステッピングプロセスとして実現することができ、このプロセスは、動的なプロセスが等しく配置された時間t=kΔtにおける離散ポイントで評価されることを意味し、連続する評価ポイントの間で状況が変化しないことが想定されることを意味する。このアプローチは、先に記載されており、2次元のアクティブな輪郭に連続して印加される。このアプローチは、加速度につながる力、速度につながる加速度、及び変位につながる速度の基本物理に似ている。
時間tでアクティブオブジェクトにこのケースでは作用する力は、先の章で導出されたように、全体の力
安定性を保証するため、式(15)における
[回転]
回転は、変換に非常に類似して実現される。しかし、このケースでは、変数は、時間tでアクティブオブジェクトでのトルクを表すTtot(t)、角加速度b(t)、角速度w(t)、及びベクトル
回転は、変換に非常に類似して実現される。しかし、このケースでは、変数は、時間tでアクティブオブジェクトでのトルクを表すTtot(t)、角加速度b(t)、角速度w(t)、及びベクトル
[スケーリング]
アクティブオブジェクトの拡大又は縮小を含むため、COGからエレメントに示す位置ベクトル
アクティブオブジェクトの拡大又は縮小を含むため、COGからエレメントに示す位置ベクトル
変換、回転及びスケーリングは、1つの繰返しプロセスに結合することができ、同じ繰り返しにおいて全ての3つのアクションが実行される。別のアプローチは、たとえば、第五の変換ステップの後に、1つの回転ステップと1つのスケーリングステップを行うといった、交互するパターンでこれら3つの動作を適用することである。
望まれる場合、重みファクタは、互いに関して3つの動作の作用のバランスをとるために追加することができる。
[応用]
医療画像形成における明らかな応用は、ランドマークマッチングであり、このランドマークマッチングでは、2つのデータセットの記録について使用することができる、1つのデータセットにおける特徴的な位置(ランドマーク)の周りのグレイ値の分布を、第二のデータセットにおける対応する特徴的な位置を位置合わせするために、第二のデータセットにおけるグレイ値の分布にフィットさせることが必要とされる。ランドマークは、(半)自動で選択することができるか、又はユーザにより示される。先に関連するものは、ランドマークモデルをデータセットにフィットする自動化されたランドマークの位置である。
医療画像形成における明らかな応用は、ランドマークマッチングであり、このランドマークマッチングでは、2つのデータセットの記録について使用することができる、1つのデータセットにおける特徴的な位置(ランドマーク)の周りのグレイ値の分布を、第二のデータセットにおける対応する特徴的な位置を位置合わせするために、第二のデータセットにおけるグレイ値の分布にフィットさせることが必要とされる。ランドマークは、(半)自動で選択することができるか、又はユーザにより示される。先に関連するものは、ランドマークモデルをデータセットにフィットする自動化されたランドマークの位置である。
他の応用の幾つかの例は、衛星画像、天文学、ビデオフレームの時間処理、認識、及びセキュリティ及び監視のためのパターン認識である。
記載された方法は、グラフィックオブジェクト等を画像データに対話的に位置合わせすることを必要とするユーザにコンピュータ支援を提供するために使用することができる。様式化されたグレイ値の分布は、かかるグラフィックオブジェクトに割り当てることができ、次いで、画像におけるグレイ値に整合することができる。
本実施の形態で記載されるようなグレイ値(1次元、二次元又は三次元)の整合は、現在のグレイ値プロファイルマッチングアプリケーション又はアピアランスモデリングアプローチのための代替とすることができる。
図11は、好適な実施の形態の手順的なブロック図を例示している。図はそれ自身、先に米国特許第5,633,951号から同じ譲渡人に取られている。ここで、それぞれの画像形成システム12(磁気共鳴)及び14(コンピュータトモグラフィ)により生成された2つの画像は、最適な整合で結合される。しかし、手順は、MR対MR画像、又はかかる画像の使用可能なソースにより更に作用される。ここではじめに、プロセッサ16では、2つのボリュームの分布は、変換、回転によるか、又は優れていると考えられている更に複雑な手順により、ボリューム2を補正することにより、最適な整合を生成するために記録される。つぎに、プロセッサ18では、そのように記録された2つの分布は、ディスプレイ20での画像形成のために実際に結合される。
図12は、本発明に係る本発明の手順に関するフローチャートである。ブロック30では、システムが開始され、関連するハードウェア及びソフトウェア機能が割り当てられている。つぎに、ブロック32では、バックグランドストレージからのような、2つの分布が受信される。つぎに、ブロック34では、簡単な一様な整合から手順を補正するための堅さのない及び他の手順は、必要であれば、分布のうちの1つに適切に割り当てられる。ブロック36では、2つの分布がエレメント毎に整合され、エレメント毎の力が導出される。つぎに、ブロック38では、1つの力及び1つのトルクのように、又はむしろ、力/トルクの更に複雑化されたセットのように、力が累積又は結合される。ブロック40では、力/トルクにより引き起こされた動きが計算され、決定された変位又はリポジション。ブロック42では、全体的な整合が発見され、十分であるかチェックされる。十分ではない場合、システムは、ブロック36に復帰する。十分である場合、ブロック44で整合が出力される。代替的に、ブロック42は、ブロック36の出力に位置する。
ここで、本発明は、好適な実施の形態を参照して記載された。当業者であれば、様々な変更及び変形が特許請求の範囲を逸脱することなしになされる場合があることを認識されるであろう。結果的に、実施の形態は例示的なものと考えられ、実施の形態から限定的に解釈されるべきではなく、特許請求の範囲に引用されたものにより限定されるべきである。
(外31)
を示す図である。
図8a及び図8bは、全体について重力(COG)の中央に1つの力及び1つのトルクを生じるため、個別のエレメントへの力の結合を示す図である。
図9a及び図9cは、線形な変形の曲線のフィッティングによる、二次元のアクティブな対象物のノンリジットデフォーメーションを示す図である。
図10a及び図10bは、力
を示す図である。
Claims (14)
- 第一のデータセットのグレイ値の第一のエレメントを第二のデータセットのグレイ値の第二のエレメントと整合させて、前記第一のエレメントの第一の分布を前記第二のエレメントの第二の分布に整合させるための方法であって、
前記第一のエレメントを前記第二のエレメントにマッピングし、マッピングされた第一のエレメントとその関連する第二のエレメントとの間の局所的なグレイ値の分布の差を評価するステップと、
前記局所的なグレイ値の分布の差から、前記第一のエレメントのそれぞれについて、好適な動きの大きさ及び方向を示す、力の場の力ベクトルを導出するステップと、
前記第一の分布と前記第二の分布との間の整合を改善する補正されたマッピングに前記第一のエレメントを集合的に繰返し移動するため、個別の力ベクトルを前記第一のエレメントに集合的に作用する1つの力及び1つのトルクの値に結合するステップと、
を有することを特徴とする方法。 - 十分な整合が達成されるまで、前記繰返し移動することを実行するステップを有する、
請求項1記載の方法。 - 前記導出するステップのそれぞれについて、計算の数は、前記第一のエレメントの数において実質的に線形である、
請求項1記載の方法。 - 前記第一及び第二のエレメントは、それぞれのエレメントのスーパーセットからなるそれぞれのサブセットを形成する、
請求項1記載の方法。 - 前記サブセットは、前記スーパーセットの特徴的な特性を表すことに基づいて選択される、
請求項4記載の方法。 - 前記サブセットは、ダウンサンプリングを通して選択される、
請求項4記載の方法。 - 前記結合するステップは、前記第一のエレメントを互いに関して移動するのを妨げることで、全ての前記ベクトルを1つの力及び1つのトルクの値に結合する、
請求項1記載の方法。 - 前記第一の分布のエレメント間で予め決定された動き量を許容する、
請求項1記載の方法。 - 前記許容することは、アファイン変換又は高次の変形を受ける、
請求項8記載の方法。 - 医療用の画像形成のランドマークマッチングに適用される、
請求項1記載の方法。 - 衛星画像、天文学画像、ビデオフレームの時間処理、人間又はアーチファクト画像の識別、並びに、セキュリティ、監視又は偵察のためのパターン認識のうちの1つに適用される、
請求項1記載の方法。 - 前記動きはダンピングの制約を受ける、
請求項1記載の方法。 - 第一のデータセットのグレイ値の第一のエレメントを第二のデータセットのグレイ値の第二のエレメントと整合させて、前記第一のエレメントの第一の分布を前記第二のエレメントの第二の分布に最適に整合させるための、請求項1記載の方法を実現するために構成されるシステムであって、
前記第一及び第二のデータセットを受けるために受信手段と、
前記第一のエレメントを前記第二のエレメントにマッピングし、マッピングされた第一のエレメントとその関連する第二のエレメントとの間の局所的なグレイ値の分布の差を評価するために、前記受信手段により供給されるマッピング手段と、
前記局所的なグレイ値の分布の差から、前記第一のエレメントのそれぞれについて、好適な動きの大きさ及び方向を示す、力の場の力ベクトルを導出する、前記マッピング手段により供給される力導出手段と、
前記第一の分布と前記第二の分布との間の整合を改善する補正されたマッピングに前記第一のエレメントを集合的に繰返し移動するため、個別の力ベクトルを前記第一のエレメントに集合的に作用する1つの力及び1つのトルクの値に結合する、前記力導出手段により供給される結合手段と、
前記補正されたマッピングを前記マッピング手段及び/又は前記力駆動手段に逆結合するためのループ手段と、
を有することを特徴とするシステム。 - 第一のデータセットのグレイ値の第一のエレメントを第二のデータセットのグレイ値の第二のエレメントと整合させ、前記第一のエレメントの第一の分布を前記第二のエレメントの第二の分布に最適に整合させるための命令を含むコンピュータプログラムであって、
前記第一のエレメントを前記第二のエレメントにマッピングし、マッピングされた第一のエレメントとその関連する第二のエレメントとの間の局所的なグレイ値の分布の差を評価し、
前記局所的なグレイ値の分布の差から、前記第一のエレメントのそれぞれについて、好適な動きの大きさ及び方向を示す、力の場の力ベクトルを導出し、
前記第一の分布と前記第二の分布との間の整合を改善する補正されたマッピングに前記第一のエレメントを集合的に繰返し移動させるため、個別の力ベクトルを前記第一のエレメントに集合的に作用する1つの力及び1つのトルクの値に結合する、
ための命令を含むことを特徴とするコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP03100691 | 2003-03-18 | ||
PCT/IB2004/050256 WO2004084141A1 (en) | 2003-03-18 | 2004-03-15 | Method and apparatus for optimally matching data sets |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006521616A true JP2006521616A (ja) | 2006-09-21 |
Family
ID=33016967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006506714A Withdrawn JP2006521616A (ja) | 2003-03-18 | 2004-03-15 | データセットを最適に整合させるための方法及び装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7616835B2 (ja) |
EP (1) | EP1606767B1 (ja) |
JP (1) | JP2006521616A (ja) |
CN (1) | CN100419793C (ja) |
AT (1) | ATE371913T1 (ja) |
DE (1) | DE602004008594T2 (ja) |
WO (1) | WO2004084141A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5082856B2 (ja) * | 2005-11-30 | 2012-11-28 | 株式会社ニコン | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
US8504635B2 (en) * | 2008-04-28 | 2013-08-06 | Alcatel Lucent | Method and apparatus for IMS support for multimedia session, recording, analysis and storage |
CN104658021B (zh) * | 2009-12-25 | 2018-02-16 | 英特尔公司 | 虚拟环境中的对象的图形模拟 |
US9308444B2 (en) | 2009-12-25 | 2016-04-12 | Intel Corporation | Graphical simulation of objects in a virtual environment |
EP2369551B1 (en) * | 2010-03-25 | 2019-10-30 | Emory University | Imaging system and method |
US8760161B2 (en) * | 2011-02-21 | 2014-06-24 | General Electric Company | System and method for enhanced contrast MR imaging |
DE102011080905B4 (de) * | 2011-08-12 | 2014-03-27 | Siemens Aktiengesellschaft | Verfahren zur Visualisierung der Registrierungsqualität medizinischer Bilddatensätze |
CN104166977B (zh) * | 2013-05-17 | 2017-10-10 | 中国航空工业集团公司洛阳电光设备研究所 | 一种图像匹配相似性测度方法及其图像匹配方法 |
JP6049202B2 (ja) * | 2013-10-25 | 2016-12-21 | 富士フイルム株式会社 | 画像処理装置、方法、及びプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5034986A (en) * | 1989-03-01 | 1991-07-23 | Siemens Aktiengesellschaft | Method for detecting and tracking moving objects in a digital image sequence having a stationary background |
EP0602730B1 (en) * | 1992-12-18 | 2002-06-19 | Koninklijke Philips Electronics N.V. | Registration of Volumetric images which are relatively elastically deformed by matching surfaces |
US5590261A (en) * | 1993-05-07 | 1996-12-31 | Massachusetts Institute Of Technology | Finite-element method for image alignment and morphing |
DE69422876T2 (de) * | 1993-10-11 | 2000-06-15 | Thomson Multimedia Sa | Verfahren und Gerät zur Korrektur von Bewegungsvektoren |
US5815596A (en) * | 1994-04-14 | 1998-09-29 | Narendra Ahuja | Multiscale image edge and region detection method and apparatus |
US5531520A (en) * | 1994-09-01 | 1996-07-02 | Massachusetts Institute Of Technology | System and method of registration of three-dimensional data sets including anatomical body data |
US5937083A (en) * | 1996-04-29 | 1999-08-10 | The United States Of America As Represented By The Department Of Health And Human Services | Image registration using closest corresponding voxels with an iterative registration process |
US5912988A (en) * | 1996-12-27 | 1999-06-15 | Xytec Corporation | Image processing method and apparatus for distortion compensation |
US6072542A (en) * | 1997-11-25 | 2000-06-06 | Fuji Xerox Co., Ltd. | Automatic video segmentation using hidden markov model |
US6658145B1 (en) * | 1997-12-31 | 2003-12-02 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern inspection |
US6363163B1 (en) * | 1998-02-23 | 2002-03-26 | Arch Development Corporation | Method and system for the automated temporal subtraction of medical images |
US6301370B1 (en) * | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
US6795573B2 (en) * | 2000-01-27 | 2004-09-21 | Nikon Corporation | Inspection method and apparatus |
JP4294881B2 (ja) * | 2000-05-12 | 2009-07-15 | 富士フイルム株式会社 | 画像の位置合わせ方法および装置 |
JP4274400B2 (ja) * | 2000-05-12 | 2009-06-03 | 富士フイルム株式会社 | 画像の位置合わせ方法および装置 |
-
2004
- 2004-03-15 US US10/548,965 patent/US7616835B2/en active Active
- 2004-03-15 CN CNB2004800073454A patent/CN100419793C/zh not_active Expired - Lifetime
- 2004-03-15 WO PCT/IB2004/050256 patent/WO2004084141A1/en active IP Right Grant
- 2004-03-15 JP JP2006506714A patent/JP2006521616A/ja not_active Withdrawn
- 2004-03-15 AT AT04720685T patent/ATE371913T1/de not_active IP Right Cessation
- 2004-03-15 EP EP04720685A patent/EP1606767B1/en not_active Expired - Lifetime
- 2004-03-15 DE DE602004008594T patent/DE602004008594T2/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP1606767A1 (en) | 2005-12-21 |
CN100419793C (zh) | 2008-09-17 |
US20060285771A1 (en) | 2006-12-21 |
CN1761974A (zh) | 2006-04-19 |
US7616835B2 (en) | 2009-11-10 |
WO2004084141A1 (en) | 2004-09-30 |
DE602004008594T2 (de) | 2008-07-31 |
DE602004008594D1 (de) | 2007-10-11 |
EP1606767B1 (en) | 2007-08-29 |
ATE371913T1 (de) | 2007-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rohlfing et al. | Multi-classifier framework for atlas-based image segmentation | |
Cordón et al. | A fast and accurate approach for 3D image registration using the scatter search evolutionary algorithm | |
JP2021525408A (ja) | 画像または音声データの入力データセットペアの変位マップの生成 | |
US8861891B2 (en) | Hierarchical atlas-based segmentation | |
EP1057137A1 (en) | Rapid convolution based large deformation image matching via landmark and volume imagery | |
JP2008511932A (ja) | 直接因数分解による変形可能な形状のレジストレーション及びモデリングのためのシステム及び方法 | |
JP2006521616A (ja) | データセットを最適に整合させるための方法及び装置 | |
Jia et al. | A novel dynamic multilevel technique for image registration | |
Rodriguez et al. | 3-dimensional curve similarity using string matching | |
Kruger et al. | Affine real-time face tracking using a wavelet network | |
Maddaiah et al. | Optimization of image registration for medical image analysis | |
Lötjönen et al. | Artificial enlargement of a training set for statistical shape models: Application to cardiac images | |
KR101785857B1 (ko) | 단일 영상 기반의 외각 시점 합성 방법 및 영상 처리 장치 | |
Ni et al. | A hybrid framework for 3-D human motion tracking | |
JP2000353244A (ja) | 基礎行列を求めるための方法、ユークリッド的な3次元情報の復元方法、および3次元情報復元装置。 | |
Al-Azzawi et al. | MR image monomodal registration based on the nonsubsampled contourlet transform and mutual information | |
Pettersson et al. | Non-rigid registration for automatic fracture segmentation | |
Feng et al. | Virtual view face image synthesis using 3d spring-based face model from a single image | |
Manabe et al. | Real-time image-based vibration extraction with memory-efficient optical flow and block-based adaptive filter | |
Fieres et al. | A point set registration algorithm using a motion model based on thin-plate splines and point clustering | |
Pirpinia et al. | Diversifying multi-objective gradient techniques and their role in hybrid multi-objective evolutionary algorithms for deformable medical image registration | |
Rezaei et al. | A hybrid particle swarm steepest gradient algorithm for elastic brain image registration | |
Ellingsen et al. | Mjolnir: Deformable image registration using feature diffusion | |
Sato et al. | Nonlinear registration of medical images using Cauchy-Navier spline transformation | |
Skibbe et al. | PatchMorph: A Stochastic Deep Learning Approach for Unsupervised 3D Brain Image Registration with Small Patches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070313 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070621 |