JP2006521616A - データセットを最適に整合させるための方法及び装置 - Google Patents

データセットを最適に整合させるための方法及び装置 Download PDF

Info

Publication number
JP2006521616A
JP2006521616A JP2006506714A JP2006506714A JP2006521616A JP 2006521616 A JP2006521616 A JP 2006521616A JP 2006506714 A JP2006506714 A JP 2006506714A JP 2006506714 A JP2006506714 A JP 2006506714A JP 2006521616 A JP2006521616 A JP 2006521616A
Authority
JP
Japan
Prior art keywords
distribution
force
gray value
mapping
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006506714A
Other languages
English (en)
Inventor
ロブレフト,ステーフェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006521616A publication Critical patent/JP2006521616A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G06T3/14
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation

Abstract

本発明は、第一のエレメントの第一の分布が第二のエレメントの第二の分布と整合するように、第一のデータセットのグレイ値の第一のエレメントを第二のデータセットのグレイ値の第二のエレメントと整合するための方法に関し、本方法は、以下のステップにより特徴付けされる。第一のエレメントを第二のエレメントにマッピングし、マッピングされた第一のエレメントをその関連付けされた第二のエレメントとの間のローカルグレイ値の分布の差を評価する。前記ローカルグレイ値の分布の差から、それぞれの前記第一のエレメントについて力の場の力ベクトルを導出する。前記力の場は、好適な動きの大きさ及び方向を示し、前記第一の分布と第二の分布との間の整合を改善する補正されたマッピングに前記第一のエレメントを集合的に繰返し移動するため、前記個別の力ベクトルを前記第一のエレメントに集合的に作用する1つの力及び1つのトルク値に結合する。

Description

本発明は、請求項1のプリアンブルに更に記載されるように、第一のデータセットのグレイ値の第一のエレメントを第二のデータセットのグレイ値の第二のエレメントと整合させて、第一のエレメントの第一の分布を第二のエレメントの第二の分布と最適に整合させる方法に関する。
様々な従来の方法は、かかる二次元又は三次元のグレイ値の分布を整合するために適用されてきている。エレメントは、空間的な二次元又は三次元のコンフィギュレーションにおけるピクセル、三次元におけるボクセル、又はその他である場合がある。グレイ値は、空間的な画素のグレイネスのような、それぞれのかかるエレメントのそれぞれの単一の値のパラメータのショートのために使用され、他のかかる変数が使用されている。公知の応用分野は、医療のグラフィックなデータ処理である。かかる方法は、相関又は画素の類似性のような技術を通して、複数の代替的な相対的な位置及び方向を検査する。実際の整合は、適用される基準について最も高い応答に基づいて判定される。つぎに、変換マトリクスは、整合の位置及び方向について、1つの分布から他の分布への変換を記述する。
一般に、医療応用における変換は、リジッド又はアファイン変換に制限されており、選択された骨の部分の分布がリジッド変換のみを受け、周囲の組織がアファイン変換により変換される組み合わせとなることがある。
別の方法は、これは走査された人体のデータにおける解剖学上の対象物のエッジ又はサイドを検出するために使用される場合がある、アクティブな二次元の輪郭又はアクティブな三次元の輪郭を使用する。かかる輪郭/対象物は、実際には仮想的な対象物であって、解剖学上の対象物のエッジを表現する画像データにおける特徴を発見することが可能である。かかる技術は、対象物の変換、回転及び変形をアクティブに発見し、次いで良好なフィットをなし、この技術は、走査された人体データにおける解剖学上の対象物のエッジ又はサイドを検出するために使用することができる。かかる技術は、対象物の変換、回転及び変形をアクティブに発見し、画像データにおける特徴への良好なフィットをなす。最良の整合は、最も強い応答を与える対象物が安定な位置の周りに移動するときである。かかることは、ローカルな最良のフィット又はむしろグローバルなフィットである。
本発明の発明者は、ベストマッチングの選択が複数の位置及び方向を調べることを必要とし、それぞれはマッチング基準を計算することを必要とするために、現在の手順が計算上高価であることを認識している。さらに、本発明の発明者は、繰返し手順の利益を認識している。
他方で、アクティブな輪郭又は対象物に基づいた現在の方法は、局部的(ローカル)な画像の特徴、及び特に「薄い」特徴を解釈することに基づいている。2次元では、かかることは1次元の輪郭又はセンターラインであり、3次元では、曲線にされた2次元の表面である。これらの方法は、典型的にエッジに基づいており、領域又は対象物内部のグレイ値の分布は、度外視している。他方で、非一様のグレイ値の分布は、誤ったエッジを示唆することがあり、これにより、誤った位置でのアクティブな輪郭又は対象物を位置合わせすることになる。
結果として、とりわけ、本発明の目的は、マッチ又はミスマッチを計算するためのローカル処理を使用すること、及び第一と第二の分布の間の相対的な動きを実現する繰返しステップを制御するためにその結果を使用することにある。ここで、その態様の1つによれば、本発明は、請求項1の特徴となる部分に従って特徴付けされる。
特に、Xavier Pennec, Pascal Cachier及びNicholas Ayacheによる文献“Understanding the “Demon’s Algorithm” 3D Non-rigid Registration by Gradient Descent”, 2nd Int. Conf. On Medical Image Computing and Computer-Assisted Intervention, pp.597-605, Cambridge, UK, Sept. 19-22, 1999は、強度差の基準の平方和に関する近似的に二次の降下を表すためのアルゴリズムを開示している。しかし、本質的に、本発明は、繰返しのアプローチを使用しており、これにより、様々なレベルの高い複雑さを回避することができ、特に、比較的シンプルなコンフィギュレーションの複雑さは、無視することができない。
また、本発明は、請求項1に記載される方法を実現するために配置されるシステム、及び請求項14に記載されるコンピュータプログラムに関する。本発明のコンピュータプログラムは、CD−ROMのようなデータキャリアに提供され、又はワールドワイドウェブのようなデータネットワークからダウンロードすることができる。本発明の更なる利点となる態様は、従属の請求項に記載される。
本発明のこれらの特徴、態様及び利点、並びに更なる特徴、態様及び利点は、本発明の好適な実施の形態の開示を参照して、特に添付図面を参照して、以下に更に詳細に開示される。
第一と第二の分布(distribution)の間の相対的な動きを与える繰返しステップは、アクティブオブジェクトアプローチに適用されるエネルギー最適化ステップとして解釈することができる。グレイ値の分布間の実際の整合は、このステップを繰返し適用することで最適化される。1つのグレイ値の分布は、アクティブオブジェクトの役割を果たし、2つのグレイ値の分布間の最小の差を表す位置及び方向へのやり方を発見するための多数のステップを自動的に実行し、その後、プロセスは自動的に停止する。
本発明の特定の態様は、関与する画像エレメントの数に実質的に等しい数において、ローカルの計算のみが必要とされることである。従来の技術は、少なくともかかる数の平方に実質的に比例する多数の計算を必要とすることが考慮される。
本発明の別の利点となる態様は、計算されたグレイ値の差が、2つのグレイ値の分布を相対的に再位置合わせするための方向を与える力の場(フォースフィールド:force field)を直接的につながることである。エネルギー機能の複雑な評価が必要とされる。
提案されるアクティブオブジェクトは、任意の二次元又は三次元の形状から構成される場合があり、ピクセル又はボクセルの形式で非常に多数のエレメントを含んでいる場合がある。グレイ値の分布を記述する関与するエレメント数を低減するため、グレイ値の分布の特徴的なサブエリアにおけるエレメントのような、他の低減されたコンフィギュレーションを使用することができる。かかる低減の可能性は、ダウンサンプリングである。後者は、特に、スケール−スペースアプローチを可能にする。2つのグレイ値の分布間の差の初歩のエレメント毎の評価に基づいて、1つの力ベクトルが特定の分布のそれぞれのエレメントについて生成される。
そのようにして発見されたベクトルは、多数のやり方で結合することができる。簡単なやり方は、エレメントが互いに関して移動すること、全体のエレメントの収集について、全ての力ベクトルを1つの単一の力及び1つの単一のトルクに結合することを許可しないことである。次いで、第一のグレイ値の分布は、リジットオブジェクトとして作用するようにされ、すなわち第二のグレイ値の分布に関して変換及び回転が可能である。アクティブオブジェクトのリロケーション(変換及び回転)は、加速度を導く力の物理的モデル、速度を導く加速度、及び変位を導く速度に従って、時間的に多数の離散的なステップとして実現される。同様に、トルクは角加速度を導き、この角加速度は角速度を導き、この角速度は回転を導く。本発明の方法は、スケーリングにより容易に拡張することができ、このスケーリングは、いわゆるリジットデフォーメーションに共通して含まれている。
力ベクトルを結合するための別のやり方は、第一のグレイ値の分布のピクセル又はボクセル間の所定量の制御される動きを許容することであり、たとえば、アクティブオブジェクトのアファインデフォーメーションを許容することである。勿論、第二のグレイ値の分布に関する第一のグレイ値の分布(アクティブオブジェクト)の高次の変形も可能である。
2つのグレイ値の分布間の差の評価に関する様々な詳細、そこから生じる力の計算、並びに、第二のグレイ値の分布に関する第一のグレイ値の分布の変換、回転及び変形は、以下に説明される。
図1a,図1bは、ステップ毎の再位置合わせによる、グレイ値の分布A,Bの整合を例示している。図1aでは、Aにより示される第一の分布は、Bにより示される第二の分布に最適に整合される。それ自身により、アイテムBは、公知のテストパターンであり、大規模(large scale)のグレイ値の分布、及びそこに重ね合わされる小規模(smaller-scale)の雑音分布がグレイ値で有している。意図される整合は、大規模及び小規模の両者であるべきである。ここで、左での第一のマッチングから、矢印の方向に移動するために第一の分布上に力が発生される。力の強度及び第一の分布の仮想的な量の値は、仮想的な時間内で変換及び/又は回転を生じる加速度を与える。量及び時間ユニットの選択は、動きの特徴を決定する。アンダーダンプされた動き(underdamped motion)は、望まれない発振を生じることがある。他方で、オーバダンプされた動き(overdamped motion)は、多くの計算サイクルを要する。さらに、幾つかのローカルの最適値のみへの最適な整合を取る傾向にある場合がある。簡潔さのため、この図に関して動的な振る舞いが考慮されていない。図1bに示されるように、最適な方針は、最小の移動距離を通して達成されている。実際に、それぞれが関連する回転角度をもつ他の位置は、この特定の第二の分布Bと大規模のグレイ値の分布に関する整合を生成するが、重ね合わされるノイズとの整合を生成しない。次いで、これらは、ローカルの最適な位置のみを生じる。実際に、単一の最適値のみが支配的である。さらに、本発明は、他の部分に対して余分の関連性を有すると考えられる分布の部分に高い重みを割り当てるような、分布の様々なサブセットに異なる重みを割り当てることが可能である。
[GWDG(Grayvalue Weighted Difference Gradient)]

提案される方法は、1次元又は二次元のコンテクストで説明される。3次元又はそれ以上への拡張も簡単である。
[1次元の説明]

図2は、1次元の例を示しており、GWDGの原理、あるグレイ値の分布を第二の類似のグレイ値の分布に整合させるためにどのように使用することができるかを説明している。この図における曲線A(i)及びB(i)は、1次元のグレイ値の遷移を表している。B(i)は、A(i)の変換されたコピーであり、目的は、B(i)に最も整合する位置にA(i)を移動することである。
はじめに、差B(i)−A(i)の(離散的なケースでは、たとえば中央の差)勾配が計算される。
Figure 2006521616
つぎに、グレイ値の勾配G(i)は、グレイ値A(i)と乗算される。
Figure 2006521616
A(i)により重み付けされるG(i)の値は、力の場(フォースフィールド)
(外1)
Figure 2006521616
の強度としての使用について非常に適切な量であることがわかり、この力の場は、A(i)とB(i)との間の差が最小にされる意味で、B(i)に最もフィットさせる位置にA(i)を駆動する。
Figure 2006521616
なお、F(i)の値は、(このケースでは)大部分が正の値を有し、A(i)は、右、したがって正のi方向にシフトされるべきである。特定の画素の位置iでのF(i)の正の値がその位置での画素A(i)に作用している力
(外2)
Figure 2006521616
の強度として解釈される場合、A(i)は、正の方向、したがってB(i)の方向で駆動される。図3を参照されたい。
力の場
(外3)
Figure 2006521616
から続き、かつ完全な曲線A(i)に作用している全体の力
(外4)
Figure 2006521616
は、全ての個別の力の和であり、曲線
(外5)
Figure 2006521616
下の表面を表している。
Figure 2006521616
式(1)における差は、式(4)における総和により続くので、
(外6)
Figure 2006521616
は、非常に効率的に計算することができる。
(外7)
Figure 2006521616
は、変換の方向に関して対称的であるため、力の場として働くために非常に適切な量であるように見える。図3では、B(i)は、A(i)に関して正の方向に変換され、すなわちB(i)=A(i‐n)であり、全体の力について特定の値
(外8)
Figure 2006521616
反対方向でのB(i)の変換、すなわちB(i)=A(i+n)は、力
(外9)
Figure 2006521616
を導く。図4を参照されたい。
整合される必要がある形状は、同じである必要はない。たとえば、様式化されたモデルを実際の形状に整合するとき、2つの間の大きな差でさえも、図5に例示されるように、
(外10)
Figure 2006521616
について非常に使用可能な値となる。図5では、図4で使用された相対的な遷移により、ステップ関数が平滑な遷移に整合されている。
[二次元の説明]

つぎに、二次元の例が説明される。図6を参照されたい。図6の上の行は、図6a及び図6bにおいて、A(i,j)がB(i,j)に最適にフィットするように、整合されるべき、2つのシンプルな離散的なグレイ値の分布A(i,j)及びB(i,j)を示しており、この例では、A(i,j)の単に水平にシフトされたバージョンである、
(a)第一のグレイ値の分布A(i,j)

(b)第二のグレイ値の分布B(i,j)

(c)差D(i,j)=A(i,j)−B(i,j)

(d)X方向における勾配Gx(i,j)=∇xD(i,j)

(e)Fx(i,j)=A(i,j)・Gx(i,j)

(f)Y方向における勾配Gy(i,j)=∇yD(i,j)

(g)Fy(i,j)=A(i,j)・Gy(i,j)
評価における第一のステップは、2つのグレイスケールの分布B(i,j)とA(i,j)の間のポイント間の差D(i,j)を計算することである。
Figure 2006521616
D(i,j)における値は、非ゼロであり、この場合A(i,j)及びB(i,j)は等しくなく、図6cから分かるように、D(i,j)におけるグレイ値は、構造化されたパターンを明らかに示しており、これは、B(i,j)がA(i,j)に関して変換される方向に関連する。
効率及び速度の理由のため、計算されるべき力の場は、水平及び垂直成分に分裂され、次のステップは、図6d及び図6fに示されるx方向及びy方向におけるD(i,j)のグレイ値の勾配を計算することである。中央の差は、たとえば、勾配の近似として使用される。
Figure 2006521616
力の場
(外11)
Figure 2006521616
の水平及び垂直成分Fx(i,j)及びFy(i,j)は、A(i,j)で勾配の値を重み付けすることで計算される。
Figure 2006521616
図7は、制限された数の位置について、図7a及び図7bにおける、グレイ値の重み付けされた勾配画像に矢印として重ねられた水平及び垂直のフォースフィールド成分、並びに、図7c及び図7dにおける、差の画像D(i,j)及び画像A(i,j)に関する結合された力の場をそれぞれ示している。
図7a及び図7bから、水平方向において結果的に得られる全体の力が存在することがわかる。垂直方向における力は、互いにキャンセルされる。以下のセクションでは、グレイ値の分布A(i,j)がどのようにアクティブオブジェクトのように作用することができるか、計算された力がこのアクティブオブジェクトをグレイ値の分布B(i,j)を最も整合させる位置に移動するためにどのように適用することができるかが説明される。
[アクティブオブジェクト:アクティブピクセル/ボクセルのコレクション]

グレイ値の分布A(i,j)は、A(i,j)のピクセル又はボクセルといったエレメントの集合からなるアクティブオブジェクトとして見ることができる。これらの画素のそれぞれは、力
(外12)
Figure 2006521616
を受けやすく、前のセクションで説明されたように計算される。全体として応用の要件に依存して、コレクションにこれらの力を適用するために様々な可能性が存在する。
[リジッドデフォーメーション(堅い変形:rigid deformation)]

多くのケースでは、アクティブオブジェクトのリジッドデフォーメーションは十分であって、互いに関してエレメントの相対的な位置が変化しないことを意味する。これは、全体として集合の変換及び回転の自由度を残す。リジッドデフォーメーションには、スケーリングが共通して含まれる。1次元のケースでは、先に示されたように(図3及び図4)、個別の力がシンプルに互いに加えられる。2次元のケースでは、個別の力の組み合わせが全体の集合の重力の中心(COG)に作用する1つの力及び1つのトルクとなるので、自体は僅かに複雑になる。
[ノンリジットデフォーメーション]

ノンリジットデフォーメーションが必要とされるケースでは、先に記載されたように、全体としてアクティブオブジェクトについて、1つの力及び1つのトルクにシンプルに力を結合することができない。エレメントは、互いに関して自由に移動することができない。これは、完全なカオスを招く可能性があるからである。しかし、アクティブオブジェクトが制御される方式でその形状を修正することができるように、自由度が許容されるものがある。
ここで、提案されるアプローチは、多数の部分にアクティブオブジェクトを少分割することであり、それぞれについて、力及びトルクが計算される。これらの部分のそれぞれについて変換、回転及びスケーリングを計算した後、変位曲線をこれらの部分の重力の中心を通してフィットすることができ、それぞれの個別のエレメントの位置は、これらの曲線に関して調節することができる。このアプローチは、図9に例示されており、線形な変位曲線がフィットされる。
要求される場合、部分の回転を考慮して、リシェーピング(再成形:reshaping)における多くの自由度について許容するため、高次の曲線及び/又は更なる小分割が適用される。

アクティブオブジェクトが分割される部分のサイズが小さくなり、それらの数が多くなると、より多くの自由度がノンリジットなデフォーメーションについて許容される。
[力の結合]

エレメントに作用する全ての力は、全体のアクティブオブジェクト(又はノンリジットなデフォーメーションのケースではその一部)のCOGに作用する1つの力及び1つのトルクに変換される必要がある。ここで、ポイントを通過しないラインに沿って作用する力は、図10に示されるように、トルクと結合されるこのポイントへの力を生じる。
全体のオブジェクトのCOGへの全体の力
(外13)
Figure 2006521616
の成分Fx tot及びFy totは、アクティブオブジェクトの個別のエレメントに作用する、力のx成分及びy成分を全て合計することで決定される。
Figure 2006521616
全体のオブジェクトの全体のトルクTtotは、C(xc,yc)からのそれらの距離を考慮して、個別のx成分とy成分を全て合計することで決定される。
Figure 2006521616
ここで考慮されるアクティブオブジェクトは、グリッドにきちんと配列されたピクセル又はボクセルの集合からなるグレイ値の分布であるため、全体のオブジェクトについて1つの力及びトルクに個別の力を結合することは、式(13)及び(14)に従って非常に効率的に実現することができる。
[変換、回転、スケーリング変換の実現]

第二のグレイ値の分布に関する第一のグレイ値の分布(アクティブオブジェクト)を再び位置合わせするプロセスは、反復的な離散的な時間ステッピングプロセスとして実現することができ、このプロセスは、動的なプロセスが等しく配置された時間t=kΔtにおける離散ポイントで評価されることを意味し、連続する評価ポイントの間で状況が変化しないことが想定されることを意味する。このアプローチは、先に記載されており、2次元のアクティブな輪郭に連続して印加される。このアプローチは、加速度につながる力、速度につながる加速度、及び変位につながる速度の基本物理に似ている。
時間tでアクティブオブジェクトにこのケースでは作用する力は、先の章で導出されたように、全体の力
(外14)
Figure 2006521616
である。反復的な離散時間のステッピングプロセスは、以下のループとして実現される。
Figure 2006521616
これらの式では、ベクトル
(外15)
Figure 2006521616
は、時間tでのアクティブオブジェクトの加速度を示し、変数mは、たとえば簡単のために1に設定されるか又はグレイ値の分布から導出される対象物の質量を示し、
(外16)
Figure 2006521616
は速度であり、
(外17)
Figure 2006521616
は、時間tでのエレメント(i,j)の位置を示している。Δt=1を設定することで効率を更に改善することができる。
安定性を保証するため、式(15)における
(外18)
Figure 2006521616
の計算を以下に変えて、ダンピングフォース(damping force)が追加される必要がある。
Figure 2006521616
この反復プロセスは、
(外19)
Figure 2006521616
の両者がユーザ定義可能な(非常に)小さな値よりも小さいときに自動的に停止される。このプロセスは変換を表すので、同じ変位
(外20)
Figure 2006521616
がアクティブオブジェクトの全てのエレメントに適用される。
[回転]

回転は、変換に非常に類似して実現される。しかし、このケースでは、変数は、時間tでアクティブオブジェクトでのトルクを表すTtot(t)、角加速度b(t)、角速度w(t)、及びベクトル
(外21)
Figure 2006521616
であり、このベクトルは、時間tでのCOGに相対的なエレメント(i,j)の位置を示している。
Figure 2006521616
(外22)
Figure 2006521616
の回転は、COGの周りの角度
(外23)
Figure 2006521616
に対するものである。類似のストッピング基準は、変換に関して使用することができる。
[スケーリング]

アクティブオブジェクトの拡大又は縮小を含むため、COGからエレメントに示す位置ベクトル
(外24)
Figure 2006521616
にこれらの力を投影し、これらの投影を全てのエレメントにわたり合計した後、個々のエレメントに作用する力
(外25)
Figure 2006521616
が正又は負の結果を与えるかを知る必要がある。より実用的な実現は、以下のやり方で、
(外26)
Figure 2006521616
の全てのx成分Fx(i,j)とy成分Fy(i,j)を蓄積することである。
Figure 2006521616
シンプルな成長又は縮退プロセスが満足のいく結果を与える実験が示されている。スケーリングは、したがって、変換及び回転のような動的な力により駆動されるプロセスとして実現されていない。代わりに、シンプルな拡張ファクタが導入され、ベクトル
(外27)
Figure 2006521616
に適用される。
Figure 2006521616
ここで、sはスケーリングの作用を制御するためのユーザ定義可能な定数である。
変換、回転及びスケーリングは、1つの繰返しプロセスに結合することができ、同じ繰り返しにおいて全ての3つのアクションが実行される。別のアプローチは、たとえば、第五の変換ステップの後に、1つの回転ステップと1つのスケーリングステップを行うといった、交互するパターンでこれら3つの動作を適用することである。
望まれる場合、重みファクタは、互いに関して3つの動作の作用のバランスをとるために追加することができる。
[応用]

医療画像形成における明らかな応用は、ランドマークマッチングであり、このランドマークマッチングでは、2つのデータセットの記録について使用することができる、1つのデータセットにおける特徴的な位置(ランドマーク)の周りのグレイ値の分布を、第二のデータセットにおける対応する特徴的な位置を位置合わせするために、第二のデータセットにおけるグレイ値の分布にフィットさせることが必要とされる。ランドマークは、(半)自動で選択することができるか、又はユーザにより示される。先に関連するものは、ランドマークモデルをデータセットにフィットする自動化されたランドマークの位置である。
他の応用の幾つかの例は、衛星画像、天文学、ビデオフレームの時間処理、認識、及びセキュリティ及び監視のためのパターン認識である。
記載された方法は、グラフィックオブジェクト等を画像データに対話的に位置合わせすることを必要とするユーザにコンピュータ支援を提供するために使用することができる。様式化されたグレイ値の分布は、かかるグラフィックオブジェクトに割り当てることができ、次いで、画像におけるグレイ値に整合することができる。
本実施の形態で記載されるようなグレイ値(1次元、二次元又は三次元)の整合は、現在のグレイ値プロファイルマッチングアプリケーション又はアピアランスモデリングアプローチのための代替とすることができる。
図11は、好適な実施の形態の手順的なブロック図を例示している。図はそれ自身、先に米国特許第5,633,951号から同じ譲渡人に取られている。ここで、それぞれの画像形成システム12(磁気共鳴)及び14(コンピュータトモグラフィ)により生成された2つの画像は、最適な整合で結合される。しかし、手順は、MR対MR画像、又はかかる画像の使用可能なソースにより更に作用される。ここではじめに、プロセッサ16では、2つのボリュームの分布は、変換、回転によるか、又は優れていると考えられている更に複雑な手順により、ボリューム2を補正することにより、最適な整合を生成するために記録される。つぎに、プロセッサ18では、そのように記録された2つの分布は、ディスプレイ20での画像形成のために実際に結合される。
図12は、本発明に係る本発明の手順に関するフローチャートである。ブロック30では、システムが開始され、関連するハードウェア及びソフトウェア機能が割り当てられている。つぎに、ブロック32では、バックグランドストレージからのような、2つの分布が受信される。つぎに、ブロック34では、簡単な一様な整合から手順を補正するための堅さのない及び他の手順は、必要であれば、分布のうちの1つに適切に割り当てられる。ブロック36では、2つの分布がエレメント毎に整合され、エレメント毎の力が導出される。つぎに、ブロック38では、1つの力及び1つのトルクのように、又はむしろ、力/トルクの更に複雑化されたセットのように、力が累積又は結合される。ブロック40では、力/トルクにより引き起こされた動きが計算され、決定された変位又はリポジション。ブロック42では、全体的な整合が発見され、十分であるかチェックされる。十分ではない場合、システムは、ブロック36に復帰する。十分である場合、ブロック44で整合が出力される。代替的に、ブロック42は、ブロック36の出力に位置する。
ここで、本発明は、好適な実施の形態を参照して記載された。当業者であれば、様々な変更及び変形が特許請求の範囲を逸脱することなしになされる場合があることを認識されるであろう。結果的に、実施の形態は例示的なものと考えられ、実施の形態から限定的に解釈されるべきではなく、特許請求の範囲に引用されたものにより限定されるべきである。
図1a及び図1bは、ステップ毎に再位置合わせすることによる、グレイ値の分布の整合を示す図である。 2つの1次元のグレイ値の遷移A(i),B(i)及びそれらのグレイ値の重み付けされた差の勾配F(i)を示す図である。 A(i)に作用する力の強度として使用されるF(i)の値を示す図である。 図4a及び図4bは、n=2及びn=−2について対照的な計算された例示的な力
(外28)
Figure 2006521616
を示す図である。
整合されるべき様々な形状について
(外29)
Figure 2006521616
の不変性を示す図である。
図6a〜図6gは、成分Fx(i,j)及びFy(i,j)に分割される二次元の計算された力
(外30)
Figure 2006521616
を示す図である。
図7a〜図7dは、力の場の成分Fx(i,j)及びFy(i,j)、及び差D(i,j)(c)及びA(i,j)(d)に重ねられる力の場
(外31)
Figure 2006521616
を示す図である。
図8a及び図8bは、全体について重力(COG)の中央に1つの力及び1つのトルクを生じるため、個別のエレメントへの力の結合を示す図である。 図9a及び図9cは、線形な変形の曲線のフィッティングによる、二次元のアクティブな対象物のノンリジットデフォーメーションを示す図である。 図10a及び図10bは、力
(外32)
Figure 2006521616
をポイントPに作用する力及びトルクに変換することを示す図である。
好適な実施の形態の手順的なブロックを示す図である。 本発明の繰返し手順のフローチャートである。

Claims (14)

  1. 第一のデータセットのグレイ値の第一のエレメントを第二のデータセットのグレイ値の第二のエレメントと整合させて、前記第一のエレメントの第一の分布を前記第二のエレメントの第二の分布に整合させるための方法であって、
    前記第一のエレメントを前記第二のエレメントにマッピングし、マッピングされた第一のエレメントとその関連する第二のエレメントとの間の局所的なグレイ値の分布の差を評価するステップと、
    前記局所的なグレイ値の分布の差から、前記第一のエレメントのそれぞれについて、好適な動きの大きさ及び方向を示す、力の場の力ベクトルを導出するステップと、
    前記第一の分布と前記第二の分布との間の整合を改善する補正されたマッピングに前記第一のエレメントを集合的に繰返し移動するため、個別の力ベクトルを前記第一のエレメントに集合的に作用する1つの力及び1つのトルクの値に結合するステップと、
    を有することを特徴とする方法。
  2. 十分な整合が達成されるまで、前記繰返し移動することを実行するステップを有する、
    請求項1記載の方法。
  3. 前記導出するステップのそれぞれについて、計算の数は、前記第一のエレメントの数において実質的に線形である、
    請求項1記載の方法。
  4. 前記第一及び第二のエレメントは、それぞれのエレメントのスーパーセットからなるそれぞれのサブセットを形成する、
    請求項1記載の方法。
  5. 前記サブセットは、前記スーパーセットの特徴的な特性を表すことに基づいて選択される、
    請求項4記載の方法。
  6. 前記サブセットは、ダウンサンプリングを通して選択される、
    請求項4記載の方法。
  7. 前記結合するステップは、前記第一のエレメントを互いに関して移動するのを妨げることで、全ての前記ベクトルを1つの力及び1つのトルクの値に結合する、
    請求項1記載の方法。
  8. 前記第一の分布のエレメント間で予め決定された動き量を許容する、
    請求項1記載の方法。
  9. 前記許容することは、アファイン変換又は高次の変形を受ける、
    請求項8記載の方法。
  10. 医療用の画像形成のランドマークマッチングに適用される、
    請求項1記載の方法。
  11. 衛星画像、天文学画像、ビデオフレームの時間処理、人間又はアーチファクト画像の識別、並びに、セキュリティ、監視又は偵察のためのパターン認識のうちの1つに適用される、
    請求項1記載の方法。
  12. 前記動きはダンピングの制約を受ける、
    請求項1記載の方法。
  13. 第一のデータセットのグレイ値の第一のエレメントを第二のデータセットのグレイ値の第二のエレメントと整合させて、前記第一のエレメントの第一の分布を前記第二のエレメントの第二の分布に最適に整合させるための、請求項1記載の方法を実現するために構成されるシステムであって、
    前記第一及び第二のデータセットを受けるために受信手段と、
    前記第一のエレメントを前記第二のエレメントにマッピングし、マッピングされた第一のエレメントとその関連する第二のエレメントとの間の局所的なグレイ値の分布の差を評価するために、前記受信手段により供給されるマッピング手段と、
    前記局所的なグレイ値の分布の差から、前記第一のエレメントのそれぞれについて、好適な動きの大きさ及び方向を示す、力の場の力ベクトルを導出する、前記マッピング手段により供給される力導出手段と、
    前記第一の分布と前記第二の分布との間の整合を改善する補正されたマッピングに前記第一のエレメントを集合的に繰返し移動するため、個別の力ベクトルを前記第一のエレメントに集合的に作用する1つの力及び1つのトルクの値に結合する、前記力導出手段により供給される結合手段と、
    前記補正されたマッピングを前記マッピング手段及び/又は前記力駆動手段に逆結合するためのループ手段と、
    を有することを特徴とするシステム。
  14. 第一のデータセットのグレイ値の第一のエレメントを第二のデータセットのグレイ値の第二のエレメントと整合させ、前記第一のエレメントの第一の分布を前記第二のエレメントの第二の分布に最適に整合させるための命令を含むコンピュータプログラムであって、
    前記第一のエレメントを前記第二のエレメントにマッピングし、マッピングされた第一のエレメントとその関連する第二のエレメントとの間の局所的なグレイ値の分布の差を評価し、
    前記局所的なグレイ値の分布の差から、前記第一のエレメントのそれぞれについて、好適な動きの大きさ及び方向を示す、力の場の力ベクトルを導出し、
    前記第一の分布と前記第二の分布との間の整合を改善する補正されたマッピングに前記第一のエレメントを集合的に繰返し移動させるため、個別の力ベクトルを前記第一のエレメントに集合的に作用する1つの力及び1つのトルクの値に結合する、
    ための命令を含むことを特徴とするコンピュータプログラム。

JP2006506714A 2003-03-18 2004-03-15 データセットを最適に整合させるための方法及び装置 Withdrawn JP2006521616A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03100691 2003-03-18
PCT/IB2004/050256 WO2004084141A1 (en) 2003-03-18 2004-03-15 Method and apparatus for optimally matching data sets

Publications (1)

Publication Number Publication Date
JP2006521616A true JP2006521616A (ja) 2006-09-21

Family

ID=33016967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006506714A Withdrawn JP2006521616A (ja) 2003-03-18 2004-03-15 データセットを最適に整合させるための方法及び装置

Country Status (7)

Country Link
US (1) US7616835B2 (ja)
EP (1) EP1606767B1 (ja)
JP (1) JP2006521616A (ja)
CN (1) CN100419793C (ja)
AT (1) ATE371913T1 (ja)
DE (1) DE602004008594T2 (ja)
WO (1) WO2004084141A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5082856B2 (ja) * 2005-11-30 2012-11-28 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
US8504635B2 (en) * 2008-04-28 2013-08-06 Alcatel Lucent Method and apparatus for IMS support for multimedia session, recording, analysis and storage
CN104658021B (zh) * 2009-12-25 2018-02-16 英特尔公司 虚拟环境中的对象的图形模拟
US9308444B2 (en) 2009-12-25 2016-04-12 Intel Corporation Graphical simulation of objects in a virtual environment
EP2369551B1 (en) * 2010-03-25 2019-10-30 Emory University Imaging system and method
US8760161B2 (en) * 2011-02-21 2014-06-24 General Electric Company System and method for enhanced contrast MR imaging
DE102011080905B4 (de) * 2011-08-12 2014-03-27 Siemens Aktiengesellschaft Verfahren zur Visualisierung der Registrierungsqualität medizinischer Bilddatensätze
CN104166977B (zh) * 2013-05-17 2017-10-10 中国航空工业集团公司洛阳电光设备研究所 一种图像匹配相似性测度方法及其图像匹配方法
JP6049202B2 (ja) * 2013-10-25 2016-12-21 富士フイルム株式会社 画像処理装置、方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
EP0602730B1 (en) * 1992-12-18 2002-06-19 Koninklijke Philips Electronics N.V. Registration of Volumetric images which are relatively elastically deformed by matching surfaces
US5590261A (en) * 1993-05-07 1996-12-31 Massachusetts Institute Of Technology Finite-element method for image alignment and morphing
DE69422876T2 (de) * 1993-10-11 2000-06-15 Thomson Multimedia Sa Verfahren und Gerät zur Korrektur von Bewegungsvektoren
US5815596A (en) * 1994-04-14 1998-09-29 Narendra Ahuja Multiscale image edge and region detection method and apparatus
US5531520A (en) * 1994-09-01 1996-07-02 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets including anatomical body data
US5937083A (en) * 1996-04-29 1999-08-10 The United States Of America As Represented By The Department Of Health And Human Services Image registration using closest corresponding voxels with an iterative registration process
US5912988A (en) * 1996-12-27 1999-06-15 Xytec Corporation Image processing method and apparatus for distortion compensation
US6072542A (en) * 1997-11-25 2000-06-06 Fuji Xerox Co., Ltd. Automatic video segmentation using hidden markov model
US6658145B1 (en) * 1997-12-31 2003-12-02 Cognex Corporation Fast high-accuracy multi-dimensional pattern inspection
US6363163B1 (en) * 1998-02-23 2002-03-26 Arch Development Corporation Method and system for the automated temporal subtraction of medical images
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6795573B2 (en) * 2000-01-27 2004-09-21 Nikon Corporation Inspection method and apparatus
JP4294881B2 (ja) * 2000-05-12 2009-07-15 富士フイルム株式会社 画像の位置合わせ方法および装置
JP4274400B2 (ja) * 2000-05-12 2009-06-03 富士フイルム株式会社 画像の位置合わせ方法および装置

Also Published As

Publication number Publication date
EP1606767A1 (en) 2005-12-21
CN100419793C (zh) 2008-09-17
US20060285771A1 (en) 2006-12-21
CN1761974A (zh) 2006-04-19
US7616835B2 (en) 2009-11-10
WO2004084141A1 (en) 2004-09-30
DE602004008594T2 (de) 2008-07-31
DE602004008594D1 (de) 2007-10-11
EP1606767B1 (en) 2007-08-29
ATE371913T1 (de) 2007-09-15

Similar Documents

Publication Publication Date Title
Rohlfing et al. Multi-classifier framework for atlas-based image segmentation
Cordón et al. A fast and accurate approach for 3D image registration using the scatter search evolutionary algorithm
JP2021525408A (ja) 画像または音声データの入力データセットペアの変位マップの生成
US8861891B2 (en) Hierarchical atlas-based segmentation
EP1057137A1 (en) Rapid convolution based large deformation image matching via landmark and volume imagery
JP2008511932A (ja) 直接因数分解による変形可能な形状のレジストレーション及びモデリングのためのシステム及び方法
JP2006521616A (ja) データセットを最適に整合させるための方法及び装置
Jia et al. A novel dynamic multilevel technique for image registration
Rodriguez et al. 3-dimensional curve similarity using string matching
Kruger et al. Affine real-time face tracking using a wavelet network
Maddaiah et al. Optimization of image registration for medical image analysis
Lötjönen et al. Artificial enlargement of a training set for statistical shape models: Application to cardiac images
KR101785857B1 (ko) 단일 영상 기반의 외각 시점 합성 방법 및 영상 처리 장치
Ni et al. A hybrid framework for 3-D human motion tracking
JP2000353244A (ja) 基礎行列を求めるための方法、ユークリッド的な3次元情報の復元方法、および3次元情報復元装置。
Al-Azzawi et al. MR image monomodal registration based on the nonsubsampled contourlet transform and mutual information
Pettersson et al. Non-rigid registration for automatic fracture segmentation
Feng et al. Virtual view face image synthesis using 3d spring-based face model from a single image
Manabe et al. Real-time image-based vibration extraction with memory-efficient optical flow and block-based adaptive filter
Fieres et al. A point set registration algorithm using a motion model based on thin-plate splines and point clustering
Pirpinia et al. Diversifying multi-objective gradient techniques and their role in hybrid multi-objective evolutionary algorithms for deformable medical image registration
Rezaei et al. A hybrid particle swarm steepest gradient algorithm for elastic brain image registration
Ellingsen et al. Mjolnir: Deformable image registration using feature diffusion
Sato et al. Nonlinear registration of medical images using Cauchy-Navier spline transformation
Skibbe et al. PatchMorph: A Stochastic Deep Learning Approach for Unsupervised 3D Brain Image Registration with Small Patches

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070313

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070621