JP2008511932A - 直接因数分解による変形可能な形状のレジストレーション及びモデリングのためのシステム及び方法 - Google Patents

直接因数分解による変形可能な形状のレジストレーション及びモデリングのためのシステム及び方法 Download PDF

Info

Publication number
JP2008511932A
JP2008511932A JP2007530306A JP2007530306A JP2008511932A JP 2008511932 A JP2008511932 A JP 2008511932A JP 2007530306 A JP2007530306 A JP 2007530306A JP 2007530306 A JP2007530306 A JP 2007530306A JP 2008511932 A JP2008511932 A JP 2008511932A
Authority
JP
Japan
Prior art keywords
matrix
basis
proposed
measurements
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007530306A
Other languages
English (en)
Inventor
シャオ ジン
ゲオルゲシュ ボグダン
ショーン ツォウ シャン
コマニチ ドリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Solutions USA Inc filed Critical Siemens Medical Solutions USA Inc
Publication of JP2008511932A publication Critical patent/JP2008511932A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)

Abstract

デジタル化された画像における変形可能な形状をレジスタリング及びモデリングする方法において、該方法は次のステップを有する、すなわち、
変形可能な形状の測定値のセットを提供し、該測定値のセットは測定値行列を形成するステップと、
同時に剛体レジスタリング変換(rigid registering transformation)及び線形形状モデル(linear shape model)について解くステップとを有する、デジタル化された画像における変形可能な形状をレジスタリング及びモデリングする方法。

Description

関連の米国出願との相互参照
本出願は2004年9月2日に提出されたXiaoその他の米国特許仮出願番号60/606632"Registration and Modeling of Deformable Shapes: A Factorization Approarch"から優先権を請求するものである。この開示内容は、参照によって本願の開示内容に含まれる。
技術分野
本発明はデジタル化された画像における変形可能な形状のレジストレーションに関する。
関連技術の説明
変形可能なオブジェクトの統計的形状モデルは、2次元MRI脳画像をセグメント化すること、3次元超音波画像から心筋壁運動をトラッキングすること及び2次元ビデオから人の顔を認識することのような多くのタスクにとって重要である。しかし、多くの測定方法は局所座標系に関連してオブジェクト形状の座標を、例えば、異なる視点から得られる人の顔の2D画像又は人の心臓の3D超音波ボリュームを発生する。形状モデルを抽出するためには、異なる局所座標系におけるこれらの測定値は共通座標系にレジスタリングされる必要がある。
オブジェクトが剛体的(rigid)である場合には、観測される形状の変化は局所座標系の配向とスケールとの間の差から由来する。これらの形状のレジストレーションはスケーリング、回転及び並進を含むこれらの間の相似変換の推定に帰する。
現実の世界では、多くの生物学的オブジェクト及び自然のシーンが人の顔及び心臓のようにその形状を変化させる。観測される形状の変化は互いに結合された2つのファクタに起因する:剛体相似変換(rigid similarity transformation)と非剛体形状変形(non-rigid shape deformation)である。レジストレーションの目的は、従ってこれら2つのファクタを分解及び復元することである。1つのよく知られたアプローチ、一般化プロクラステス分析(Generalized Procrustes Analysis GPA)は形状変形をガウス雑音として取り扱い、各々観測される形状をセントロイド形状によりアラインする。このセントロイド形状は剛体ケースのように既にアラインされた形状の平均である。このレジストレーションプロセスはそれが安定したセントロイドに収束するまで繰り返される。
変形可能なオブジェクトの形状は、2D及び3Dの人の顔の形状及び2Dの心筋形状のようにしばしばある種の形状基底の線形結合である。このような形状変形はほんのわずかである場合、すなわち平均形状が変形に比べて優位である場合、又は、これらが平均形状に関して対称的である場合、すなわち、正の及び負のオフセットが互いにキャンセルしあう場合、これらの変形はガウス雑音として見なすことができ、一般化プロクラステス分析は変形可能な形状をレジスタリングすることにおいて成功裡に作用する。次いで主成分分析がアラインされた形状に対して適用され、線形形状変形モデルを計算することができる。しかし、多くの適用事例においては、形状変形が大きく、非対称的であり、例えば動かない建物及び動く乗り物から成る動的シーン又は2つの目の非同期的にまばたきする場合がそうである。このような状況では、形状変形はガウス雑音とは見なせない。一般化プロクラステス分析はレジストレーションプロセスの間の非剛体形状変形を考慮にいれないので、このような変形はレジストレーション及び結果的に得られる線形形状モデルに偏りをもたらすだろう。
本発明の概要
ここで記述される本発明の例示的な実施形態は一般的に剛体相似変換(rigid similarity transformation)と非剛体形状変形(non-rigid shape deformations)とをデカップリングする直接因数分解レジストレーション(direct factorization registration)のための方法及びシステムを含む。直接因数分解は、同時に任意の次元における変形可能な形状をレジスタリングすること及び線形変形モデルを再構成することに対して線形な閉じた形式解を与える。変形可能な形状の線形基底表示は成功裡に2D画像から3D形状を復元するために使用されている。直接因数分解法は剛体回転の正規直交性(orthonormality)及び変形可能な形状基底の一意性(uniqueness)にそれぞれ線形な制約を課し、同時に観測された形状のレジストレーションと変形基底の再構成とに対する線形な閉じた形式の解を与える。
本発明の例示的な実施形態は、デジタル化された画像における変形可能な形状をレジスタリング及びモデリングする方法を提供し、変形可能な形状の測定値のセットを提供し、測定値のこのセットは測定値行列を形成するステップと、同時に剛体レジスタリング変換(rigid registering transformation)及び線形形状モデル(linear shape model)について解くステップとから成る。
本発明の別の例示的な実施形態は、デジタル化された画像における変形可能な形状をレジスタリング及びモデリングする方法を提供し、この方法は、D次元の変形可能な形状のP個の地点のN個の測定値の測定値行列Wを提供するステップと、N個の測定値に対する基底数Kを決定し、ここでK<Nであり、さらに基底セットとして測定値行列WのK個の測定値をセレクトするステップと、測定値行列Wを行列積Mx∃Bに分解し、ここでMは提案されたスケーリングされた回転行列であり、Bは提案された基底行列であるステップと
Figure 2008511932
により定義された行列Qkを計算し、ここでΦは
Figure 2008511932
を表し、これは提案されたスケーリングされた回転行列及び提案された基底行列を真のスケーリングされた回転行列及び真の基底行列に変換するアンビギュイティ行列を表すステップと、行列Qkをk=1,...,Kにおいてgkk Tに分解し、ここでgkはD∃K%D∃K行列Gの列であるステップと、真のスケーリングされた回転行列をMx∃Gから及び真の基底行列をG-1x∃Bから復元するステップを有する。
本発明の更に別の実施形態は、デジタル化された画像における変形可能な形状をレジスタリング及びモデリングするための方法ステップを実施するためにコンピュータにより実行可能な命令のプログラムを実体的に具現化するコンピュータによりリーダブルなプログラム記憶装置において、方法ステップは次のステップを含む、すなわち、変形可能な形状の測定値のセットを提供し、測定値のセットは測定値行列を形成するステップと、同時に剛体レジスタリング変換及び線形形状モデルについて解くステップとを含む。
図面の簡単な説明
図1は本発明の実施形態による直接因数分解レジストレーションプロシージャのフローチャートを示す。
図2は本発明の実施形態による直接因数分解レジストレーションプロシージャをインプリメントするための例示的なコンピュータシステムのブロック線図である。
有利な実施形態の詳細な説明
ここで記述されるような本発明の例示的な実施形態は一般的に剛体相似変換と非剛体形状変形とをデカップリングする直接因数分解レジストレーションのためのシステム及び方法を含む。
本発明の実施形態によれば、非剛体オブジェクトの形状はK個の形状基底{Bk,k=1,...,K}の線形結合として見なされうる。各基底はDxP行列であり、この行列は形状の上のP個の地点をしてD次元オブジェクト形状空間の中での位置を変えるように指示する。よって、時間iにおけるこの形状の座標は
Figure 2008511932
であり、ここでlikは基底Bkの結合ウェイトである。このオブジェクト形状は異なるビューから、異なる距離において、異なるスケールで測定されうる。
よって、オブジェクト形状とその測定値との間の相似変換が存在し、これは
Figure 2008511932
であり、ここでciは非零スカラーであり、RiはDxD正規直交行列であり、TiはDx1ベクトルであり、これらはそれぞれスケーリング、回転及び並進変換を表し、一緒になって相似変換を形成する。1は1xPベクトルであり、その全ての要素は1である。Siを式(1)を使用して置き換え、ciをlikの中に吸収すると、
Figure 2008511932
が得られる。もし変形可能なオブジェクトのN個の観測値が測定されるならば、測定値はDNxP行列Wの中にスタックされうる。Wの中のN個のD行の各々は観測された形状をそれぞれ含む。式(3)により、全ての観測された形状は形状基底の同一セットに関するので、次式
Figure 2008511932
が得られ、ここでMはスケーリングされたDNxDK回転行列であり、BはDKxP基底行列であり、TはDNx1並進ベクトルであり、
Figure 2008511932
のように示される。
よって、変形可能な形状のレジストレーション及びモデリングは同時にM及びTにおける剛体相似変換を復元しBにおける非剛体変形モデルを再構成するために測定値行列Wを分解することを含む。観測された形状を正確にアラインするためには、Wにおける測定値を式(4)のように直接因数分解するべきであり、この結果、Bにおける変形可能な形状基底及びM及びTにおける剛体相似変換を再構成する。
本発明の実施形態によれば、Wを因数分解する第1のステップは世界座標原点を観測された形状の中心に置くことである。この場合、Tにおける並進は形状地点の平均座標に等しい。これらを測定値から減算することによって
Figure 2008511932
が得られる。形状変形及び剛体回転が両方とも非退化(nondegenerate)であると仮定すると、すなわちスケーリングされた回転行列M及び形状基底行列Bが両方とも式(5)に従ってフルの階数を持つと仮定すると、Mの階数はmin{DK,DN,P}であり、Bの階数はmin{DK,P}である。これらの積
Figure 2008511932
は階数min{DK,DN,P}を持つ。一般的に、形状数N及び地点数Pは基底数Kよりもはるかに大きく、すなわちDN>DK及びP>DK。
Figure 2008511932
の階数は従ってDKであり、Kは
Figure 2008511932
によって決定される。
本発明の実施形態によれば、特異値分解(SVD)は
Figure 2008511932
をDNxDK行列
Figure 2008511932
とDKxP行列
Figure 2008511932
との積に分解するために使用されうる。この分解は正則DKxDK線形変換によってしか決定されない。真のスケーリングされた回転M及び基底Bは
Figure 2008511932
の形式をもち、ここでGはM及びBを決定する正則DKxDKアンビギュイティ変換である。変形可能な形状レジストレーション及びモデリングの決定は今や
Figure 2008511932
が与えられた時にGを計算することになる。
行列GはK個のD列を有し、gk,k=1,...,Kと表され、ここで各列はDKxD行列である。これらの列は互いに独立している。というのも、Gは正則であるからである。式(5,6)によれば、gkは次式
Figure 2008511932
を満たし、ここで
Figure 2008511932
はN個のD行を有し、
Figure 2008511932
と表され、ここで各行はDxDK行列である。Qk=gkk Tとすると、DKxDK対称行列がアンビギュイティ行列列の積によって形成された。この場合、
Figure 2008511932
である。Qkを計算するためには、2つのタイプの制約が利用可能である:回転行列の正規直交性及び形状基底の一意性である。
回転行列への正規直交性制約は2D画像から3D構造及び動きを推論するために使用されうる。上記の式から、回転の正規直交性のために、
Figure 2008511932
が得られ、ここでIDxDはDxD恒等行列である。上のD個の対角要素は同値であり、Qkに対するD−1個の線形制約をもたらす。非対角要素は全てゼロである。Qkは対称であるので、(D2−D)/2個の線形制約がある。
本発明の実施形態によれば、(N/2)(D2+D−2)個の線形制約がN個の観測される形状に対して得られる。対称行列Qkは(D22+DK)/2個の別個の要素を有する。Nが十分に大きく、この結果、N≧(D22+DK)/(D2+D−2)である場合、Qkは式(9)における線形正規直交性制約を使用して決定される。しかし、これらの制約のほとんどは他に依存し、従って冗長である。しかし、正規直交性制約についての一般解がQk=G(Ω+Λ)GTであることが示されうる。ただしここでΩは任意のブロック歪対称行列(block-skew-symmetric matrix)であり、Λは任意のブロックスケールド恒等行列である。これらのΛ及びΩは対称的である。Λの各DxDブロックはスケーリングされた恒等行列である。Ωの全ての対角DxDブロックは零行列であり、非対角DxDブロックは全て歪対称行列である。
Λ及びΩはそれぞれ(K2+K)/2及び(K2−K)(D2−D)/4個の変数を有する。それゆえ、たとえ変形可能な形状の観測が何回測定されようとも、正規直交性制約だけを実施すると((K2−K)(D2−D)+2(K2+K))/4個の自由度を有する曖昧な解空間をもたらす。さらに、この空間は無効解を含む。特に、所望されるQk=gkk Tが半正値であるので、解Qk=G(Ω+Λ)GTは(Ω+Λ)が半正値でない場合には有効ではない。このような無効解は実際この空間内に存在する。例えば、Λ=0である場合、(Ω+Λ)がブロック歪対称行列Ωに等しく、これは半正値でない。
正規直交性制約が本来的に曖昧である理由は、それが形状基底の一意的なセットを決定できないからである。これらの基底に適用されるどんな正則線形変換も結果的に適当な基底の別のセットをもたらす。アンビギュイティを排除するために、形状基底の一意性を保証する制約が実施される。
Figure 2008511932
のDKxP部分行列はK個の観測された形状から形成され、ここでKは予め決定された基底数である。
Figure 2008511932
の条件数は基礎となる変形可能な形状の独立性の尺度である。比較的小さい条件数は比較的強い独立性に関連する。本発明の実施形態によれば、K個の観測される形状の各可能なセットの条件数が計算され、最小条件数を有するセットがセレクトされる。このセットは最も独立したK個の変形可能な形状を含む。線形変形空間内のK個の独立した形状はどれでも基底のセットと見なされるので、これらの変形可能な形状は一意的な基底セットと規定され、すなわちセレクトされた観測はそれぞれスケーリングされ回転された形状基底である。スケーリングは形状の独立性には影響を与えないので、スカラーは基底の中に吸収され、セレクトされた観測は単に回転された基底である。
第1のK個の測定値としてセレクトされた観測を表し、すなわち、
Figure 2008511932
とすると、相応する係数は
Figure 2008511932
である。式(8、10)によれば:
Figure 2008511932
であり、ここでΦは
Figure 2008511932
を表す。これらの4N(K−1)個の線形制約は一意的に形状基底を決定する。
式(9)及び式(11)の線形方程式を解くことはQk=gkk T,k=1,....,Kの閉じた形式の解をもたらす。gkはQkをSVDを介して分解することによって復元されうる。Qkの分解は任意のDxD正規直交変換Ψによる。というのも、(gkΨ)(gkΨ)TもQkに等しいからである。このアンビギュイティはg1,...,gkが異なる座標系の下で独立に推定されるという事実に起因する。このアンビギュイティを解消するためには、g1,...,gkが単一の基準座標系の下に変換される必要がある。
しかし、式(7)のために
Figure 2008511932
である。回転行列Riは正規直交なので、つまり
Figure 2008511932
である。正負の符号は基準座標系の配向によって決定される。本発明の実施形態によれば、回転のK個のセットはg1,...,gkを使用してそれぞれ計算される。分解アンビギュイティのゆえに、各々2つのセットの間にはDxD正規直交変換がある。回転セットのうちの1つが基準として指定される。他の回転の正負の符号が相応の基準回転と矛盾しないように決定される。正規直交変換は直交プロクラステス分析によって計算され、正負の符号が付けられた回転セットを基準セットに変換する。これらの正規直交変換はg1,...,gkも共通座標系の下にあるように変換する。すなわち、所望のアンビギュイティ変換Gが達成される。この場合、係数は式(7)によって計算され、形状基底は式(6)によって復元される。これらの結合は変形可能な形状を再構成する。
本発明の実施形態による直接因数分解レジストレーションプロシージャのフローチャートが図1に記載されている。この図を参照すると、レジストレーションはステップ11で並進Tを測定値Wの平均として計算することによって始まり、ついでそれを
Figure 2008511932
によって消去する。その後、ステップ12においてSVDが
Figure 2008511932
を因数分解するために実施され、ここでMはDN%DK行列であり、BはDK%P行列である。エネルギを支配する
Figure 2008511932
の階数はこの場合DKである。基底数Kは
Figure 2008511932
と定義され、ここでDはオブジェクト形状空間の次元である。ステップ13では、K個の観測Wkがセレクトされ、
Figure 2008511932
が整理しなおされ(reordered)、
Figure 2008511932
のrank-DK近似がSVDにより計算される。ステップ14では、行列Qk,k=1,...,Kが最小二乗アルゴリズムを介して式(9)及び(11)の線形方程式
Figure 2008511932
を解くことによって計算される。ステップ15ではGの列gk,k=1,...,KがSVDを介して計算され、回転が
Figure 2008511932
から復元される。回転は直交プロクラステス分析を使用して共通座標系に変換される。ステップ16では、線形形状モデルが
Figure 2008511932
から復元され、係数が
Figure 2008511932
から復元される。これらの結合がレジスタリングされた形状を再構成する。計算コストをセーブするために、一度十分小さい条件数を有するK個の観測された形状のグループが配置されたら基底観測のサーチをストップすることができる。とういうのも、これらは独立した形状のセットを指定するが、比較的独立した形状は比較的信頼性の高いレジストレーションをもたらすからである。基底数が1と決定される場合、形状は剛体的だがノイジーなデータとして取り扱われ、GPAのレジストレーションに類似の最小二乗レジストレーションが達成される。
本発明の実施形態による方法のパフォーマンスは人の顔、心筋層及び動的シーンを含むシミュレートされたデータとリアルなデータの両方を使用してテストされた。
直接因数分解法の精度及びロバスト性は異なる測定ノイズレベル及び基底数に関連して定量的に評価された。ガウス白色雑音を仮定すると、ノイズ強度はノイズのフロベニウスノルム(Frobenius norm)と測定値との間の比率:
Figure 2008511932
によって表された。アルゴリズムはそれぞれ5つの異なるノイズレベル0%、5%、10%、15%及び20%においてテストされた。各レベルにおいて、2D空間内で剛体設定が1個の基底に関して、非剛体設定がそれぞれ2,...,及び10個の基底に関して試験された。各設定に対して、100回のトライアルがテストされた。各トライアルにおいて、これらの基底はランダムに発生され、ノーマライズされた(|Bi|=1)。よって、これらは一般的に非対称的であった。66個の形状がこれらの基底の線形結合として構成された。結合ウェイトは、異なる基底に対するウェイトが同じオーダの大きさを有するように、すなわち基底のうちの1つが優位でないようにランダムに発生された。これらの形状は次いで観測値を発生するためにランダムにスケーリングされ、回転され、並進され、ノイズを添加された。基底は等しく形状合成に寄与し、基底数が大きくなればなるほど、形状はますます「非剛体的」になり、個々の基底に対するノイズは強くなる。従って、一般的に、レジストレーションは比較的多くの基底が含まれる場合に測定ノイズに対して比較的敏感である。
観測された形状はそれぞれ提案された方法及びGPAによってレジスタリングされた。回転の空間は多様体なので、誤差はリーマン距離
Figure 2008511932
として度で測定された。形状基底はアラインされた形状を使用して再構成され、これらのアラインされた形状はこの場合復元された形状空間に投影され所望の変形可能な形状を得る。形状における相対的な再構成誤差は
Figure 2008511932
として計算された。
ノイズレベルが0%であった場合、直接因数分解法はいつも正確な剛体回転及び変形可能な形状をゼロ誤差で復元した。ノイズが印加された場合、予期したように、レジストレーションはノイズにより敏感になり、誤差は基底数が大きい場合ほど大きかった。しかし、直接因数分解法は例えば10個の基底及び20%のノイズレベルの最悪のケースでもリーズナブルな精度を達成した。形状における平均誤差は18%より小さく、回転における平均誤差は7.5度より小さかった。剛体設定において、両方の方法は形状を剛体的だがノイジーなデータとして取り扱い、よって同様な性能を示した。しかし、GPAは全ての非剛体トライアルにおいて劣った。ノイズのないケースでさえ、このGPAは形状において注目すべき誤差22%を、回転において11度を生じた。GPAによる誤差は基底数が大きくなると大きくなった。しかし、GPAのパフォーマンスはノイズに対してあまり敏感でなかった。なぜなら、GPAはガウス白色雑音に対して敏感でない最小二乗解を計算するからである。
人の顔は高度に非剛体的なオブジェクトである。それは顔形状の2D画像がいくつかの基底構造の線形結合であることに示されている。この線形統計モデルは顔トラッキング及び認識のようなタスクにとって役立つ。1つのテストシーケンスは顔回転及び瞬き及び笑みのような顔面表情を含む180個の画像を含んでいた。2次元顔形状は68個の特徴点によって表示された。形状測定値から並進を、すなわち平均座標を減算すると、並進された形状はこの場合変形及び回転から構成された。基底の数は3と推定され、この結果、並進された形状のエネルギの99%は階数制約による分解の後に残りうる。次いで剛性回転及び3基底線形形状モデルが提案された方法を使用して再構成された。レジスタリングされた形状は線形形状空間に投影され、3基底変形可能形状を復元した。
別のテスト例は顔形状シーケンスであって、変形が非対称的でランダムではなかった:右まぶた及び眉が開き、左まぶた及び眉が同時に閉じた。これらの形状は固定視点から観測され、剛体性回転及び並進はない。観測された形状は、従って2つの基底の合成であった。GPAによるレジストレーション及び再構成は明らかに実際には生じなかった回転を含んでいたが、他方で直接因数分解法は正確に形状をレジスタリングし変形可能モデルを再構成した。
心臓及び脳のような人の器官はそれらの形状をいつも動的に又は身体に亘って変化させる。統計形状モデルは、2次元MRI脳画像をセグメント化すること及び2D超音波画像内の心筋壁運動をトラッキングすることのような多くの適用事例においてこれらのオブジェクトの画像を解釈するために利用されてきた。本発明の実施形態による方法は2D心エコー検査画像における心筋層の形状をレジスタリングすることに及び線形形状空間を抽出することにおいてテストされた。観測データは120個の心筋層画像から成った。この方法は基底数を3と決定し、回転及び3基底変形可能形状を復元した。最も支配的な基底は全エネルギの約90%を占有し、すなわち変形はランダムノイズのように取るに足らなかった。
動的シーンの3Dモデリングはロボットナビゲーション及びヴィジュアルサーベイランスのようなタスクにとって重要である。3Dシーンが静的な建物及び乗り物又は直線に沿って動く歩行者から成る場合、形状は線形基底から成る。すなわち、静的部分と線形運動である。1つの見本シーケンスは同時にそれぞれの方向に沿って運動する3つのおもちゃを含み、2つはテーブル上にあり、1つはスロープ上にある。シーンの他の部分は静的であった。シーン形状は2つの基底から成り、静的オブジェクトの1つの基底及び線形運動のもう1つの基底である。18個の形状が異なる視点から観測された。2個の基底ダイナミックシーン形状が正確に直接因数分解法によって再構成された。線形3D運動は重要であり、非対称的であるので、相応の形状変形はガウス雑音としては取り扱うべきではない。
本発明はハードウェア、ソフトウェア、ファームウェア、特殊用途プロセスの様々な形態又はこれらのコンビネーションにおいてインプリメントされうることを理解すべきである。1つの実施形態では、本発明はソフトウェアにおいてコンピュータリーダブルプログラム記憶装置に得実体的に具現化されたアプリケーションプログラムとしてインプリメントされうる。このアプリケーションプログラムはあらゆる適当なアーキテクチャを有するマシンにアップロードされ実行されうる。
図2は本発明の実施形態による直接因数分解レジストレーション法をインプリメントするための例示的なコンピュータシステムのブロック線図である。図2を参照すると、本発明をインプリメントするためのコンピュータシステム21はなかんずく中央処理ユニット(CPU)22、メモリ23及び入力/出力(I/O)インターフェース24を有する。このコンピュータシステム21は一般的にI/Oインターフェース24を介してディスプレイ25及びマウス及びキーボードのような様々な入力デバイス26に結合されている。サポート回路はキャッシュ、電力供給部、クロック回路及び通信バスを含みうる。メモリ23はランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、ディスクドライブ、テープドライブ等々及びこれらのコンビネーションを含みうる。本発明はメモリ23に格納されているルーチン27としてインプリメントされ、CPU22により実行されて信号源28からの信号を処理する。このように、コンピュータシステム21は本発明のルーチン27を実行する場合には特殊用途コンピュータシステムとなる汎用コンピュータシステムである。
コンピュータシステム21はオペレーティングシステム及びマイクロ命令コードも含む。ここで記述された様々なプロセス及び機能はマイクロ命令コードの部分又はオペレーティングシステムを介して実行されるアプリケーションプログラム(又はこれらのコンビネーション)のいずれかである。さらに、付加的なデータ記憶デバイス及び印刷デバイスのように様々な他の周辺デバイスがコンピュータプラットフォームに接続されうる。
幾つかの制約のために添付図面に記載されたシステムコンポーネント及び方法ステップはソフトウェアにおいてインプリメントされ、システムコンポーネント間の瞬時の接続(プロセスステップ)は本発明がプログラムされるやり方に依存して異なることを理解すべきである。本発明の教示がここで提示されれば、当業者は本発明のこれらの及び類似のインプリメンテーション又はコンフィギュレーションを考えることが可能であろう。
本発明を、有利な実施形態を参照して詳細に説明したが、当業者であれば本発明の種々の変更および置換を、特許請求の範囲に記載された思想および範囲から逸脱せずに行えることを認識できる。
本発明の実施形態による直接因数分解レジストレーションプロシージャのフローチャートを示す。 本発明の実施形態による直接因数分解レジストレーションプロシージャをインプリメントするための例示的なコンピュータシステムのブロック線図である。
符号の説明
21 コンピュータシステム
22 中央処理ユニット
23 メモリ
24 I/Oインターフェース
25 ディスプレイ
26 入力デバイス
27 ルーチン
28 信号源

Claims (23)

  1. デジタル化された画像における変形可能な形状をレジスタリング及びモデリングする方法において、該方法は次のステップを有する、すなわち、
    変形可能な形状の測定値のセットを提供し、該測定値のセットは測定値行列を形成するステップと、
    同時に剛体レジスタリング変換(rigid registering transformation)及び線形形状モデル(linear shape model)について解くステップとを有する、デジタル化された画像における変形可能な形状をレジスタリング及びモデリングする方法。
  2. 剛体レジスタリング変換及び線形形状モデルについて同時に解くステップは次のステップを有する、すなわち、
    前記測定値のセットの平均を形成し、該平均を前記測定値のセットから減算するステップと、
    前記測定値行列を提案されたスケーリングされた回転行列と提案された基底行列との積へと分解するステップと、
    前記提案されたスケーリングされた回転行列及び前記提案された基底行列からアンビギュイティ変換(ambiguity transformation)の積行列を計算するステップと、
    前記積行列を制約及び分解してアンビギュイティ変換行列を決定するステップと、
    該アンビギュイティ変換行列を使用して真のスケーリングされた回転行列及び真の基底行列を決定するステップと、
    前記真のスケーリングされた回転行列及び前記真の基底行列からレジスタリングされた形状を構成するステップとを有する、請求項1記載の方法。
  3. さらに測定値行列の階数及び該階数から基底数Kを決定することを有する、請求項2記載の方法。
  4. 測定値のセットはN個の測定値のセットからセレクトされたK個の測定値のサブセットであり、ここでK<Nであり、さらに前記セレクトされたサブセットはK個の測定値の全ての可能なサブセットの最小条件数を有する、請求項3記載の方法。
  5. 前記測定値行列は特異値分解を使用して分解される、請求項2記載の方法。
  6. アンビギュイティ変換行列は提案されたスケーリングされた回転行列に正規直交性制約(orthonomality constraints)を課することによって及び提案された基底行列に一意性制約(uniqueness constraints)を課することによって計算される、請求項4記載の方法。
  7. 前記アンビギュイティ変換行列は特異値分解を使用して分解される、請求項2記載の方法。
  8. 提案された基底行列に一意性制約を課することはさらに回転された基底セットとして最小条件数を有するK個の測定値をセレクトすること及び提案されたスケーリングされた回転行列に対するスケーリング係数を計算することから成る、請求項6記載の方法。
  9. 直交プロクラステス分析を使用してアンビギュイティ変換行列を共通座標系に変換するステップをさらに有する、請求項7記載の方法。
  10. デジタル化された画像における変形可能な形状をレジスタリング及びモデリングする方法において、該方法は次のステップを有する、すなわち、
    D次元の変形可能な形状のP個の地点のN個の測定値の測定値行列Wを提供するステップと、
    N個の測定値に対する基底数Kを決定し、ここでK<Nであり、さらに基底セットとして前記測定値行列WのK個の測定値をセレクトするステップと、
    前記測定値行列Wを行列積Mx∃Bに分解し、ここでMは提案されたスケーリングされた回転行列であり、Bは提案された基底行列であるステップと、
    Figure 2008511932
    により定義された行列Qkを計算し、ここでΦは
    Figure 2008511932
    を表し、これは提案されたスケーリングされた回転行列及び提案された基底行列を真のスケーリングされた回転行列及び真の基底行列に変換するアンビギュイティ行列を表すステップと、
    行列Qkをk=1,...,Kにおいてgkk Tに分解し、ここでgkはD∃K%D∃K行列Gの列であるステップと、
    真のスケーリングされた回転行列をMx∃Gから及び真の基底行列をG-1x∃Bから復元するステップを有する、デジタル化された画像における変形可能な形状をレジスタリング及びモデリングする方法。
  11. 測定値行列WはサイズD∃Nx%Pを持ち、さらに前記測定値行列Wの階数D∃Kを決定するために該測定値行列Wを分解することを含み、基底数Kはrank(W)/Dにより定義される、請求項10記載の方法。
  12. 提案されたスケーリングされた回転行列MはサイズD∃Nx%D∃Kを持ち、提案された基底行列BはサイズD∃Kx%Pを持つ、請求項11記載の方法。
  13. 行列Qkは最小二乗アルゴリズムにより計算される、請求項10記載の方法。
  14. スケーリングされない回転Riはスケーリングされた回転行列MのサイズD%N行Miに対して
    Figure 2008511932
    によってgkから決定される、請求項10記載の方法。
  15. デジタル化された画像における変形可能な形状をレジスタリング及びモデリングするための方法ステップを実施するためにコンピュータにより実行可能な命令のプログラムを実体的に具現化するコンピュータによりリーダブルなプログラム記憶装置において、前記方法ステップは次のステップを含む、すなわち、
    変形可能な形状の測定値のセットを提供し、該測定値のセットは測定値行列を形成するステップと、
    同時に剛体レジスタリング変換及び線形形状モデルについて解くステップとを含む、コンピュータによりリーダブルなプログラム記憶装置。
  16. 剛体レジスタリング変換及び線形形状モデルについて同時に解くステップは次のステップを含む、すなわち、
    前記測定値のセットの平均を形成し、該平均を前記測定値のセットから減算するステップと、
    前記測定値行列を提案されたスケーリングされた回転行列と提案された基底行列との積へと分解するステップと、
    前記提案されたスケーリングされた回転行列及び前記提案された基底行列からアンビギュイティ変換の積行列を計算するステップと、
    前記積行列を制約及び分解してアンビギュイティ変換行列を決定するステップと、
    前記アンビギュイティ変換行列を使用して真のスケーリングされた回転行列及び真の基底行列を決定するステップと、
    前記真のスケーリングされた回転行列及び前記真の基底行列からレジスタリングされた形状を構成するステップとを含む、請求項15記載のコンピュータリーダブルプログラム記憶装置。
  17. さらに前記測定値行列の階数及び該階数から基底数Kを決定することを含む、請求項16記載のコンピュータリーダブルプログラム記憶装置。
  18. 測定値のセットはN個の測定値のセットからセレクトされたK個の測定値のサブセットであり、ここでK<Nであり、さらに前記セレクトされたサブセットはK個の測定値の全ての可能なサブセットの最小条件数を有する、請求項17記載のコンピュータリーダブルプログラム記憶装置。
  19. 測定値行列は特異値分解を使用して分解される、請求項16記載のコンピュータリーダブルプログラム記憶装置。
  20. アンビギュイティ変換行列は提案されたスケーリングされた回転行列に正規直交性制約を課することによって及び提案された基底行列に一意性制約を課することによって計算される、請求項18記載のコンピュータリーダブルプログラム記憶装置。
  21. アンビギュイティ変換行列は特異値分解を使用して分解される、請求項16記載のコンピュータリーダブルプログラム記憶装置。
  22. 提案された基底行列に一意性制約を課することはさらに回転された基底セットとして最小条件数を有するK個の測定値をセレクトすること及び提案されたスケーリングされた回転行列に対するスケーリング係数を計算することを含む、請求項20記載のコンピュータリーダブルプログラム記憶装置。
  23. 直交プロクラステス分析を使用してアンビギュイティ変換行列を共通座標系に変換するステップをさらに含む、請求項21記載のコンピュータリーダブルプログラム記憶装置。
JP2007530306A 2004-09-02 2005-08-31 直接因数分解による変形可能な形状のレジストレーション及びモデリングのためのシステム及び方法 Pending JP2008511932A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US60663204P 2004-09-02 2004-09-02
US11/215,419 US7460733B2 (en) 2004-09-02 2005-08-30 System and method for registration and modeling of deformable shapes by direct factorization
PCT/US2005/030952 WO2006028841A1 (en) 2004-09-02 2005-08-31 System and method for registration and modeling of deformable shapes by direct factorization

Publications (1)

Publication Number Publication Date
JP2008511932A true JP2008511932A (ja) 2008-04-17

Family

ID=35943137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007530306A Pending JP2008511932A (ja) 2004-09-02 2005-08-31 直接因数分解による変形可能な形状のレジストレーション及びモデリングのためのシステム及び方法

Country Status (4)

Country Link
US (1) US7460733B2 (ja)
JP (1) JP2008511932A (ja)
DE (1) DE112005001743T5 (ja)
WO (1) WO2006028841A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012529324A (ja) * 2009-06-11 2012-11-22 サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィク 媒体を特徴づけるための超音波方法と装置
JP2015011399A (ja) * 2013-06-26 2015-01-19 独立行政法人産業技術総合研究所 画像生成装置及び画像生成方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460733B2 (en) * 2004-09-02 2008-12-02 Siemens Medical Solutions Usa, Inc. System and method for registration and modeling of deformable shapes by direct factorization
US8107695B2 (en) * 2007-06-27 2012-01-31 General Electric Company Methods and systems for assessing patient movement in diagnostic imaging
US8150116B2 (en) 2007-07-02 2012-04-03 Siemens Corporation Method and system for detection of deformable structures in medical images
US8295569B2 (en) * 2008-06-12 2012-10-23 Siemens Medical Solutions Usa, Inc. Method and system for automatic detection and measurement of mitral valve inflow patterns in doppler echocardiography
US8406494B2 (en) * 2008-08-08 2013-03-26 Siemens Medical Solutions Usa, Inc. Anatomical primitive detection
US8265363B2 (en) * 2009-02-04 2012-09-11 General Electric Company Method and apparatus for automatically identifying image views in a 3D dataset
EP3960075A1 (en) * 2009-11-27 2022-03-02 Hologic, Inc. Systems and methods for tracking positions between imaging modalities and transforming a displayed three-dimensional image corresponding to a position and orientation of a probe
US8768101B1 (en) * 2010-06-30 2014-07-01 The United States Of America As Represented By The Secretary Of The Air Force Target image registration and fusion
US9082179B2 (en) 2011-02-23 2015-07-14 Koninklijke Philips N.V. Automatic projection of landmarks to generate additional correspondences in image registration
EP2686831A1 (en) 2011-03-15 2014-01-22 Koninklijke Philips N.V. Correlated image mapping pointer
CN103860268B (zh) * 2012-12-13 2017-10-03 中国科学院深圳先进技术研究院 一种标记点配准方法、装置及外科手术导航系统
US20140168204A1 (en) * 2012-12-13 2014-06-19 Microsoft Corporation Model based video projection
US9412076B2 (en) * 2013-07-02 2016-08-09 Surgical Information Sciences, Inc. Methods and systems for a high-resolution brain image pipeline and database program
US20150142626A1 (en) * 2013-11-15 2015-05-21 International Business Machines Corporation Risk scenario generation
US20170278302A1 (en) * 2014-08-29 2017-09-28 Thomson Licensing Method and device for registering an image to a model
CN113303905B (zh) * 2021-05-26 2022-07-01 中南大学湘雅二医院 一种基于视频影像反馈的介入手术操作模拟方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10320588A (ja) * 1997-01-07 1998-12-04 Toshiba Corp 画像処理装置および画像処理方法
JP2003132338A (ja) * 2001-08-08 2003-05-09 Mitsubishi Electric Research Laboratories Inc 物体の非剛体3d形状および動きを復元するための方法およびシーンの非剛体3dモデルを復元するためのシステム
WO2003077202A1 (en) * 2002-03-06 2003-09-18 Siemens Corporate Research, Inc. Visualization of volume-volume fusion

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6408107B1 (en) * 1996-07-10 2002-06-18 Michael I. Miller Rapid convolution based large deformation image matching via landmark and volume imagery
US5926568A (en) * 1997-06-30 1999-07-20 The University Of North Carolina At Chapel Hill Image object matching using core analysis and deformable shape loci
US6137491A (en) * 1998-06-05 2000-10-24 Microsoft Corporation Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes
US6628819B1 (en) * 1998-10-09 2003-09-30 Ricoh Company, Ltd. Estimation of 3-dimensional shape from image sequence
US6614429B1 (en) * 1999-05-05 2003-09-02 Microsoft Corporation System and method for determining structure and motion from two-dimensional images for multi-resolution object modeling
US6611615B1 (en) * 1999-06-25 2003-08-26 University Of Iowa Research Foundation Method and apparatus for generating consistent image registration
US6650335B2 (en) * 2001-02-22 2003-11-18 Mitsubishi Electric Research Laboratories, Inc. Method for extracting static and dynamic super-resolution textures form a sequence of images
US7292737B2 (en) * 2003-08-15 2007-11-06 Microsoft Corporation Unified bayesian framework for shape registration
US7421101B2 (en) * 2003-10-02 2008-09-02 Siemens Medical Solutions Usa, Inc. System and method for local deformable motion analysis
US7460733B2 (en) * 2004-09-02 2008-12-02 Siemens Medical Solutions Usa, Inc. System and method for registration and modeling of deformable shapes by direct factorization
US7680312B2 (en) * 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10320588A (ja) * 1997-01-07 1998-12-04 Toshiba Corp 画像処理装置および画像処理方法
JP2003132338A (ja) * 2001-08-08 2003-05-09 Mitsubishi Electric Research Laboratories Inc 物体の非剛体3d形状および動きを復元するための方法およびシーンの非剛体3dモデルを復元するためのシステム
WO2003077202A1 (en) * 2002-03-06 2003-09-18 Siemens Corporate Research, Inc. Visualization of volume-volume fusion

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012529324A (ja) * 2009-06-11 2012-11-22 サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィク 媒体を特徴づけるための超音波方法と装置
JP2015011399A (ja) * 2013-06-26 2015-01-19 独立行政法人産業技術総合研究所 画像生成装置及び画像生成方法

Also Published As

Publication number Publication date
DE112005001743T5 (de) 2007-07-26
US7460733B2 (en) 2008-12-02
WO2006028841A1 (en) 2006-03-16
US20060045347A1 (en) 2006-03-02

Similar Documents

Publication Publication Date Title
JP2008511932A (ja) 直接因数分解による変形可能な形状のレジストレーション及びモデリングのためのシステム及び方法
US20220358770A1 (en) Scene reconstruction in three-dimensions from two-dimensional images
Chen et al. Tensor-based human body modeling
EP2132680B1 (en) Efficient and accurate 3d object tracking
Petit et al. Tracking elastic deformable objects with an RGB-D sensor for a pizza chef robot
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
JP2005327076A (ja) パラメタ推定方法、パラメタ推定装置および照合方法
KR102270949B1 (ko) 3차원 인간 모델 복원 장치 및 방법
Gee et al. Discovering Planes and Collapsing the State Space in Visual SLAM.
US11935266B2 (en) Camera parameter estimation apparatus, camera parameter estimation method, and computer-readable recording medium
JP2014085933A (ja) 3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム
Pilu et al. Training PDMs on models: the case of deformable superellipses
CN112767463A (zh) 一种对抗配准方法、装置、计算机设备及存储介质
CN110738650A (zh) 一种传染病感染识别方法、终端设备及存储介质
Ong et al. Tracking hybrid 2D-3D human models from multiple views
JP4921847B2 (ja) 対象物の三次元位置推定装置
CN111339969B (zh) 人体姿势估计方法、装置、设备及存储介质
Ni et al. A hybrid framework for 3-D human motion tracking
Langs et al. Modeling the structure of multivariate manifolds: Shape maps
JP2000353244A (ja) 基礎行列を求めるための方法、ユークリッド的な3次元情報の復元方法、および3次元情報復元装置。
Wang et al. Structure and motion recovery based on spatial-and-temporal-weighted factorization
Tissainayagam et al. Contour tracking with automatic motion model switching
JP2022018333A (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
Kazhdan et al. Symmetry Restoration by Stretching.
Krinidis et al. Fast free-vibration modal analysis of 2-D physics-based deformable objects

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091002

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100317