JP2017512522A - 対象に固有の動きモデルを生成かつ使用する装置および方法 - Google Patents

対象に固有の動きモデルを生成かつ使用する装置および方法 Download PDF

Info

Publication number
JP2017512522A
JP2017512522A JP2016555581A JP2016555581A JP2017512522A JP 2017512522 A JP2017512522 A JP 2017512522A JP 2016555581 A JP2016555581 A JP 2016555581A JP 2016555581 A JP2016555581 A JP 2016555581A JP 2017512522 A JP2017512522 A JP 2017512522A
Authority
JP
Japan
Prior art keywords
shape
specific
parameters
representations
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2016555581A
Other languages
English (en)
Other versions
JP2017512522A5 (ja
Inventor
バラット、ディーン
フウ、イーペン
Original Assignee
ユーシーエル ビジネス ピーエルシー
ユーシーエル ビジネス ピーエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユーシーエル ビジネス ピーエルシー, ユーシーエル ビジネス ピーエルシー filed Critical ユーシーエル ビジネス ピーエルシー
Publication of JP2017512522A publication Critical patent/JP2017512522A/ja
Publication of JP2017512522A5 publication Critical patent/JP2017512522A5/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20124Active shape model [ASM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30081Prostate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Abstract

解剖学的構造の形状の変動に関する対象に固有の統計モデルを、解剖学的構造の形状に関する一組の幾何学表現を用いて組み立てる方法および装置が提供される。各表現は複数の対象の1つと関連しており、各対象は関連した複数の表現のそれぞれの部分集合を有し、各部分集合は基準表現を含む複数の表現を含む。複数の表現は解剖学的構造の物理的動きおよび/または変形から派生する種々の形状に対応する。この方法は、その値が任意の所与の表現の形状を特徴付ける一組の形状パラメータを規定すること、および各対象に対して、その対象と関連する表現の部分集合全体にわたる形状パラメータの値の確率分布を、一組の対象に固有の分布パラメータによって表すことを含む。この方法はさらに、対象に固有の分布パラメータと、各対象に対するそれぞれの基準表現との間の回帰を決定することと、前記決定された回帰を新規の対象に対する基準表現に当てはめて、新規の対象に対する対象に固有の分布パラメータを決定することを含む。対象に固有の分布パラメータをさらに用いて、新規の対象に対する対象に固有の統計的動きモデルが組み立てられる。【選択図】図1

Description

本発明は、例えば医用画像を加工する場合に使用することができる対象に固有の統計的動きモデルを生成かつ使用する方法および装置に関する。
統計的形状モデル化は、例えば対象間の解剖学的差異による臓器の物理的な形状変化を表現し補正するための有力な方法を提供し、さまざまな医用画像解析業務、例えば画像分割[1]や画像位置合わせ[2]などを目的として研究されてきた。具体的には、クーツ(Cootes)等[3]によって最初に提案され、主成分解析(PCA:principal component analysis)を画像に基づく形状訓練データに応用することによって低次元の線形統計形状モデル(SSM:statistical shape model)を構築するこの方法は、多数の応用分野に利用され、臓器の形状の差異に関する学習情報から有用な制約情報あるいは事前情報を得てきた。そのようなモデルは、区画化と位置合わせのアルゴリズムの範囲内で解を求めるときに、物理的に信じ難い臓器形状を考慮することがないようにする、あるいは少なくともそのような形状の重要度を下げるようにするのに役立つ。
臓器形状の差異は、一般に2つの源から発生すると考えることができる。一番目は対象間の差異と呼ばれるもので、異なる人間間の臓器の形状の差、すなわちある人間と別の人間の臓器の形状の差を表す。そのような形状間の差異は複数個人の母集団全体で自然に生じる。二番目は対象内の差異と呼ばれ、1人の人間の臓器の形状の変化を表す。そのような対象内の変動は多くの異なる因子、例えばその人の姿勢の変化、臓器の自然な(例えば、呼吸や心拍による)動き、医療機器の挿入による組織の変形、疾病の進行または退行などにより発生する。
SSMが最もよく使われる方法は一般に、ある母集団(対象内の形状の差異が明確に考慮されておらず、かつ患者内の形状のいかなる差異の影響も最小にするように一貫した方法で訓練データが得られている母集団)内の対象間の臓器形状の差異を表現する場合である。対象内の臓器の動きを表すSSMを、統計的動きモデル(SMM:statistical motion model)と呼んで、より一般的なSSM[6、7]と区別してもよい。対象間の差異に着目する1つの理由は、対象に固有の(対象内の)臓器形状の変動と臓器の動きのモデル化には、1つの対象から十分な訓練データを得て形状の差異の範囲を統計的に表現する必要があることである。これは現実には困難である。理由は例えば、動的な画像データが必要な場合があるからで、特に臓器形状の完全な三次元(3D)の変動を考慮する場合[1]、その入手は困難または不可能である。特に困難な例には、外科器具の侵入すなわち使用によって非生理的に動く臓器のモデル化がある。そのような場合に、外科手術の前に臓器形状変化に関するデータを得ることは、普通は現実的でも倫理的でもない。
この問題に対処する1つの手法は、生体力学モデル化手法を用いて臓器の動きのシミュレーションを行って、SSMを構築するための合成訓練データを得ることである[4、5]。しかしこの方法で合成訓練データを生成するのは、複雑で時間を要する作業であり、関心のある対象の臓器の区画化、および有限要素解析または同等の方法を用いる膨大な計算によるシミュレーションが必要になる。これらの要因が、このようなモデルを現実に応用する方法の制約になる。例えば、この手法を用いるSMMの生成は、画像で誘導される手術の術前工程として、必要な画像解析とシミュレーションを実施する時間があるときのみ現実的である。
母集団に基づくSSMを、対象間および対象内の臓器の形状の差異または変動に影響を受ける訓練データを用いて組み立てることは可能である。しかしそのようなモデルは、対象に固有の形状/動きを近似する対象に固有のSMMと比べて有効性が劣る、すなわち効果的に機能しないことが非常に多い。具体的には、通常そのようなモデルは、このモデルを用いて形状例を作り出し、かつ対象間の形状の差異による非現実的すなわち「過度に一般化された」形状例を作り出さないようにするとき、対象内の差異と対象間の差異を区別するために追加の制約(弾性モデルによって得られるような制約[8])を必要とする。
対象間および対象内の形状の差異を区別することの重要性は、以下のことを考慮することによって説明される。第1および第2の臓器状態があって、それぞれが対象内の臓器形状の変動に起因する異なる臓器形状に対応する場合、第1の状態と第2の状態の間に臓器の何らかの物理的遷移が存在して臓器形状が変化しているはずである。そのような対象内の変動のモデルをSMM(統計的動きモデル)と呼ぶことができる。何故なら、物理的遷移が第1と第2の形状の間の一般的感覚の動き(臓器の変形による形状変化など)の意味を含むからである。これに対して、第1の臓器形状と第2の臓器形状の差が対象間の差異に起因する場合は、その差は個人によって異なり、何らかの状態変化に対応した第1と第2の形状の間に存在するそのような物理的遷移に対して理由はない。したがって、この種の差異は、より一般的なSSM(統計的形状モデル)で表される。第1および第2の形状が動きによって一般に互いに関連していないからである。
対象間の訓練データの少なくとも一部に基づくSSMを用いて対象に固有の形状の変動をモデル化する場合、所与の臓器に実際は物理的に妥当でなない変動を許容することがある。一例として人間は一般に、眼線から唇までの距離を(顔の筋肉を使って唇を動かすことによって)変えることができる。しかし、眼と眼の間の距離を変えることは、普通は不可能である。この距離は頭蓋骨(剛体)で決まっているからである。一方、眼と眼の間の距離(実際には頭蓋骨の寸法)は個人間で異なる。したがって、対象間の訓練データの少なくとも一部に基づくSSMでは、この眼の距離の差異を、個々の対象には物理的に妥当ではないという事実はあっても許容する可能性がある。
近年、多重線形解析[9]が心臓[10]や心臓弁[11]の動きの動的モデル化の方法として提案されてきた。この手法は、対象間の形状の差異(例えば、異なる個人の心臓の寸法と形状の患者固有の差による差異)および対象内の形状の変動(例えば、生理学的な心臓の動きによる変動)を同じ統計モデルで表すことができる。しかしこの方法は、対象間の動きの亜空間(subspace)の間の時間的対応を知る必要があり、言い換えれば、異なる対象の臓器の状態は、例えば独立した信号によって関連付けられていなければならない。そのような信号は例えば心電計(ECG:electrocardiographic)の信号であり、これは心臓の電気的活動度を測定し、したがって心臓の動きと本質的に関連している。そのような独立した信号を心臓や肺以外の、動きに比例した生理的信号が得られないあるいは測定が非常に難しい臓器で得ることは非常に困難である。さらに、[10、11]に記述された心臓モデルで実証できたのは、心臓周期の記録を通して得られる動的データから比較的少ない時点における臓器形状を予測する能力だけである。
一般に、臓器の動きに関する対象に固有の動的データ、例えば撮影による動的データは多くの場合入手が極端に限られるかあるいは入手不可能である。しかし、画像によって誘導される外科手術に関しては多数の例が存在し、現在の臓器状態を説明する(術中の)空間的データは少なくかつ雑音が多いとすれば、対象間および対象内の臓器の形状の差異、変動に関する学習情報を用いて対象に固有の臓器の形状と動きを予測するモデルを提供できることは望ましい。
例えば手術中に、外科医は特定の解剖学的構造または病変組織領域を治療または除去しようとする。この病変組織の具体的な位置は術前の撮影、例えば磁気共鳴撮影法(MRI)などによって事前に決定されている。しかし、この構造または領域の位置を特定することは難しく、あるいは術中に超音波などの術中撮影を用いて見ることができないことがある。そのような術中撮影技術は一般に安価、持ち運び可能、かつ術中の利用が容易であるが、診断品質の術前撮影方法の情報を提供しないことが多い。
この問題を解決する確立された一つの方法は、術前画像と術中画像の間の(非剛体)位置合わせ(register)(すなわち空間的整列)を実行し、それによって、術前画像で決定された構造を術中画像の上に描く(およびそれと一緒に表示する)ことができるようにすることである。実際には、これは特殊用途の画像融合ソフトウェアを用いて実現され、外科的な応用に重要な要求事項は、外科手術との関係で許容される時間内に画像位置合わせ(image registration)を実施する必要があることである。殆どの臨床使用に十分な高精度を実現するには、画像位置合わせによって、外科的に関心のある対象の臓器または構造の動きや変形を補償することもできることが必要で、そのような動きや変形は、例えば、対象の位置または姿勢の変化、あるいはその外科手術中に使用される器具の直接的な結果として生じる(例えば、超音波撮影プローブ押圧による臓器の変形)。個々の対象のこの臓器の動きの物理的性質から、SMM手法が適切であることが示唆されるが、動的撮影ができない場合に、臓器の動きの生体力学シミュレーションを実行して対象に固有のSMMを組み立てて訓練データを得ることは、計算的にも臨床作業の流れの範囲で実施するという観点でも、複雑かつ時間を要する作業である。
本発明は添付された特許請求の範囲で定義される。
本明細書に記載の本手法により、対象の亜空間の間の対応(correspondence)を知らなくても対象に固有のSMMを組み立てることが可能になる。言い換えれば、異なる対象の臓器の形状と状態の間の関係を設定する必要がない。また本手法は、限定された対象に固有の幾何学データ、例えば1つの静止画像の区画化に基づく基準形状だけを含んで新規(初見の)対象の臓器の動きを予測する。本手法を、前立腺のMRIおよび経直腸超音波(TRUS:transrectal ultrasound)画像の変形可能な登録に応用する例を以下に説明する。
より一般的には、軟組織臓器の変形を含む対象に固有の臓器の動きの統計形状をモデル化するための新しい枠組みが本明細書に記述される。採用した手法は、形状モデルパラメータの対象に固有の確率のモデル化をカーネル回帰解析と結合して、初見の対象の臓器の動きを予測する。本手法は計算の効率が高く、各対象の限られた数の訓練形状サンプルだけを使用する。したがって、臓器形状の変動に関する対象に固有の事前情報は役立つものの、十分な訓練データを得て新規の個々の対象用の統計的形状/動きモデルを組み立てることは現実的でないあるいは技術的にまたは論理的に困難であるという画像解析の問題に高度に適している。本明細書に開示された本手法の一研究として、MRIにより対象に固有の統計的前立腺動きモデルを組み立て、対象に固有の訓練データ(有限要素シミュレーションと、対象間の変動と対象内の前立腺の動きに起因する形状の変動を示す混合対象データとによって得た)を用いて組み立てられたモデルと比較した。この研究の結果は、2つの対象に固有のモデルの出力は一般に等価であり、複数の対象の群の訓練データを用いて組み立てられた混合モデルで得られる特異性よりもずっと大きな特異性が得られることを示している。さらに、非剛体の位置合わせを行うアルゴリズムの一部として許容可能な変形を抑制する場合、2つの異なる対象に固有のモデルを用いて計算したMRIと3D−TRUSの間の対象の位置合わせの誤差に有意差は無かった。これらの知見から、本明細書に記載の本手法は安定性があり、計算の効率がよく、シミュレーションに基づく臓器の動きの対象に固有の統計的形状モデルの現実的な代替になり得ること、場合によっては動的撮影の代替になり得ることがわかった。
本発明の実施態様では解剖学的構造の形状の一組の幾何的表現を用いて対象に固有の解剖学的構造の形状の差異の統計モデルを組み立てる方法および装置が提供される。各表現は複数の対象の1つと関連し、各対象はそれぞれ関連する表現の部分集合(各部分集合は基準表現を含む複数の表現を含む)を持つ。複数の表現は、解剖学的構造の物理的動きおよび/または変形から生じる種々の形状に対応する。本方法は、一組の形状パラメータ(その値は所与の任意の表現を特徴付ける)を規定すること、および各対象に対し、一組の対象に固有の分布パラメータによってその対象と関連する表現の部分集合全体に渡る形状パラメータの値の確率分布を表現することを含む。この方法は、さらに対象に固有の分布パラメータと各対象に対する基準表現との間の回帰を決定すること、および決定した回帰を新規の対象の基準表現に当てはめて、新規の対象に対する対象に固有の分布パラメータを決定することも含む。次にこの対象に固有の分布パラメータを用いて、新規の対象に対する対象に固有の統計的動きモデルが組み立てられる。
幾何学表現は例えば画像を含んでもよい。画像は三次元画像、具体的には解剖学的構造の三次元形状を表す画像でもよい。画像は二次元でもよく、例えば顔認識システムには適切な場合がある。画像を1種以上の適当な撮影方法で得てもよく、そのような撮影方法には例えば、磁気共鳴撮影法(MRI)、X線コンピューター断層撮影(CT)、陽電子放出断層撮影(PET)、超音波、光音響撮影(PAT)、光学式撮影、X線またはガンマ線撮影、光学顕微鏡検査、電子顕微鏡検査などがある(ただしこれらに限定されない)。
幾何学表現は、例えば生体力学モデル化から導き出してもよい。つまり対象の解剖学的構造の形状は、先ず測定(画像測定あるいは任意の他の適切な物理的測定技術など)と、解剖学的構造の素材の既知の特性(例えば弾性)を基にしたこの形状に適合するモデルとによって決定されてもよい。このモデルによって、解剖学的構造をそれらの既知の特性に応じて移動または変形し、それによって解剖学的構造の物理的に現実的な他の形状を作り出すことができる。これらの形状の表現(実際にはモデルのパラメータ空間全体の種々の位置に対応するモデルの例)を利用して、解剖学的構造の形状の幾何学表現を得ることができる。そのような幾何学表現は任意の適切なフォーマットで得ることができ、例えば、モデルから生成した画像として、あるいはその具体的なモデル例の構成に従う解剖学的構造表面に関する一組の具体的な特徴または目印の位置として得ることができる。
幾何学表現は複数の源、例えば、複数の異なる撮影方法および/または生体力学モデル化手法の組み合わせから導き出してもよい。
一部の実施態様では一組の形状パラメータを、主成分解析(PCA)を用いて決定してもよく、幾何学表現の領域すなわち空間の密にまとめられた表現が得られる。しかし他の実施態様では、異なる形状パラメータを利用してもよい。例えば、表現が生体力学モデル化から導き出された場合は、形状パラメータは特定モデルのパラメータ値から直接導き出される(あるいはそれに準じる)場合もある。
本明細書に記載の本手法を用いて様々な解剖学的構造をモデル化することができる。例えば、解剖学的構造は、例えば軟組織を含む前立腺、肝臓、腎臓、または心臓などの臓器を表現してもよい。そのような臓器のモデル化は、典型的には医学的理由で行われる。例えば、モデル化は非剛体画像位置合わせを支援し、第1の画像を第2の画像に描写(位置合わせ)することができるようにしてもよい。第1の画像は例えば詳細な術前画像であり、MRIなどによって得られ、第2の画像は例えば術中画像であり、超音波などで得られる。本明細書に記載のモデル化によって非剛体画像位置合わせを支援して、効率的な計算方法で臓器の変形または動きに対処することができる。そのような変形または動きは、対象の姿勢の変化、手術器具の存在、生理学的状態の何らかの変化、および/または任意の他の変形源から生じるようなものがある。また本明細書に記載のモデル化手法を医用目的以外の顔認識などに利用することができる。
本発明の種々の実施態様が、以下の図面を参照して詳細に単なる例示として説明される。
本発明の一部の実施態様による対象に固有のSMMを組み立てるために使用される本方法の全体模式図である。 種々の対象の前立腺の形状の模式的表現である。各形状は、種々の条件で物理的変形を予測する生体力学モデル化ソフトウェアを用いて作り出された。 本発明の一部の実施態様による方法で決定された、異なる3つの対象の因子別確率密度P(Bil)を表すグラフである。 3つの対象の因子別確率密度を母集団全体と比較した比較図である。 本発明の一部の実施態様による方法の検証の一部として、抽出した試験対象に対する主な1個抜き交差検証の全体模式図である。 本発明の一部の実施態様による方法の検証の一部として、抽出した試験対象に対する主な1個抜き交差検証の全体模式図である。 3つの試験対象で、回帰モデルを用いて得たグラフを比較して、対象に固有の予測確率密度関数(実線)を得、元のデータサンプルを用いて作ってヒストグラム(点線)と比較した図である。 無作為形状の例であって、(i)グラウンドトゥルース(グラウントゥルース)生体力学SMMと、(ii)本発明の一部の実施態様による同一対象の前立腺のモデル予測された対象に固有のSMMと、(iii)混在対象のSSMとを用いて作られ、患者前立腺36例の訓練母集団全体の形状の変動を捕らえた図である。 (i)本発明の一部の実施態様によるモデル予測された対象に固有のSMM、(ii)(グラウンドトゥルース)生体力学シミュレーションを用いて組み立てられた生体力学対象に固有のSMM、および(iii)混合対象のSSMの、それぞれの一般化能力(対象が持つ規則性への当てはまりの程度)を表すRMS距離の中央値を試験対象別に示すグラフである。 (i)本発明の一部の実施態様によるモデル予測された対象に固有のSMM、(ii)(グラウンドトゥルース)生体力学シミュレーションを用いて組み立てられた生体力学対象に固有のSMM、および(iii)混合対象のSSMの、それぞれの一般化能力を表すRMS距離の中央値を試験対象別に示すグラフである。 (i)本発明の一部の実施態様によるモデル予測された対象に固有のSMM、(ii)(グラウンドトゥルース)生体力学シミュレーションを用いて組み立てられた生体力学対象に固有のSMM、および(iii)混合対象のSSMの、それぞれの一般化能力を表すRMS距離の中央値を試験対象別に示すグラフである。 3種の線形モデル、すなわち(i)本発明の一部の実施態様によるモデル予測された対象に固有のSMM、(ii)(グラウンドトゥルース)生体力学シミュレーションを用いて組み立てられた生体力学対象に固有のSMM、および(iii)混合対象のSSMの、それぞれの特異性のRMS距離中央値を試験対象別に示すグラフである。 3種の線形モデル、すなわち(i)本発明の一部の実施態様によるモデル予測された対象に固有のSMM、(ii)(グラウンドトゥルース)生体力学シミュレーションを用いて組み立てられた生体力学対象に固有のSMM、および(iii)混合対象のSSMの、それぞれの特異性のRMS距離中央値を試験対象別に示すグラフである。 3種の線形モデル、すなわち(i)本発明の一部の実施態様によるモデル予測された対象に固有のSMM、(ii)(グラウンドトゥルース)生体力学シミュレーションを用いて組み立てられた生体力学対象に固有のSMM、および(iii)混合対象のSSMの、それぞれの特異性のRMS距離中央値を試験対象別に示すグラフである。 前立腺表面および解剖学的目印の位置合わせのペアワイズ(pair−wise=対データによる相関)例を示す図である。
本明細書に記載の手法は、動きによる臓器形状の変動を、複数の対象と各対象の複数の形状から成る訓練データを用いて組み立てられた「混合対象」(すなわち母集団に基づく)SSMに関連して表現することができることを認めている。得られるSSMは、対象間と対象内の両方の形状の変動を捕らえる。次にカーネル回帰解析が、多変量の対象に固有の確率密度関数(SSPDF:subject−specific probability density function)を表す方法が提供し、対象内の臓器の動きに比例した形状パラメータ(成分の点数または重みともいう)の分布を、事前抽出した基準形状のパラメータの関数として表す。この関係が一度設定されると、新規の対象(すなわち初見の対象)の予測される臓器の動きを表現するSSPDFを、その対象の新しい基準形状データから推定することができる。次に、得られたSSPDFを用いて、その新規の対象に固有のSMMを作ることができる。
対象に固有のSMMを作るために用いる本方法の全体模式図を図1に示す。含まれる工程は以下である。
1.入手可能な訓練データを全て用いて混合対象のSSMを組み立てる。
2.混合対象のSSMに関連する各訓練データの組の形状パラメータを(例えば、線形モデルの例を予測することによって)入手する。
3.各対象の異なる訓練形状に対応する形状パラメータの各組のSSPDFを推定する。SSPDFはパラメータ形式で表現されてもよく、複数の分布パラメータ、例えばガウス分布に対する平均値と分散で表現されてもよい。
4.各対象の基準形状を特定する。例えば、基準形状は「安静状態」すなわち変形していない状態の臓器を表現してもよく、あるいは具体的な生理事象に対応する時点での臓器を表現してもよい。基準形状は、この後形状パラメータで表現される。
5.各対象に対し、各SSPDFを特徴付けるパラメータと基準形状を規定する形状パラメータの間のカーネル回帰解析を行う。
6.新規の対象の基準形状を所与として、回帰分析を用いて新規の対象のSSPDFを予測する。
7.最後に、予測したSSPDFを用いて新規の対象に固有のSMMを組み立てる。
上記の主な工程は図1にも説明されている。得られた対象に固有のSMMは、この対象の入手可能な訓練データ(画像によるあるいはシミュレーションによる訓練データなど)から直接組み立てられた対象に固有のSMMの代わりとなる。したがって、この方法を用いて推定された対象に固有のSMMを、従来の方法を用いて組み立てられたSMMと直接比較することができる。以下の説明では、これらの工程の実行を、前立腺の対象に固有のSMMを組み立てる例を用いて説明する。この例では、超音波プローブを直腸内に配置することに起因する変形を捕らえる。
混合対象の統計的形状モデルの構築
図2は、対象Iの前立腺の形状の三角形のメッシュで表された模式的表現を示す。この例では、有限要素(FE)モデル化手法を用いて各メッシュの形状をモデル化して、経直腸超音波(TRUS)プローブの存在に応じた基準形状の種々の物理的変形を予測した。図2に、それぞれの変形形状の例に対するTRUSプローブの3D位置および/または向きを陰影付きの中空円筒で示す。
対象ごとの形状の数は等しくないと仮定して、経直腸超音波(TRUS)プローブの姿勢、およびプローブの周囲の水が充填されたバルーンの直径を各シミュレーションで変えると、その結果(対象iに対し)予測される変形形状J(i=1,2,...,I)が得られる。[5、12]の記述のように、組織の弾性特性などの他の既知のパラメータをシミュレーションの変数として含めて、これらの特性の不確かさを反映してもよい。各対象に対し、j=0で表された第1の形状は基準形状であり、残りのJ、すなわちj=1,2,...J形状は基準形状の変形例である。この例では、基準形状は「安静状態」の前立腺を表し、所定位置の直腸内コイル(または他の直腸内挿入物)がない状態で得られたT2強調MR画像を区画化することによって得られた[12]。通常は、基準形状は正規化されて一貫した尺度および/または向きになり、異なる画像同士を高い信頼度で比較できるようになる。
一般に、複数メッシュの表面をグループワイズ位置合わせして、(i)対象ごとのそれぞれの変形形状と基準形状の間、および(ii)異なる対象の基準形状の間の点の対応を設定することができる。FEシミュレーションを実行して訓練データの組を決定する際に、各変形形状(と基準形状)の間の点対応は暗黙的に分かる。対象同士の(対象間の)点対応の決定に用いるアルゴリズムを以下に説明する。
混合対象のSSMは、主成分解析(PCA)を、
Figure 2017512522
訓練形状ベクトル
Figure 2017512522
に当てはめることによって組み立てられる。ここで、訓練形状ベクトルはそれぞれ、g番目の形状を表現するN個の点の3D座標を含む。形状ベクトルは3D表面積または体積の片方を規定してもよい(これらは、例えばFEメッシュの結節点で表される)。訓練データの中で変動が少ない成分を除外することによる次数の縮小という利点を活用すると、得られる形状モデルは、L≦G主成分を用いた一次式で近似される[3]。
Figure 2017512522
ここで、
Figure 2017512522
は平均形状ベクトル、eは、l番目に大きい固有値σ に対応する(平均差分)訓練形状ベクトルの共分散行列の固有ベクトル、およびbglはスカラー形状パラメータであり、ベクトルbはg番目の臓器形状を集合的に表現する形状パラメータを含む。式(1)により、混合対象の個々および全ての訓練データから学習した動きの変動がモデル化される。このモデルの中で、全てのデータの組の
Figure 2017512522
およびEを、全てのデータの組に当てはまる分布パラメータの推定値と見なすことができ、これを用いて所与のサンプルに対する形状特性を、座標系s(未加工画像データの座標系を表す)とb(PCAから次元縮小した座標系を表す)の2つの異なる座標系の間で変換する。この方法で生成されたSSMを混合対象のSSMと呼ぶ。
対象に固有のPDFの計算
i番目の対象に固有の確率密度は
Figure 2017512522
で表され、ここで、
Figure 2017512522
は多変量の無作為変数であり、
Figure 2017512522
はi番目の対象の亜空間を表す(故に、対象iに関するベクトル形状パラメータb
Figure 2017512522
からのサンプルを含む)。式(1)を整理して、次式を得る。
Figure 2017512522
式(2)において、i番目の対象に属するj番目の形状の座標sijを推定することによって、bijは訓練データの形状パラメータを含む。なお、sijとsは共に訓練形状ベクトルであり、異なる添字は、異なるグループに分けられた異なるデータであることを示す。
Figure 2017512522
を独立仮定によって単純化して、この多変量確率密度を因子別の同時確率密度として、すなわち
Figure 2017512522
で表すことができるようにしてもよい。言い換えれば、bijの次元を縮小した空間の任意の所与の軸に沿った確率分布は、残りの軸上の値から独立していると考えられ、したがって全体の確率は、各軸の別々の(個々の)確率値を掛け合わせることによって導き出すことができる。
(独立仮定および多変量ガウス分布仮定(下記参照)は文献で広く考察されている(例えば[13]参照)。しかし、より複雑な分布、例えば非単一モード混合または完全共分散行列などを、適切なら検討してもよい。現実には、これらの仮定で共分散行列の自由度が低下するが、交差検証で実証されたようにモデル化を一般的にする能力は維持される。)
独立仮定を用いてこの方法の確率を表すことにより、(l番目の主成分に対応する)l番目の形状パラメータに対するスカラー無作為変数Bilの個々の分布ごとに、有益な分布のグラフを描くことが可能になる。図3に、因子別の確率密度P(Bjl)のグラフを示すが、これは、データ1、データ2、およびデータ3で示す3つの異なる対象(Ωとしても示されている。i=1、2、または3)、および(x軸とy軸に対応する)混合対象のSSMの2つの主成分のグラフである。各軸に示された曲線は、それぞれの主成分に対応する因子別の確率密度を表し、ここで楕円は両主成分に基づくSSPDFである
Figure 2017512522
の境界パラメータの値を表す。スカラー形状パラメータbijl,j=1, 2,..., Jは、所与の対象(i)のJ個の変形形状組から導かれた無作為変数BilのJ個のサンプルである。
同様に、混合対象のSSMを組み立てる全訓練データの確率密度は
Figure 2017512522
で表され、ここで、基準空間Ωは全ての対象の亜空間の和集合である。これは、
Figure 2017512522
と同じ方法で因子別けすることができる。言い換えれば、これは、独立仮定を(個々の対象の訓練データだけではなく)訓練データの全ての組全体に当てはめる。
図4は、これらの因子別確率密度のいくつかの例を、前立腺の形状データからのサンプル{bij}のヒストグラムを用いて示す。具体的には、図4は、3つの異なる対象(i=1、2、3)の前立腺形状データのヒストグラムで表わされた因子別の推定確率密度P(Bil)の例を示し、一番下の列は、全訓練データにわたって計算された対応する母集団確率密度P(Bgl)を表す。
図4のグラフを調べると、明らかにP(Bil)は対象間で異なり(すなわち(i)の値で異なり)、混合対象(母集団)のSSMに対応してP(Bgl)とも異なる。言い換えれば、母集団全体を用いてデータの組の主成分を規定しているが、各主成分の分布を見ると、その分布は極めて対象に固有である。例えば、l=1および2の分布をよく見ると、各対象に対しP(Bil)は比較的狭い、しかし、P(Bgl)の分布は比較的広い。これは上記の眼の間隔の例に対応させることができ(主成分は一般に物理的パラメータの組み合わせを表すが)、言い換えれば、眼の間隔の対象間の変動は比較的広いが、対象内の(対象に固有の)変動は比較的小さい。したがって、l=1と2に対するP(Bgl)の分布の広がりの殆どは、対象内の変動よりも異なる個々の対象間の変動に依存する。その一方、l=3と4では、P(Bil)の分布は各対象に対して比較的広い。このことは、対象内の変動性がこの主成分に関連した変動性の背後にある重要な因子(おそらく最も重要な因子)であるということを示唆している。
全体に、本明細書に記載の本手法は図4から、SSPDFをモデル化することによって、全体(母集団)の混合対象の空間を動きと対象の亜空間に分解する潜在力がある仕組みを作り出す。その際、(物理的な)動きの空間は、対象内の変動、すなわち所与の対象の臓器の物理位置の1つから別の位置への移行に対応する。
また図4からわかるように、サンプルの分布の形状は一般に鐘状であって、幅および中央の位置が異なる。独立仮定に従えば、SSPDFを多変量ガウス分布PDF
Figure 2017512522
でパラメータ化してもよい。ここで、分布パラメータμおよびσ は、それぞれ平均ベクトルおよびL×L共分散行列の対角要素を表し、共分散行列の対角要素は要素分散成分ベクトル
Figure 2017512522
を表す。このPDFはi番目の対象に対するSSPDFのパラメータの例と考えられ、分布パラメータμおよびσ によってその特徴が完全に決まる。言い換えれば、任意の(iで規定された)所与の対象に対し、(lで規定された)所与の主成分と関連した確率分布はガウス分布に近く、2つの標準スカラー量、すなわち平均(μ)および分散(σ)によってパラメータ化される。
カーネル回帰解析を用いたパラメータの推定
所与の対象(i)の分布パラメータすなわちμおよびσ は、所与の一組のサンプル{bij,j=1, 2,..., J}によって、以下の最大確率推定量を用いて推定してもよい。すなわち、
Figure 2017512522
および
Figure 2017512522
一般性を失うことなく、所与の対象(i)に対するSSPDF
Figure 2017512522
の分布パラメータ
Figure 2017512522
と、同じ対象に対する基準形状bi0の形状パラメータの間に(非線形の)関係が存在すると仮定する。この仮定により、新規の対象(例えばi=I+1)に対する基準形状の形状パラメータおよび上記関係だけに基づいて、分布パラメータθを予測する可能性、ひいては新規の対象に対するSSPDF
Figure 2017512522
を予測する可能性が広がる。
現在の研究では、分布パラメータは下記のカーネルの一次関数で表される。
Figure 2017512522
ただし、制約条件
Figure 2017512522
がある。式(5)において、
Figure 2017512522
はカーネルパラメータhによるガウス分布カーネル関数、cは正のスカラー定数、
Figure 2017512522

Figure 2017512522
による無作為雑音項、mはθ=[θmim=1,2,...,2Lなどの各スカラー分布パラメータの添字、β=[βmi i=0.1,...,Iはベクトル回帰パラメータである。所与のデータの組(例えば図2に説明したデータの組)に対する最適回帰パラメータは、[14]に従って、正規化した残余の二乗の和を最少化する一次最小二乗法を用いて得てもよい。
最初に、正規化された推定量
Figure 2017512522
が次式で得られる。
Figure 2017512522
ここで、デザイン行列は次の形になる。
Figure 2017512522
Figure 2017512522
、およびλはリッジ重み付け(ridge weighting)パラメータ、Iは強度行列である。したがってオフセット係数が次式で得られる。
Figure 2017512522
実際には、過剰な適合を避けるために正規化パラメータλを小さな定数に設定し、許容可能な残余を維持し、この研究で示した検討ではλ=10−8を用いた。カーネルパラメータhは、以下に述べる交差検証法で決定した。
当然のことながら上記の解析はガウス分布カーネルを用いたカーネル回帰に基づくが、任意の他の適切な形態の回帰、例えば非パラメータ回帰、すなわち高次多項式に基づくカーネルを用いることもできる。
対象に固有のSMMの予測
新規の対象の基準形状データを所与として、先ず、グループワイズ位置合わせの平均形状に非剛体位置合わせし、[1]、次に剛体要素を除去した後に混合対象のSSMの主成分に投影することによって、新規の対象の形状パラメータbnew,0を推定することができる。すなわち、
Figure 2017512522
ここで、snew,0は剛体的に整列した非変形形状である。次に、新しいSSPDFの各分布パラメータを、式(5)の条件期待値を求めることによって計算することができる。
Figure 2017512522
ここで、係数
Figure 2017512522
は式(6)および(8)で得られ、E[・]は統計的期待値を表す。ここで、新規の対象のSSPDF
Figure 2017512522
を、予測した分布パラメータ
Figure 2017512522
を用いて予測することができる。
Figure 2017512522
を推定したら、予測した対角共分散行列を「センタリング(各要素から全要素の平均値を差し引くこと)」によって線形モデルを直接得てもよく、したがって予測された対象に固有のSMMは次の形になる。
Figure 2017512522
ここで、要素の分散はσnew になり、
Figure 2017512522
は予測される対象に固有のSMMの平均値に等しく、bnewは新しい形状パラメータを表す。
最適カーネルパラメータ
h=10で表せる各回帰カーネルパラメータに対し、式(5)のように、回帰残余の二乗平均平方根として定義された交差検証誤差を最少化することによって、最適値が計算される。回帰誤差は、1個抜き交差検証の中で各データに対し、(式(3)および(4)で訓練データから計算された)グラウンドトゥルース分布パラメータと、(式(6)および(8)で試験データから計算された)予測分布パラメータとの差を比較して計算される。この研究では、この後に黄金探索法を用いて、目的関数として働く交差検証誤差を最少化して、所定間隔
Figure 2017512522
の範囲内のxの最適値を見付けた。
(黄金分割探索ともいう黄金探索は、標準の数値最適化アルゴリズムである。その理論はキーファー、J(Kiefer,J.)著(1953)、「Sequential minimax search for a maximum(最大値の連続的ミニマックス探索)」、Proceedings of the American Mathematical Society(アメリカ数学会会報)4(3):502−506,doi:10.2307/2032161に記載されており、実施例は、プレス、WH(Press,WH)、チューコルスキー、SA(Teukolsky,SA)、ベッタリング、WT(Vetterling,WT)、フラナリー、BP(Flannery,BP)等著(2007)、「Section 10.2.Golden Section Search in One Dimension,Numerical Recipes:The Art of Scientific Computing(3rd ed.)(科学計算の技法、第3版:数値的方法、第10.2章、一次元における黄金分割探索)」、New York:Cambridge University Press(ケンブリッジ大学出版局)、ISBN 978−0−521−88068−8)に記載されている。
点の対応
本明細書に記載のモデル化技法の利点の1つは、動きの亜空間の間の時間すなわち位相(例えば呼吸周期内の位置)の一致を必要としないことである。確率密度だけをモデル化して対象の動きを表現し、動きのデータを訓練データの組の中で任意の順序にグループ分けすることができるので、多くの現実的な難しさが解消される。しかしそれでも、対象の亜空間の間で点の一致が必要である。言い換えれば、一組の所定の特徴(例えば解剖学上の目印)が(複数の点に対応する)臓器および各画像またはデータの組に対し規定され、画像内のこれらの特徴(点)の位置が決定される。このようにすることによって点の対応を決定することができるようになり、すなわちそれぞれの点または特徴に対し、各画像またはデータの組の特徴の(対応する)位置が決まる。この点対応を、例えばグループワイズ表面位置合わせ[1]によって推定してもよい。
本発明の実施態様による研究では、混合対象のSSMを組み立てるのに必要な訓練形状の対象間の位置合わせを、目印により案内されるコヒーレント点ドリフト(LGCPD:landmark−guided coherent point drift)法[15]に基づく反復グループワイズ位置合わせ方法を用いて行った。その際、前立腺の解剖学上の頂点および基点が2つの既知の対応点として働くことによって、前立腺の表面の間の現実の点対応を見付けながら位置合わせすることが容易になる。この方法には、位置合わせされた区画の平均形状への全ての区画のペアワイズ位置合わせがあり、平均形状は、集束するまで繰り返し更新される。通常、繰り返しは5回未満である。この例では、変形した各形状は、基準形状の物理的変形をモデル化することで生成され、FEメッシュで表されるため各対象に対する異なる動きのデータの間の三次元の点の一致が自動的に得られる。言い換えれば、FEシミュレーションから分かる固有の対応を用いて、個々対象内の対応を実現してもよく、画像による位置合わせを用いて異なる対象の間の対応を設定してもよい。
最後に、新しい基準形状データとグループワイズ位置合わせの平均形状の間の点対応を見付けるために、この同じ方法を用いて一つのペアワイズの位置合わせを実施した。
検証方法
1)データ収集。上記方法を試験するために、初見の前立腺の対象に固有のSMMを組み立て、[12]に記述された生体力学モデル化手法を直接用いて生成したSMMと比較した。36人の患者のそれぞれに対し、TRUS−プローブによる前立腺の変形の100個の有限要素のシミュレーションを用いて、混合対象のSSMを組み立て、合計3600個の訓練形状を得た。各シミュレーションに対し、種々のプローブ/バルーンの位置と向き、異なるバルーンの直径、および異なる弾性材料の特性を当てはめた(詳細は[12]を参照)。36人の患者のそれぞれに対し、T2強調MR走査(画像)内の被膜を臨床観察の専門家が手作業で区画分けして得た形状を、前立腺の基準形状として規定した。
2)交差検証。1個抜き交差検証の枠組みを用いて、3つの線形モデルの一般化能力と特異性[16、17]を評価した。3つの線形モデルは、1)モデル予測された対象に固有のSMM(本明細書に記載の方法を用いて混合対象のSSMから予測)、2)対象に固有のSMM(生体力学シミュレーションデータを用いて組み立てた)、および3)混合対象のSSM(対象間および対象内の両方の臓器形状の変動を表現する訓練データの組を用いて組み立てた)を用いた。(この3番目のモデルは、対象に固有ではないという定義による。)
図5および6は、選択した試験対象に対する1個抜き交差検証法を説明しており、3つの線形モデルが独立して組み立てられている。各試験対象に対し、それぞれ図5および6のように、二乗平均平方根(RMS)距離によって一般化能力および特異性を計算することができる。下記の交差検証方法により、モデル化の能力を総合的に評価することができる。RMS距離が小さければ、線形モデルの一般化能力および特異性が高いことを示す。
図5に示す線形モデルの一般化能力は、モデルが初見のデータを表現する能力を数値化しており、したがってそのようなモデルを一般的に当てはめることに密接に関連する。
すなわち臓器の動きを捕らえて初見のデータに登録するための事前情報を提供することに密接に関連する。一般化能力は、別途に組み込まれた1個抜き交差検証法[17]によって測定される。一般化能力の定義は、初見の試験データの組のメッシュの結節点と、試験データに合わせて例示化されたモデル(すなわち適合モデル)の対応する結節点との間のRMSユークリッド距離で定義される。具体的には、RMS距離による一般化能力は次式で与えられる。
Figure 2017512522
ここで、Nは各モデルのメッシュの結節点の数、stestとsfittedはそれぞれ、初見の試験データの形状ベクトル(上に定義した)、および例示化されたモデルである。本明細書に記載のとおり、初見の試験データは、組み込まれた1個抜き交差検証法における試験対象の100個の生体力学シミュレーションの残り(除外された)データであった。次に、図5の説明のように、生体力学に基づくSMMを残りの99個のシミュレーションを用いて個別に組み立てた。上記の3つの線形モデル(対象に固有のSMM、生体力学によるSMM、および混合対象のSSM)の一般化能力を、全て対象レベルの1個抜き交差検証法に基づいて計算した。
偏りを避けるため、図5および6に説明した線形モデルを検証する実験に別の1個抜き交差検証法を採用し、(上記の)最適カーネルパラメータの推定に用いた1個抜き交差検証法と比較した。検証実験では、36個あるモデル予測された対象に固有のSMMのそれぞれを、35個の残りの訓練データの組から生成した混合対象のSSMを用いて試験した。これらの内、34個の対象を訓練データとして用いて残りのデータの組に対する回帰誤差を計算し、回帰用の最適カーネルパラメータを決定した。
各線形モデルの特異性も同じ交差検証の枠組みを用いて計算した。これは[17]で採用された手法に似た方法である。この測定は線形モデルの変形が制限される度合いを示し、そのことは重要である。というのはそのモデルにとって、例えば画像の不自然な結果すなわちノイズによって破損したデータに対する耐性があることが望ましいからである。さらに、モデルは紛失データの予測ができるべきである。この研究の目的に対し、図6に説明するように、この測定値を、無作為に抽出した各モデル例sinstanceと、訓練データ(すなわち、100個の生体力学シミュレーション)にあった一番近いデータsnearestとの間のRMS距離として次式の様に定義した。
Figure 2017512522
各試験対象に対し、(3つのモデルのそれぞれにおいて)
Figure 2017512522
からbを無作為に抽出することによって、各線形モデルに対し変形した前立腺を1000個生成した。各線形モデルを使って生成した複数の例は組を形成し、それらがそれぞれのモデル空間を規定する。無作為の例から一番近い訓練データまでの距離は、線形モデルの特異性を測定している。
3)SMMによる位置合わせの検証。本明細書に記載の手法は、合成した訓練データを用いて対象に固有のSMMを生成する技術を提供する。非剛体画像位置合わせなどの実際の応用例におけるそのようなモデルの、実際の患者の臓器の動きを再現する能力を試験した。具体的には、MRで得た前立腺の形状データに基づく変形可能なモデル予測された対象に固有のSMMが、3DのTRUS画像に位置合わせされる精度を検討した。この検討は、[12]に記載の方法を用いた位置合わせ後の8組の患者データに対し、手作業で識別した解剖上の独立した目印を整列させる際の、対象を位置合わせする誤差(TRE:target registration error)を数値化することにより行った。これらの8人の患者に対するデータは、予測モデルを組み立てるのに用いた訓練データとは独立したデータだった。このTREによって位置合わせ性能を単独に測定することができ、これを、各患者の前立腺の動きの生体力学モデル集を用いて組み立てたSMMを活用した位置合わせと直接比較することができる。
結果
図7は、3つの新規の対象に対する第1の4つの予測されたSSPDFに対する因子別のP(Bil)のグラフ(下側の実線)の例を、元の{bij}を用いて組み立てられたヒストグラム(上の点線)と比較して示す。対応する曲線から、この研究に用いられたデータのP(Bil)を表す点線と、3人の患者に対する第1の4つの主成分に対する回帰が推定された対象に固有の確率密度曲線を表す実線との間に、優れた一致があることが分かる。対応する曲線の間の良い一致がX試験で評価された。結果である平均p>0.78は良い一致を示しており、カーネル回帰解析が有効であることと、この研究においてPDFのモデル化にガウス分布形を選択したことの正当性が得られた。
図8は、(i)生体力学に基づくSMM(グラウントゥルース)、(ii)同じ対象に対する前立腺のモデル予測された対象に固有のSMM、および(iii)混合対象のSSM(36人の患者の前立腺の訓練母集団の形状の変動を捕らえている)を用いて生成された無作為形状の例を示す。より具体的には、図8の上の行は、(1個抜き交差検証時のような)試験対象のグラウントゥルース生体力学によるSMMから無作為に抽出した前立腺を含み、中央の行は、試験対象以外のデータから組み立てられたモデル予測された対象に固有のSMMから無作為に抽出した例を含み、下の行は、訓練データの対象内および対象間の両方の形状の変動差異を含む混合対象のSSMから無作為に抽出したサンプルを含む。図8の第1列は各モデルの基準形状を示す。
3つの方法を用いて生成された形状の全体的な形(図8参照)を比較することによってわかることは、対象に固有のSMMは、混合対象のSSMよりも、物理的に現実的な外観形状を生成し、その外観形状はグラウントゥルース生体力学によるSMMから得られたものに近い。(注意すべきは、図8に示した形状の例は無作為抽出に基づいているため、各SMMによって生成された形状を純粋に表しており、したがってこれらの形状はグループ単位すなわち行の間で比較すべきであって、列内で上下に比較すべきではないということである。)
図9、図10、および図11は、各試験対象に対する(i)モデル予測された対象に固有のSMM、(ii)(グラウントゥルース)生体力学シミュレーションを用いて生成された生体力学による対象に固有のSMM、および(iii)混合対象のSSMの、一般化能力に対するRMS距離の中央値を示すグラフである。誤差の棒は、そのRMS距離の5番目/95番目のパーセンタイル値を示す。これらのグラフをよく見て分かることは、対象に固有の2つのSMMのRMS誤差(距離)は、混合対象のSSMと比べて小さいことである。信頼限界0.05のコルモゴルフ・スミルノフ検定(paired Kolgomorov−Smirnov tests)によって、1)混合対象のSSMの一般化能力はモデル予測SMMおよび生体力学によるSMMよりも有意に低い(共にp<0.0001)、2)モデル予測SMMと生体力学によるSMMの間の一般化能力の差は0.1mmよりも有意に大きくはない(p<0.0001)ということが確認された。したがって、本提案のモデル予測SMMは、初見データに対する一般化能力を有し、その一般化能力は元の生体力学によるSMMに匹敵し、これら対象に固有の2つのモデルは、この点(すなわち一般化能力)に関して混合対象のSSMより性能が高い。
図12、図13、および図14は、各試験対象に対する同じ3つの線形モデル、すなわち(i)モデル予測された対象に固有のSMM、(ii)(グラウントゥルース)生体力学シミュレーションを用いて生成された生体力学による対象に固有のSMM、および(iii)混合対象のSSMの、特異性のRMS距離の中央値を示すグラフである。ここでも、誤差の棒はそのRMS距離の5番目/95番目のパーセンタイル値を示す。図12、図13、および図14の比較から、対象に固有のSMMのRMS距離に基づく特異性は有意に小さい(良い)ことが分かる。同じコルモゴルフ・スミルノフの統計的試験から、混合対象のSSMと、他の2つの対象に固有のSMMの片方との間の特異性の差は、10mmより有意に大きいという結論が得られた(p<0.0001)。しかし、対象に固有の2つのSMMの間の差は1mmより大きくない(p=0.0005)。これらの結果から、混合対象のSSMが対象に固有のデータを正確に生成する能力は、対象に固有のSMMに比べて劣ることが分かる。さらに、本提案のモデル予測SMMには、対象に固有の例を生成するという点で、生体力学によるSMMに近いモデル化の能力がある。
対象に固有のSMMの生成に本明細書に記載の手法を用いたTREの結果を、生体力学による対象に固有のSMMを位置合わせすることによって得られた公開済みのTREデータ[12]と併記して、下の表1にまとめた。信頼原価を0.05に設定したコルモゴルフ・スミルノフ試験から、これらの2つの方法を用いて得たTREの間には有意な差はないことが示された(p<0.0001)。この結果は、本明細書に記載の対象に固有のSMMを生成する手法が、対象に固有の訓練データを必要とし位置合わせの精度が劣る従来のモデル化方法に対する実行可能(かつ計算が非常に容易)な代替法を提供するということを示唆している。
Figure 2017512522
考察
本明細書に記載の手法は、対象に固有の臓器の動きをモデル化する新しい枠組みを提供し、初見の患者に対する動的撮影またはコンピューターシミュレーションのどちらか片方から得たデータではなく訓練母集団からの学習統計値を用いて、対象に固有の訓練データを予測する。開示された方法は、異なる個々の対象のデータの組の間の動きの明確な対応を知らなくても、対象に固有の臓器の動きをモデル化することができることを暗示している。
本明細書に記載の動きのモデル化の方法を、対象に固有の合成訓練データを(動的撮影をせずに)生成する手段として、生体力学モデル集と比較した。生体力学シミュレーションを用いる1つの利点は、特定の対象の臓器の連続した複数の形状の間の点対応が、共通の基準形状に対し相対的に計算されるため、これらの点対応が暗黙的に分かることである。一方、本明細書に記載の手法の重要な利点は、この方法がモデル化SSPDFとカーネル回帰解析に基づいているため、臓器が動いている間の形状の変化に関する対象に固有の限定されたデータしか必要がないことである。その結果、本方法は計算効率がよく、例えば手術の実施中など、臓器の動きに関する総合的なデータを得るのが困難または不可能な応用例に極めて適している。さらに、撮影は可能だが(例えば画面書き換え速度が限られているなど)現実的に大きな制約があり、わずかの訓練形状の例しか得られない可能性がある状況にも、本明細書に開示した本手法は役立つ。さらに、初見の対象に対して1つの基準形状しか使用しないため、基準画像を臨床の現場で広く入手可能な診断画像または計画画像から得ることができ、したがって臨床の現場で普通に遭遇する現実的な制約が(本明細書に提示した例のように)解消されている。
本明細書に記載の本手法は、第1に対象に固有のSMMを用いて前立腺のみの動きを表現するが、適切なら他の臓器にも、複数の臓器の動きも含めて適用することができる。さらに本手法は、任意の確率関数、例えば複合的な分布が観察される場合は混合モデルを用い、あるいは異なる回帰技法を用いるように容易に適応することができる。そのように適応させても直ちに単純な線形モデルにはならず、対象に固有の臓器形状の無作為サンプルを学習したSSPDFから、例えばモンテカルロ法によって抽出することができ、それを標準のSSM技法を用いて線形SMMの組み立てに用いることができる。
また、本明細書に記載の本手法により、全体的にペアワイズ目印によって案内されるコヒーレント点ドリフト(LGCPD)アルゴリズムを使用して非剛体の訓練形状の位置合わせが容易になる。図15は、そのような位置合わせのペアワイズの例、具体的には前立腺表面と解剖学上の目印(頂点と基部)の、元のコヒーレント点ドリフト(CPD)とLGCPDアルゴリズムを用いるペアワイズ位置合わせの例を示す。LGCPDアルゴリズムを使用後の目印の整列は、CPDアルゴリズム(中央)を使用した場合に比べて良好(右)であることが分かる。したがって、本明細書に記載の手法は、迅速かつ確実に汎用的なCPDへの拡張ができる。
(CPDに関するさらなる情報については、以下を参照のこと。ミロネンコ、A.(Myronenko, A.)、クーボーソン(Xubo Song)共著、「Point Set Registration: Coherent Point Drift: Coherent Point Drift, Pattern Analysis and Machine Intelligence, (点の組の位置合わせ:コヒーレント点ドリフト、パターン解析と人工知能)、IEEEトランザクション、第32巻、No.12、pp.2262,2275、2010年12月、doi:10.1109/TPAMI.2010.46。また、LGCPDに関するさらなる情報については、以下を参照のこと。フー、Y.(Hu, Y.)、リコースト、E.J.(Rijkhorst, E. J.)、マンバー、R.(Manber, R.)、ホークス、D.J.(Hawkes, D. J.)、バラット、D.C.(Barratt, D. C.)共著(2010年)、「Deformable Vessel−Based Registration Using Landmark−Guided Coherent Point Drift(目印で誘導されるコヒーレント点ドリフトを用いた変形自在の容器による位置合わせ)」、MIAR.(第6326巻、pp.60〜69)、シュプリンガーLNCS(Springer LNCS))。
式(1)を再度参照すると、Lの値を選んで、基準のSSMが訓練データ内の分散の累積値のある百分率(例えば少なくとも99%)を占めるようにすることができる。本明細書に記載の本手法は、分散を低下させる成分が、ガウス行列によって合理的にモデル化されるあるいはカーネル回帰によって捕らえられるノイズを過剰に含んでいる場合、Lの最適値を決定する代わりの方法を提供することができる。
上記を実施するとき、生体力学モデルを用いて複数の対象に固有の画像を生成して、所与の対象に対する1枚の基準画像を変形させる。しかし、複数の対象に固有の画像は他の技法によって得てもよく、そのような技法には、(i)対象の「動画」を得る(すなわち画像切り替え速度が比較的速い(2Dまたは3Dの)動画)、あるいは(ii)対象の複数の(静止)画像をある時間長さにわたり得ることが含まれる。注意すべきは、後者の技法では、臓器の形状の時間的変化は、動き/変形以外の過程(例えば、成長または衰退)を反映してもよいということである。そのような過程をモデルに取り入れることは有益な場合もそうでない場合もあり、それは望ましい応用例の詳細によって決まる。また、任意の所与の対象に固有の複数の画像は、(生体力学モデル化と動画データの両方を用いるなど)2つ以上の異なる技法から得てもよく、異なる技法(または複数技法の組み合わせ)を異なる複数の対象に用いてもよい。上記の様に、生体力学モデルを用いて所与の対象に対する1枚の基準画像を変形させることには利点があり、基準画像に対する点対応が一度決定したら、この対応を生体力学によるモデル化得られた他の画像に対して自動的に保存することができる。同様に動画データの場合には、動画の1つの画像(画像のフレーム)に対して点対応が一度決定したら、この点対応を異なる画像フレーム内に自動的にまたは半自動的に保存することが一般的に可能であり、例えば、画像の1つのフレームから次のフレームへの動きベクトルを決定することによって保存することができる。
本明細書に記載の本手法は、対象に固有のSMMの組み立てに要する時間を大幅に短縮する。この時間短縮は、前立腺の動きをモデル化して術前のMR画像を術中のTRUS画像に変形自在に位置合わせすることができるようにするというような多数の応用例において重要である。具体的には、本明細書に記載の本手法は、位置合わせを制限し前立腺内の組織の変位を予測する演算時間を、表面の変位の場合、GPUによるFEモデル化装置を用いた数時間からわずか数秒に短縮し、位置合わせの精度は落とさない。本明細書に開示された本方法の他の潜在的応用例は、対象に固有の任意の測定値(もしあれば)を用いた従来のSSMを分解して、モデル化する能力を改善することである。
本明細書に記載の本手法は多数の異なる状況で使用することができる。例えば、特定の対象(患者)の臓器の基準画像があれば、このモデルを第2の画像の臓器の区画化に用いてもよく、あるいは第2の画像と基準画像の間の画像の位置合わせを実施してもよい(そのようにすると、臓器表面のまたはその内部の特定位置に対する基準画像と第2の画像の間の対応する位置を決定することができる)。
他の潜在的な応用例には対象の識別があり、例えば顔認識の関連などが含まれる。この場合、複数の対象があってそれぞれが基準画像を有し、新しく得られた画像がこれらの基準画像の1つに一致するか否かを決定する(そして、もし一致すれば、どの画像かを決定する)。この場合、対象に固有のSMMを用いて各基準画像を新しく得られた画像にマッピング(位置合わせ)し、そのような位置合わせがSMMのパラメータの(統計的に妥当な)範囲内で成功したら、所与の基準画像に対する一致性を決定してもよい。
種々のデータ(信号)処理を含む上記の実施態様は、専用のハードウェアで実行してもよく、適切なコンピューターコードで作動している汎用のハードウェアで実行してもよく、あるいはその2つを一部組み合わせて実行してもよい。例えば、汎用のハードウェアはパーソナルコンピューターを備えてもよく、コンピューターワークステーションなどを備えてもよい。コンピューターコードはコンピュータープログラム命令を含み、それが1つ以上の演算素子で実行されて所望の動作を実行してもよい。1つ以上の演算素子は、医療用撮影装置(例えばMRI、超音波)などの特殊用途の装置の内部に配置すなわち組み込まれてもよい。1つ以上の演算素子は、デジタル信号演算素子、画像処理部、中央演算部、または任意の他の適切な装置を備えてもよい。コンピュータープログラムコードは一般に、光学ディスク、フラッシュメモリー(ROM)、またはハードディスクなどの不揮発性媒体に保存され、ランダムアクセスメモリー(RAM)に読み込まれ、その後実行用の1つ以上の演算素子がそれにアクセスする。
結論として、当業者には明らかだが、上記の実施態様に種々の変更を加えて任意の所与の実施の具体的な状況を反映させることができる。さらに当業者には明らかだが、種々の実施態様の特徴を任意の所与の実施時に適切に組み合わせることができる。したがって、本発明の範囲は、添付された特許請求の範囲およびその均等物によって規定される。
参考文献
[1] Heimann, T. & Meinzer, H. P. 2009, ”Statistical shape models for 3D medical image segmentation: a review(3D医用画像の分割のための統計的形状モデル:再検討)”, Med.Image Anal., vol. 13, no. 4, pp. 543−563.
[2] Barratt, D. C., Chan, C. S. K., Edwards, P. J., Penney, G. P., Slomczykowski, M., Carter, T. J., & Hawkes, D. J. 2008, ”Instantiation and registration of statistical shape models of the femur and pelvis using 3D ultrasound imaging(3D超音波撮影を用いた大腿骨および骨盤の統計的形状モデルの例示化と位置合わせ)”, Medical Image Analysis, vol. 12, no. 3, pp. 358−374.
[3] Cootes, T. F., Taylor, C. J., Cooper, D. H., & Graham, J. 1995, ”Active Shape Models − their Training and Application(動的形状モデル−その訓練と応用)”, Computer Vision and Image Understanding, vol. 61, no. 1, pp. 38−59.
[4] Mohamed, A., Davatzikos, C., & Taylor, R. 2002, ” A Combined Statistical and Biomechanical Model for Estimation of Intra−operative Prostate Deformation(前立腺の術中の変形を推定する統計と生体力学を結合したモデル)” in Medical Image Computing and Computer−Assisted Intervention - MICCAI 2002, LNCS 2489 edn, pp. 452−460.
[5] Hu, Y., Carter, T., Ahmed, H., Emberton, M., Allen, C., Hawkes, D., & Barratt, D. 2011, ”Modelling Prostate Motion for Data Fusion during Image−guided Interventions(画像により誘導される手術中のデータ融合のための前立腺の動きのモデル化)”, Medical Imaging, IEEE Transactions on, vol. 30, no. 11, pp. 1887−1900.
[6] Hu, Y., Morgan, D., Ahmed, H. U., Pendse, D., Sahu, M., Allen, C., Emberton, M., & Hawkes, D. &. B. D. 2008b, ”A Statistical Motion Model based on Biomechanical Simulations for Data Fusion during Image−guided Prostate Interventions(画像により誘導される手術中のデータ融合のための生体力学シミュレーションに基づく統計的動きモデル)” in MICCAI 2008, LNCS 5241 edn, Springer, pp. 737−744.
[7] Ehrhardt, J., Werner, R., Schmidt−Richberg A., & Handels, H., 2010, ”A statistical shape and motion model for the prediction of respiratory lung motion(呼吸肺の動きを予測する統計的形状と動きモデル)”, SPIE Medical Imaging 2010: Image Processing, vol. 7623, pp. 531−539.
[8] Wang, Y. & Staib, L. H. 2000, ”Physical model−based non−rigid registration incorporating statistical shape information(形状に関する統計情報を取り入れた物理モデルによる非剛体位置合わせ)”, Medical.Image Analysis., vol. 4, no. 1, pp. 7−20.
[9] Vasilescu, M.A.O. and Terzopoulos, D., 2002, ”Multilinear Analysis of Image Ensembles: TensorFaces(画像の集合の多重線形解析:テンソルフェース(TensorFaces)” in ECCV2002, Vol. LNCS 2350, pp.447−460.
[10] Zhu, Y., Papademetris, X., Sinusas, A.J. and Duncan, J.S.: ”Bidirectional Segmentation of Three−Dimensional Cardiac MR Images Using a Subject−Specific Dynamical Model(対象に固有の動的モデルを用いた三次元心臓MR画像の二方向分割)” 2008, in MICCAI2008, LNCS 5242, 450−457.
[11] Grbic, S., Ionasec, R., Vitanovski, D., Voigt, I., Wang, Y., Georgescu, B., Navab, N. and Comaniciu, D.: ”Complete Valvular Heart Apparatus Model from 4D Cardiac CT.(4D心臓CTを元にして組み立てた完全な心臓弁装置モデル)” 2006, in MICCAI2010, LNCS 6361, 218−226.
[12] Hu, Y., Ahmed, H. U., Taylor, Z., Allen, C., Emberton, M., Hawkes, D., & Barratt, D. 2012, ”MR to ultrasound registration for image−guided prostate interventions(画像により誘導される前立腺手術のためのMRから超音波への位置合わせ)”, Medical Image Analysis, vol. 16, no. 3, pp. 687−703.
[13] Shlens, J. A Tutorial on Principal Component Analysis. 2009. www.snl.salk.edu/〜shlens/pca.pdf, Ver. 3.01
[14] Hastie, T., Tibshirani, R., and Friedman, J., 2009. ”The Elements of Statistical Learning: data mining, inference and prediction(統計学習の基礎:データの検索、推定、および予測)” 2nd ed., Springer.
[15] Hu, Y., Rijkhorst, E.−J., Manber, R., Hawkes, D., & Barratt, D. 2010, ”Deformable vessel−based registration using landmark−guided coherent point drift(目印により誘導されるコヒーレント点ドリフトを用いた変形自在の容器に基づく位置合わせ)” in MIAR’10 Proceedings of 前記 5th international conference on Medical imaging and augmented reality, vol. 6326 Springer, Beijing, pp. 60−69.
[16] Styner, M., Rajamani, K., Nolte, L. P., Zsemlye, G., Szekely, G. A., Taylor, C., & Davies, R. 2003, ”Evaluation of 3D Correspondence Methods for Model Building(モデル構築のための三次元対応法の評価)”, pp. 63−75.
[17] Hu, Y., van den Boom, R., Carter, T., Taylor, Z., Hawkes, D., Ahmed, H. U., Emberton, M., Allen, C., & Barratt, D. 2010, ”A comparison of the accuracy of statistical models of prostate motion trained using data from biomechanical simulations(生体力学シミュレーションから得たデータを用いて訓練した前立腺の動きの統計モデルの精度の比較)”, Progress in Biophysics and Molecular Biology, vol. 103, no. 2−3, pp. 262−272.

Claims (25)

  1. 解剖学的構造の形状の変動に関する対象に固有の統計モデルを、解剖学的構造の形状に関する一組の幾何学表現を用いて組み立てる方法であって、各表現は複数の対象の1つと関連しており、各対象は関連した複数の表現のそれぞれの部分集合を有し、各部分集合は基準表現を含む複数の表現を備え、複数の表現は解剖学的構造の物理的な動きおよび/または変形から生じる種々の形状に対応しており、
    任意の所与の表現に対し、その値が表現の形状を特徴付ける一組の形状パラメータを規定することと、
    各対象に対し、その対象と関連する表現の部分集合全体にわたる形状パラメータの値の確率分布を、一組の対象に固有の分布パラメータによって表すことと、
    対象に固有の分布パラメータと各対象の基準表現との間の回帰を決定することと、
    決定した回帰を新規の対象に対する基準表現に当てはめて、新規の対象に固有の分布パラメータを決定することと、
    対象に固有の分布パラメータを用いて、新規の対象に固有の統計的動きモデルを組み立てることとを含む方法。
  2. 一組の形状パラメータは主成分解析を用いて決定されることを特徴とする請求項1に記載の方法。
  3. 一組の形状ベクトルs(g=1, 2,...G)を提供する(ここで、Gは一組の表現の中の表現の数であり、各表現に対応する形状ベクトルが存在し、主成分解析は各形状ベクトルをL個の主成分によって表す)ことと、
    一組の形状パラメータを規定することは、混合対象の統計形状モデルを式
    Figure 2017512522

    (ここで、
    Figure 2017512522
    は平均形状ベクトル、eは平均を差し引いた形状ベクトルの共分散行列の固有ベクトルであり、eは主成分解析からl番目に大きい固有値σ に対応し、ベクトルbは、g番目の形状ベクトルを集合的に表現するL個の形状パラメータの値を含む)に従って組み立てることとをさらに含むことを特徴とする請求項2に記載の方法。
  4. 形状ベクトルsは、一組の表現に対する点対応データを含み、形状が変動中の複数の点の所定の組の空間座標を、一組の表現全体にわたって追跡することを特徴とする請求項3に記載の方法。
  5. 一組の形状パラメータ内の形状パラメータの1つに対する値の確率分布は、一組の形状パラメータ内の他の形状パラメータから独立しているとみなされることを特徴とする請求項1乃至4のいずれか1項に記載の方法。
  6. 一組の形状パラメータにはL個の形状パラメータがあり、対象(i)と関連する表現の部分集合に対する形状パラメータの値の確率分布(
    Figure 2017512522
    )の表現は、多変量ガウス分布確率密度関数
    Figure 2017512522
    によってパラメータ化されており、分布パラメータμおよびσ はそれぞれ、平均ベクトル、およびL×L対角共分散行列の対角要素を表し、共分散行列の対角要素は成分分散ベクトル
    Figure 2017512522
    を表すことを特徴とする請求項5に記載の方法。
  7. 所与の対象(i)に対する分布パラメータ、すなわちμおよびσ は、所与の一組のサンプル{bij,j=1, 2,..., J}に対して、以下の最大確率推定量
    Figure 2017512522
    および
    Figure 2017512522
    を用いて推定され、ここで、Jは対象iに対する部分集合内の表現の数を表し、ベクトルbijは、対象iのj番目の形状ベクトルを集合的に表現するL個の形状パラメータ値を含むことを特徴とする請求項6に記載の方法。
  8. 各分布パラメータはカーネルの一次関数で表わされることを特徴とする請求項1乃至7のいずれか1項に記載の方法。
  9. 回帰は線形最小二乗法によって決定されることを特徴とする請求項1乃至8のいずれか1項に記載の方法。
  10. 一組の形状パラメータを規定し、その値は、任意の所与の表現の形状を特徴付け、混合対象の統計形状モデルは式
    Figure 2017512522
    (ここで、
    Figure 2017512522
    は平均形状ベクトル、eは平均値を差し引いた形状ベクトルの共分散行列の固有ベクトルであり、eは主成分解析からl番目に大きい固有値σ に対応し、ベクトルbはg番目の形状ベクトルを集合的に表現するL個の形状パラメータ値を含む)に従って組み立てられ、
    対象に固有のSMMは
    Figure 2017512522
    (ここで、
    Figure 2017512522
    は予測された対象に固有のSMMの平均値に等しく、Eμnewは偏りの項であり、μnewは回帰によって予測された分布パラメータの平均値を表し、bnewは新しい形状パラメータを表す)形をとることを特徴とする請求項1乃至9のいずれか1項に記載の方法。
  11. 解剖学的構造は軟組織の臓器を含み、形状の変動は臓器の変形または動きを含むことを特徴とする請求項1乃至10のいずれか1項に記載の方法。
  12. 基準表現は、安静状態すなわち未変形状態の臓器を表すことを特徴とする請求項11に記載の方法。
  13. 基準表現は、特定の生理事象に対応する時刻における臓器を表現することを特徴とする請求項11または12に記載の方法。
  14. 表現のうち少なくとも1つは画像を含むことを特徴とする請求項1乃至13のいずれか1項に記載の方法。
  15. 表現のうち少なくとも1つは生体力学モデルに由来することを特徴とする請求項1乃至14のいずれか1項に記載の方法。
  16. 解剖学的構造上の解剖学的目印を用いて、一組の表現に対する点対応データを提供し、点対応データを用いて、形状が変動中の複数の点の所定の組の空間座標を、一組の表現全体にわたって追跡することをさらに含むことを特徴とする請求項1乃至15のいずれか1項に記載の方法。
  17. 点対応データは、異なる対象に対する基準表現の間の画像の登録を実施することによって決定されることを特徴とする請求項16に記載の方法。
  18. 画像の登録を目的として、対象に固有の統計的動きモデルを新規の対象に用いることをさらに含むことを特徴とする請求項1乃至17のいずれか1項に記載の方法。
  19. 画像の分割を目的として、対象に固有の統計的動きモデルを新規の対象に用いることをさらに含むことを特徴とする請求項1乃至18のいずれか1項に記載の方法。
  20. 画像の登録または画像の分割を用いて、画像により支援される治療を補助することを特徴とする請求項18または19に記載の方法。
  21. コンピューターシステムの1つ以上の演算素子で実行されるときに、請求項1乃至20のいずれか1項に記載の方法の工程の実質的に全てを実行するプログラム命令を含むコンピュータープログラム。
  22. 読み取り可能な媒体に保存された請求項21に記載のコンピュータープログラムを備えるコンピュータープログラム製品。
  23. 請求項1乃至20のいずれか1項に記載の方法の工程の実質的に全てを実行する装置。
  24. 実質的に本明細書で添付図面を参照して記載した装置。
  25. 実質的に本明細書で添付図面を参照して記載した方法。
JP2016555581A 2014-03-04 2015-03-03 対象に固有の動きモデルを生成かつ使用する装置および方法 Ceased JP2017512522A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1403772.5 2014-03-04
GB201403772A GB201403772D0 (en) 2014-03-04 2014-03-04 Apparatus and method for generating and using a subject-specific statistical motion model
PCT/GB2015/050608 WO2015132575A1 (en) 2014-03-04 2015-03-03 Apparatus and method for generating and using a subject-specific statistical motion model

Publications (2)

Publication Number Publication Date
JP2017512522A true JP2017512522A (ja) 2017-05-25
JP2017512522A5 JP2017512522A5 (ja) 2017-12-21

Family

ID=50490747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016555581A Ceased JP2017512522A (ja) 2014-03-04 2015-03-03 対象に固有の動きモデルを生成かつ使用する装置および方法

Country Status (7)

Country Link
US (1) US10115201B2 (ja)
EP (1) EP3114645B1 (ja)
JP (1) JP2017512522A (ja)
AU (1) AU2015225921A1 (ja)
CA (1) CA2940992C (ja)
GB (1) GB201403772D0 (ja)
WO (1) WO2015132575A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054503A1 (ja) * 2018-09-13 2020-03-19 国立大学法人京都大学 機械学習装置、推定装置、プログラム及び学習済みモデル
JP2020114374A (ja) * 2019-01-03 2020-07-30 シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 動き補償画像を生成する医用撮像装置、システム、方法、及び対応する記憶媒体

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096882A1 (en) * 2011-01-11 2012-07-19 Rutgers, The State University Of New Jersey Method and apparatus for segmentation and registration of longitudinal images
US9851421B2 (en) 2015-01-05 2017-12-26 Case Western Reserve University Differential atlas for cancer assessment
US10300303B2 (en) * 2016-01-29 2019-05-28 Elekta Ltd. Therapy control using motion prediction based on cyclic motion model
JP6821153B2 (ja) * 2016-11-10 2021-01-27 大日本印刷株式会社 生体組織画像解析システム、画像処理システム及びプログラム
US10952705B2 (en) * 2018-01-03 2021-03-23 General Electric Company Method and system for creating and utilizing a patient-specific organ model from ultrasound image data
US10898151B2 (en) * 2018-10-31 2021-01-26 Medtronic Inc. Real-time rendering and referencing for medical procedures
CN111127488B (zh) * 2019-12-29 2022-10-14 兰州理工大学 一种基于统计形状模型自动构建患者解剖结构模型的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009512524A (ja) * 2005-10-24 2009-03-26 ノルディック・ビオサイエンス・エー/エス 軟骨スキャンデータからの病状表示測度の自動定量化
US20120155734A1 (en) * 2009-08-07 2012-06-21 Ucl Business Plc Apparatus and method for registering two medical images
JP2014018376A (ja) * 2012-07-17 2014-02-03 Canon Inc 画像処理装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165359B2 (en) * 2005-08-30 2012-04-24 Agfa Healthcare N.V. Method of constructing gray value or geometric models of anatomic entity in medical image
US20070047790A1 (en) * 2005-08-30 2007-03-01 Agfa-Gevaert N.V. Method of Segmenting Anatomic Entities in Digital Medical Images
DE602007008390D1 (de) * 2006-03-24 2010-09-23 Exini Diagnostics Ab Automatische interpretation von medizinischen 3d-bildern des hirns und verfahren zum produzieren von zwischenergebnissen
US8666128B2 (en) * 2007-10-18 2014-03-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for mapping regions in a model of an object comprising an anatomical structure from one image data set to images used in a diagnostic or therapeutic intervention
US8953856B2 (en) * 2008-11-25 2015-02-10 Algotec Systems Ltd. Method and system for registering a medical image
US8724906B2 (en) 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US9269156B2 (en) 2012-07-24 2016-02-23 Siemens Aktiengesellschaft Method and system for automatic prostate segmentation in magnetic resonance images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009512524A (ja) * 2005-10-24 2009-03-26 ノルディック・ビオサイエンス・エー/エス 軟骨スキャンデータからの病状表示測度の自動定量化
US20120155734A1 (en) * 2009-08-07 2012-06-21 Ucl Business Plc Apparatus and method for registering two medical images
JP2013501290A (ja) * 2009-08-07 2013-01-10 ユーシーエル ビジネス ピーエルシー 2つの医用画像を位置合わせするための装置および方法
JP2014018376A (ja) * 2012-07-17 2014-02-03 Canon Inc 画像処理装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUN ZHU, XENOPHON PAPADEMITIRS, ALBERT SINUSAS, JAMES S. DUNCAN: "Segmentation of Left Ventricle From 3D Cardiac MR Image Sequences Using A Subjet-Specific Dynamic Mo", COMPUTER VISION AND PATTERN RECOGNITION, 2008. CVPR 2008. IEEE CONFERENCE ON, IEEE, PISCATAWY, NJ, U, JPN6018030548, 23 June 2008 (2008-06-23), pages 1 - 8, ISSN: 0004052089 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054503A1 (ja) * 2018-09-13 2020-03-19 国立大学法人京都大学 機械学習装置、推定装置、プログラム及び学習済みモデル
JPWO2020054503A1 (ja) * 2018-09-13 2021-09-16 国立大学法人京都大学 機械学習装置、推定装置、プログラム及び学習済みモデル
US11631177B2 (en) 2018-09-13 2023-04-18 Kyoto University Machine learning device, estimation device, non-transitory computer readable medium, and learned model
JP7349158B2 (ja) 2018-09-13 2023-09-22 国立大学法人京都大学 機械学習装置、推定装置、プログラム及び学習済みモデル
JP2020114374A (ja) * 2019-01-03 2020-07-30 シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 動き補償画像を生成する医用撮像装置、システム、方法、及び対応する記憶媒体
JP7012695B2 (ja) 2019-01-03 2022-01-28 シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 動き補償画像を生成する医用撮像装置、システム、方法、及び対応する記憶媒体
US11436721B2 (en) 2019-01-03 2022-09-06 Siemens Healthcare Gmbh Medical imaging device, system, and method for generating a motion-compensated image, and corresponding storage medium

Also Published As

Publication number Publication date
CA2940992A1 (en) 2015-09-11
EP3114645B1 (en) 2018-11-14
US20160364880A1 (en) 2016-12-15
US10115201B2 (en) 2018-10-30
WO2015132575A1 (en) 2015-09-11
EP3114645A1 (en) 2017-01-11
CA2940992C (en) 2022-06-21
GB201403772D0 (en) 2014-04-16
AU2015225921A1 (en) 2016-09-08

Similar Documents

Publication Publication Date Title
JP2017512522A (ja) 対象に固有の動きモデルを生成かつ使用する装置および方法
US9761014B2 (en) System and method for registering pre-operative and intra-operative images using biomechanical model simulations
US10296707B2 (en) System and method for patient-specific image-based guidance of cardiac arrhythmia therapies
US10388013B2 (en) Matching patient images and images of an anatomical atlas
JP5520378B2 (ja) 2つの医用画像を位置合わせするための装置および方法
US10496729B2 (en) Method and system for image-based estimation of multi-physics parameters and their uncertainty for patient-specific simulation of organ function
US20130243287A1 (en) Longitudinal monitoring of pathology
US9508144B2 (en) Determining an anatomical atlas
Hu Registration of magnetic resonance and ultrasound images for guiding prostate cancer interventions
EP2912632B1 (en) Determining an anatomical atlas
Terzopoulos Tim McInerney

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180814

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181226

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20191112