JP2010000349A - 制約されたマージナル空間学習を使用して3d解剖学的オブジェクトを検出するための方法およびシステム - Google Patents

制約されたマージナル空間学習を使用して3d解剖学的オブジェクトを検出するための方法およびシステム Download PDF

Info

Publication number
JP2010000349A
JP2010000349A JP2009135170A JP2009135170A JP2010000349A JP 2010000349 A JP2010000349 A JP 2010000349A JP 2009135170 A JP2009135170 A JP 2009135170A JP 2009135170 A JP2009135170 A JP 2009135170A JP 2010000349 A JP2010000349 A JP 2010000349A
Authority
JP
Japan
Prior art keywords
training
volume
assumptions
candidates
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009135170A
Other languages
English (en)
Other versions
JP5334692B2 (ja
JP2010000349A5 (ja
Inventor
Yefeng Zheng
ツェン イェフェン
Bogdan Georgescu
ジョルジェスク ボグダン
Haibin Ling
リン ハイビン
Michael Scheuering
ショイエリング ミヒャエル
Comaniciu Dorin
コマニチ ドリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Publication of JP2010000349A publication Critical patent/JP2010000349A/ja
Publication of JP2010000349A5 publication Critical patent/JP2010000349A5/ja
Application granted granted Critical
Publication of JP5334692B2 publication Critical patent/JP5334692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Abstract

【課題】3D解剖学的オブジェクトの検出において、MSLを使用して行われる解剖学的オブジェクト検出の効率をさらに上昇させること。
【解決手段】入力された医療用画像に対し、制約された探索範囲をトレーニングボリュームに基づいて決定し、トレーニングされる第1の分類子を使用して該制約された探索範囲内で位置候補を検出し、該トレーニングボリューム内において方向例を使用して位置候補から位置‐方向仮定を生成し、トレーニングされる第2の分類子を使用して該位置‐方向仮定から位置‐方向候補を検出し、該トレーニングボリューム内においてスケール例に基づいて位置‐方向候補から類似性変換仮定を生成し、トレーニングされる第3の分類子が使用して該類似性変換仮定から類似性変換候補を検出し、該類似性変換候補のうち少なくとも1つに基づいて、医療用画像ボリューム内で3D解剖学的オブジェクトを検出する。
【選択図】図1

Description

本願は、2008年6月4日に提出した米国特許仮出願明細書第61/058661号の優先権を主張するものであり、その開示内容は参照によって本願に含まれるものとする。
本発明は画像内の3Dオブジェクトの検出に関し、より詳細には、マージナル空間学習を使用して医療用画像中の3D解剖学的構造体を自動的に検出することに関する。
医療用画像中の解剖学的構造体(たとえば心臓、肝臓、腎臓等)を効率的に位置検出することはしばしば、後続の診断画像処理手順の前提条件となっており、たとえばセグメンテーション、測定および分類の前提条件となっている。3D医療用画像ボリューム(たとえばCT,MRI等)中の人体の解剖学的構造体の検出およびセグメンテーションは難解な課題であり、これは典型的には、2D画像中の解剖学的構造体を検出するよりも困難である。
従来、弁別可能な分類子の学習に基づいて3Dオブジェクトを効率的かつ自動的に位置検出するためにマージナル空間学習(marginal space learning, MSL)が提案されている。3Dオブジェクト位置検出を行うための完全なパラメータ空間は9つの次元を有し、3つの次元は位置を表し(P,PおよびP)、3つの次元は方向を表し(オイラー角ψ、φおよびθによって表される)、3つの次元は異方性スケーリングを表す(S,SおよびS)。MSLでは、オブジェクトを効率的に位置検出するために、次元の昇順で連続するマージナル空間でパラメータ推定を行う。とりわけ、このようなオブジェクト検出は3つのステップに分割される:
オブジェクト位置推定
位置‐方向推定
類似性変換推定
各ステップで、次のステップで使用される比較的少数の候補が得られる。したがって、本来の9次元パラメータ空間を均質に探索する代わりに、MSLでは低次元のマージナル空間を均質に探索する。MSLは、医療用イメージングにおいて多くの3D解剖学的構造体検出の問題に適用されることに成功しており、たとえば腹部CTにおける回盲弁、ポリープおよび肝臓、超音波画像中の脳組織および心臓各室、MRIにおける心臓各室に適用されることに成功している。
MSLはテスト仮定の数を、9次元のパラメータ空間を均質に探索するのと比較してほぼ6オーダ低減することができる。しかしMSLは、精確なオブジェクト検出を行うのに必要とされるよりも多くのテスト仮定をテストする場合が多い。
それゆえ、MSLを使用して行われる解剖学的オブジェクト検出の効率をさらに上昇させることが望まれる。
本発明では、制約されたマージナル空間学習(MSL)を使用して医療用画像中の3D解剖学的構造体の効率的な検出を提供する。本発明の実施形態は、MSLを使用して3D解剖学的オブジェクトを検出する場合に、探索空間を位置、方向およびスケールで制約するのに使用することができる。このことにより、MSLオブジェクト検出の各ステージでテストすべき仮定の数が低減され、MSLオブジェクト検出が高速化される。
本発明の1つの実施形態では、入力された医療用画像に対し、制約された探索範囲をトレーニングボリュームに基づいて決定する。トレーニングされる第1の分類子は、この制約された探索範囲内で位置候補を検出するのに使用される。このトレーニングボリューム内において、方向例を使用して位置候補から位置‐方向仮定が生成される。この位置‐方向仮定から位置‐方向候補を検出するために、トレーニングされる第2の分類子が使用される。このトレーニングボリューム内において、スケール例に基づいて位置‐方向候補から類似性変換仮定が生成される。この類似性変換仮定から類似性変換候補を検出するために、トレーニングされる第3の分類子が使用され、該類似性変換候補のうち少なくとも1つに基づいて、医療用画像ボリューム内で3D解剖学的オブジェクトが検出される。
当業者であれば、以下の詳細な説明と添付の図面を参照することにより、本発明の上記の利点および別の利点を理解することができる。
制約されたマージナル空間学習(MSL)を使用して医療用画像ボリューム内で3D解剖学的オブジェクトを検出する本発明の実施形態による方法を示す。 異なる捕捉範囲を有する3次元CTスキャン例を示す。 トレーニングデータに基づいて行われる、制約された探索範囲の検出を示す。 トレーニング超音波ボリューム内の左心室の方向のオイラー角のヒストグラム例を示す。 トレーニングデータからテスト仮定を生成するための本発明の実施形態の事例ベース方法を示す。 テスト仮定の事例ベースの選択を示す。 本発明を実施することのできるコンピュータの上位レベルのブロック図を示す。
本発明は、医療用画像内の3D解剖学的オブジェクトを検出するための方法に関し、この医療用画像はたとえばコンピュータ断層撮影法(CT)、磁気共鳴撮影法(MRI)、超音波等である。本発明の複数の実施形態をここに説明して、本発明の解剖学的オブジェクト検出方法が視覚的にわかるようにする。デジタル画像はしばしば、1つまたは複数のオブジェクト(または形状)のデジタル表示から構成されることが多い。このようなオブジェクトのデジタル表示は、以下ではしばしば、オブジェクトの識別および操作の観点から説明される。このような操作は、コンピュータシステムのメモリまたは別の回路/ハードウェアで行われる仮想的な操作である。したがって本発明の実施形態は、コンピュータシステムに記憶されたデータを使用して、このコンピュータシステム内で実行できることはいうまでもないことである。
本発明の実施形態によれば、制約されたマージナル空間学習(MSL)を使用して3D医療用画像中で解剖学的構造体を検出する。MSLは、学習された弁別可能な分類子を使用して画像中の3Dオブジェクトを効率的に検出または位置検出するための技術である。3Dオブジェクト位置検出を行うための完全なパラメータ空間は9つの次元を有し、3つの次元は位置を表し(P,PおよびP)、3つの次元は方向を表し(オイラー角ψ、φおよびθによって表される)、3つの次元は異方性スケーリングを表す(S,SおよびS)。MSLを使用してオブジェクトを効率的に位置検出するためには、次元の昇順で連続するマージナル空間でパラメータ推定を行う。とりわけ、このようなオブジェクト検出は3つのステップに分割される:
オブジェクト位置推定
位置‐方向推定
類似性変換推定
これらの各ステップは別個のトレーニングされる分類子を使用する。たとえば、確率的ブースティングツリー(PBT)を使用して、トレーニングされるデータに基づいて、各検出ステップに使用される分類子をトレーニングすることができる。
MSLの従来の用途では、各マージナル空間を均質に探索することにより、該マージナル空間内で検出を行うためのテストサンプルを生成する。しかし、用途シナリオによっては、各パラメータの探索範囲をさらに縮小することができる。たとえば、CTスキャン内の心臓方向のばらつきを制限し、心臓の物理的サイズも制限する。各パラメータごとに値の範囲を、MSLプロシージャで使用される弁別可能な分類子をトレーニングするのに使用されるトレーニングデータの集合から推定することができる。トレーニングデータにおいて、パラメータPの最大値および最小値がそれぞれP minおよびP maxであると仮定する。探索中、仮定の集合を得るための範囲[P min,P max]を厳密にカバーするために、Pを特定の探索ステップによって均質にサンプリングすることができる。3つのマージナル空間(並進空間、方向空間およびスケール空間)はそれぞれ、同一のマージナル空間内のパラメータ間のいかなる相関関係も考慮することなく、均質にサンプリングされる。しかし、多くの実際の用途では、同一のマージナル空間内のパラメータが独立している可能性は極めて低い。たとえば心臓室の検出では、3つのオイラー角を組み合わせて方向を表現することができる。その際には、CTスキャン内の心臓室の方向は制限される(たとえば、心臓の尖端は人間の頭の方向に向くことはできない)。3つのスケールパラメータも独立していない。大きいオブジェクト(たとえば成人の心臓)の3つのスケールパラメータはすべて、小さいオブジェクト(たとえば乳児の心臓)より大きい値を有する可能性が高い。従来のMSLアプリケーションで使用されているこのような排他的な均質サンプリングストラテジーは、3D解剖学的構造体を精確に検出するのに必要とされるよりテストが大量になってしまうことに繋がる。さらに、MSLを使用して検出する速度は、仮定の数に対して大まかに線形である。仮定の数を低減することによってMSL検出を高速化することができ、3D解剖学的構造体の検出がより効率的になる。
本発明の実施形態によれば、オブジェクトポーズパラメータ間の相関関係を使用して、異なるマージナル空間における探索を制限することができる。スキャンプロトコルの捕捉範囲が不均質であることにより、器官の位置はボリューム内で有意にばらつくことがある。本発明の実施形態により、検出される解剖学的構造体に関係なくオブジェクト位置の探索範囲を低減する包括的な手段が実現される。器官を調べるためには、ボリューム内の器官全体(またはほぼ全体)を捕捉する必要があるのが典型的である。それゆえ、器官の中心はボリューム境界に任意に接近できない。このような観察に基づいて、解剖学的オブジェクトの位置を検出する場合にボリュームマージン周辺のこれらの仮定を安全にスキップすることができる。
方向空間およびスケール空間の探索を制約するためには、トレーニングデータを使用してパラメータの結合分布を推定することができ、高い確率を有する領域のみをサンプリングする。しかし、多くのパラメータは調整またはトレードオフする必要があるため(たとえばパラメトリック、ノンパラメトリック、カーネルの種類およびカーネルのサイズ)、結合分布を高信頼性で推定することは並大抵のことではない。したがって本発明の実施形態は、高い確率を有する領域に探索を制約するための事例ベースのストラテジーを使用する。まず、パラメータ空間を均質に(範囲内で)サンプリングすることにより、大きな集合を得る。各トレーニングサンプルごとに、この集合内のすべての隣接する仮定を探索し、テスト集合に挿入する。すべてのトレーニングサンプルでこのプロセスを繰り返し、テスト集合から冗長的な仮定を除去することにより、テスト集合を、均質にサンプリングされた本来の集合より格段に小さくすることができる。本発明の実施形態による制約されたMSLを使用することにより、3D解剖学的オブジェクトの検出速度を改善することができる。さらに、検出の高速化の他に付加的に、探索を小さい有効な領域に制約することにより、検出アウトライヤの尤度を低減し、検出結果の全体的な精度を改善することもできる。
従来のMSL検出アプリケーションでは、3D方向空間は3つのオイラー角として表現されるが、これらのオイラー角は幾つかの制限を有する。同じ方向となる可能性のあるパラメータ値の集合は複数存在し、根本的な多義性に繋がってしまう。トレーニング中に、仮定からグラウンドトゥルースまでの間隔に基づいて、該仮定を正の集合または負の集合に割り当てる。オイラー角空間におけるユークリッド距離が、2つの方向間の間隔の尺度として使用される。しかしユークリッド距離は、2つの方向間の間隔を測定するために良好な距離尺度とならない場合がある。根本的な多義性に起因して、2つの近接する方向が、オイラー角空間内では相互間に大きなユークリッド距離を有する場合がある。それゆえ、トレーニングデータの収集された正の集合および負の集合は混乱を来し、分類子の学習が困難になる可能性がある。オイラー角の使用に関する別の問題に、オイラー角空間内の均質なサンプリングは、方向空間内では均質でないという問題がある。さらに、幅広く使用されるオイラー角の規則が数多く存在し、特定の用途では、1つの規則による表現が別の規則より遥かにコンパクトになる場合がある。探索範囲を縮小するためには、オイラー角規則をターゲットの解剖学的構造体と撮像モードとに依存して選択する必要がある。たとえば、心臓室検出の同じタスクでも、CTボリュームにはZXZ規則を使用し、超音波ボリュームにはXYZ規則を使用する。要約すると、従来のMSLオブジェクト検出アプリケーションで方向を表現するためにオイラー角を使用することは、以下の欠点を有する。
1)探索範囲を表すオイラー角規則は、手動で選択しなければならない。
2)オイラー角空間内におけるユークリッド距離は、方向の良好な距離尺度にはならない。
3)オイラー角空間を単純に均質にサンプリングすることは、方向空間内では均質にならない。
4)各オイラー角は、パラメータ間の相関関係を使用せずに均質にサンプリングされる。
本発明の実施形態では、上記の問題を解消するために、4元数を基礎とする方向間隔尺度を使用する。
図1は、本発明の実施形態にしたがって制約されたマージナル空間学習(MSL)を使用して医療用画像ボリューム内で3D解剖学的オブジェクトを検出する方法を示す。図1の方法は、患者の解剖学的構造体を表すデータを変換して、該患者の特定の解剖学的オブジェクトの位置を表すデータを出力する。たとえばこのような解剖学的オブジェクトは、心臓、心臓の特定の室、脳組織、肺、肝臓、回盲弁、ポリープ等を含むことができる。
図1を参照すると、ステップ102において医療用画像ボリュームを受け取る。たとえば、この医療用画像ボリュームはCTボリューム、MRIボリューム、または超音波ボリュームであるが、本発明はこれらに限定されない。医療用画像ボリュームは、たとえばCTスキャナまたはMRIスキャナ等の画像取得装置から直接受け取ることができる。また医療用画像ボリュームは、予めスキャンされコンピュータのメモリまたは記憶装置またはコンピュータ読出し可能な媒体から呼び出されるボリュームとすることもできる。
スキャンプロトコルは不均質であるため、器官(解剖学的オブジェクト)の位置はボリューム間で有意にばらつく場合がある。図2は、異なる捕捉範囲を有する3次元CTスキャン例を示す。図2に示されているように、各列202,204,206は各CTボリュームの3つの直交面を示す。列202および204は心臓CTスキャンであり、列206は全胴CTスキャンである。心臓CTスキャン202と204と全胴CTスキャン206との間の捕捉範囲の差は大きい。2つの心臓スキャンの間では格段なばらつきを観察することもできる。
図1を参照すると、ステップ104において、受け取られた医療用画像内において、トレーニングデータ内の解剖学的オブジェクトの位置に基づいて、制約された探索範囲を決定する。従来の学習ベースのオブジェクト検出手順では、ボリューム内のすべてのボクセルをオブジェクト中心の仮定としてテストする。このことにより、オブジェクト中心の仮定の数が潜在的に多くなる。オブジェクト中心の探索を、ボリュームの比較的小さい領域に制約するのが有利である。しかしここでの難題は、制約された領域を決定するためのスキームが、分解能設定および捕捉範囲が異なるボリュームに適用された場合に、見えないボリュームのテスト中に本当の位置を見失うことなく機能しなければならないことである。本発明の実施形態では、分解能および捕捉範囲が異なっても、縮小された探索範囲が精確であるように、該探索範囲をトレーニングデータに基づいて縮小する。
図3は、トレーニングデータに基づいて行われる、制約された探索範囲の検出を示す。トレーニングデータは複数のトレーニングボリュームを含み、ここでは、ターゲットの解剖学的オブジェクトに注釈が付与されている。解剖学的オブジェクトを調べるためには、ボリュームはオブジェクト全体(またはほぼ全体)を捕捉しなければならないのが典型的である。それゆえ、オブジェクトの中心はボリューム境界に任意に接近できない。各トレーニングボリュームごとに解剖学的オブジェクトの中心からボリューム境界までの6つの方向の間隔を測定することができる(たとえば、Xはボリューム左側境界までの間隔を表し、Xはボリューム右側境界までの間隔を表し、Yはボリューム頂部境界までの間隔を表し、Yはボリューム底部境界までの間隔を表し、Zはボリューム前面境界までの間隔を表し、Zはボリューム背面境界までの間隔を表す)。図3のイメージ(a)に示されているように、トレーニング心臓CTボリュームの断層内で左心室の中心302からの間隔X,X,YおよびYを測定する。有利な実施形態では、すべての間隔を物理的単位(たとえばmm)で測定する。というのも、異なるボリュームの分解能設定は異なる場合があるからだ。オブジェクトの中心から各ボリューム境界までの間隔を各トレーニングボリュームごとに測定した後、各距離尺度の最小値(たとえば左側マージンのX min等)をトレーニング集合から決定する。このような最小マージンが、入力されたボリュームにおける領域を画定し、解剖学的オブジェクトの中心点の探索を制約することができる。図3のイメージ(b)に示されているように、制約された探索範囲304は、捕捉範囲が大きいCTスキャン上のX min,X min,Y minおよびY minによって画定される。図3のイメージ(c)に示されているように、制約された探索範囲306は、捕捉範囲が小さいCTスキャン上のX min,X min,Y minおよびY minによって画定される。もちろん、制約された探索範囲304および306は実際には、ZminおよびZ minによっても画定されるCTボリューム内の3D領域であるが、イメージ(b)および(c)では2D断層で示されている。図3のイメージ(b)および(c)に示されているように、制約された探索範囲は、捕捉範囲が大きいボリューム(イメージ(b))よりも、捕捉範囲が小さいボリューム(イメージ(c))に対しての方が有効である。図3には、左心室の検出で使用するための制約された探索範囲の決定が示されているが、もちろん、本願で記載されている制約された探索範囲の決定方法は全般的であり、種々異なるアプリケーションシナリオで使用することができる。さらに、オブジェクト位置に使用できる用途固有の従来の知識が存在する場合、この従来の知識と、本願で記載された方法とを組み合わせて、探索範囲をさらに縮小することもできる。
図1を再び参照すると、ステップ106において、医療用画像ボリュームの制約された探索範囲内で、トレーニングされる第1の分類子を使用して位置候補を検出する。とりわけこの第1の分類子は、ステップ104で決定された制約された探索範囲内の各ボクセルをスキャンするために使用され、これによって、各ボクセルが解剖学的オブジェクトの中心点である確率が求められる。第1の分類子は、操縦可能な特徴を有する確率的ブースティングツリー(PBT)を使用して、注釈付きのトレーニングデータに基づいてトレーニングすることができる。PBT分類子は、各ノードが強い分類子となるツリーを帰納的に構築することによってトレーニングされる。各ノードの強い分類子がトレーニングされた後、ノードの入力されたトレーニングデータは、学習された強い分類子を使用して2つの集合(正または負)に分類される。2つの新たな集合がそれぞれ、左側および右側の子ノードに供給されることにより、左側および右側の子ノードがトレーニングされる。このようにして、PBT分類子は帰納的に構築される。制約された探索範囲内の各仮定(ボクセル)ごとに確率が求められた後、最高確率を有する所定数(たとえば100個)の仮定を位置候補として維持する。
ステップ108において、トレーニングボリュームからの方向例の制約された集合に基づいて、位置‐方向仮定を位置候補から生成する。
3D方向は3つの自由度を有し、3つのオイラー角として表現できることは周知である。従来のMSLアプリケーションでは、オブジェクトの方向を表すためにオイラー角を使用する。オイラー角の利点の1つに、直観的な物理的意味を有するという利点がある。たとえば、ZXZ規則においてオイラー角ψ,φおよびθを有する方向は、z軸を中心として本来の座標系を量ψだけ回転し、その後にx軸を中心として量φだけ回転し、最後に再びz軸を中心として量θだけ回転することによって得られる。この回転操作は転換不可能である。このことは、回転の次数を変化できないことを意味する。方向の正しい推定と不適切な方向とを区別できる分類子をトレーニングするためには、正のトレーニングサンプルと負のトレーニングサンプルと双方が必要である。従来の適用では、仮定O(ψ,φ,θ)からグラウンドトゥルースO(ψ,φ,θ)までの間隔を以下のように測定するために、オイラー角空間内におけるユークリッド距離を使用する。
この距離が閾値を下回る場合、これは正のサンプルとして扱われ、そうでない場合には負のサンプルとして扱われる。ユークリッド距離は便利であるが、方向を測定するためにユークリッド距離を使用することは欠点を有する。所与の2つの方向では、1つの方向を他方の方向に整合するために軸回転できることが周知である。この回転量は、2つの方向間の間隔の自然な定義である。同じ方向となる可能性のあるパラメータ値の集合は複数存在し、根本的な多義性に繋がってしまう。このことは、2つの近接する方向が、オイラー角空間内では相互間に大きなユークリッド距離を有する場合があることを意味する。それゆえ、収集された正および負のサンプルが混乱を来し、学習を困難にしてしまう。オブジェクトの方向を推定するためには、方向空間を均質にサンプリングして仮定の集合を生成することができる。その後、トレーニングされた分類子を使用して各仮定をテストする。ユークリッド距離では均質でも、誤った間隔測定結果が使用されることにより、オイラー角空間を単純に均質にサンプリングすることが方向空間では本当には均質にならない。
オイラー角の別の欠点として、規則が12個存在するという欠点があり、これらのうち幾つかは幅広く使用されている。オイラー角の範囲をトレーニングデータから計算することができる。テスト中、この範囲内で各オイラー角を均質にサンプリングして仮定を生成することができる。規則が異なると、探索範囲が極端に異なる場合がある。たとえば、回転がy軸のみを中心とする場合、(2つのオイラー角はほぼゼロである)YXZ規則は他の規則よりコンパクトになる。図4は、トレーニング超音波ボリューム内の左心室の方向のオイラー角のヒストグラム例を示す。ヒストグラム(a),(b)および(c)はそれぞれ、ZXZ規則を使用した左心室方向の第1のオイラー角のヒストグラム、第2のオイラー角のヒストグラム、第3のオイラー角のヒスとグラムである。ヒストグラム(d),(e)および(f)はそれぞれ、XYZ規則を使用した左心室方向の第1のオイラー角のヒストグラム、第2のオイラー角のヒストグラム、第3のオイラー角のヒスとグラムである。図4の実施例では、XYZ規則による表現はZXZ規則よりコンパクトである。しかし、心臓CTボリュームにおける心臓室検出のアプリケーションには、XYZ規則よりZXZ規則の方が効率的である。したがって実際には、最もコンパクトな規則を選択するための新たな用途では、異なる規則を試みる必要がある。
本発明の実施形態では、方向空間を表現するために4元数を使用することにより、オイラー角の欠点が解消されるようにすることができる。4元数によって、回転を含む幾つかの問題を簡単に解くことができるきれいでコンセプト的な枠組みが得られる。4元数は4つの数字として表される:
q=[w,x,y,z] (2)
または、スカラおよびベクトルとして表される。
q=[s,v] (3)
スカラ‐ベクトル表現では、2つの4元数の乗算は以下のようになる:
=[s−v・v,s+s+v×v] (4)
ただし、v・vはベクトル内積であり、v×vはベクトルクロス積である。2つの4元数の積も4元数となる。
方向を表すために単位4元数を使用することができる。その際には、
|q|=w+x+y+z=1 (5)
である。
それゆえ、単位4元数の自由度は3であり、オイラー角の自由度に等しい。単位4元数を使用して回転行列Rを以下のように表現できる。
単位4元数は、スカラ‐ベクトルの形態で表すこともできる:
q=[cos(θ/2),v sin(θ/2)] (7)
ただしvは3次元ベクトルであり、|v|=1である。4元数pが与えられた場合、これとq=[cos(θ/2),v sin(θ/2)]とを左乗算し、新たな4元数qpが得られる。この演算の物理的な意味は、qpが、軸vを中心としてpを回転量θだけ回転した後の方向を表すことである。4元数の共役は、以下の数式によって得られる:
この数式は、
が、軸vを中心とする回転量−θの回転を表す。
上記の数式に基づいて、2つの方向間の回転量を計算することができる。回転
は、qをqへ動かす回転である。数式(3)においてスカラ‐ベクトル表現を使用すると、4元数q1とq2との間の回転量は以下のように表現される:
(q,q)=θ=arccos(|s・v・v|) (9)
比較すると、オイラー角空間Dにおけるユークリッド距離(数式1)は4元数距離Dより大きい場合が多い(数式9)。しかし、D(O,O)=D(O,O)となる場合もある。ZXZ規則が使用され、z軸を中心として180°未満の範囲で回転が行われるだけであると仮定する。この場合、最後の2つのオイラー角は0になる。オイラー角空間内のユークリッド距離が、z軸を中心とする回転を測定するので、数式(9)によって定義された4元数距離と等しくなる。
数式(9)の4元数距離の定義を使用すると、方向空間全体を均質にサンプリングすることができる。この問題は、所与のN個のサンプル方向として定式化され、方向空間内で可能な限り均質にこのサンプル方向を分布する。カバーする半径αは、任意の方向とサンプル方向のうち1つとを整合するのに必要な最大回転として定義することができる。均質なサンプリングを行うためには、最適化プロシージャを使用して、N個のサンプル方向のうちで最小のαを与える最適な構成を定義することができる。
多くのアプリケーションでは、解剖学的オブジェクトの方向は小さな領域内で良好に制約され、方向空間全体をテストする必要はない。たとえば、一例の心臓CTのデータセットでは、ZXZ規則を使用する左心室のオイラー角の範囲は、ψでは[−0.9,39.1]°であり、φでは[−60.0,88.7]°であり、θでは[−68.8,−21.9]°である。テスト仮定を生成するために、各オイラー角をこのような領域内で均質にサンプリングすることができるが、これら3つのオイラー角は独立しておらず、方向を定義するためにこれら3つのオイラー角を組み合わせるのが有利である。したがって、各オイラー角を独立して均質にサンプリングすることにより、必要とされるよりも遥かに多くの仮定が生成されてしまう。
本発明の1つの実施形態では、事例ベース手法を使用してトレーニングデータからテスト仮定を生成することができる。図5に、トレーニングデータからテスト仮定を生成するための本発明の実施形態による事例ベース方法が示されている。図5の事例ベース方法は、位置‐方向仮定を生成するための図1のステップ108を実施するために使用することができる。図6に、テスト仮定の事例ベースの選択が示されている。図5および6を参照しながら図5の方法を説明する。
ステップ502において、パラメータ空間を特定の分解能rで均質にサンプリングし、均質にサンプリングされた仮定Sの集合を生成する。図6のイメージ(a)に、均質にサンプリングされた仮定(‘+’として示されている)の集合が示されている。ステップ504において、テスト仮定Sの選択された集合がクリアにされる。ステップ506において各トレーニングサンプルごとに、Sのうちで特定のトレーニングサンプルにおけるグラウンドトゥルースパラメータの指定された間隔d以内にあるすべての仮定をSに追加する。ここではd≧r/2であり、そうでない場合には、S内においてこの条件を満たすサンプルは存在しない。有利な実施形態では、d=rとなるようにdを設定することができる。図6のイメージ(b)に、ステップ506が最初の第1のトレーニングデータに適用されるのが示されている。図6のイメージ(b)に示されているように、均質にサンプリングされた仮定のうち、第1のトレーニングサンプルのグラウンドトゥルース602の距離604以内にあるすべての仮定が、テスト仮定の集合に追加される。図6のイメージ(c)に、ステップ506が第2のトレーニングデータに適用されるのが示されている。図6のイメージ(c)に示されているように、均質にサンプリングされた仮定のうち、第1のトレーニングサンプルおよび第2のトレーニングサンプルのグラウンドトゥルース602および606の距離604以内にあるすべての仮定が、テスト仮定の集合に追加される。このことはトレーニングデータセット内のすべてのトレーニングサンプルに行われ、得られたテスト仮定Sの集合は、すべてのトレーニングサンプルにおけるグラウンドトゥルースの隣接する仮定の結合体である。ステップ508において、冗長的な要素をSから除去し、最終的なテスト仮定集合を生成する。
図5の方法は、方向テスト仮定の集合を生成するために使用することができる。心臓CTボリューム内の左心室(LV)を検出するためのトレーニングデータセットの一例を参照して、このことを詳細に説明する。LV検出トレーニングデータセットのこの例では、本方法は、α=9.72°を有する方向空間全体に分布された7416個のサンプルの均質な集合であるSを開始点とする。457個の心臓CTボリュームのデータセットに、LV方向のSは66個のみの一義的な方向を有する。これはS(7416)より格段に少なく、また、トレーニングボリュームの数(457)よりも少ない。
従来のMSLアプリケーションでは、各オイラー角をサイズβ間隔で均質にサンプリングして仮定を生成する。任意の方向での最近傍の仮定までの最大間隔は、ユークリッド距離の尺度を使用すると
である。上記のように、本発明の実施形態は4元数距離の尺度を使用する。従来のMSLアプリケーションで使用される距離尺度と、本発明の実施形態で使用される距離尺度とは異なるので、これらを直接比較するのは困難である。しかし最悪な場合、ユークリッド距離測定結果Dは4元数距離測定結果Dに等しい大きさとなる。オイラー角空間を使用して、文字通りの等価的なサンプリング分解能を実現するためには、サイズβの探索幅は
でなければならない。すなわち、11.2°でなければならない。パラメータの範囲が[Vmin,Vmax]以内であると仮定する。N個のポイントであるPmin,Pmin+r・・・Pmax+(N−1)rを、分解能rでサンプリングする。この範囲全体、Pmin≦VminおよびPmax≧Vmaxを完全に網羅するためには、必要とされるサンプル数は以下のようになる。
ただし[x]は、x未満でない最小の整数を返す。この心臓CTデータセットの例では、11.2°の分解能でサンプリングすると、方向空間をカバーするために5×15×6=450個のサンプルを必要とする。4元数表現を使用して方向パラメータ間の相関関係を使用すると、仮定の数は85%低減され、サンプル数は450個から66個に低減される。
上記のように、図5の方法を使用してトレーニングデータから、方向テスト仮定の集合を求める。図1のステップ106において検出された位置候補から位置‐方向仮定を生成するためには(図1のステップ108)、各方向テスト仮定に相応する仮定を各位置候補ごとに生成し、位置‐方向仮定の集合が得られる。たとえば、ステップ106から100個の位置候補が維持され、図5の事例ベース方法から66個の方向サンプルが得られる場合、ステップ108において6600個の位置‐方向仮定が生成される。
図1を再び参照すると、ステップ110において、位置‐方向仮定から、トレーニングされる第2の分類子を使用して位置‐方法候補を検出する。とりわけ、第2の分類子を使用して、ステップ108において生成された各位置‐方向仮定をスキャンして、各仮定ごとに、該仮定が解剖学的オブジェクトの正しい位置および方向である確率を求める。このステップを行うために、各仮定をトレーニングデータ内の平均的なオブジェクトのスケールでテストする。第2の分類子は、操縦可能な特徴を有する確率的ブースティングツリー(PBT)を使用して、注釈付きのトレーニングデータに基づいてトレーニングすることができる。第2の分類子をトレーニングするためには、トレーニングデータ内で第1の分類子によって正であるとして(すなわち高確率であるとして)検出された位置候補のみに基づいて、正のトレーニングサンプルと負のトレーニングサンプルとを生成する。制約された探索範囲内の各位置候補仮定ごとに確率が求められると、最高確率を有する所定数(たとえば100個)の仮定を位置‐方向候補として維持する。
ステップ112において、トレーニングボリュームからのスケール例の制約された集合に基づいて、類似性変換仮定を位置‐方向候補から生成する。ここで使用されているような「類似性変換」という用語は、3D解剖学的オブジェクトの位置、方向およびスケールの完全な推定に関連する用語である。本発明の1つの実施形態では、パラメータのテスト仮定を生成するための図5の事例ベース方法を使用して、方向テスト仮定の生成と同様にスケールテスト仮定を生成することができる。このスケールテスト仮定の生成はスケールパラメータの相関関係を使用し、この生成によって探索空間が格段に縮小される。たとえば上記の心臓CT画像における左心室(LV)の検出の例を参照すると、LVの形状は大体回転対称的である。それゆえ、LV長軸(z軸として表される)に対して垂直な2つのスケール(SおよびS)は高い相関関係にある。というのも、これらは大体同じであるからだ。457個のトレーニングボリューム例から計算されるスケールの範囲は、Sでは[53.0,91.1]mmであり、Sでは[49.9,94.0]mmであり、Sでは[72.3,128.4]mmである。6mmの分解能を使用して各スケールを独立して均質にサンプリングする場合、8×9×11=792個のサンプルが必要である。図5の事例ベース方法を使用すると、240個のサンプルがトレーニングデータの分布範囲全体をカバーする。
したがって、図5の方法を使用してトレーニングデータから、スケールテスト仮定の集合を求める。図1のステップ110で検出された位置‐方向候補から類似性変換仮定を生成するためには、各位置‐方向候補ごとに、各スケールテスト仮定に相応する仮定を生成することにより、類似性変換仮定の集合が得られる。たとえば、ステップ110から100個の位置‐方向候補が維持され、かつ図5の事例ベース方法から240個のスケールサンプルが得られた場合、ステップ112において生成される類似性変換仮定は24000個になる。
ステップ114において、トレーニングされる第3の分類子を使用して類似性変換仮定から類似性変換候補を検出する。とりわけ、第3の分類子を使用して、ステップ112において生成された各類似性変換仮定をスキャンして、各仮定ごとに、該仮定が解剖学的オブジェクトの正しい位置、方向およびスケールである確率を求める。第3の分類子は、操縦可能な特徴を有する確率的ブースティングツリー(PBT)を使用して、注釈付きのトレーニングデータに基づいてトレーニングすることができる。第3の分類子をトレーニングするためには、トレーニングデータ内で第2の分類子によって正であるとして(すなわち高確率であるとして)検出された位置‐方向候補のみに基づいて、正のトレーニングサンプルと負のトレーニングサンプルとを生成する。
ステップ116において、第3の分類子の検出結果に基づいて、医療用画像ボリューム内で3D解剖学的オブジェクトを検出する。1つの可能な実施形態では、ステップ114において各類似性変換仮定ごとに確率が求められると、最高確率を有する所定数(たとえば50個または100個)の仮定を組み合わせて、医療用画像ボリューム内の3D解剖学的オブジェクトの最終的な位置、方向およびスケールを求める。別の可能な実施形態ではステップ114において、3D解剖学的オブジェクトのロケーション(すなわち位置、方向およびスケール)を、最高確率を有する類似性変換仮定であるとして検出する。
ステップ118において、検出された3D解剖学的オブジェクトを出力する。たとえば、検出された3D解剖学的オブジェクトをコンピュータシステムのディスプレイ上に表示することによって出力することができる。また、検出された3D解剖学的オブジェクトを、たとえばコンピュータシステムのメモリまたは記憶装置に記憶するか、またはコンピュータ読み出し可能な媒体に記憶することによって出力することもできる。
3Dオブジェクト検出およびパラメータサンプル生成を行うための上記の方法は、周知のコンピュータプロセッサ、メモリユニット、記憶装置、コンピュータソフトウェアおよび他のコンポーネントを使用するコンピュータ上で実施することができる。このようなコンピュータの上位レベルのブロック図が図7に示されている。コンピュータ702は該コンピュータ702の動作全体を制御するプロセッサ704を含んでおり、この制御はそのような動作を定義するコンピュータプログラム命令を実行することにより行われる。コンピュータプログラム命令を記憶装置712(例えば磁気ディスク)に記憶することができ、またこのコンピュータプログラム命令の実行が要求されるとメモリ710にロードすることができる。したがって、図1および図5の方法のステップは、メモリ710および/または記憶装置712に格納されたコンピュータプログラム命令によって規定することができ、またこれらのコンピュータプログラム命令を実行するプロセッサ704により制御することもできる。さらに、トレーニングされた第1の分類子と第2の分類子と第3の分類子と、上記方法によって得られた検出結果とを、メモリ710および/または記憶装置712に記憶することができる。たとえばCTスキャン装置、MRIスキャン装置等である画像取得装置720をコンピュータ702に接続することにより、3D画像(ボリューム)をコンピュータ702に入力することができる。画像取得装置720とコンピュータ702とを1つの装置として構成することができる。また、画像取得装置720とコンピュータ702とがネットワークを介して無線通信する構成も可能である。コンピュータ702はまた、別の装置とネットワークを介して通信するための1つまたは複数のネットワークインタフェース706も有する。コンピュータ702にはまた、ユーザとコンピュータ702との対話を行うための他の入/出力装置708が含まれている(例えばディスプレイ、キーボード、マウス、スピーカ、ボタンなど)。当業者であれば、実際のコンピュータのインプリメンテーションが他のコンポーネントも含み得ること、また図7が、図解のためにこのようなコンピュータのコンポーネントのうちのいくつかを上位レベルで表現したものであることを認識できる。
上記の詳細な説明はすべての点で説明目的に為された例示的なものであって、限定的なものではない。また本明細書において開示されている発明の範囲は詳細な説明から定められるべきではなく、特許法により認められる最も広い解釈の幅で解釈された請求項から定められるべきであることを解すべきである。本願において図示して説明した実施形態は、本発明の原理を説明するためだけのものであり、当業者であれば本発明の範囲および思想を逸脱することなく、種々の修正を実現することができる。当業者であれば本発明の範囲および思想から逸脱することなく他の種々の特徴の組み合わせを実現することができる。

Claims (27)

  1. 医療用画像ボリューム内で3D解剖学的オブジェクトを検出するための方法において、
    前記医療用画像ボリューム内で、注釈付きのトレーニングボリュームの集合に基づいて、制約された探索範囲を検出するステップと、
    前記制約された探索範囲内で、トレーニングされる第1の分類子を使用して位置候補を検出するステップと、
    前記トレーニングボリュームの集合内の方向例に基づいて、前記位置候補から位置‐方向仮定を生成するステップと、
    前記位置‐方向仮定から第2の分類子を使用して、位置‐方向候補を検出するステップと、
    前記トレーニングボリュームの集合内のスケール例に基づいて、前記位置‐方向候補から類似性変換仮定を生成するステップと、
    トレーニングされる第3の分類子を使用して前記類似性変換仮定から類似性変換候補を検出するステップと、
    前記類似性変換候補のうち少なくとも1つに基づいて、前記医療用画像ボリューム内で前記3D解剖学的オブジェクトを検出するステップ
    とを有することを特徴とする方法。
  2. 前記医療用画像ボリューム内で制約された探索範囲を検出するステップは、
    前記トレーニングボリュームそれぞれにおいて、オブジェクト中心から該トレーニングボリュームの各境界までの6つの距離を測定するステップと、
    前記トレーニングボリュームすべてにおいて、前記6つの距離それぞれの最小値を計算するステップと、
    前記医療用画像ボリュームの各境界からの最小距離によって定義された範囲として、前記医療用画像ボリューム内の制約された探索範囲を決定するステップ
    とを有する、請求項1記載の方法。
  3. 前記トレーニングボリュームの集合内の方向例に基づいて前記位置候補から位置‐方向仮定を生成するステップは、
    該トレーニングボリューム内の例に基づいて生成された複数の各方向仮定を各位置候補に適用することにより、各位置候補から複数の位置‐方向仮定を生成するステップを有する、請求項1記載の方法。
  4. 前記トレーニングボリュームの集合内の方向例に基づいて前記位置候補から位置‐方向仮定を生成するステップはさらに、
    ・方向の4元数表現を使用して該トレーニングボリュームの方向空間を均質にサンプリングすることにより、均質にサンプリングされた方向の集合を生成し、
    ・各トレーニングボリュームごとに、4元数距離測定を使用して、均質にサンプリングされた各方向と該トレーニングボリューム内のグラウンドトゥルース方向との間の間隔を計算して、該均質にサンプリングされた方向のうち、該グラウンドトゥルース方向の指定された距離内にあるすべての方向を、前記複数の方向仮定に追加することにより、前記複数の方向仮定を生成し、
    ・前記複数の方向仮定から冗長的な要素を除去する
    ことによって、該トレーニングボリューム内の例に基づいて前記複数の方向仮定を生成するステップを有する、請求項3記載の方法。
  5. 前記トレーニングボリュームの集合内のスケール例に基づいて前記位置‐方向候補から類似性変換仮定を生成するステップは、
    該トレーニングボリューム内の例に基づいて生成された複数の各スケール仮定を各位置‐方向候補に適用することにより、各位置‐方向候補から複数の類似性変換仮定を生成するステップを有する、請求項1記載の方法。
  6. 前記トレーニングボリュームの集合内のスケール例に基づいて前記位置‐方向候補から類似性変換仮定を生成するステップは、
    前記トレーニングボリュームのスケール空間を均質にサンプリングして、均質にサンプリングされたスケールの集合を生成し、
    各トレーニングボリュームごとに、前記均質にサンプリングされたスケールのうち、前記トレーニングボリューム内のグラウンドトゥルーススケールの指定された距離内にあるすべてのスケールを、前記複数のスケール仮定に追加することによって、前記複数のスケール仮定を生成し、
    前記複数のスケール仮定から冗長的な要素を除去する
    ことによって、前記トレーニングボリューム内の例に基づいて前記複数のスケール仮定を生成するステップを有する、請求項5記載の方法。
  7. 前記トレーニングボリュームの集合に基づいて、確率的ブースティングツリー(PBT)を使用して、トレーニングされる前記第1の分類子と前記第2の分類子と前記第3の分類子とをトレーニングする、請求項1記載の方法。
  8. 前記類似性変換候補のうち少なくとも1つに基づいて前記医療用画像ボリューム内の前記3D解剖学的オブジェクトを検出するステップは、
    最高確率を有する複数の前記類似性変換候補を集めて、前記医療用画像ボリューム内の前記3D解剖学的オブジェクトの位置、方向およびスケールを検出するステップを有する、請求項1記載の方法。
  9. 前記類似性変換候補のうち少なくとも1つに基づいて前記医療用画像ボリューム内の前記3D解剖学的オブジェクトを検出するステップは、
    前記3D解剖学的オブジェクトを、最高確率を有する類似性変換候補の位置、方向およびスケールを有する3D解剖学的オブジェクトとして検出するステップを有する、請求項1記載の方法。
  10. 医療用画像ボリューム内で3D解剖学的オブジェクトを検出するための装置において、
    前記医療用画像ボリューム内で、注釈付きのトレーニングボリュームの集合に基づいて、制約された探索範囲を検出するための手段と、
    前記制約された探索範囲内で、トレーニングされる第1の分類子を使用して位置候補を検出するための手段と、
    前記トレーニングボリュームの集合内の方向例に基づいて、前記位置候補から位置‐方向仮定を生成するための手段と、
    前記位置‐方向仮定から第2の分類子を使用して、位置‐方向候補を検出するための手段と、
    前記トレーニングボリュームの集合内のスケール例に基づいて、前記位置‐方向候補から類似性変換仮定を生成するための手段と、
    トレーニングされる第3の分類子を使用して前記類似性変換仮定から類似性変換候補を検出するための手段と、
    前記類似性変換候補のうち少なくとも1つに基づいて、前記医療用画像ボリューム内で前記3D解剖学的オブジェクトを検出するための手段
    とを有することを特徴とする装置。
  11. 前記医療用画像ボリューム内で制約された探索範囲を検出するための手段は、
    前記トレーニングボリュームそれぞれにおいて、オブジェクト中心から該トレーニングボリュームのそれぞれの境界までの6つの距離を測定するための手段と、
    前記トレーニングボリュームすべてにおいて、前記6つの距離それぞれの最小値を計算するための手段と、
    前記医療用画像ボリュームの各境界からの最小距離によって定義された範囲として、前記医療用画像ボリューム内の制約された探索範囲を決定するための手段
    とを有する、請求項10記載の装置。
  12. 前記トレーニングボリュームの集合内の方向例に基づいて前記位置候補から位置‐方向仮定を生成するための手段は、
    該トレーニングボリューム内の例に基づいて生成された複数の各方向仮定を各位置候補に適用することにより、各位置候補から複数の位置‐方向仮定を生成するための手段を有する、請求項10記載の装置。
  13. 前記トレーニングボリュームの集合内の方向例に基づいて前記位置候補から位置‐方向仮定を生成するための手段はさらに、
    ・方向の4元数表現を使用して該トレーニングボリュームの方向空間を均質にサンプリングすることにより、均質にサンプリングされた方向の集合を生成するための手段と、
    ・各トレーニングボリュームごとに、4元数距離測定を使用して、均質にサンプリングされた各方向と該トレーニングボリューム内のグラウンドトゥルース方向との間の間隔を計算して、該均質にサンプリングされた方向のうち、該グラウンドトゥルース方向の指定された範囲内にあるすべての方向を、前記複数の方向仮定に追加することにより、前記複数の方向仮定を生成するための手段と、
    ・前記複数の方向仮定から冗長的な要素を除去するための手段
    とを有する、請求項12記載の装置。
  14. 前記トレーニングボリュームの集合内のスケール例に基づいて前記位置‐方向候補から類似性変換仮定を生成するための手段は、
    該トレーニングボリューム内の例に基づいて生成された複数の各スケール仮定を各位置‐方向候補に適用することにより、各位置‐方向候補から複数の類似性変換仮定を生成するための手段を有する、請求項10記載の装置。
  15. 前記トレーニングボリュームの集合内のスケール例に基づいて前記位置‐方向候補から類似性変換仮定を生成するための手段は、
    前記トレーニングボリュームのスケール空間を均質にサンプリングして、均質にサンプリングされたスケールの集合を生成するための手段と、
    各トレーニングボリュームごとに、前記均質にサンプリングされたスケールのうち、前記トレーニングボリューム内のグラウンドトゥルーススケールの指定された距離内にあるすべてのスケールを、前記複数のスケール仮定に追加することによって、前記複数のスケール仮定を生成するための手段と、
    前記複数のスケール仮定から冗長的な要素を除去するための手段
    とを有する、請求項14記載の装置。
  16. 前記トレーニングボリュームの集合に基づいて、確率的ブースティングツリー(PBT)を使用して、トレーニングされる前記第1の分類子と前記第2の分類子と前記第3の分類子とがトレーニングされる、請求項10記載の装置。
  17. 前記類似性変換候補のうち少なくとも1つに基づいて前記医療用画像ボリューム内の前記3D解剖学的オブジェクトを検出するための手段は、
    最高確率を有する複数の前記類似性変換候補を集めて、前記医療用画像ボリューム内の前記3D解剖学的オブジェクトの位置、方向およびスケールを検出するための手段を有する、請求項10記載の装置。
  18. 前記類似性変換候補のうち少なくとも1つに基づいて前記医療用画像ボリューム内の前記3D解剖学的オブジェクトを検出するための手段は、
    前記3D解剖学的オブジェクトを、最高確率を有する類似性変換候補の位置、方向およびスケールを有する3D解剖学的オブジェクトとして検出するための手段を有する、請求項10記載の装置。
  19. 医療用画像ボリューム内で3D解剖学的オブジェクトを検出するためのコンピュータ実行可能な命令によって符号化されたコンピュータ読出し可能な媒体において、
    前記コンピュータ実行可能な命令は、
    前記医療用画像ボリューム内で、注釈付きのトレーニングボリュームの集合に基づいて、制約された探索範囲を検出するステップと、
    前記制約された探索範囲内で、トレーニングされる第1の分類子を使用して位置候補を検出するステップと、
    前記トレーニングボリュームの集合内の方向例に基づいて、前記位置候補から位置‐方向仮定を生成するステップと、
    前記位置‐方向仮定から第2の分類子を使用して、位置‐方向候補を検出するステップと、
    前記トレーニングボリュームの集合内のスケール例に基づいて、前記位置‐方向候補から類似性変換仮定を生成するステップと、
    トレーニングされる第3の分類子を使用して前記類似性変換仮定から類似性変換候補を検出するステップと、
    前記類似性変換候補のうち少なくとも1つに基づいて、前記医療用画像ボリューム内で前記3D解剖学的オブジェクトを検出するステップ
    とを定義することを特徴とする、コンピュータ読出し可能な媒体。
  20. 前記医療用画像ボリューム内で制約された探索範囲を検出するステップを定義するコンピュータ実行可能な命令は、
    前記トレーニングボリュームそれぞれにおいて、オブジェクト中心から該トレーニングボリュームの各境界までの6つの距離を測定するステップと、
    前記トレーニングボリュームすべてにおいて、前記6つの距離それぞれの最小値を計算するステップと、
    前記医療用画像ボリュームの各境界からの最小距離によって定義された範囲として、前記医療用画像ボリューム内の制約された探索範囲を決定するステップ
    とを定義するコンピュータ実行可能な命令を含む、請求項19記載のコンピュータ読出し可能な媒体。
  21. 前記トレーニングボリュームの集合内の方向例に基づいて前記位置候補から位置‐方向仮定を生成するステップを定義するコンピュータ実行可能な命令は、
    該トレーニングボリューム内の例に基づいて生成された複数の各方向仮定を各位置候補に適用することにより、各位置候補から複数の位置‐方向仮定を生成するステップを定義するコンピュータ実行可能な命令を有する、請求項19記載のコンピュータ読出し可能な媒体。
  22. 前記トレーニングボリュームの集合内の方向例に基づいて前記位置候補から位置‐方向仮定を生成するステップを定義するコンピュータ実行可能な命令はさらに、
    ・方向の4元数表現を使用して該トレーニングボリュームの方向空間を均質にサンプリングすることにより、均質にサンプリングされた方向の集合を生成し、
    ・各トレーニングボリュームごとに、4元数距離測定を使用して、均質にサンプリングされた方向と該トレーニングボリューム内のグラウンドトゥルース方向との間の間隔を計算して、該均質にサンプリングされた方向のうち、該グラウンドトゥルース方向の指定された範囲内にあるすべての方向を、前記複数の方向仮定に追加することによって、前記複数の方向仮定を生成し、
    ・前記複数の方向仮定から冗長的な要素を除去する
    ことによって、該トレーニングボリューム内の例に基づいて複数の方向仮定を生成するステップを定義するコンピュータ実行可能な命令を有する、請求項21記載のコンピュータ読出し可能な媒体。
  23. 前記トレーニングボリュームの集合内のスケール例に基づいて前記位置‐方向候補から類似性変換仮定を生成するステップを定義するコンピュータ実行可能な命令は、
    該トレーニングボリューム内の例に基づいて生成された複数の各スケール仮定を各位置候補に適用することにより、各位置‐方向候補から複数の類似性変換仮定を生成するステップを定義するコンピュータ実行可能な命令を有する、請求項19記載のコンピュータ読出し可能な媒体。
  24. 前記トレーニングボリュームの集合内のスケール例に基づいて前記位置‐方向候補から類似性変換仮定を生成するステップを定義するコンピュータ実行可能な命令は、
    前記トレーニングボリューム内の例に基づいて前記複数のスケール仮定を生成し、
    前記トレーニングボリュームのスケール空間を均質にサンプリングして、均質にサンプリングされたスケールの集合を生成するステップと、
    各トレーニングボリュームごとに、前記均質にサンプリングされたスケールのうち、前記トレーニングボリューム内のグラウンドトゥルーススケールの指定された距離内にあるすべてのスケールを、前記複数のスケール仮定に追加することによって、前記複数のスケール仮定を生成し、
    前記複数のスケール仮定から冗長的な要素を除去する
    ことによって、前記複数のスケール仮定を前記トレーニングボリューム内の例に基づいて生成するステップを定義するコンピュータ実行可能な命令を有する、請求項23記載のコンピュータ読出し可能な媒体。
  25. 前記トレーニングボリュームの集合に基づいて、確率的ブースティングツリー(PBT)を使用して、トレーニングされる前記第1の分類子と前記第2の分類子と前記第3の分類子とがトレーニングされる、請求項19記載のコンピュータ読出し可能な媒体。
  26. 前記類似性変換候補のうち少なくとも1つに基づいて前記医療用画像ボリューム内の前記3D解剖学的オブジェクトを検出するステップを定義するコンピュータ実行可能な命令は、
    最高確率を有する複数の前記類似性変換候補を集めて、前記医療用画像ボリューム内の前記3D解剖学的オブジェクトの位置、方向およびスケールを検出するステップを定義するコンピュータ実行可能な命令を有する、請求項19記載のコンピュータ読出し可能な媒体。
  27. 前記類似性変換候補のうち少なくとも1つに基づいて前記医療用画像ボリューム内の前記3D解剖学的オブジェクトを検出するステップを定義するコンピュータ実行可能な命令は、
    前記3D解剖学的オブジェクトを、最高確率を有する類似性変換候補の位置、方向およびスケールを有する3D解剖学的オブジェクトとして検出するステップを定義するコンピュータ実行可能な命令を有する、請求項19記載のコンピュータ読出し可能な媒体。
JP2009135170A 2008-06-04 2009-06-04 制約されたマージナル空間学習を使用して3d解剖学的オブジェクトを検出するための方法およびシステム Active JP5334692B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US5866108P 2008-06-04 2008-06-04
US61/058,661 2008-06-04
US12/471,761 2009-05-26
US12/471,761 US8116548B2 (en) 2008-06-04 2009-05-26 Method and system for detecting 3D anatomical structures using constrained marginal space learning

Publications (3)

Publication Number Publication Date
JP2010000349A true JP2010000349A (ja) 2010-01-07
JP2010000349A5 JP2010000349A5 (ja) 2012-05-24
JP5334692B2 JP5334692B2 (ja) 2013-11-06

Family

ID=41400362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009135170A Active JP5334692B2 (ja) 2008-06-04 2009-06-04 制約されたマージナル空間学習を使用して3d解剖学的オブジェクトを検出するための方法およびシステム

Country Status (2)

Country Link
US (1) US8116548B2 (ja)
JP (1) JP5334692B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016505298A (ja) * 2012-12-06 2016-02-25 シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドSiemens Product Lifecycle Management Software Inc. 空間コンテキストに基づく三次元イメージにおける多物体の自動的なセグメンテーション
US10163040B2 (en) 2016-07-21 2018-12-25 Toshiba Medical Systems Corporation Classification method and apparatus
KR20200120035A (ko) * 2019-04-11 2020-10-21 주식회사 디오 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치
JP2021521523A (ja) * 2018-04-10 2021-08-26 ウニベルジテート ハイデルベルク 色可視化及び分離のための方法、ソフトウェアモジュール、及び集積回路
US11978203B2 (en) 2019-04-11 2024-05-07 Dio Corporation Dental object detection method, and image matching method and device using dental object

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8634607B2 (en) * 2003-09-23 2014-01-21 Cambridge Research & Instrumentation, Inc. Spectral imaging of biological samples
US7321791B2 (en) * 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
US7555155B2 (en) 2005-01-27 2009-06-30 Cambridge Research & Instrumentation, Inc. Classifying image features
US8068654B2 (en) * 2007-02-02 2011-11-29 Siemens Akteingesellschaft Method and system for detection and registration of 3D objects using incremental parameter learning
WO2010140613A1 (ja) * 2009-06-03 2010-12-09 学校法人中部大学 物体検出装置
US8605969B2 (en) 2010-04-06 2013-12-10 Siemens Corporation Method and system for multiple object detection by sequential Monte Carlo and hierarchical detection network
US8787635B2 (en) 2010-05-03 2014-07-22 Siemens Aktiengesellschaft Optimization of multiple candidates in medical device or feature tracking
US9155470B2 (en) 2012-01-24 2015-10-13 Siemens Aktiengesellschaft Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography
US8837771B2 (en) 2012-02-28 2014-09-16 Siemens Aktiengesellschaft Method and system for joint multi-organ segmentation in medical image data using local and global context
US9700219B2 (en) 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US9704300B2 (en) * 2015-03-06 2017-07-11 Siemens Medical Solutions Usa, Inc. Detection of anatomy orientation using learning-based regression
US10037592B2 (en) 2015-06-05 2018-07-31 Mindaptiv LLC Digital quaternion logarithm signal processing system and method for images and other data types
US11373272B2 (en) 2015-06-05 2022-06-28 MindAptiv, LLC Digital gradient signal processing system and method for signals comprising at least three dimensions
EP3270308B9 (en) 2017-06-14 2022-05-18 Siemens Healthcare GmbH Method for providing a secondary parameter, decision support system, computer-readable medium and computer program product
US11432875B2 (en) 2017-09-28 2022-09-06 Siemens Medical Solutions Usa, Inc. Left atrial appendage closure guidance in medical imaging
WO2019171440A1 (ja) * 2018-03-05 2019-09-12 日本電気株式会社 画像解析装置、画像解析方法および画像解析プログラム
KR102718664B1 (ko) 2018-05-25 2024-10-18 삼성전자주식회사 영상 처리를 위한 네트워크 조정 방법 및 장치
CN109828818B (zh) * 2019-01-29 2022-03-01 广联达科技股份有限公司 一种基于浏览器端显示引擎的图元样式变换方法
KR20240119627A (ko) * 2023-01-30 2024-08-06 한국전자통신연구원 회전하는 객체 간의 유사성을 판단하기 위한 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008080132A (ja) * 2006-09-28 2008-04-10 Siemens Medical Solutions Usa Inc 高次元画像空間内の対象を検出するためのシステム及び方法
JP2008515595A (ja) * 2004-10-12 2008-05-15 シーメンス コーポレイト リサーチ インコーポレイテツド 3次元画像ボリューム内のポリープの検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916919B2 (en) * 2006-09-28 2011-03-29 Siemens Medical Solutions Usa, Inc. System and method for segmenting chambers of a heart in a three dimensional image
US8068654B2 (en) * 2007-02-02 2011-11-29 Siemens Akteingesellschaft Method and system for detection and registration of 3D objects using incremental parameter learning
US8989468B2 (en) * 2007-05-25 2015-03-24 Definiens Ag Generating an anatomical model using a rule-based segmentation and classification process
US8098918B2 (en) * 2007-09-21 2012-01-17 Siemens Corporation Method and system for measuring left ventricle volume
US9715637B2 (en) * 2009-03-18 2017-07-25 Siemens Healthcare Gmbh Method and system for automatic aorta segmentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008515595A (ja) * 2004-10-12 2008-05-15 シーメンス コーポレイト リサーチ インコーポレイテツド 3次元画像ボリューム内のポリープの検出方法
JP2008080132A (ja) * 2006-09-28 2008-04-10 Siemens Medical Solutions Usa Inc 高次元画像空間内の対象を検出するためのシステム及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6013031156; Yefeng Zheng et al.: 'Fast Automatic Heart Chamber Segmentation from 3D CT Data Using Marginal Space Learning and Steerabl' 2007 IEEE 11th International Conference on Computer Vision , 2007 *
JPN6013031159; Yefeng Zheng et al.: 'Four-Chamber Heart Modeling and Automatic Segmentation for 3-D Cardiac CT Volumes Using Marginal Spa' IEEE Transactions on Medical Imaging Vol. 27, No. 11, 200811, p1668 - p1681 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016505298A (ja) * 2012-12-06 2016-02-25 シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドSiemens Product Lifecycle Management Software Inc. 空間コンテキストに基づく三次元イメージにおける多物体の自動的なセグメンテーション
US10163040B2 (en) 2016-07-21 2018-12-25 Toshiba Medical Systems Corporation Classification method and apparatus
JP2021521523A (ja) * 2018-04-10 2021-08-26 ウニベルジテート ハイデルベルク 色可視化及び分離のための方法、ソフトウェアモジュール、及び集積回路
KR20200120035A (ko) * 2019-04-11 2020-10-21 주식회사 디오 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치
KR102284623B1 (ko) * 2019-04-11 2021-08-02 주식회사 디오 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치
US11978203B2 (en) 2019-04-11 2024-05-07 Dio Corporation Dental object detection method, and image matching method and device using dental object

Also Published As

Publication number Publication date
JP5334692B2 (ja) 2013-11-06
US8116548B2 (en) 2012-02-14
US20090304251A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
JP5334692B2 (ja) 制約されたマージナル空間学習を使用して3d解剖学的オブジェクトを検出するための方法およびシステム
US8218849B2 (en) Method and system for automatic landmark detection using discriminative joint context
US7916919B2 (en) System and method for segmenting chambers of a heart in a three dimensional image
US9179890B2 (en) Model-based positioning for intracardiac echocardiography volume stitching
US10318839B2 (en) Method for automatic detection of anatomical landmarks in volumetric data
US8098918B2 (en) Method and system for measuring left ventricle volume
JP6325322B2 (ja) 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
US8948484B2 (en) Method and system for automatic view planning for cardiac magnetic resonance imaging acquisition
CN105096310B (zh) 利用多通道特征在磁共振图像中分割肝脏的方法和系统
US8363918B2 (en) Method and system for anatomic landmark detection using constrained marginal space learning and geometric inference
EP3444781B1 (en) Image processing apparatus and image processing method
KR101028365B1 (ko) 연속된 컴퓨터 단층촬영의 폐결절 다단계 정합 방법 및 장치
JP5982726B2 (ja) ボリュームデータ解析システム及びその方法
US20190392552A1 (en) Spine image registration method
JP2008080132A (ja) 高次元画像空間内の対象を検出するためのシステム及び方法
Zheng et al. Constrained marginal space learning for efficient 3D anatomical structure detection in medical images
US9196049B2 (en) Method and system for regression-based 4D mitral valve segmentation from 2D+t magnetic resonance imaging slices
JP5364009B2 (ja) 画像生成装置、画像生成方法、及びそのプログラム
US8165375B2 (en) Method and system for registering CT data sets
CN118985018A (zh) 组织体积的二维(2d)超声扫描的交叉参照方法和系统
US20100142779A1 (en) Method and apparatus for locating a physiological feature of interest in image data
Ruppertshofen et al. A multi-dimensional model for localization of highly variable objects
JP2022111706A (ja) 画像処理装置および画像処理方法、医用撮像装置、プログラム
JP2018027302A (ja) 画像処理装置、磁気共鳴イメージング装置及び画像処理プログラム
Zheng et al. Constrained Marginal Space Learning

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130730

R150 Certificate of patent or registration of utility model

Ref document number: 5334692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350