JP2015036123A - 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法 - Google Patents

医用画像処理装置、医用画像処理方法及び分類器トレーニング方法 Download PDF

Info

Publication number
JP2015036123A
JP2015036123A JP2014163096A JP2014163096A JP2015036123A JP 2015036123 A JP2015036123 A JP 2015036123A JP 2014163096 A JP2014163096 A JP 2014163096A JP 2014163096 A JP2014163096 A JP 2014163096A JP 2015036123 A JP2015036123 A JP 2015036123A
Authority
JP
Japan
Prior art keywords
region
training
classifier
medical image
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014163096A
Other languages
English (en)
Other versions
JP6635648B2 (ja
Inventor
プール イアン
Poole Ian
プール イアン
ダバー モハマド
Dabbah Mohammad
ダバー モハマド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Publication of JP2015036123A publication Critical patent/JP2015036123A/ja
Application granted granted Critical
Publication of JP6635648B2 publication Critical patent/JP6635648B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】解剖学的ランドマークの最も確からしい位置の特定精度の向上。
【解決手段】一実施形態に係る医用画像処理装置10は、解剖学的ランドマークを含む第1の医用画像の第1領域を用いて調整され、第2の医用画像を構成する複数の画素について、前記解剖学的ランドマークである確からしさを表す複数の第1分類器CC(第1処理ユニット)と、前記第1の医用画像の前記第1領域よりも狭い第2領域を用いて調整され、前記第2の医用画像を構成する複数の画素について、前記解剖学的ランドマークである確からしさを表す複数の第2の値を計算する第2分類器CB(第2処理ユニット)と、
前記複数の第1の値と前記複数の第2の値とに基づいて、前記第2の医用画像に含まれる前記解剖学的ランドマークとして最も確からしい位置を特定するランドマーク位置特定ユニット28と、を具備することを特徴とする。
【選択図】 図3

Description

本実施形態は、医用画像処理装置、医用画像処理方法及び分類器トレーニング方法に関する。
解剖学的ランドマークは、身体構造内部における認識可能な点(標識点)である。医用画像処理において、解剖学的ランドマークは、例えば関連する画像を位置合わせまたは重ね合わせするのに、基準点として用いられる。図1は、例示として人体内部のいくつかの解剖学的ランドマークを示す。
解剖学的ランドマークの位置の特定は、正確さが重要である。例えば、血管トラッキングのためにランドマークを使用する場合には、5mmまたはそれ以上の正確さが必要である。また、患者が異なる場合や撮影方向が異なる場合等の解剖学上の変動に、ランドマークが対応可能であることが必要である。
ランドマークを識別するための様々な方法が知られている。例えば、ランドマークの識別は、オペレータが手動で行う。しかし、オペレータによるランドマークの識別作業は、時間のかかるプロセスであって、その結果はオペレータ間で変動することがある。代替的に、ランドマークの識別は、分類器を使用して自動的に実施されてもよい。分類器は、アルゴリズムを備える。このアルゴリズムは、例えば、画像を構成する複数の点または点群をカテゴリー(クラス)に割り当てるアルゴリズムである。2クラス分類器は、点または点群を、第1のクラスまたは第2のクラスのどちらに割り当てるべきかを決定する。多重クラス分類器は、点または点群を、多数のクラスのうちのいずれのクラスに割り当てるべきかを決定する。
分類器は、画像データセットを用いてトレーニングされる。トレーニング用に使用される画像データセットをトレーニングデータセットと呼ぶ。トレーニングデータセットには、複数の画像のデータが含まれる。この複数の画像は、それぞれ対象となる解剖学的ランドマークの位置が既知の画像である。確率的分類器は、所与の点が特定のクラス内にある確からしさを表すパラメータを出力する。この確からしさを表すパラメータは、例えば、尤度や確率等である。
単一の手順中に画像データセット内の複数の解剖学的ランドマークを識別するために多重クラス分類器を使用することが知られている。例えば、多重クラス分類器は、画像を構成する複数の点(または点群)が、解剖学的ランドマークAを含む領域にある確率、解剖学的ランドマークBを含む領域にある確率、または、解剖学的ランドマークを含まない領域にある確率を出力する。次いで、複数の点にそれぞれ対応する複数の確率を互いに比較することによって、解剖学的ランドマークAである確率の高い点(または点群)、解剖学的ランドマークBである確率の高い点(または点群)の位置を特定することができる。
多重クラス分類器をトレーニングするためには、通常、トレーニングデータセット内の複数の画像各々において、前景領域と背景領域とが設定される必要がある。前景領域は、ランドマークを含む領域であり、背景領域は、ランドマークを含まない領域である。そして、前景領域からトレーニング対象の前景点(以下、前景トレーニング点と呼ぶ。)が手動または自動で設定される。同様に、背景領域からトレーニング対象の背景点(以下、背景トレーニング点と呼ぶ。)が手動または自動で設定される。通常、背景領域は、前景領域よりも大きい。一方、背景トレーニング点と前景トレーニング点の数は同様である場合がある。そのため、比較的少数の背景トレーニング点を使用して、大きく、多様な背景領域を表さなければならない場合がある。つまり、多重クラス分類器を使用すると、解剖学的ランドマークの特定の精度が悪くなる可能性がある。
図2Aは、2クラス分類器のためのサンプリングを表わす概略図である。図2Aは、2クラス分類器のトレーニングに使用される前景トレーニング点50と背景トレーニング点52が設定された画像の一例を示している。前景トレーニング点50は、円形で描かれており、背景トレーニング点52は、三角形で描かれている。前景トレーニング点50は、ランドマーク上またはその近傍の領域に設定される。一方、背景トレーニング点52は、ランドマークから一定の距離またはランドマークに関連性の低いと推測される領域に設定される。図2Aの前景トレーニング点50と背景トレーニング点52は、例えば、入れ子型ではない、単一ステップの分類器をトレーニングするのに用いられる。分類器は、所与の点がランドマークを含む領域であるか、ランドマークを含まない領域であるかを区別可能に、トレーニングされなければならない。分類器が確率的分類器の場合、所与の点がランドマークを含む領域である確率(尤度)またはランドマークを含まない領域である確率(尤度)を出力するように、トレーニングされなければならない。
複数のランドマークの位置を特定するための1つの方法として、多重クラス分類器を用いる方法がある。例えば、3つのランドマークの位置を特定する場合を想定する。このとき用いられる多重クラス分類器は、所与の点を4つのクラスに分別する4クラス分類器である。4つのクラスとは、3つのランドマーク(第1ランドマーク、第2ランドマーク及び第3ランドマーク)にそれぞれ対応する3つのクラスと、背景に対応する1つのクラスである。4クラス分類器は、所与の点を4つのクラスに区別するためにトレーニングされる。このとき、図2Bのように、前景トレーニング点と背景トレーニング点とが設定される。
図2Bは、多重クラス分類器のためのサンプリングを表わす概略図である。図2Bは、多重クラス分類器のトレーニングに使用される前景トレーニング点と背景トレーニング点が設定された画像に示している。背景トレーニング点52は三角形で、第1前景トレーニング点50は円形で、第2前景トレーニング点54は四角形で、第3前景トレーニング点56は円形で描かれている。第1前景トレーニング点50は、第1ランドマークを含む第1の前景領域に設定される。第2前景トレーニング点54は、第2ランドマークを含む第2前景領域に設定される。第3前景トレーニング点56は、第3ランドマークを含む第3前景領域に設定される。
しかしながら、1つの多重クラス分類器を用いて複数のランドマークを一同に区別するためのトレーニングには、複雑な決定面を必要とすることがある。より高い精度を達成するために、複数のランドマーク各々に対応する複数の前景トレーニング点は、図2Bに示すように、ランドマークのまわりの小さな領域に設定される必要がある。しかしながら、その結果として多くの前景トレーニング点を設定できない可能性がある。多重クラス分類器のトレーニングにおいて、複数のクラス各々のトレーニング点は、ほぼ同数必要とする場合がある。したがって、前景トレーニング点の数が多く設定できない場合、背景トレーニング点の数も、同様に多く設定できない。すると、少数の背景トレーニング点によって、背景領域(背景ボクセル)における膨大な変動を表わさなければならないことがある。
目的は、解剖学的ランドマークの最も確からしい位置の特定精度を向上することのできる医用画像処理装置、医用画像処理方法及び分類器トレーニング方法を提供することにある。
一実施形態に係る医用画像処理装置は、解剖学的ランドマークを含む第1の医用画像の第1領域を用いて調整され、第2の医用画像を構成する複数の画素について、前記解剖学的ランドマークである確からしさを表す複数の第1の値を計算する第1処理ユニットと、
前記第1の医用画像の前記第1領域よりも狭い第2領域を用いて調整され、前記第2の医用画像を構成する複数の画素について、前記解剖学的ランドマークである確からしさを表す複数の第2の値を計算する第2処理ユニットと、
前記複数の第1の値と前記複数の第2の値とに基づいて、前記第2の医用画像に含まれる前記解剖学的ランドマークとして最も確からしい位置を特定するランドマーク位置特定ユニットと、を具備することを特徴とする。
一実施形態に係る医用画像処理装置は、医用画像を構成する複数の画素について、解剖学的ランドマークの位置である確からしさを表す複数の第1の値を計算する第1処理ユニットと、前記複数の画素について、前記解剖学的ランドマークの位置である確からしさを表す複数の第2の値を計算する第2処理ユニットと、前記解剖学的ランドマークを含む第1の医用画像の第1領域を用いて前記第1処理ユニットをトレーニングし、前記第1領域よりも狭い第2領域を用いて前記第2処理ユニットをトレーニングするトレーニングユニットと、を具備することを特徴とする。
図1は、解剖学的ランドマークの位置を表わす図である。 図2Aは、2クラス分類器のためのサンプリングを表わす概略図である。 図2Bは、多重クラス分類器のためのサンプリングを表わす概略図である。 図3は、本実施形態に係る医用画像処理装置のブロック構成の一例を示す図である。 図4は、本実施形態に係り、分類器トレーニングプロセスの一例を説明するフローチャートである。 図5は、図4の分類器トレーニングプロセスにおいて設定される前景領域と背景領域を説明するための補足説明図である。 図6は、本実施形態に係り、ランドマーク位置特定プロセスの一例を説明するフローチャートである。 図7は、分類器領域の寸法が、ランドマークの位置の特定に与える影響を説明するための補足説明図である。 図8Aは、入れ子型の2つの分類器のうち、第1の分類器の出力結果の一例を示す図である。 図8Bは、入れ子型の2つの分類器のうち、第2の分類器の出力結果の一例を示す図である。
以下、図面を参照しながら本実施形態に係る医用画像処理装置を説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
図3は、本実施形態に係る医用画像処理装置のブロック構成の一例を示す図である。本実施形態に係る医用画像処理装置(以下、本医用画像処理装置と呼ぶ。)は、医用画像に含まれる解剖学的ランドマーク(以下、単にランドマークと呼ぶ。)の位置を高い精度で特定する。本医用画像処理装置10は、使用する分類器のトレーニングを行い、この分類器を使用して、医用画像に含まれるランドマークの最も確からしい位置を特定するように構成される。
本医用画像処理装置10は、処理装置12を有する。処理装置12は、例えば、パーソナルコンピュータ(PC)またはワークステーション等である。処理装置12は、CTスキャナ14と、ディスプレイスクリーン16と、入力デバイス18とに接続される。
入力デバイス18は、本医用画像処理装置10にユーザの指示情報を入力するための入力インターフェースである。入力デバイス18には、例えば、コンピュータのキーボードおよびマウス等が適用されるのが好適である。
CTスキャナ14は、医用画像データセットを発生する。この医用画像データセットは、例えば、CT再構成画像データセット等である。本実施形態において、CTスキャナ14には、CTスキャナだけではなく、任意好適なスキャナが使用されてもよい。CTスキャナ14は、2次元または3次元の医用画像データセットを取得するのに適当な任意のスキャナ、例えば、MRIスキャナまたは超音波スキャナによって置換または補完される。
本実施形態において、CTスキャナ14によって得られた医用画像データセットは、メモリユニット20内に記憶される。そして、医用画像データセットは、処理装置12に供給される。代替的実施形態において、医用画像データセットは、PACS(Picture Archiving and Communication System)等のリモートデータストア(図示せず)から処理装置12に供給されてもよい。
メモリユニット20またはリモートデータストアは、任意好適な形態のメモリ記憶を備えてもよい。メモリユニット20またはリモートデータストアは、トレーニングデータセットを記憶する。トレーニングデータセットは、複数の医用画像データセットを含む。この医用画像データセットはランドマークの位置が既知である。すなわち、医用画像データセットは、ユーザによる手動等により、ランドマークの位置がマーキングされている医用画像データセットである。
処理装置12は、医用画像データセットに対して、自動的または半自動的に医用画像処理を実行するための処理リソースを提供する。処理装置12は、多様なソフトウェアモジュールまたはその他のソフトウェア構成要素をロードして実行可能な、中央処理ユニット(CPU)22を含む。処理装置12は、後述する図4および図6に沿った処理を実行可能に構成される。
処理装置12は、分類器トレーニングユニット26とランドマーク位置特定ユニット28とを有する。
ランドマーク位置特定ユニット28は、医用画像データセットに含まれるランドマークの最も確からしい位置を特定する。そのために、ランドマーク位置特定ユニット28は、第1の分類器(第1処理ユニット)と、第2の分類器(第2処理ユニット)と、結合器(結合ユニット)とを有する。
第1の分類器及び第2分類器は、それぞれ第1の医用画像の第1領域及び第2領域を用いてトレーニングされる。第1の医用画像は、ランドマークの位置が既知の医用画像である。詳細は後述するが、第1の分類器(第1処理ユニット)は、第2の医用画像を構成する複数の画素にそれぞれ対応する複数の第1の値を計算する。第2の医用画像は、ランドマークの位置が未知の医用画像である。同様に、第2の分類器(第2処理ユニット)は、上述の第2の医用画像を構成する複数の画素にそれぞれ対応する複数の第2の値を計算する。結合器は、複数の第1の値と複数の第2の値とに基づいて、結合分別結果を出力する。ランドマーク位置特定ユニット28は、結合分別結果に基づいて、第2の医用画像に含まれる解剖学的ランドマークとして最も確からしい位置を特定する。
分類器トレーニングユニット26は、トレーニングデータセットを用いて、第1の分類器と第2の分類器のトレーニングを行う。
図3に示す本医用画像処理装置10は、分類器トレーニングプロセスとランドマーク位置特定プロセスとを実施可能に構成される。分類器トレーニングプロセスは、図4のフローチャートに、そのプロセスの一例が示される。分類器トレーニングプロセスでは、トレーニングデータセットに基づいて分類器がトレーニングされる。ランドマーク位置特定プロセスは、図6のフローチャートに、そのプロセスの一例が示される。ランドマーク位置特定プロセスでは、トレーニングされた分類器を用いて医用画像を処理することにより、医用画像に含まれるランドマークの最も確からしい位置が特定される。
なお、本実施形態では、分類器トレーニングプロセスとランドマーク位置特定プロセスとが同一の装置内で実行されると記載している。しかしながら、分類器トレーニングプロセスとランドマーク位置特定プロセスとが互いに異なる装置で実行されてもよい。例えば、第1の装置で分類器トレーニングプロセスが実行され、第2の装置でランドマーク位置特定プロセスが実行されてもよい。このとき、第1の装置は、図4のプロセスを実施可能に構成される。第2の装置は、図6のプロセスを実施可能に構成される。第2の装置は、第1の装置によりトレーニングされた分類器を用いる。なお、第1の装置でトレーニングされた分類器は、複数の第2の装置各々で用いられてもよい。すなわち、例えば、トレーニングデータセットに基づいて、第1の装置により分類器がトレーニングされる。トレーニングされた分類器は、複数の別のコンピュータ(例えば、放射線科医またはその他のオペレータによって使用されるワークステーション、または中央サーバ)に分配される。複数の別のコンピュータ各々は、第1の装置でトレーニングされた分類器を使用して、医用画像に含まれるランドマークを特定するようにしてもよい。
このとき、一実施形態において、第1の装置および第2の装置のそれぞれは、図3に示すような装置である。代替的実施形態においては、第1の装置は、図3に示す装置からランドマーク位置特定ユニット28を除外した装置である。また、第2の装置は、図3に示す装置から分類器トレーニングユニット26またはCTスキャナ14を除外した装置である。そのような代替的実施形態において、分類器のトレーニングおよびランドマークの位置の特定は、それぞれ異なる装置によって個別に実施される。
図3の実施形態において、分類器トレーニングユニット26と、ランドマーク位置特定ユニット28とは、それぞれ、本実施形態の方法を実施するために実行可能な、コンピュータ可読命令を有するコンピュータプログラムによって、処理装置12に実装される。しかしながら、その他の実施形態において、それぞれのユニットは、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアとの任意好適な組合せとして実装してもよい。実施形態によっては、様々なユニットを、1つまたは2つ以上のASIC(特定用途向け集積回路)、GPU(グラフィック処理装置)、またはFPGA(フィールドプログラマブルゲートアレイ)、その他任意の事前プログラムされた、もしくはプログラム可能なロジックデバイスとして実装してもよい。
また、処理装置12は、ハードドライブと、RAM、ROM、データバスを含むPCのその他の構成要素と、様々なデバイスドライバを含むオペレーティングシステムと、グラフィックカードを含むハードウェアデバイスと、を含む。そのような構成要素は、分かりやすくするために図3には図示していない。
本実施形態においては、分類器トレーニングユニット26は、第1の分類器と第2の分類器のトレーニングを実施する。第1の分類器と第2の分類器は、例えば、入れ子型の分類器を構成する。第1の分類器と第2の分類器とは、医用画像に含まれる特定のランドマークの最も確からしい位置を特定するために用いられる。この医用画像は、CTスキャナ14またはその他適当なスキャナから得られた画像に対応する。なお、他の実施形態においては、より多数の入れ子型分類器が使用されてもよい。例えば、第1の分類器と第2の分類器と第3分類器が使用されてもよい。分類器トレーニングユニット26は、医用画像を構成する画像データ項目、例えば画素(ピクセル)、ボクセル、その他の点または点群に関して、分類器をトレーニングする。
本実施形態において、ランドマークは、既知の解剖学的ランドマーク、例えば、右側脳室の前角である。さらなる実施形態においては、ランドマークは、任意の既知の解剖学的ランドマーク、または識別可能な対象点または基準点を提供するという同じ機能を果たすものであれば、その他任意の点または点群としてもよい。
以下、分類器トレーニングプロセスについて図4と図5とを参照して説明する。
図4は、本実施形態に係り、分類器トレーニングプロセスの一例を説明するフローチャートである。
図5は、図4の分類器トレーニングプロセスにおいて設定される前景領域と背景領域を説明するための補足説明図である。
分類器トレーニングユニット26は、メモリユニット20から、トレーニングデータセットと当該トレーニングデータセットに対応するランドマーク位置のデータとを受け取る。トレーニングデータセットは、ランドマークの位置が既知の複数の医用画像のデータである。以下、分類器トレーニングプロセスを、2次元の医用画像のデータに関係して説明する。しかしながら、2次元の医用画像のデータではなく、3次元の医用画像のデータを、トレーニングデータセットとして使用してもよい。3次元の医用画像のデータは、2次元の医用画像のデータよりも、実際に使用される可能性が高い。
トレーニングデータセットにおいて、ランドマークの位置は予め特定されている。本実施形態において、トレーニングデータセットのランドマークの位置は、例えば、臨床医により手動で予め特定されている。そのランドマークの位置のデータは、トレーニングデータセットと関連付けて、メモリユニット20に記憶されている。なお、特定のランドマークは、医用画像が異なれば、その位置は異なる場合がある。また、同一の撮影条件下で撮影された医用画像であっても、患者が異なれば、その位置は異なる場合がある。また、同一の患者に関する医用画像であっても、撮影条件が異なれば、その位置は異なる場合がある。例えば、全体画像強度は変わることがある。
代替的実施形態において、分類器トレーニングユニット26は、リモートデータストアから、トレーニングデータセットと、対応するランドマーク位置のデータを受け取る。さらなる実施形態においては、CTスキャナ14は、複数の患者にそれぞれ対応する複数のトレーニングデータセットを収集する。複数のトレーニングデータセット各々から、臨床医により、ランドマークの位置が特定される。その他の実施形態においては、ランドマークの位置を特定する方法に、代替的方法が使用される。この代替的方法は、手動式、自動式、または部分的手動式、および部分的自動式としてもよい。
分類器は、医用画像に含まれるランドマークの最も確からしい位置を特定するために使用される。分類器は、医用画像を構成する複数の点(画素)各々を、ランドマークを含む領域にあるか、またはランドマークを含まない領域にあるかを区別できなければならない。
前景という用語は、ランドマークを含む領域を指して用いてもよく、背景という用語は、ランドマークを含まない領域を指して用いてもよい。本実施形態では、前景および背景の用語は、ランドマークを含むか、含まないか以外に、特定の領域の画像内容に関して、必ずしも何かを示唆するとは限らない。例えば、その境界に応じて、背景領域または前景領域は、被験者の解剖学的構造の領域、および/または被験者の解剖学的構造を含まない画像上の空白領域、および/またはテーブルまたはその他の外部構造の領域を含むことがあり、特定の物質または構造を表わす画像データだけを含むことに限定はされない。
本実施形態において、ランドマーク近傍の点の分類は、単一の分類器を使用することによるのではなく、2つの分類器(第1の分類器及び第2の分類器)を使用することにより達成される。2つの分類器各々は、以下に記載のようにトレーニングされる。第1の分類器と第2の分類器は、同一のトレーニングデータセットでトレーニングされる。しかしながら、第1の分類器と第2の分類器は、トレーニングデータセットで設定される前景領域と背景領域がそれぞれ異なる。第2の分類器のトレーニングで設定される前景領域は、第1の分類器のトレーニングで設定される前景領域よりも狭い。これは、本実施形態の重要な特徴の1つである。
(ステップ32)第1の分類器領域、第1の前景領域、及び第1の背景領域の設定
分類器トレーニングユニット26は、トレーニングデータセットに対して、第1の分類器領域100を決定する。本実施形態において、第1の分類器領域100は、全体画像Uに決定される。その他の実施形態においては、第1の分類器領域100は、患者の身体、または指定された身体区画を表わす画像の部分に決定されてもよい。また、第1の分類器領域100は、ユーザにより指定されてもよい。
以下に、前景領域及び背景領域等の定義およびトレーニング点の選択方法について、図5に示す医用画像を参照して説明する。なお、ここでは、医用画像に対して実施されているプロセスは、その医用画像に対応する医用画像データに対して実施されているプロセス、またはその医用画像に対応する医用画像データを含むプロセスであってもよい。すなわち、例えば、選択されている医用画像の特定の領域に言及することは、通常、選択されている医用画像データセットの等価なサブセットを、表わすかまたは含むことになる。
本実施形態において、それぞれの画像データのセットは、ピクセルまたはボクセルからなる。ピクセルまたはボクセルの寸法は、元のCT(または代替的様式の)スキャンから生じるピクセルまたはボクセルの寸法としてもよい。代替的に、ピクセルまたはボクセルの寸法は、元の画像のダウンサンプリングによって生じる、より大きなピクセルまたはボクセルの寸法としてもよい。
図5(c)は、トレーニングデータセットに対応する医用画像である。この医用画像は、ランドマークが既知の医用画像である。図5(c)に示すように、分類器トレーニングユニット26は、トレーニングデータセットの第1の分類器領域100を、第1の前景領域102と第1の背景領域λUCとに区画する。
分類器トレーニングユニット26は、第1の前景領域102と第1の背景領域λUCとの間の領域境界を定義する。具体的には、本実施形態において、分類器トレーニングユニット26は、第1の分類器領域100における第1の前景領域102を定義する。例えば、分類器トレーニングユニット26は、第1の前景領域102を、1辺の長さがLcの正方形Cで定義する。領域λCは、第1の前景領域102であり、言い換えると、全体画像Uの正方形C内に含まれる画像の領域として定義される。さらなる実施形態において、第1の前景領域102は、長方形、円形、またはその他任意の適当な形状で定義されてもよい。通常、第1の前景領域102は、その中心位置がランドマークになるように定義されるが、第1の前景領域102の中心位置はランドマークでなくてもよい。
分類器トレーニングユニット26は、第1の分類器領域100のうち、第1の前景領域102ではない領域を、第1の背景領域として定義する。図5のプロット(c)に示すように、本実施形態において、第1の背景領域は、画像Uの全体領域のうち領域λCに含まれない領域であり、第1の背景領域を
Figure 2015036123
と定義する。以下、第1の背景領域を第1の背景領域λUCとも記載する。第1の代替的実施形態において、分類器トレーニングユニット26は、第1の背景領域を、第1の前景領域102の部分ではない、第1の分類器領域100の部分として定義する。このとき、第1の背景領域は、第1の分類器領域100のうち、第1の前景領域102以外の残りの領域全体でなくてもよい。
ステップ32の終わりにおいて、分類器トレーニングユニット26は、トレーニングデータセットに含まれる複数の医用画像各々に対して、第1の分類器領域100と、第1の背景領域λUCと、第1の前景領域102とを定義する。このとき、第1の前景領域102を定義するための正方形Cの寸法は、複数の医用画像各々で同一であり、正方形Cの中心位置はそれぞれのランドマークλを中心とする。また、複数の医用画像各々は、同一のランドマークλを含む画像である。
(ステップ34)第1の前景トレーニング点と第1の背景トレーニング点の選択
分類器トレーニングユニット26は、トレーニングデータセットに含まれる複数の医用画像各々の第1の前景領域102(領域λC)から、第1の前景トレーニング点を選択する。第1の前景トレーニング点は、第1の前景トレーニングサンプルまたは第1の前景トレーニングピクセルとも呼ばれる場合がある。第1の前景領域102を構成するピクセルの数が閾値以下である場合には、分類器トレーニングユニット26は、第1の前景領域102を構成するピクセルのすべてを、第1の前景トレーニング点として選択する。第1の前景領域102を構成するピクセルの数が、閾値よりも大きい場合には、分類器トレーニングユニット26は、サンプル選択法を用いて、第1の前景領域102を構成する複数のピクセルから、複数の第1の前景トレーニング点を選択する。
本実施形態において、サンプル選択法は、固定シードを用いるHaltonサンプリングである。その他の実施形態において、代替的な他のサンプル選択法、例えば、擬似ランダムサンプリング法が用いられてもよい。本実施形態において、前景トレーニング点及び背景トレーニング点は、個々のピクセルである。代替的な実施形態において、前景トレーニング点及び背景トレーニング点は、ピクセル群、またはダウンサンプリングされたピクセルであってもよい。
次に、分類器トレーニングユニット26は、トレーニングデータセットに含まれる複数の医用画像各々の第1の背景領域λUCから、複数の第1の背景トレーニング点(第1の背景トレーニングサンプルまたは第1の背景トレーニングピクセルとも呼ばれる場合がある)を選択する。第1の背景領域λUCを構成するピクセルの数が閾値以下である場合に、分類器トレーニングユニット26は、第1の背景領域λUCを構成するピクセルのすべてを、第1の背景トレーニング点として選択する。第1の背景領域λUCを構成するピクセルの数が、閾値よりも大きい場合に、分類器トレーニングユニット26は、サンプル選択法を用いて、第1の背景領域λUCを構成する複数のピクセルから、複数の第1の背景トレーニング点を選択する。本実施形態において、第1の前景領域102から複数の第1の前景トレーニング点を選択する方法については、同じ方法(Haltonサンプリング)が適用される。しかしながら、他の実施形態においては、種類の異なる、例えば2つのサンプリング方法が用いられてもよい。
入れ子型分類器を用いるときには、ランドマークを位置特定する際に、2つ以上のステップが用いられる。例えば、本実施形態では、ランドマークの位置を特定するために、第1の分類器と第2の分類器とが使用される。第1の分類器と第2の分類器は、入れ子型分類器を構成する。第1の分類器は、第1の分類器領域を対象に、前景領域と背景領域を区別するためにトレーニングされる。第2の分類器は、第2の分類器領域を対象に、前景領域と背景領域を区別するためにトレーニングされる。このとき、第2の分類器領域は第1の分類器領域も狭い範囲である。図5のプロット(c)に図示されているように、本実施形態の第1の分類器のトレーニングにおいて設定される第1の前景領域102と第1の背景領域λUCの寸法差は、図2Aに表わされた前景領域と背景領域の寸法差に比べて大きくはない。なお、図2Aにおいて、前景領域は、前景トレーニング点50で囲まれた領域である。背景領域は、図2Aに表した医用画像の全体領域のうち前景トレーニング点50で囲まれた領域以外の領域である。これは、第1の分類器CCは、実質的に前景領域λC内のランドマークの位置を特定するためだけに設計されているからである。第2の分類器CBは、より小さい前景領域λB内のランドマークの位置を特定するために、トレーニングされる。
図3の実施形態において、第1の背景トレーニング点の数が第1の前景トレーニング点の数の2倍になるように選択される。他の実施形態において、第1の前景トレーニング点の数は、第1の背景トレーニング点の数と異なるように選択される。
(ステップ36)第1の分類器のトレーニング
分類器トレーニングユニット26は、トレーニングアルゴリズムを使用して、第1の分類器CCをトレーニングする。第1の分類器CCは、医用画像を構成する複数のピクセルを第1のクラスと第2のクラスに区別するためにトレーニングされる。第1のクラスは、ピクセルが前景領域に含まれるクラスであり、第2のクラスは、ピクセルが背景領域に含まれるクラスである。本実施形態において、分類器トレーニングユニット26は、トレーニングデータセットに含まれる複数の医用画像を使用して第1の分類器CCをトレーニングする。具体的には、分類器トレーニングユニット26は、複数の医用画像各々において、複数の第1の前景トレーニング点と、複数の第1の背景トレーニング点とを決定する。分類器トレーニングユニット26は、複数の第1の前景トレーニング点が第1のクラスに区別されるように、複数の第1の背景トレーニング点が第2のクラスに区別されるように、第1の分類器CCをトレーニングする。他の実施形態において、分類器トレーニングユニット26は、トレーニング点(第1の前景トレーニング点及び第1の背景トレーニング点)のサブセットを使用して、第1の分類器CCをトレーニングする。さらに、他の実施形態において、分類器トレーニングユニット26は、トレーニングデータセットの一部のトレーニング点を使用して、第1の分類器CCをトレーニングする。
分類器は、トレーニング点の特定の特性を考慮することによってトレーニングされる。トレーニング点の特性は特徴とも呼ばれる。トレーニング点の特徴は、例えば、トレーニング点自体の特徴である。しかしながら、トレーニング点の特徴は、トレーニング点を含む領域の特徴であってもよい。また、トレーニング点の特徴は、トレーニング点と他のトレーニング点との間の関連性を示す特徴であってもよい。さらに、トレーニング点の特徴は、トレーニング点で定義される他の点の特徴であってもよい。
トレーニング点の特徴の一例は、トレーニング点における画像強度である。別の例は、トレーニング点を囲むように定義された領域の平均強度である。さらに別の例は、トレーニング点から所定の距離と角度にある他のトレーニング点の画像強度である。別の例は、トレーニング点またはその近傍における、強度勾配、強度変動、他の特性の変動、または他の尺度等である。つまり、トレーニング点の特徴は、数値パラメータである。また、これらの特徴は、対象のトレーニング点またはその近傍における、特定の形状または寸法の領域の有無を反映してもよい。また、これらの特徴は、対象のトレーニング点自体の特徴でなくてもよい。トレーニングデータセットにおいて、対象のトレーニング点に対して、その位置が定義されている部分の特徴としてもよい。トレーニング点自体の特徴、そのトレーニング点のまわりの領域の特徴、またはトレーニング点群の特徴を、分類器トレーニングプロセスにおける、特定のトレーニング点の特徴として使用してもよい。複数種類の特徴の中で、トレーニングに用いる特徴は、オペレータの指示に従って任意に設定が可能である。言い換えると、分類器トレーニングプロセスにおいて、分類器のトレーニングに使用されるデータには、トレーニング点の特徴を表すデータ、トレーニング点を含む点群の特徴を表すデータ、トレーニング点に対して定義されている点、またはトレーニング点に対して定義されている点群の特徴を表すデータ等が適用可能である。このときの特徴は、画像強度、平均強度、強度勾配、強度変動等の項目が該当する。しかしながら、特徴を示す項目は、トレーニングデータセットに対応する医用画像において、前景領域と背景領域との間の画像の差異を表せるのであれば、他の項目であってもよい。
分類器トレーニングプロセスにおいて、分類器トレーニングユニット26は、複数の第1の前景トレーニング点にそれぞれ対応する複数の特徴と、複数の第1の背景トレーニング点にそれぞれ対応する複数の特徴とをそれぞれ評価する。これらの特徴には、対象のトレーニング点(前景トレーニング点及び背景トレーニング点)に対して異なる場所における、強度、勾配、テキスチャまたはSURF特徴(Speeded Up Robust Features)を含めてもよい。
次に、分類器トレーニングユニット26は、複数のトレーニング点にそれぞれ対応する複数の特徴とトレーニングアルゴリズムとに基づいて、第1の分類器CC用の特徴ベクトルを発生する。特徴ベクトルは、所与の点が第1のクラス及び第2のクラスのどちらに分類されるかを判定するために用いられる。
具体的には、分類器トレーニングユニット26は、複数の前景トレーニング点にそれぞれ対応する複数の特徴ベクトルに基づいて、前景領域用の特徴ベクトルの確率分布を発生する。前景領域用の特徴ベクトルは、前景トレーニング点の特徴やパターンを表すデータである。分類器トレーニングユニット26は、例えば、前景領域用の特徴ベクトルの確率分布が正規分布になるように、特徴ベクトルの定数等を調整する。また、分類器トレーニングユニット26は、複数の背景トレーニング点にそれぞれ対応する複数の特徴ベクトルに基づいて、背景領域用の特徴ベクトルの確率分布を発生する。背景領域用の特徴ベクトルは、背景トレーニング点の特徴やパターンを表すデータである。特徴ベクトルは、1種類の特徴または複数種類の特徴を変数とした関数である。分類器トレーニングユニット26は、背景領域用の特徴ベクトルの確率分布が正規分布になるように、特徴ベクトルの定数等を調整する。さらに、分類器トレーニングユニット26は、前景領域用の特徴ベクトルの確率分布と背景領域用の特徴ベクトルの確率分布とが区別可能に特徴ベクトルの定数等を調整する。例えば、分類器トレーニングユニット26は、前景領域用の特徴ベクトルの確率分布のピークの位置が背景領域用の特徴ベクトルの確率分布のピークと異なる位置になるように、特徴ベクトルの定数等を調整する。このとき、背景領域用の特徴ベクトルに使用される特徴及び定数は、前景領域用の特徴ベクトルに使用される特徴及び定数と同一である。しかしながら、他の実施形態では、背景領域用の特徴ベクトルに使用される特徴及び定数は、前景領域用の特徴ベクトルに使用される特徴及び定数とそれぞれ異なる。
この場合に、第1の分類器CCは決定森(decision forest)である。第1の分類器CCは、複数の決定木で構成される。この構成を決定森と呼ぶ。代替的実施形態において、第1の分類器CCは、任意の確率的2クラス分類器、例えば、多変量ガウシアン(multivariate Gaussian)、人工ニューラルネットワーク、サポートベクトルマシン(support vector machine)またはk近傍法(k-nearest neighbor)である。
上記のステップ32〜36のプロセスにより、第1の分類器CCをトレーニングすることができる。次に、同様のプロセス(以下、ステップ38〜42で実施される。)を用いることで、入れ子型の第2の分類器をトレーニングすることができる。
(ステップS38)第2の分類器領域、第2の前景領域、及び第2の背景領域の設定
分類器トレーニングユニット26は、トレーニングデータセットに対して、第2の分類器領域102を決定する。
本実施形態の分類器トレーニングプロセスの一例を示す図4のフローチャートにおいて、ステップ38〜42(第2の分類器領域の定義、および第2の分類器のトレーニング)は、ステップ32〜36(第1の分類器領域の定義、および第1の分類器のトレーニング)の後に行われる。代替的実施形態において、第2の分類器領域の定義は、図4のフローチャートにおいて、任意好適なときに行われてもよい。例えば、第2の分類器領域の定義は、第1の分類器領域の定義の前または第1の分類器領域の定義と同時に行われる。また、第2の分類器のトレーニングは、図4のフローチャートにおいて、任意好適なときに行われてもよい。例えば、第2の分類器のトレーニングは、第1の分類器のトレーニングの前または第1の分類器のトレーニングと同時に行われてもよい。
本実施形態において、分類器トレーニングユニット26は、図5のプロット(b)に図示するように、第2の分類器領域102を、第1の前景領域102(領域λC)に決定する。次に、分類器トレーニングユニット26は、第2の分類器領域102を、第2の前景領域104と第2の背景領域とに区画する。第2の背景領域を、
Figure 2015036123
と定義する。以下、第2の背景領域を第2の背景領域λCBとも記載する。
本実施形態において、第2の前景領域104(領域λBとも呼ぶ。)は、1辺の長さがLBの正方形Bで定義される。また、第2の前景領域104は、ランドマークλを中心とする、正方形Bに含まれる画像の部分として定義される。第2の背景領域λCBは、領域λCのうち、領域λBではない、画像の部分として定義される。したがって、第2の背景領域λCBの外部境界は、第1の前景領域102の外部境界と、実質的に同一である。
(ステップ40)第2の前景トレーニング点と第2の背景トレーニング点の選択
分類器トレーニングユニット26は、ステップ34と同様の選択方法および閾値を用いて、第2の前景領域104から複数の第2の前景トレーニング点と、第2の背景領域λCBから複数の第2の背景トレーニング点とを選択する。代替的実施形態において、ピクセル数に対する異なる閾値が用いられる。その他の実施形態においては、第2の前景トレーニング点および第2の背景トレーニング点に対しては、第1の前景トレーニング点および第1の背景トレーニング点に対して用いたのとは異なる、選択方法が用いられる。言い換えると、第2の分類器のトレーニングに使用されるトレーニング点の選択方法は、第1の分類器のトレーニングに使用されるトレーニング点の選択方法と異なる方法であってもよい。本実施形態において、ステップ34における第1の分類器のトレーニングがそうであったように、第2の背景トレーニング点の数は、第2の背景トレーニング点の数になるように選択される。
(ステップ42)第2の分類器のトレーニング
分類器トレーニングユニット26は、トレーニングアルゴリズムを使用して、第2の分類器Cをトレーニングする。第2の分類器Cのトレーニングのために、第2の前景トレーニング点と第2の背景トレーニング点とが使用される。第2の背景トレーニング点は、第2の背景領域λCBから選択される。一方、第2の前景トレーニング点は、第2の前景領域104から選択される。本実施形態において、第2の分類器は決定森である。その他の実施形態においては、代替的分類器が用いられる。
分類器トレーニングプロセスにおいて、分類器トレーニングユニット26は、複数の第2の前景トレーニング点にそれぞれ対応する複数の特徴と、複数の第2の背景トレーニング点にそれぞれ対応する複数の特徴とをそれぞれ評価する。そして、分類器トレーニングユニット26は、複数のトレーニング点にそれぞれ対応する複数の特徴とトレーニングアルゴリズムとに基づいて、第2の分類器用の特徴ベクトルを発生する。
本実施形態において、第2の分類器に用いられる特徴は、第1の分類器に用いられる特徴と異なる。したがって、第1の分類器および第2の分類器は、異なる特徴ベクトルを有する。しかしながら、他の実施形態において、第2の分類器で用いられる特徴が、第1の分類器で用いられる特徴と同様であってもよい。このとき、第1の分類器のトレーニングの対象となる第1の分類器領域が、第2の分類器のトレーニングの対象となる第2の分類器領域と異なるため、第1の分類器に対応する特徴ベクトルは、第2の分類器に対応する特徴ベクトルと異なる。
トレーニング点(前景トレーニング点及び背景トレーニング点)に対して評価された特徴は、短距離特徴(ランドマークに近傍の特徴)または長距離特徴(ランドマークから遠く離れた特徴)を有してもよい。第1の分類器CCのトレーニングにおいて、第1の分類器領域は医用画像の全体領域を含む。一方、第2の分類器CBのトレーニングにおいて、第2の分類器領域は第1の分類器領域よりも狭い。そのため、実施形態に応じて、第1の分類器CCは、より制約された領域を範囲に含む、第2の分類器CBよりも、より多くの長距離特徴を用いてもよい。第1の分類器CCは、特徴を評価するときに、大きな領域および大きなオフセットを使用してもよい。
実施形態によっては、使用される特徴は、分類器領域外に延びてもよい。例えば、第2の分類器CBのトレーニングに使用される特徴は、評価された特徴が、第1の背景領域λUCにあるように、ランドマークからある距離にある特徴としてもよい。SURF特徴の固定セットが用いられる場合には、ウェーブレットスケール(wavelet scale)を、分類器のレベル(それが、画像全体を範囲に含むか、または画像のサブセットを範囲に含むか)に適当に設定してもよい。
図4のフローチャートに図示されたプロセスによって、トレーニングデータセットに基づいてトレーニングされた2つの入れ子型分類器(第1の分類器及び第2の分類器)が得られる。本実施形態において、第2の前景領域104は、第1の前景領域102の内側に入れ子にされており、第1の分類器の前景領域が、第2の分類器の分類器領域である。2つの入れ子型分類器CCおよびCBを用いた場合と仮定の単一の分類器を用いた場合とを比較する。仮定の単一の分類器は(以下、単一分類器と呼ぶ。)、例えば、前景領域がλB、背景領域は、医用画像の全体領域における前景領域でない部分とする。このときの背景領域は、領域λUBと記載される。このとき、単一分類器における前景領域λBと背景領域λUBとの間の領域の寸法の差は、第1の分類器CC、または第2の分類器CBにおける寸法の差よりもずっと大きくなる。このような場合、例えば、前景トレーニング点と背景トレーニング点を、単位領域あたりに設定されるトレーニング点が、前景領域と背景領域とで同一になるように設定するとき、背景トレーニング点の数が、前景トレーニング点よりもずっと多くなる。または、背景トレーニング点と前景トレーニング点を、前景トレーニング点の数と背景トレーニング点の数が同一になるように設定するとき、前景領域の大きさに対する前景トレーニング点の数の密度に比べて、背景領域の大きさに対する背景トレーニング点の密度が疎となる。つまり、前景トレーニング点の数と背景トレーニング点の数が同一になるように設定するとき、少ない数の背景トレーニング点で大きな背景領域を表さなければならない場合がある。
単一分類器は、ランドマークを含むであろう領域を、1回のステップで医用画像の全体領域から非常に小さい領域に絞り込み可能にトレーニングされる必要がある。この非常に小さい領域は、ランドマークが含まれる領域である。しかしながら、このような高い精度でランドマークの位置を全体領域から決めるために必要なトレーニングは、トレーニング点の数を少なくする必要がある場合には、非常に困難である。
2つの入れ子型分類器を用いると、背景トレーニング点の数を前景トレーニング点に対して同程度にするという要件を、精度よくランドマークを位置特定するために前景領域を小さくするという要件とバランスさせることができる。言い換えると、前景トレーニング点の数と背景トレーニング点の数を同一にしておきながら、前景領域における単位領域あたりの前景トレーニング点の数を、背景領域における単位領域あたりの背景トレーニング点の数を同一、つまり単位領域あたりのトレーニング点の密度を同程度にすることができる。例えば、第1の前景領域102が、第2の分類器領域102としても使用されるように第1の分類器と第2の分類器とを入れ子にすることで、ランドマークの位置を特定するときに意味のある方法で、第1の分類器の出力と第2の分類器の出力とを結合することができる。
なお、図4を参照して説明した第1の分類器と第2の分類器とのトレーニング方法は一例である。本実施形態では、第1の分類器と第2の分類器とが入れ子型の分類器を構成する。すなわち、第2の前景領域104は、第1の前景領域102の内側に入れ子にされており、第1の分類器の前景領域が、第2の分類器の分類器領域である。これは、背景トレーニング点の数を前景トレーニング点に対して同程度にするという要件を、精度よくランドマークを位置特定するために前景領域を小さくするという要件とバランスさせることができるためである。言い換えると、トレーニングデータにおいて前景領域と背景領域とは、前景領域に対応する画像の面積と背景領域に対応する画像の面積とが同程度になるように設定されるのが好適である。
第1の分類器CCおよび第2の分類器CBをトレーニングするプロセスについて、図4を参照して説明した。
分類器を使用して医用画像データ内のランドマークの位置を特定するプロセスについて、次に説明する。
図6は、本実施形態に係り、ランドマーク位置特定プロセスの一例を説明するフローチャートである。
図6のフローチャートは、第1の分類器CCと、第2の分類器CBとを使用してランドマークの位置を特定するプロセスを表わす。第1の分類器CCと、第2の分類器CBは上述の図4のプロセスにおいてトレーニングされたものとする。ランドマーク位置特定ユニット28は、トレーニングされた入れ子型の第1の分類器CCおよび第2の分類器CBを使用して、ランドマークの位置が未知である(わかっていない)、医用画像データ内のランドマークの位置を特定する。
本実施形態において、分類器をトレーニングするために使用された装置(図3の装置)と同一の装置を使用して、ランドマークの位置の特定を実施する。しかしながら、分類器のトレーニングを行う装置は、トレーニングをされた分類器を使用してランドマークの位置を特定する装置と異なる装置であってもよい。例えば、放射線医またはその他のオペレータのワークステーションまたは中央サーバを使用してランドマークの位置の特定を実施する。このとき、トレーニングされた分類器は、異なるコンピュータまたは中央処理リソースによって、これらの装置に提供されるか、またはソフトウェアとして提供されてもよい。
(ステップ60)医用画像のデータと入れ子型分類器のデータとを受信
ステップ60において、ランドマーク位置特定ユニット28は、ランドマークの場所が未知である、医用画像のデータを受け取る。また、ランドマーク位置特定ユニット28は、入れ子型を構成する第1の分類器CCおよび第2の分類器CBを受け取る。この第1の分類器CCは、図5(c)に示すように、第1の前景領域102(領域λC)内の複数の第1の前景トレーニング点と、第1の背景領域(領域λUC)内の複数の第1の背景トレーニング点によりトレーニングされているものとする。また、第2の分類器CBは、図5(b)に示すように、第2の前景領域104(領域λB)内の複数の第2の前景トレーニング点と、第2の背景領域(領域λCB)内に複数の第2の背景トレーニング点とによりトレーニングされているものとする。本実施形態において、ランドマークλは右側脳室の前角である。その他の実施形態において、ランドマークは、その他任意の解剖学的ランドマーク、対象点、または基準点である。
(ステップ62)医用画像をダウンサンプリング
ランドマーク位置特定ユニット28は、医用画像のデータをダウンサンプリングする。その結果、例えば、医用画像の分解能は4mmになる。その他の実施形態において、ランドマーク位置特定ユニット28は、受信した医用画像のデータを他の異なるピクセル寸法にダウンサンプリングする。代替的実施形態において、ランドマーク位置特定ユニット28は、受信した医用画像のデータに対してダウンサンプリングを行わず、医用画像のデータが生成されたスキャンから得られた状態の元のピクセルを使用する。
1ピクセルを座標iで表わしてもよい。分かりやすくするとともに、スケールとピクセル化問題(または、同様に、3次元の場合にはボクセル化問題)が強調されるのを抑えるために、以下の数式は、画像が連続的であるとして、定式化されている。方程式において、座標を表わすのにiを用いた。方程式は、連続的な画像に対して、画像が関数R2→Rであり、ランドマークλが正確な点であると仮定して定式化した。この場合に、iは座標i∈R2を表わす。
(ステップ64)第1の分類器の出力を取得
ランドマーク位置特定ユニット28は、第1の分類器CCを用いることにより、第1の分類器CCの出力を取得する。具体的には、ランドマーク位置特定ユニット28は、医用画像を構成する複数のピクセル各々に対応する複数の第1の値を取得する。本実施形態において、第1の分類器CCは決定森であり、第1の分別結果は、第1の分類器CCにより出力される。第1の値は、ランドマーク(右側脳室の前角)に対するクラス条件付き尤度である。これは、ランドマークの位置が医用画像U内にあるとした場合の、ピクセルが前景領域102(領域λC)内にある尤度である。
xi Cは、第1の分類器CCによって導出される座標iに対応する特徴ベクトルを表わす。特徴ベクトルは、iの近傍における画像値に依存する。なお、ここでのiの近傍とは、iからの距離が大きい場合もある。上付き文字Cは、本実施形態において、第1の分類器CCに対する特徴ベクトルが、第2の分類器CBに対する特徴ベクトルと異なることを示している。簡略のため、特徴ベクトルxi Cの表記は、ランドマークλの参照を削除している。しかしながら、第1の分類器用の特徴ベクトルおよび第2の分類器用の特徴ベクトルは、対象のランドマーク(右側脳室の前角)に対してトレーニングされていることを前提とする。
第1の分類器CCは、尤度比または事後確率のいずれかを出力すると考えてもよい。尤度比と事後確率は、事前確率のモジュロ演算と等価である。以下の導出は、第1の分類器CCに対するものであるが、第2の分類器CBに対する導出は適当な置換によって得られる。
Figure 2015036123
2つの事前確率P(i∈λC|i∈U)およびP(i∈λUC|i∈U)は、領域Cおよび医用画像Uの全体領域の面積または体積から容易に得られる。
Figure 2015036123
そして、もちろんこれらの2つの事前確率の和は1となる。
最後に、ランドマークのまわりの領域C内にある点iの事後確率は簡単に次のようになる。
Figure 2015036123
第1の分類器CCは、点(ピクセル)が医用画像Uの全体領域内に含まれていることが分かっている場合に、点が領域λC内にある確率についての情報を提供する。これは、点が第1の分類器で設定した第1のクラス(前景)または第2のクラス(背景)として取得するものと表してもよい。
(ステップ66)第2の分類器の出力を取得
ランドマーク位置特定ユニット28は、第2の分類器CBを用いることにより、第2の分類器CBの出力を取得する。具体的には、ランドマーク位置特定ユニット28は、医用画像を構成する複数のピクセル各々に対応する複数の第2の値を取得する。本実施形態において、第2の分類器CBは、第1の分類器CCとは異なる決定森である。第2の値は、ランドマーク(右側脳室の前角)に対するクラス条件付き尤度である。これは、ランドマークが医用画像U内にあるとした場合の、ピクセルが前景領域104(領域λB)内にある尤度である。これは、点が第2の分類器で設定した第1のクラス(前景)または第2のクラス(背景)として取得するものと表してもよい。
xi Bは、第2の分類器CBによって導出された座標iに対応する特徴ベクトルを表わす。本実施形態において、特徴ベクトルxi Bは、特徴ベクトルxi Cと異なる。
第2の分類器CBの尤度比は、第1の分類器CCで導出した尤度比と同様に、
Figure 2015036123

Figure 2015036123
によって定義される。
事前確率は、既に述べたように領域の面積から得られる。
Figure 2015036123
ランドマークのまわりの領域B内に含まれる点iの事後確率は簡単に次のようになる。
Figure 2015036123
(ステップ68)第1の分類器の出力と第2の分類器の出力とを結合
結合器は、第1の分類器の出力と第2の分類器の出力とを結合する。具体的には、結合器(ランドマーク位置特定ユニット28)は、医用画像内の各ピクセルに対して、第1の値と第2の値とを結合する。本実施形態において、結合器は、第1の値と第2の値を、各ピクセルにおけるクラス条件付き尤度の積をとることによって結合する。
第1の分類器と第2の分類器各々は、領域入れ子型の分類器の階層の1つに対する尤度比または事後確率を出力する。第1の分類器CCは、点がU内部にあることが既知であるとして、点が領域λC内にある確率についての情報を提供する。第2の分類器CBは、点が領域λC内にあることが既知であるとして、点が領域λB内にある確率についての情報を提供する。したがって、ランドマーク位置特定ユニット28は、第1の分類器CCおよび第2の分類器CBを結合して、点がU内のどこかにあることだけを知って、点がλBにある確率を出力することができる。上記の表記において、
Figure 2015036123
を得ることが必要である。これは、
Figure 2015036123

Figure 2015036123
と、を結合することによって得ることができる。
Figure 2015036123
これは、上記で定義された、個々の入れ子型尤度比の積である。
代替的に次のように書いてもよい。
Figure 2015036123
尤度比と上記の確率の関係は、領域の入れ子型構造に依存し、この場合に、λCは、第1の分類器CCに対する第1の前景領域と、第2の分類器CBに対する第2の分類器領域の両方である。これにより、尤度の積によって分類器を結合することが可能になる。各ピクセルに対するステップ68の出力は、結合分類、結合尤度、または積尤度(product likelihood)と説明してもよい。
(ステップ70)結合結果が最大となるピクセルの位置を特定
ランドマーク位置特定ユニット28は、結合結果が最大となるピクセルの位置を特定する。具体的には、ランドマーク位置特定ユニット28は、医用画像内のどのピクセルが、最大の積尤度を有するかを特定する。これは、結合分類の最大値を、または積尤度の最大値を求めることと説明できる。
(ステップ72)最大の結合結果を閾値に対して比較
ランドマーク位置特定ユニット28は、最大の結合結果を閾値に対して比較する。具体的には、ランドマーク位置特定ユニット28は、最大の積尤度を検出閾値と比較する。
(ステップ74)ランドマークの位置を特定
最大の積尤度が検出閾値を超える場合には、ランドマーク位置特定ユニット28は、医用画像内に、ランドマークが発見されたと判定する。このとき、ランドマーク位置特定ユニット28は、例えば、ランドマークに対応する座標のデータをデータファイルに追加するか、またはランドマーク場所をディスプレイスクリーン16上に表示することによって、ランドマークの場所を出力する。
一方、最大の積尤度が検出閾値を超えない場合には、ランドマーク位置特定ユニット28は、ランドマークは医用画像データ内に存在しないと判定する。そして、ランドマークに対応する座標のデータのデータファイルへの追加、及びランドマークの表示を行わない。
本実施形態において、検出閾値は、ランドマーク位置特定ユニット28内部に記憶される固定値である。一実施形態においては、検出閾値は、分類器トレーニングプロセス中に、ROC(受信者動作特性(Receiver Operating Characteristic))分析を実行して、各分類器の、または入れ子型分類器の、正検出率(true positive rate)を誤検出率(false positive rate)に対してプロットすることによって、求められる。他の実施形態において、異なる方法で導出された閾値が用いられてもよい。また、ランドマーク位置特定ユニット28は、検出閾値を用いずに、最大の積尤度をランドマークの位置として判定してもよい。
代替的実施形態において、結合分別結果は、ピクセル解像度よりもさらに詳細な解像度におけるランドマークの位置の補間に使用される。
図4および図6のプロセスは、2次元の医用画像およびピクセルに関して記述されている。しかしながら、分類器のトレーニングおよびランドマークの位置の特定のプロセスは、代替的な実施形態または動作モードにおいては、3次元の医用画像およびボクセルに対して実施してもよい。
図4および図6を参照して説明したように、入れ子型の分類器を使用して結合分別結果を提供することによって、ランドマークの位置の特定における問題を分解することができる。入れ子型の分類器のうち、1つは全体的な分類器であり、もう1つは局所的な分類器である。言い換えると、第1の分類器は、医用画像の全体領域からランドマークを含む確率の高い大まかな領域を区別することができ、第2の分類器は、全体領域より狭い領域からランドマークを含む確率の高い領域を区別することができる。各分類器における情報は、条件付き確率の積をとることによって、確率的に調整された方法で結合される。
入れ子型分類器を用いることによって、単一ステップでランドマークの検出と位置の特定を実施する必要はない。このことは、単一の分類器を用いた上で、ランドマークの位置の特定の精度を高くするためには、小さな前景領域を必要とする。しかし、その結果として、少数の背景トレーニング点で、適切に背景を表わすことが困難になる可能がある。その代わりに、入れ子型分類器を用いると、背景トレーニング点の数を、前景トレーニング点の数と同等程度にすることができる。ここでの同等程度とは、例えば、背景トレーニングの数は、前景トレーニング点の数の0.5倍から3倍の間程を指す。これは、分類器のより良好なトレーニングをもたらす。言い換えると、前景トレーニング点で前景領域を、背景トレーニングで背景領域を適切に表すことができる。入れ子型の分類器を用いると、いくつかの既知の技法の場合よりも、複数の分類器各々に対応する前景領域と背景領域を、より類似した寸法にさせることができる。言い換えると、本実施形態では、第1の分類器に対応する前景領域と背景領域との間の領域の大きさの関係を、第2の分類器に対応する前景領域と背景領域との間の領域の大きさの関係と同等程度にすることができる。つまり、これらの大きさの関係を相似関係にすることができる。第1の分類器によるランドマークを全体領域から粗く検出する処理と、第2の分類器によるランドマークを全体領域よりも狭い領域から精密に検出する処理とを、単一のフレームワーク内で行うことができる。したがって、入れ子型の分類器により、画像解像度の限界まで、ランドマークの位置の特定の正確さを増大させる可能性がある。
図4および図6のプロセスは、任意の確率的2クラス分類器、例えば、多変量ガウシアン、k近傍法、またはサポートベクトルマシン、あるいは上記の実施形態において記載した決定森で実現してもよい
上述の方法で前景領域と背景領域を入れ子にさせることによって、一回の積によって、尤度を容易に結合することができる。
さらなる実施形態において、第1の分類器、第2の分類器及び第3の分類器が使用されてもよい。このとき、第3の分類器は、第1の分類器及び第2の分類器と入れ子の関係であってもよいし、そうでなくてもよい。第3の分類器は、医用画像データ内のランドマークを位置特定するためにトレーニングされる。第3の分類器をさらに用いることによって、各分類器ステップにおいて、前景と背景の合理的な寸法関係をなお維持しながら、より狭い領域内でランドマークの位置の特定が可能になる。前景領域および背景領域が、1つの分類器の前景領域が次の分類器の分類器領域となるように、入れ子にされ続ける場合には、用いられる分類器のすべての尤度を、単純な積によって、結合してもよい。
一実施形態においては、第3の分類器CAが、図4および図6のプロセスに追加される。
図4のステップ42の後で、第3の分類器領域104は、トレーニングデータセットに含まれる複数の医用画像各々に対して定義される。複数の医用画像各々の第3の分類器領域104は、第2の分類器領域102の内側に入れ子にされる。本実施形態においては、第3の分類器領域104は、図5のプロット(a)に図示されているように、第2の前景領域104(領域λB)である。
第3の前景領域106(領域λA)は、ランドマークを中心とする、1辺の長さがLAでの正方形である。第3の前景領域106は、第3の分類器領域104の一部分として定義される。第3の背景領域は、第3の分類器領域104のうち領域λA内に含まれない部分として定義される。第3の背景領域を、
Figure 2015036123
と定義する。以下、第3の背景領域を第3の背景領域λBAとも記載する。
第3の前景トレーニング点は、第3の前景領域106から選択され、第3の背景トレーニング点は、第3の背景領域λBAから選択される。これらのトレーニング点は、第3の分類器をトレーニングするのに使用される。代替的実施形態においては、複数のトレーニング点の一部だけが、第3の分類器をトレーニングするのに使用される。
次いで、第1の分類器CC、第2の分類器CBおよび第3の分類器CAが、医用画像のデータ内のランドマークλの位置を特定するために、図6のプロセスの拡張版において使用される。第1の分類器CC、第2の分類器CBおよび第3の分類器CAは入れ子型の分類器である。
ステップ66の後に、ランドマーク位置特定ユニット28は、各ピクセルに対して、第3の分類器CAの出力を計算する。ステップ68において、ランドマーク位置特定ユニット28は、第1、第2、および第3の分別結果を結合する。結合した結果を結合分別結果と呼ぶ。本実施形態においては、ランドマーク位置特定ユニット28は、第1、第2、および第3の分類器からの尤度の積をとり、ランドマークが画像U内にあるとして、ランドマークが第3の前景領域106(領域λA)の中にある尤度を得る。
Figure 2015036123
または、それと等価に、
Figure 2015036123
ステップ70において、ランドマーク位置特定ユニット28は、(3つの分類器各々に対応する尤度の積)結合分別結果の中で、最大の値を有するピクセルを特定する。ステップ72において、ランドマーク位置特定ユニット28は、最大の尤度を閾値と比較する。最大の尤度が閾値を超える場合において、ランドマーク位置特定ユニット28は、ランドマーク場所を、最大尤度を有するピクセルの場所として特定する。ランドマーク位置特定ユニット28は、特定したランドマークの位置のデータをデータファイル内に記憶させるか、または表示させる。
3つの入れ子にされた分類器は、2つの入れ子にされた分類器よりも、より精密なランドマークの場所を提供することができる。1つの分類器の前景領域が、次の分類器の分類器領域となるように、分類器を入れ子にすることによって、積をとることによって尤度を結合させることが可能になる。
上述のように、入れ子にされた分類器は、医用画像のデータ内で単一の解剖学的ランドマーク(例えば、右側脳室の前角)の位置が特定できるようにトレーニングされ得る。しかしながら、多くの用途、例えば、重ね合わせに対しては、いくつかの解剖学的ランドマーク、または人体内でのすべてのランドマークをも検出することが可能である。
一実施形態において、入れ子型の分類器各々が、複数のランドマークを位置特定するように、トレーニングされる。それぞれの結合分別結果が、画像のピクセルまたはボクセルのそれぞれにおいて評価される。
決定森を用いた手法において、分類器は、ランドマーク当たりの木の数が多く必要とされる場合がある。例えば、100個の解剖学的ランドマーク、3つの入れ子型分類器、および1つの分類器で15の繰返し決定木がある場合には、木の数=ランドマークの数×分類器レベルの数×森繰返し数をとると、木の数は、100×3×15=4500となる。しかしながら、複数の決定木各々は小さい。
複数のランドマークを特定する場合において、複数のランドマークにそれぞれ対応する複数の2クラス入れ子型分類器を使用した方が、1つの多重クラス分類器を使用するよりも、その応用が容易である。例えば、複数の2クラス入れ子型分類器は、例えば、特定するランドマークの種類に応じて、使用する2クラス入れ子型分類器のスイッチを容易に入れたり、切ったりすることのできる、フレキシブルなアーキテクチャを提供することができる。複数の2クラス入れ子型の分類器各々は、対応するランドマークに対して専用にトレーニングされる。そして、入れ子型分類器の分別結果として、ランドマークの位置を粗く特定した分別結果と、ランドマークの位置を精細に特定した分別結果の両方を提供する。前景トレーニング点および背景トレーニング点は、背景の不均一性が適切に反映されるように、複数の入れ子型の分類器各々に対して設定されてもよい。ランドマーク毎に入れ子型分類器を使用することによって、各ランドマークに対して異なる特徴ベクトルを使用することが可能である。また、所与の入れ子型分類器の組の中で、各分類器に対して異なる特徴ベクトルを使用することが可能である。入れ子型分類器各々は、特定するランドマークの種類に応じて構成されてもよい。
上述の実施形態は、2次元画像データを含む、医用画像のデータを例に説明した。その他の一実施形態において、医用画像のデータは、3次元の医用画像のデータを含む。そのような一実施形態において、3つの入れ子型分類器がトレーニングされ、この場合に、3つの分類器各々の分類器領域、背景領域および前景領域は、図5を用いた2次元画像における各領域を3次元したとしてみなすことができる。
第1の分類器領域100は、全体画像Uである。第1の前景領域102、または等価には第2の分類器領域102(領域λC)は、1辺がLCの立方体Cに含まれる。第2の前景領域104、または等価には第3の分類器領域104(領域λB)は、1辺がLBの立方体Bに含まれる。第3の前景領域106(領域λA)は、1辺がLAの立方体Aに含まれる。
代替的実施形態において、領域は、立方体ではなく、代わりに直方体(cuboid)、球、またはその他任意好適な3次元形状である。
各背景領域は、それぞれの前景領域よりも、大きな体積を有してもよい。例えば、立方体の辺が3つのレベル各々において3倍になる、図5に示すように、背景体積と前景体積の体積比は、27:1である。なお、3つのレベルは、それぞれ3つの分類器に対応する。
3次元に拡張した場合の実施形態において、3つの分類器各々のトレーニングにおいて、医用画像のデータはダウンサンプリングされる。その結果として、医用画像の分解能は、3mmとなる。すなわち、1ボクセルは、(3mm)3の体積を有する。立方体Aは、3×3×3ボクセルの立方体として定義される。立方体Aの体積は(9mm)3である。立方体Bは、9×9×9ボクセル、(27mm)3の立方体として定義されている。立方体Cは、27×27×27ボクセル、(81mm)3の立方体である。
ステップ34において、分類器トレーニングユニット26は、前景トレーニング点の数を50に設定する。これは、前景領域を構成するボクセルの数の閾値でもある。前景領域が50以下のボクセルを有する場合には、その前景領域内のボクセルのすべてが、前景トレーニング点として選択される。前景領域が50を超えるボクセルを有する場合には、Haltonサンプリングが使用される。
分類器トレーニングユニット26は、背景トレーニング点の数を、前景トレーニング点の数の2倍に設定する。したがって、この場合には背景トレーニング点の数は、100に設定される。背景領域が100以下のボクセルを有する場合には、その背景領域内のボクセルのすべてが、背景トレーニング点として選択される。背景領域が100を超えるボクセルを有する場合には、Haltonサンプリングが使用される。
トレーニング点は、トレーニングデータセットに含まれる複数の医用画像各々に対して設定される。したがって、トレーニングデータセットに20の医用画像のデータが含まれる場合には、3つのレベル各々において、合計で20×(50+100)=3000のトレーニング点が設定される。このうち、1000が前景トレーニング点であり、2000が背景トレーニング点である。
しかしながら、3つの分類器各々の前景領域は、ランドマークを中心とする適当な立方体内に含まれる画像の部分に設定される。ランドマークの位置が、画像の縁部付近にある場合には、立方体は、画像縁部と重なることがある。したがって、立方体内に含まれるボクセルの数は、本来立方体に含まれるボクセルの数よりも小さいことがある。これは、ランドマークを中心とした立方体の領域が、医用画像のデータの区画領域およびパディング領域と交差するためである。パディング領域は、実質的にデータが存在しない領域である。ここで画像全体の体積を含む領域Uは、パディングのない医用画像のデータの区画領域である。
各分類器に対して、背景トレーニング点の数は、前景トレーニング点の数と類似の範囲に設定してもよい。これにより、分類器の性能を向上させることができる。
上記実施形態において、図6のプロセスに従って、(場合によってはダウンサンプリングされた)医用画像を構成する複数のピクセルにそれぞれ対応する結合分別結果が取得される。その他の実施形態において、ランドマーク位置特定ユニット28は、1つまたは複数の入れ子型分類器を、医用画像内の全ピクセルに適用し、次いで、残りの分類器(単数または複数)を適用する、医用画像の領域を選択する。
いくつかの実施形態において、分別結果が評価されるピクセルのスケールが、第1の値の計算と第2の値の計算との間で変更される。
一実施形態において、ステップ60で、ランドマーク位置特定ユニット28は、初期ピクセル寸法が1mmの医用画像のデータを受け取る。また、ランドマーク位置特定ユニット28は、上記のように、第1の分類器CCおよび第2の分類器CBを受け取る。第1の分類器CCおよび第2の分類器CBは、それぞれ図5(c)及び図5(b)のように、各領域が定義される。ステップ62において、ランドマーク位置特定ユニット28は、受け取った医用画像のデータを、4mmのピクセル寸法までダウンサンプリングする。ステップ64において、ランドマーク位置特定ユニット28は、複数のボクセルにそれぞれ対応する、第1の分別結果CC(i)を出力する。複数のボクセル各々は、ダウンサンプリングされた、分解能が4mmのボクセルである。
次いで、ランドマーク位置特定ユニット28は、ダウンサンプリングされた複数のピクセルにそれぞれ対応する複数の第1の値を使用して、ランドマークλの最も確からしい仮位置を特定する。このとき、仮領域C’が医用画像に適用される。本実施形態において、仮領域C’の中心位置は、第1の分別結果CC(i)において、最大値を有するピクセルiにある。ここでの最大値を有するピクセルiは、例えば、最大尤度を有するピクセルiである。なお、仮領域の設定方法は、上述に限定されない。他の実施形態において、仮領域の位置は、複数のピクセルの一部のピクセルに対応する第1の分別結果CC(i)を平均化することによって、ランドマークλの最も確からしい位置が含まれる範囲として識別されるすべての点を含むように仮領域C’が定義されてもよいし、またはその他任意好適な方法によって特定される。言い換えると、仮領域C’は、所定の閾値を超える第1の分別結果CC(i)を有するピクセルの全てが含まれるように定義されてもよい。
本実施形態においては、ステップ66において、第2の値は、仮領域内のピクセルに対してのみ評価される。ステップ68において、ランドマーク位置特定ユニット28は、仮領域内の複数のピクセルにそれぞれ対応する複数の結合分別結果を出力する。結合分別結果は、複数の第1の値と、複数の第1の値に対応する複数の第2の値の積をとることによって評価される。ステップ70において、ランドマーク位置特定ユニット28は、仮領域内の複数のピクセルのどれが、結合分別結果における最大値を有するかを特定する。ここでの結合分別結果は、例えば、尤度である。ランドマーク位置特定ユニット28は、仮領域内の複数のピクセルのうち、最大尤度を有するピクセルを特定する。ステップ72において、検出閾値が適用されて、結合分別結果の最大値が閾値を超える場合には、ランドマーク位置特定ユニット28は、ステップ74において、結合分別結果の最大値を有するピクセルを、ランドマークの場所として特定する。3つの入れ子型の分類器を構成する第1の分類器CC、第2の分類器CB、および第3の分類器CAを備える一実施形態において、この量(結合分別結果)を最大化するために、1mmのインクリメントでU内のiを包括的に探索するための主要な指標として、尤度比または事後確率
Figure 2015036123
に対して導出された式を適用することができる。しかしながら、これはコストがかかることになる。同じ指標を別個に、例えば10mm毎に評価してもよいが、これは、
Figure 2015036123
項のために、高い度数の要素を有することになり、正しいピークを見失う結果となる可能性がある。このように、粗い探索に対しては、
Figure 2015036123
第2の分類器CB及び第1の分類器CC各々の分別結果の積を評価する方が好適であり得る。これはまた、より効率的でもあり得る。
サンプリングスケールおよび、各分類器を評価する領域は、特定の問題に応じて選択されてもよいし、利用可能な計算リソースに応じて選択されてもよい。このときの特定の問題とは、例えば、特定対象のランドマークの種類、特定対象のランドマークの数等である。
次いで、解剖学的ランドマークの検出および位置特定に対する、異なる分類器領域寸法の影響に関して、追加の情報を提示する。分類器がランドマークを位置特定することのできる精度を、背景を表わす分類器の能力とバランスさせるために、各分類器をトレーニングするときの、前景の適当な寸法を選択することが必要である。
図7は、分類器領域の寸法が、ランドマークの位置の特定に与える影響を説明するための補足説明図である。図7では、分類器領域(または背景領域)の寸法がランドマークの位置の特定に与える影響を図解されている。この場合には前景領域の寸法は一定に保たれている。図7では、複数の医用画像各々に対して、右側脳室の前角に対応するランドマークの位置を特定するのに、単一分類器が使用されたものとする。2つのスキャン図80および81に対して使用された分類器は、医用画像の全体を分類器領域としてトレーニングされている。2つのスキャン図82および83に対して使用された分類器は、寸法50mmの分類器領域に対してトレーニングされている。2つのスキャン図84および85に対して使用された分類器は、寸法25mmの分類器領域に対してトレーニングがされている。2つのスキャン図86および87に対して、使用された分類器は、寸法10mmの分類器領域に対してトレーニングがされている。
例えば、スキャン図80及び図81に示すように、分類器領域(前景領域に対する背景領域)が大きいときには、前景ピークは強いが、幅が広い。また、背景ノイズは非常に少ない。また、例えば、スキャン図86および87に示すように、分類器領域が小さいときには、前景ピークは鋭いが、背景ノイズは増加する。
図8は、2つの入れ子型分類器各々の出力結果の一例を示す。この例において、第1の分類器の分類器領域は50mmであるのに対して、前景領域は10mmである。第2の分類器の分類器領域が(第1の分類器の前景領域と等価な)10mmであるのに対して、前景領域は3mmである。図8Aは、入れ子型の2つの分類器のうち、第1の分類器の出力結果の一例を示す図である。図8Aは、ランドマークが未知の医用画像を構成する複数のピクセルにそれぞれ対応する複数の第1の値を、当該未知の医用画像にマッピングした結果の一例を表している。図8Bは、入れ子型の2つの分類器のうち、第2の分類器の出力結果の一例を示す図である。図8Bは、当該未知の医用画像を構成する複数のピクセルにそれぞれ対応する複数の第2の値を、当該未知の医用画像にマッピングした結果の一例を表している。
図8Aに対応する第1の分類器の出力は、図8Bに対応する第2の分類器の出力と比較して、幅の広いピークと、低い背景ノイズを生じる。一方、図8Bに対応する第2の分類器の出力は、図8Aに対応する第1の分類器の出力と比較して、前景ピークは鋭いが、背景のノイズはより大きい。これらの入れ子型領域を結合すると、より鋭いピークと、低い背景ノイズとを結合できることが分かる。実際の解像度または位置特定の精度の正確さを向上させる方法として、粗い検出と精密な位置特定を、単一のフレームワーク内で結合してもよい。
分類器に対するトレーニングプロセスは、擬似コードで記述してもよい。以下の擬似コード、アルゴリズム1は、各ランドマークに対して、3つの入れ子型決定森分類器A、BおよびCのトレーニングについて記述している。
Figure 2015036123
Figure 2015036123
Figure 2015036123
任意適当な画像データ、例えばCT画像、MR画像、超音波画像、PET画像及びSPECT画像等を用いて、分類器をトレーニングしてもよい。そして、トレーニングされた分類器を使用して、これらの画像各々からランドマーク(単数または複数)を検出してもよい。
分類器のトレーニングおよびその後の使用について、例えばピクセルまたはボクセルで表わされる、画像内の特定の点に関して記述したが、代替的実施形態においては、分類器は、任意好適な画像データ項目、例えば、それぞれが単一ピクセルまたはボクセルよりも大きい領域を表わす、より大きな画像データのブロックに対してトレーニングするか、またはそれに対して適用できることが理解されるであろう。
当業者であれば、実施形態は、本実施形態の方法を実施するために実行可能なコンピュータ可読命令を有するコンピュータプログラム(単数または複数)によって何らかの機能を実現してもよいことを理解するであろう。このコンピュータプログラム機能は、ハードウェアに(例えば、CPUを用いて)実装することもできる。本実施形態はまた、1つまたは複数のASIC(特定用途集積回路)によって、またはハードウェアとソフトウェアの混成物によって実現してもよい。
本明細書では特定のユニットについて説明したが、代替的実施形態においては、1つまたは複数のこれらのユニットの機能を、単一のユニット、処理リソースまたはその他の構成要素によって提供するか、あるいは単一ユニットによって提供される機能を、組み合わせた2つ以上のユニットまたはその他の構成要素によって提供することができる。単一ユニットへの言及は、そのユニットの機能を提供する多数の構成要素を、そのような構成要素が互いに遠隔にあろうとなかろうと、包含するものであり、また多数ユニットへの言及は、それらのユニットの機能を提供する、単一構成要素を包含する。
いくつかの実施形態について説明したが、これらの実施形態は、例としてのみ提示したものであり、本発明の範囲を限定することを意図するものではない。実際に、本明細書に記載した新規の方法およびシステムは、様々な他の形態で具現化してもよく、さらに、本明細書に記載した方法およびシステムの形態における、様々な省略、置換、および変更を、本発明の趣旨から逸脱することなく行うことができる。添付の特許請求の範囲およびその均等物は、本発明の範囲に含まれるそのような形態および修正を、その範囲に含めることを意図している。
10…医用画像処理装置、12…処理装置、14…CTスキャナ、16…ディスプレイスクリーン、18…入力デバイス、20…メモリユニット、22…中央処理ユニット(CPU)、26…分類器トレーニングユニット、28…ランドマーク位置特定ユニット。

Claims (22)

  1. 解剖学的ランドマークを含む第1の医用画像の第1領域を用いて調整され、第2の医用画像を構成する複数の画素について、前記解剖学的ランドマークである確からしさを表す複数の第1の値を計算する第1処理ユニットと、
    前記第1の医用画像の前記第1領域よりも狭い第2領域を用いて調整され、前記第2の医用画像を構成する複数の画素について、前記解剖学的ランドマークである確からしさを表す複数の第2の値を計算する第2処理ユニットと、
    前記複数の第1の値と前記複数の第2の値とに基づいて、前記第2の医用画像に含まれる前記解剖学的ランドマークとして最も確からしい位置を特定するランドマーク位置特定ユニットと、
    を具備することを特徴とする医用画像処理装置。
  2. 前記第1領域は、前記第2領域を含むこと、
    を特徴とする請求項1記載の医用画像処理装置。
  3. 前記第1処理ユニットと第2処理ユニットとは、確率的分別器であること、
    を特徴とする請求項1記載の医用画像処理装置。
  4. 前記第1の値および第2の値は、確率値または尤度値に対応すること、
    を特徴とする請求項1記載の医用画像処理装置。
  5. 前記ランドマーク位置特定ユニットは、前記複数の第1の値と前記複数の第2の値との間の積を取ることによって、前記第2の医用画像に含まれる前記解剖学的ランドマークとして最も確からしい位置を特定すること、
    を特徴とする請求項1記載の医用画像処理装置。
  6. 前記ランドマーク位置特定ユニットは、
    前記複数の第1の値と前記複数の第2の値との間の積の最大値に対応する画素を、前記解剖学的ランドマークとして最も確からしい位置として特定すること、
    を特徴とする請求項5記載の医用画像処理装置。
  7. 前記ランドマーク位置特定ユニットは、
    前記複数の第1の値と前記複数の第2の値との間の積の最大値が閾値よりも大きい場合に、前記最大値に対応する画素を前記解剖学的ランドマークとして最も確からしい位置として特定すること、
    を特徴とする請求項5記載の医用画像処理装置。
  8. 医用画像を構成する複数の画素について、解剖学的ランドマークの位置である確からしさを表す複数の第1の値を計算する第1処理ユニットと、
    前記複数の画素について、前記解剖学的ランドマークの位置である確からしさを表す複数の第2の値を計算する第2処理ユニットと、
    前記解剖学的ランドマークを含む他の医用画像の第1領域を用いて前記第1処理ユニットをトレーニングし、前記第1領域よりも狭い第2領域を用いて前記第2処理ユニットをトレーニングするトレーニングユニットと、
    を具備することを特徴とする医用画像処理装置。
  9. 前記トレーニングユニットは、
    前記第1領域を前記解剖学的ランドマークの位置を含む第1の前景領域と前記解剖学的ランドマークの位置を含まない第1背景領域とに区別し、
    前記第2領域を前記解剖学的ランドマークの位置を含む第2前景領域と前記解剖学的ランドマークの位置を含まない第2背景領域とに区別し、
    前記第1の前景領域内の複数の第1前景トレーニング点と前記第1背景領域内の複数の第1背景トレーニング点とを用いて前記第1処理ユニットをトレーニングし、
    前記第2前景領域内の複数の第2前景トレーニング点と前記第2背景領域内の複数の第2背景トレーニング点とを用いて前記第2処理ユニットをトレーニングすること、
    を特徴とする請求項8記載の医用画像処理装置。
  10. 前記第1の前景領域は、前記第2前景領域を含むこと、
    を特徴とする請求項9記載の医用画像処理装置。
  11. 前記第1の前景領域は、前記第2領域と同一であること、
    を特徴とする請求項9記載の医用画像処理装置。
  12. 前記トレーニングユニットは、
    前記第1処理ユニットを、前記複数の第1前景トレーニング点に対応する複数の第1の値が、前記複数の第1背景トレーニング点に対応する複数の第1の値よりも高い値になるようにトレーニングし、
    前記第2処理ユニットを、前記複数の第2前景トレーニング点に対応する複数の第2の値が、前記複数の第2背景トレーニング点に対応する複数の第2の値よりも高い値になるようにトレーニングすること、
    を特徴とする請求項9記載の医用画像処理装置。
  13. 前記トレーニングユニットは、
    前記第1の前景領域を構成するすべての画素を前記複数の第1前景トレーニング点として選択し、
    前記第2前景領域を構成するすべての画素を前記複数の第2前景トレーニング点として選択すること、
    を特徴とする請求項9記載の医用画像処理装置。
  14. 前記トレーニングユニットは、
    疑似ランダム選択法またはHaltonサンプリングを用いて、前記第1の前景領域を構成する全ての画素から前記複数の第1前景トレーニング点を選択し、前記第2前景領域を構成する全ての画素から前記複数の第2前景トレーニング点を選択すること、
    を特徴とする請求項9記載の医用画像処理装置。
  15. 前記トレーニングユニットは、
    前記第1処理ユニットを、前記複数の第1前景トレーニング点にそれぞれ対応する複数の画像特徴が入力された場合に前記複数の第1前景トレーニング点にそれぞれ対応する複数の第1の値が、前記複数の第1背景トレーニング点にそれぞれ対応する複数の画像特徴が入力された場合に前記複数の第1背景トレーニング点にそれぞれ対応する複数の第1の値よりも高くなるようにトレーニングし、
    前記第2処理ユニットを、前記複数の第2前景トレーニング点にそれぞれ対応する複数の画像特徴が入力された場合に前記複数の第2前景トレーニング点にそれぞれ対応する複数の第2の値が、前記複数の第2背景トレーニング点にそれぞれ対応する複数の画像特徴が入力された場合に前記複数の第2背景トレーニング点にそれぞれ対応する複数の第2の値よりも高くなるようにトレーニングすること、
    を特徴とする請求項9記載の医用画像処理装置。
  16. 前記複数の画像特徴は、画像強度、勾配、テキスチャ、SURF、及び長距離特徴の少なくとも1つを含むこと、
    を特徴とする請求項15記載の医用画像処理装置。
  17. 前記第1処理ユニットのトレーニングに用いられる画像特徴は、前記第2処理ユニットのトレーニングに用いられる画像特徴と異なること、
    を特徴とする請求項15記載の医用画像処理装置。
  18. 前記複数の画素について、解剖学的ランドマークである確からしさを表す複数の第3特徴値を計算する第3処理ユニットをさらに具備し、
    前記トレーニングユニットは、
    前記他の医用画像の前記第2領域よりも狭い第3領域を用いてトレーニングすること、
    を特徴とする請求項8記載の医用画像処理装置。
  19. 前記第2領域は前記第3領域を含むこと、
    を特徴とする請求項18記載の医用画像処理装置。
  20. 前記第1処理ユニットと前記第2処理ユニットとは、決定木、多変量ガウシアン、人工ニューラルネットワーク、サポートベクトルマシン、k近傍法のうちの少なくとも1つを備えること、
    を特徴とする請求項8記載の医用画像処理装置。
  21. 解剖学的ランドマークを含む第1の医用画像の第1領域を用いて調整された第1処理ユニットを用い、第2の医用画像を構成する複数の画素について、前記解剖学的ランドマークである確からしさを表す複数の第1の値を計算するステップと、
    前記第1の医用画像の前記第1領域よりも狭い第2領域を用いて調整された第2処理ユニットを用い、前記第2の医用画像を構成する複数の画素について、前記解剖学的ランドマークである確からしさを表す複数の第2の値を計算するステップと、
    前記複数の第1の値と前記複数の第2の値とに基づいて、前記第2の医用画像に含まれる前記解剖学的ランドマークとして最も確からしい位置を特定するステップと、
    を具備することを特徴とする医用画像処理方法。
  22. 医用画像を構成する複数の画素について、解剖学的ランドマークの位置である確からしさを表す複数の第1の値を計算する第1処理ユニットと前記複数の画素について、前記解剖学的ランドマークの位置である確からしさを表す複数の第2の値を計算する第2処理ユニットとをトレーニングする方法であって、
    前記解剖学的ランドマークを含む第1の医用画像の第1領域を前記解剖学的ランドマークの位置を含む第1の前景領域と前記解剖学的ランドマークの位置を含まない第1背景領域とに区別するステップと、
    前記第1の医用画像の前記第1領域よりも狭い第2領域を前記解剖学的ランドマークの位置を含む第2前景領域と前記解剖学的ランドマークの位置を含まない第2背景領域とに区別するステップと、
    前記第1の前景領域内の複数の第1前景トレーニング点と前記第1背景領域内の複数の第1背景トレーニング点とを用いて前記第1処理ユニットをトレーニングするステップと、
    前記第2前景領域内の複数の第2前景トレーニング点と前記第2背景領域内の複数の第2背景トレーニング点とを用いて前記第2処理ユニットをトレーニングするステップと、
    を具備することを特徴とする分類器トレーニング方法。
JP2014163096A 2013-08-09 2014-08-08 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法 Active JP6635648B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/963,471 2013-08-09
US13/963,471 US9235781B2 (en) 2013-08-09 2013-08-09 Method of, and apparatus for, landmark location

Publications (2)

Publication Number Publication Date
JP2015036123A true JP2015036123A (ja) 2015-02-23
JP6635648B2 JP6635648B2 (ja) 2020-01-29

Family

ID=52448702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014163096A Active JP6635648B2 (ja) 2013-08-09 2014-08-08 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法

Country Status (3)

Country Link
US (1) US9235781B2 (ja)
JP (1) JP6635648B2 (ja)
CN (1) CN104346625B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019506208A (ja) * 2016-01-21 2019-03-07 エレクタ、インク.Elekta, Inc. 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法
US10860930B2 (en) 2016-04-04 2020-12-08 Olympus Corporation Learning method, image recognition device, and computer-readable storage medium
JP2021058232A (ja) * 2019-10-02 2021-04-15 コニカミノルタ株式会社 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
JP2021069793A (ja) * 2019-10-31 2021-05-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11710241B2 (en) 2018-02-14 2023-07-25 Elekta, Inc. Atlas-based segmentation using deep-learning

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940545B2 (en) * 2013-09-20 2018-04-10 Change Healthcare Llc Method and apparatus for detecting anatomical elements
US20150134851A1 (en) * 2013-11-14 2015-05-14 Broadcom Corporation Geotagged communications in network systems and components
US9563979B2 (en) 2014-11-28 2017-02-07 Toshiba Medical Systems Corporation Apparatus and method for registering virtual anatomy data
JP6537644B2 (ja) * 2015-06-30 2019-07-03 エレクタ リミテッド 放射線治療中に品質指標を使用して標的を追跡するためのシステム及び方法
US10307108B2 (en) * 2015-10-13 2019-06-04 Elekta, Inc. Pseudo-CT generation from MR data using a feature regression model
CN105894508B (zh) * 2016-03-31 2018-04-03 上海联影医疗科技有限公司 一种医学图像自动定位质量的评估方法
CN106446765B (zh) * 2016-07-26 2019-09-03 重庆大学 一种基于多维生理大数据深度学习的健康状态评价系统
US10657671B2 (en) * 2016-12-02 2020-05-19 Avent, Inc. System and method for navigation to a target anatomical object in medical imaging-based procedures
CN109164801B (zh) * 2018-08-08 2021-06-29 尹彦勇 一种无人驾驶系统
JP7311310B2 (ja) * 2018-10-18 2023-07-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
DE102018133441A1 (de) * 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
US11373298B2 (en) 2019-03-28 2022-06-28 Canon Medical Systems Corporation Apparatus and method for training neural networks using small, heterogeneous cohorts of training data
US11443147B2 (en) 2020-12-11 2022-09-13 Argo AI, LLC Systems and methods for object detection using stereovision information
US20230054641A1 (en) * 2021-08-20 2023-02-23 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing method
CN114022784B (zh) * 2021-11-09 2022-04-19 中国人民解放军61646部队 一种地标控制点的筛选方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001510360A (ja) * 1996-12-02 2001-07-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 二段分類器を使用するディジタル放射線画像中の塊検出
WO2006030519A1 (ja) * 2004-09-17 2006-03-23 Mitsubishi Denki Kabushiki Kaisha 顔認証装置及び顔認証方法
JP2008535566A (ja) * 2005-04-05 2008-09-04 ボストン サイエンティフィック リミテッド 多段分類器を用いた画像分割のためのシステム及び方法
JP2010002960A (ja) * 2008-06-18 2010-01-07 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2011031052A (ja) * 2003-11-19 2011-02-17 Siemens Medical Solutions Usa Inc 画像内の対象の検出方法
JP2011512999A (ja) * 2008-03-04 2011-04-28 トモセラピー・インコーポレーテッド 改良された画像セグメンテーションの方法およびシステム
JP2012129796A (ja) * 2010-12-15 2012-07-05 Sanyo Electric Co Ltd 画像処理装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3339513B2 (ja) 1993-04-12 2002-10-28 株式会社島津製作所 医用画像処理診断装置
GB9808712D0 (en) * 1997-11-05 1998-06-24 British Aerospace Automatic target recognition apparatus and process
US7562057B2 (en) * 1999-04-09 2009-07-14 Plain Sight Systems, Inc. System and method for hyper-spectral analysis
US7489812B2 (en) * 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7194114B2 (en) * 2002-10-07 2007-03-20 Carnegie Mellon University Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder
WO2006017101A1 (en) 2004-07-09 2006-02-16 Fischer Imaging Corporation Method for breast screening in fused mammography
US7848566B2 (en) * 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
JP4744918B2 (ja) * 2005-04-19 2011-08-10 富士フイルム株式会社 顔検出方法および装置並びにプログラム
US20070098303A1 (en) * 2005-10-31 2007-05-03 Eastman Kodak Company Determining a particular person from a collection
US7903857B2 (en) 2006-04-17 2011-03-08 Siemens Medical Solutions Usa, Inc. Robust click-point linking with geometric configuration context: interactive localized registration approach
US7720284B2 (en) * 2006-09-08 2010-05-18 Omron Corporation Method for outlining and aligning a face in face processing of an image
JP2010515557A (ja) 2007-01-16 2010-05-13 オプタジア メディカル リミテッド 画像処理システム、及び方法。
US7840037B2 (en) * 2007-03-09 2010-11-23 Seiko Epson Corporation Adaptive scanning for performance enhancement in image detection systems
JP5085310B2 (ja) 2007-12-27 2012-11-28 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理装置、プログラムおよびx線ct装置
US8175379B2 (en) * 2008-08-22 2012-05-08 Adobe Systems Incorporated Automatic video image segmentation
US9639780B2 (en) * 2008-12-22 2017-05-02 Excalibur Ip, Llc System and method for improved classification
JP5166230B2 (ja) * 2008-12-26 2013-03-21 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US8442319B2 (en) * 2009-07-10 2013-05-14 Palo Alto Research Center Incorporated System and method for classifying connected groups of foreground pixels in scanned document images according to the type of marking
US8290253B1 (en) * 2009-10-30 2012-10-16 Adobe Systems Incorporated Method and apparatus for applying Gaussian Mixture Models to local image patches using an adaptive color lookup table
US8520975B2 (en) * 2009-10-30 2013-08-27 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using optical flow assisted gaussholding
AU2010241260B2 (en) * 2010-10-29 2013-12-19 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001510360A (ja) * 1996-12-02 2001-07-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 二段分類器を使用するディジタル放射線画像中の塊検出
JP2011031052A (ja) * 2003-11-19 2011-02-17 Siemens Medical Solutions Usa Inc 画像内の対象の検出方法
WO2006030519A1 (ja) * 2004-09-17 2006-03-23 Mitsubishi Denki Kabushiki Kaisha 顔認証装置及び顔認証方法
JP2008535566A (ja) * 2005-04-05 2008-09-04 ボストン サイエンティフィック リミテッド 多段分類器を用いた画像分割のためのシステム及び方法
JP2011512999A (ja) * 2008-03-04 2011-04-28 トモセラピー・インコーポレーテッド 改良された画像セグメンテーションの方法およびシステム
JP2010002960A (ja) * 2008-06-18 2010-01-07 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2012129796A (ja) * 2010-12-15 2012-07-05 Sanyo Electric Co Ltd 画像処理装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019506208A (ja) * 2016-01-21 2019-03-07 エレクタ、インク.Elekta, Inc. 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法
US10867385B2 (en) 2016-01-21 2020-12-15 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
US11386557B2 (en) 2016-01-21 2022-07-12 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
US10860930B2 (en) 2016-04-04 2020-12-08 Olympus Corporation Learning method, image recognition device, and computer-readable storage medium
US11710241B2 (en) 2018-02-14 2023-07-25 Elekta, Inc. Atlas-based segmentation using deep-learning
JP2021058232A (ja) * 2019-10-02 2021-04-15 コニカミノルタ株式会社 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
JP7427902B2 (ja) 2019-10-02 2024-02-06 コニカミノルタ株式会社 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
JP2021069793A (ja) * 2019-10-31 2021-05-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7410619B2 (ja) 2019-10-31 2024-01-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP6635648B2 (ja) 2020-01-29
US20150043772A1 (en) 2015-02-12
CN104346625B (zh) 2018-03-23
CN104346625A (zh) 2015-02-11
US9235781B2 (en) 2016-01-12

Similar Documents

Publication Publication Date Title
JP6635648B2 (ja) 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法
US10467495B2 (en) Method and system for landmark detection in medical images using deep neural networks
US9818200B2 (en) Apparatus and method for multi-atlas based segmentation of medical image data
JP6877942B2 (ja) 医用画像処理装置及び医用画像処理プログラム
JP5399225B2 (ja) 画像処理装置および方法並びにプログラム
US11657497B2 (en) Method and apparatus for registration of different mammography image views
US10949698B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
US9367924B2 (en) Method and system for segmentation of the liver in magnetic resonance images using multi-channel features
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
JP5982726B2 (ja) ボリュームデータ解析システム及びその方法
WO2018088055A1 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
EP2953095B1 (en) Image processing apparatus, image processing system, image processing method, and storage medium
US8306354B2 (en) Image processing apparatus, method, and program
JP2019063504A (ja) 画像処理装置および画像処理方法
CN116228753B (zh) 肿瘤预后评估方法、装置、计算机设备和存储介质
JP6827707B2 (ja) 情報処理装置および情報処理システム
US8761480B2 (en) Method and system for vascular landmark detection
US11954853B2 (en) Systems and methods for fast mammography data handling
US20220277457A1 (en) Segmentating a tubular feature
JP7105918B2 (ja) 領域特定装置、方法およびプログラム
JP2024509039A (ja) 分類の視覚的説明、方法、システム
US20230342994A1 (en) Storage medium, image identification method, image identification device
CN117095177B (zh) 肾脏图像定位方法、装置和电子设备
JP2023057859A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191217

R150 Certificate of patent or registration of utility model

Ref document number: 6635648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150