JP2004505233A - マルチニューラルネット画像装置及びその方法 - Google Patents

マルチニューラルネット画像装置及びその方法 Download PDF

Info

Publication number
JP2004505233A
JP2004505233A JP2001579226A JP2001579226A JP2004505233A JP 2004505233 A JP2004505233 A JP 2004505233A JP 2001579226 A JP2001579226 A JP 2001579226A JP 2001579226 A JP2001579226 A JP 2001579226A JP 2004505233 A JP2004505233 A JP 2004505233A
Authority
JP
Japan
Prior art keywords
classification
features
class
particle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001579226A
Other languages
English (en)
Other versions
JP4945045B2 (ja
JP2004505233A5 (ja
Inventor
カスダン、ハーベイ・エル
アシュ、マイケル・アール
チュング、ミン
Original Assignee
インターナショナル・リモート・イメージング・システムズ・インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターナショナル・リモート・イメージング・システムズ・インク filed Critical インターナショナル・リモート・イメージング・システムズ・インク
Priority claimed from PCT/US2001/013451 external-priority patent/WO2001082216A1/en
Priority claimed from US09/841,941 external-priority patent/US6947586B2/en
Publication of JP2004505233A publication Critical patent/JP2004505233A/ja
Publication of JP2004505233A5 publication Critical patent/JP2004505233A5/ja
Application granted granted Critical
Publication of JP4945045B2 publication Critical patent/JP4945045B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G01N2015/016White blood cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1488Methods for deciding

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Dispersion Chemistry (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

生物学的粒子のようなイメージ要素の分類のためのマルチニューラルネット画像装置(2)及び方法。マルチネット構造は、粒子の属性又は物理的特徴によって、及び/又は未知のカテゴリーを含む個別の及びグループの粒子分類によって、決定空間を分割するために、粒子特徴のサブグループを利用する。前処理(6)は、ある物理的特性に基づいて人為構造として粒子を分類する。後処理(6)は、確率因子を更に処理し、決定を向上するために、他のソースから利用可能であるか、実際の決定マスク処理から収集された文脈上の情報の利用を可能にする。
【選択図】図2

Description

【0001】
発明の技術分野
本発明は、複数のニューラルネット(神経網:neural net)を有する画像装置、そのニューラルネットを調整する方法、及び画像装置のようなものを操作する方法に関する。その装置は、生物学的粒子(biological particle)を検出して分類するために、より詳細には、人間の尿から生物学的粒子を検出して分類するために用いられ得る。
【0002】
発明の背景技術
生物学的粒子分析装置は、この技術分野では周知である。例えば、本願譲受人に譲渡された米国特許第4,338,024号を見よ。この特許は、生物学的粒子を検出し、その検出された生物学的粒子を分類するために、格納された固定プログラムを有するコンピュータを用いる従来技術の装置を記述する。
【0003】
生物学的粒子イメージを分類するために用いられる基準決定理論は周知であり、それは、連続的方法の分類法によって粒子を分類する傾向がある。より具体的には、複数の粒子タイプを含む尿サンプルのために、粒子イメージは、一つの粒子タイプに特有な1以上の粒子特徴を検索され、それらのイメージは抽出される。この処理は、一度に一つの粒子タイプを他の粒子のために繰り返される。この方法における問題は、各粒子タイプが粒子特徴の検索されたもののために広範囲の値を示すことができ、広範囲の値が他の粒子タイプのものに部分的に一致し得るということである。同じく、人為構造(人為的影響、アーティファクト:artifact)の問題もある。それは、臨床の重要性、例えば、滑石又は毛髪を有さず、あるいは、画像装置の感度又はイメージの持つ他の問題(例えば、不完全な取込みのために漠然とした粒子の境界)のために分類され得ない粒子イメージである。人為構造の粒子イメージは、粒子分析の全体的精度に不利な影響を与えないような方法で、分析から無視される必要がある。従って、人為構造を含むサンプル内の粒子を正確で確実に分類することは困難であり得る。
【0004】
さらに、大抵の生物学的粒子分類装置は、サンプル内の粒子を正確に分類するために手動操作を必要とする。粒子特徴が粒子タイプによって粒子イメージを分離するために用いられ得るが、熟練のユーザがその結果を確かめるために必要とされる。
【0005】
ニューラルネットコンピュータも周知である。ニューラルネットコンピュータの利点は、その経験から「学習する」能力であり、従って、理論上、ニューラルネットコンピュータは、訓練されるとき一層識別力を有することとなり得る。
【0006】
尿サンプルのようなサンプル内の生物学的粒子の正確で自動化された分類のための生物学的粒子分類方法及び装置のニーズがある。
【0007】
発明の概要
本発明では、マルチニューラルネットイメージ検出及び分類装置が開示される。マルチニューラルネットは、利用可能な情報をより効率的に用いる。その必要性は限定され、そこでは、それは、決定空間を効果的に分割する。それによって、決定の全体ですべての結果をまだカバーするが、この情報は、各段階で一層少ない決定をするために用いられることを可能にする。それに加えて、ニューラルネットは、回避クラス、例えば、人為構造に画像を引き出すために、複数の処理段階で確実性を測定する。ある意味では、ガントレット(gauntlet)の各段階でそれが「私は知らない(I don’t know)」カテゴリーに置かれそうであるガントレットを受けるために、このマルチニューラルネットワークをイメージデータを強制しているとみなすことができる。これは、一つのネットを通して単純に受けるよりもずっと強力である。なぜならば、本質において、達成されるものは、一つのテンプレートがその情報のより効率的な使用のためになされ得るよりも良く定義されるテンプレートに、データの多数の適合だからである。
【0008】
本発明は、また、粒子特徴の大きいセット及び訓練方法に関し、それは、訓練セットを通して単に一つのパスのみでなく、多くのネットから選択し、特徴ベクトルサイズを減らすことを含む。最終的に、本発明は、学習情報が決定プロセスの一部として含まれ得る前処理及び後処理を提供する。後処理は、他のソースから利用可能か、実際の決定プロセスから収集される文脈上の情報が決定を更に向上するために用いられ得る。
【0009】
本発明は、複数の分類クラスの一つにあるイメージ内の要素を分類する方法であって、該要素は複数の特徴を有する。その方法は、前記要素の前記イメージから前記複数の特徴を抽出するステップと、前記要素の分類クラスを決定するステップと、複数の前に決定された分類クラス決定に基づいて、前記要素の決定された分類クラスを変更するステップとを含む。要素分類クラスの決定は、少なくとも以下の一つを含む:
前記要素の物理的特性を決定するために、抽出された特徴の第1のサブグループを選択して処理し、前記要素の分類クラスを決定するために決定された物理的特性に応じて、抽出された特徴の第2のサブグループを選択して処理するサブステップと、
前記要素の一群の分類クラスを決定するために、抽出された特徴の第3のサブグループを選択して処理し、前記要素の分類クラスを決定するために、決定された分類クラスグループに応じて、抽出された特徴の第4のサブグループを選択して処理するサブステップ。
【0010】
本発明の他の面では、複数の分類クラスの一つにあるイメージ内の要素を分類する画像装置であって、該要素は複数の特徴を有し、該装置は、前記要素の前記イメージから前記複数の特徴を抽出する手段と、前記要素の分類クラスを決定する手段と、複数の前に決定された分類クラス決定に基づいて、前記要素の決定された分類クラスを変更する手段とを含む。該決定手段は、少なくとも以下の一つを含む:
前記要素の物理的特性を決定するために、抽出された特徴の第1のサブグループを選択して処理する手段、及び、前記要素の分類クラスを決定するために、決定された物理的特性に応じて、抽出された特徴の第2のサブグループを選択して処理する手段と、
前記要素の一群の分類クラスを決定するために、抽出された特徴の第3のサブグループを選択して処理する手段、及び、前記要素の分類クラスを決定するために、決定された分類クラスグループに応じて、抽出された特徴の第4のサブグループを選択して処理する手段と、の少なくとも一つを含む、前記決定手段。
【0011】
本発明のまだもう一つの面では、複数の分類の一つにあるイメージ内の要素を分類する方法であって、該要素は複数の特徴を有し、その方法は、前記イメージから前記複数の特徴を抽出するステップと、第1の決定基準によって抽出された前記複数の特徴に基づいて前記要素の分類を決定するステップであって、該第1の決定基準は、未知の分類として前記要素の分類を含む、決定ステップと、前記要素が前記第1の決定基準によって未知の分類として分類される場合には、該第1の決定基準とは異なる第2の決定基準によって前記要素の分類を決定するステップと、前記要素が前記第1の決定基準によって複数の分類の一つとして分類される場合には、前記第1及び第2の決定基準とは異なる第3の決定基準によって前記要素の分類を決定するステップとを含む。
【0012】
本発明の更にもう一つの面では、複数の分類クラスの一つにあるイメージ内の要素を分類する画像装置であって、該要素は複数の特徴を有し、その装置は、前記要素の前記イメージから前記複数の特徴を抽出器と、前記要素の分類クラスを決定する第1のプロセッサと、複数の前に決定された分類クラス決定に基づいて、前記要素の決定された分類クラスを変更する第2のプロセッサとを含む。第1のプロセッサは、以下の少なくとも一つによって前記要素の分類クラスを決定する:
前記要素の物理的特性を決定するために、抽出された特徴の第1のサブグループを選択して処理するとともに、前記要素の分類クラスを決定するために、決定された物理的特性に応じて、抽出された特徴の第2のサブグループを選択して処理する、
前記要素の一群の分類クラスを決定するために、抽出された特徴の第3のサブグループを選択して処理するとともに、前記要素の分類クラスを決定するために、決定された分類クラスグループに応じて、抽出された特徴の第4のサブグループを選択して処理する。
【0013】
本発明の他の目的及び特徴は、明細書、特許請求の範囲及び添付図面の考察によって明白となろう。
【0014】
好ましい実施の形態の詳細な記述
本発明は、各個別のイメージを識別するとともに、粒子の各所定のクラスにおけるイメージ数を決定する目的のために、生物学的粒子の集合における個々の粒子イメージの分類について決定する方法及び装置を含む。
【0015】
基礎方法及び装置
その方法は、一般に、図1に概略的に示され、5つの基本ステップを含む:
1)個々のイメージを収集するステップ、
2)各個々のイメージから粒子特徴を抽出するステップ、
3)個々のイメージの分類法あるいは分類処理の実行方法を決定するために、ある前処理ルールを適用するステップ、
4)多数のニューラルネット意思決定構造を用いて、個々のイメージを分類するステップ、
5)集合の全分類法又はある下位(部分)集合(subset)若しくは個々のイメージの分類法に対する変更を決定するための、決定の集合又は決定の集合の部分集合を分析するステップ。
【0016】
本発明の方法は、訓練手続きによって作られる多数のネット間から最終的な意思決定に用いられるネットを選択するステップと同様に、決定するために用いられる個々のニューラルネットを訓練するステップを更に含む。
【0017】
本発明を実行するために用いられる3つの主要なハードウェア要素、すなわち、画像システム2、第1プロセッサ4及び第2プロセッサ6がある。これらのハードウェア要素は、概略的に図2に示される。
【0018】
画像システム2は、関心のある粒子を含むサンプルの視野のイメージを作るために用いられる。画像システム2は、好ましくは、米国特許第4,338,024号、第4,393,466号、第4,538,299号及び第4,612,614号に記述されるような周知のフロー顕微鏡である。これらの特許はすべて、参照によってここに組み込まれる。フロー顕微鏡は、フローセルを通して流れるときに、粒子を含む連続範囲のイメージを作り出す。
【0019】
第1プロセッサ4は、連続範囲のイメージを分析して、個々のパッチ(断片)内の粒子を分離する。(参照によってここに組み込まれる、米国特許第4,538,299号及び第5,625,709号に記述されるような)パッチ抽出装置は、画像システムによって作り出されるイメージを分析し、興味のある粒子を含む局部(パッチ)を画定するために用いられる。各粒子の境界が識別されて画定され、より大きい範囲から各粒子のピクチャデータを抽出するために用いられる。それによって、興味のある個々の粒子のイメージをそれぞれが含むデジタルピッチイメージを作り出す(その後に処理に要求されるデータの重要な圧縮をもたらす)。画像システム2及び第1プロセッサ4は、図1に示される第1のステップ(個々のイメージの収集)を実行するために結合する。
【0020】
第2プロセッサ6は、粒子イメージの分類法を決定するために、各粒子イメージを分析する。第2プロセッサ6は、以下に記述されるように、図1に示される後の4つのステップを実行する。
【0021】
境界強調−マスクイメージ
粒子特徴抽出を向上するために、粒子境界が更に洗練され、粒子の黒及び白のマスクイメージが作り出される。この処理は、粒子の境界の外側にあるすべてのデジタルイメージピクセル(背景ピクセル)を黒ピクセルに、及び粒子境界内部のピクセルを白ピクセルに効果的に変更する。結果として生じる黒い背景に対する粒子の白イメージは、粒子の形状と大きさを非常に明瞭に伝え、(ピクセルが白又は黒のいずれかであるとすれば)形状及び大きさのみに基づいて粒子特徴のために作用するのを容易にする。
【0022】
図3A及び3Bは、粒子イメージをマスクイメージに変換するための基本ステップを示す。まず、Shen−Castanエッジ検出器(ParkerとJames R.の1997年John Wiley &SonsによるISBN 0−471−14056−2の「画像処理及びコンピュータビジョンのアルゴリズム」の29〜32頁に記述されるように、そして、参照によってここに組み込まれる)が、図3Aに示されるように、興味のある粒子のエッジを画定するために用いられる。粒子イメージ10は、典型的に、興味のある粒子12及び他の粒子14のイメージを含む。その粒子イメージ10は滑らかにされ、帯域制限ラプラス演算子イメージが作り出され、階調イメージが続く。閾値ルーチンは、エッジを検出するために用いられ、それによって、強度が予め決められた閾値を越える位置は、エッジとして画定される。検出されたエッジは、エッジイメージ16を結果として生じるために互いに接続される。それは、種々の粒子の輪郭を描く検出された境界に対応するラインを含む。
【0023】
マスクイメージは、図3Bに示される方法でエッジイメージ16から作られる。エッジイメージ16は反転され、領域ラインが白に、背景が黒になる。それから、イメージは、すべての小さい点及び興味があるよりもあまりに小さい粒子をきれいにされる。境界ラインの小さいギャップは、いくつかの境界ラインを互いに結ぶために満たされる。境界ラインは、その幅を増やすために広げられる。内部エッジが粒子の実際の大きさを画定するので、この拡張は、境界ラインの外部エッジ上にある。結合されないピクセルは、粒子を囲む完全なラインを作るために架橋される。境界の内部は、粒子を表す小球体を作り出すために、それで満たされる。小球体は、それが正しい大きさを有するように、境界ラインを形成したピクセルを取り除くために浸食される。最終的に、最も大きい小球体が検出され、すべての残りの小球体は捨てられる。結果として生じるイメージは、粒子のマスクイメージであり、そこでは、黒い背景に対して白い小球体が、興味のある粒子の大きさ及び形状に正確に対応する。
【0024】
粒子特徴抽出
一旦興味のある粒子のイメージがパッチイメージ内に配置され、その領域が粒子の白いマスクイメージを作ることによって制限されると、パッチ及びマスクイメージは、粒子イメージから粒子特徴(特徴データ)を抽出するために更に処理される。一般に、粒子特徴は、粒子タイプの正確な分類を助ける多くの異なる方法において、粒子の大きさ、形状、きめ(texture)及び色を数値的に記述する。粒子特徴は、これらの数値記述の一つに関連する族(ファミリー)にグループ化され得、パッチイメージ、マスクイメージ、あるいはその両方から抽出され得る。
【0025】
粒子特徴の第1の族はすべて、粒子の形状に関連する。それは、球形の赤血球及び白血球、正方形又は長方形の結晶、及び細長い糞を識別するのを助ける。粒子特徴の第1族は:
1.粒子領域:粒子境界内に含まれるピクセル数。好ましくは、この粒子特徴は、粒子のマスクイメージから得られる。
2.全周長さ:ピクセルにおける粒子境界の長さ。好ましくは、これは、マスクの4近傍全周イメージを作り、ゼロでないピクセル数を数えることによって、粒子マスクイメージから得られる。
3.形状因子:粒子の球形表示。これは、粒子領域で割られる、全周長さの二乗として計算される。
4.全周率への領域:粒子のもう一つの球形表示。これは、全周長さで割られた粒子領域として計算される。
【0026】
粒子特徴の第2の族は、粒子の対称性に関し、より詳細には、あらゆる所定形状粒子のための対称線の数の決定に関する。粒子特徴のこの族は、糞(典型的に、長軸に沿って対称性を有する)と扁平上皮細胞(squamous epithelial cell、SQEPs:一般に対称線を有さない)とを識別するのに非常に有用である。粒子特徴のこの族は、粒子への異なる角度方向で適用される線分から得られる情報を利用する。図4に示されるように、線分20は、マスクイメージ19の重心22を通って描かれる。線分20に沿う各ポイントのために、それに垂直な線分24a及び24bは、粒子境界を横切るまで線分20から離れて延びるように描かれ、対向する垂直線分24a及び24bの長さの差は、計算され、蓄積される。この計算は、線分20に沿う各ポイントで繰り返され、すべての差は、合計され、線分20の対称値(Symmetry Value)として格納される。完全な円では、対称値はあらゆる線分20においてゼロである。対称値の計算は、線分20の各角度回転で繰り返され、それぞれが一つの線分20の特定の角度方向に対応する複数の対称値を結果として生じる。対称値は、粒子領域値によって標準化され、低いものから高いものへ順序付けられた対称値のリストに格納される。
【0027】
粒子特徴の第2の族は:
5.最小対象:回転のある値における粒子によって示された最大対称を表す、順序リストの最も小さい対称値。
6.20%対称:対称値の順序リストの20%を構成する対称値。
7.50%対称:対称値の順序リストの50%を構成する対称値。
8.80%対称:対称値の順序リストの80%を構成する対称値。
9.最大対称:回転のある値における粒子によって示される最小対象を表す、順序リストの最も高い対称値。
10.平均対称:対称値の平均値。
11.標準偏差対称:対称値の標準偏差。
【0028】
粒子特徴の第3の族は、粒子の骨格化に関する。それは、粒子の大きさと形状を特徴付ける1以上の線分を作る。これらの粒子特徴は、発芽酵母、菌糸酵母、及び白血球凝集塊のような、クラスタ内に多数の成分を有する分析物を識別するのに理想的である。これらの分析物は、多数の枝を持つ骨格を有し、それは、一つの枝骨格を有する分析物から区別するのを容易にする。骨格イメージの作成は、画像処理の技術では周知であり、ParkerとJames R.の1997年John Wiley &SonsによるISBN 0−471−14056−2の「画像処理及びコンピュータバージョンのためのアルゴリズム」の176〜210頁に開示される。骨格化は、それに垂直な方向で中心に向かって粒子境界の各部分を潰すことを含む。例えば、図5A〜5Dにそれぞれ示されるように、完全な円は一点に潰れ、三日月は曲線に、8の字は2本の直線分に、くぼみを持つセルは曲線に潰される。好ましい実施の形態は、2つの骨格化アルゴリズム、ZSHとBZSを利用する。ZSHは、階段移動を加えてHolt変換を用いるZhang−Suenシニングアルゴリズムである。BZSは、Holt変換を用いるZhang−Suenシニングアルゴリズムである。Parkerの図5.11(182頁)は、各アルゴリズムのCコードとともに、これらのアルゴリズムが適用されるときの結果の差を示す。
【0029】
粒子特徴の第3の族は:
12.ZSH骨格サイズ:骨格の大きさは、好ましくは、骨格を形成するピクセル数を数えることによって決定される。
13.ZSH標準化骨格サイズ:骨格サイズは粒子の大きさによって標準化され、粒子領域によって骨格サイズを分割することによって決定される。
14.BZS骨格サイズ:骨格の大きさは、好ましくは、骨格を形成するピクセル数を数えることによって決定される。完全な円の骨格サイズは1であり、三日月のそれは、曲線の長さであろう。
15.BZS標準化骨格サイズ:骨格サイズは粒子の大きさによって標準化され、粒子領域によって骨格サイズを分割することによって決定される。
【0030】
粒子特徴の第4の族は、粒子に適合する半径の長さを用いて粒子の形状を測定すること、及びこれらの値の変位値序列に関する。特に、重心は、好ましくは、マスクイメージを用いて、粒子内部に画定され、異なる角度における重心から出る複数の半径は、粒子境界に向かって外に伸びる。半径の長さは、半径値のリストに収集され、そのリストは、低い値から高い値に分類される。値の順序付けられたリストのある%変位値は、リストの基底からある%に対応するリストの位置を有する値を表す。例えば、リストの30%変位値は、リストの基底から30%上に配置された値であり、リストにはその上にその値の70%がある。それで、10値の順序リストにおいて、30%変位値は、リストのトップから7番目の値であり、50%変位値は、リストの真ん中の値である。
【0031】
粒子特徴の第4の族は:
16.25%半径値:半径値のリストの25%変位値に対応する値。
17.50%半径値:半径値のリストの50%変位値に対応する値。
18.75%半径値:半径値のリストの75%変位値に対応する値。
19.最小平均比率:最小半径値と平均変形値の比率。
20.最大平均比率:最大半径値と平均半径値の比率。
21.平均半径値:半径値の平均。
22.標準偏差半径値:半径値の標準偏差。
【0032】
粒子特徴の第5の族は、粒子イメージの強度を測定する。異なる分析物の光吸収特性は、著しく異なる。例えば、結晶は、一般的に屈折力を有し、その内部が背景よりも明るいように、実際に光を一点に集め得る。しかしながら、着色された白血球は、典型的に、背景よりも実質的に暗い。平均強度は、粒子の全光吸収として示されるが、強度の標準偏差は、粒子の吸収特性の均一性を測定する。強度を測定するために、粒子は、好ましくは、粒子のパッチイメージをマスクするためのマスクイメージを用いることによって分離される。従って、(マスク内部に)残されたピクセルのみが粒子領域内部に含まれるピクセルである。粒子特徴のこの族は、以下を含む:
23.平均ピクセル値:粒子境界内部のすべてのピクセルの平均ピクセル値。
24.ピクセル値の標準偏差:粒子境界内部のピクセルのピクセル値の標準偏差。
【0033】
粒子特徴の第6の族は、粒子の動径分布を測定するために、粒子のフーリエ変換を用いる。フーリエ変換は、粒子の大きさ、形状及びきめ(すなわち、細かい粒構造)に依存する。きめの追加に加えて、フーリエ変換振幅は、粒子の位置から独立し、粒子回転は、変換の回転として直接反映される。1回転におけるエネルギーのクラスタを見出すことは、粒子の線形状況(すなわち、粒子は線形部分を有する)の表示である。この発見は、赤血球に対する結晶のような粒子間を区別するのを助ける。粒子のパッチイメージのフーリエ変換は、好ましくは、128×128ピクセルのウィンドウを持つ周知の高速フーリエ変換(FFT)アルゴリズムを用いて計算される。次の粒子特徴は、それから計算される:
25.回転された128ピクセルラインのFFT平均強度:回転角の関数として128ピクセルラインに沿う平均ピクセル値の行列リスト。これは、変換中長さ128ピクセルの半径ラインを配置するとともに、N°の増加によって180°の弧を通して半径ラインを回転することによって計算される。N°の各増加のために、半径ラインに沿うピクセル値の平均が計算される。N°増加の平均ピクセル値は、対応する角度増加とともに平均強度として待ち行列に蓄積される。
26.FFT最大/最小128ピクセル角度差:待ち行列に蓄積される最高及び最低平均強度値に対応する角度値間の差。
27.FFT128ピクセル平均強度標準偏差:待ち行列に蓄積される平均強度値の標準偏差。
28.回転された128ピクセルラインの回転された64ピクセルラインのFFT平均強度:FFT平均強度と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
29.FFT最大/最小64ピクセル角度差:FFT最大/最小128ピクセル角度差と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
30.FFT64ピクセル平均強度標準偏差:FFT128ピクセル平均強度標準偏差と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
31.回転された32ピクセルラインのFFT平均強度:回転された128ピクセルラインのFFT平均強度と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
32.FFT最大/最小32ピクセル角度差:最大/最小128ピクセル角度差と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
33.FFT32ピクセル平均強度標準偏差:FFT128ピクセル平均強度標準偏差と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
【0034】
長さを変更する回転半径ラインに基づく標準偏差値にすべて関連した追加のFFT粒子特徴は、次のようになる:
34.FFT128ピクセル平均強度標準偏差種類:異なる回転のための128ピクセルラインに沿う平均ピクセル値の標準偏差の蓄積された待ち行列リスト。これは、変換中長さ128ピクセルの半径ラインを配置するとともに、N°の増加によって180°の弧を通して半径ラインを回転することによって計算される。N°の各増加のために、ライン上のピクセル値の標準偏差値は計算される。すべてのN°増加の標準偏差値は、低値から高値まで分類され、待ち行列に蓄積される。
35.FFT128ピクセル最小半径標準偏差:標準偏差値の分類された待ち行列リストから検索された最小半径標準偏差値。
36.FFT128ピクセル最大半径標準偏差:標準偏差値の分類された待ち行列リストから検索された最大半径標準偏差値。
37.FFT128ピクセル25%変位値半径標準偏差:待ち行列に蓄積された値の25%変位値に対応する待ち行列からの半径標準偏差値。
38.FFT128ピクセル50%変位値半径標準偏差:待ち行列に蓄積された値の50%変位値に対応する待ち行列からの半径標準偏差値。
39.FFT128ピクセル75%変位値半径標準偏差:待ち行列に蓄積された値の75%変位値に対応する待ち行列からの半径標準偏差値。
40.FFT128ピクセル最小と平均半径標準偏差比率:待ち行列に蓄積された最小と平均半径標準偏差値の比率。
41.FFT128ピクセル最大と平均半径標準偏差比率:待ち行列に蓄積された最大と平均半径標準偏差値の比率。
42.FFT128ピクセル平均半径標準偏差:待ち行列に蓄積された値の平均半径標準偏差値。
43.半径標準偏差のFFT128ピクセル標準偏差:待ち行列に蓄積された半径標準偏差のすべての標準偏差。
44.FFT64ピクセル平均強度標準偏差種類:FFT128ピクセル平均強度標準偏差種類と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
45.FFT64ピクセル最小半径標準偏差:FFT128ピクセル最小半径標準偏差と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
46.FFT64ピクセル最大半径標準偏差:FFT128ピクセル最大半径標準偏差と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
47.FFTピクセル25%変位値半径標準偏差:FFT128ピクセル25%変位値半径標準偏差と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
48.FFTピクセル50%変位値半径標準偏差:FFT128ピクセル50%変位値半径標準偏差と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
49.FFTピクセル75%変位値半径標準偏差:FFT128ピクセル75%変位値半径標準偏差と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
50.FFT64ピクセル最小と平均半径標準偏差の比率:FFT128ピクセル最小と平均半径標準偏差の比率と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
51.FFT64ピクセル最大と平均半径標準偏差の比率:FFT128ピクセル最大と平均半径標準偏差の比率と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
52.FFT64ピクセル平均半径標準偏差:FFT128ピクセル平均半径標準偏差と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
53.半径標準偏差のFFT64ピクセル標準偏差:半径標準偏差のFFT128ピクセル標準偏差と同じであるが、64ピクセル長半径ラインを用いる代わりとして。
54.FFT32ピクセル平均強度標準偏差種類:FFT128ピクセル平均強度標準偏差種類と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
55.FFT32ピクセル最小半径標準偏差:FFT128ピクセル最小半径標準偏差と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
56.FFT32ピクセル最大半径標準偏差:FFT128ピクセル最大半径標準偏差と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
57.FFT32ピクセル25%変位値半径標準偏差:FFT128ピクセル25%変位値半径標準偏差と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
58.FFT32ピクセル50%変位値半径標準偏差:FFT128ピクセル50%変位値半径標準偏差と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
59.FFT32ピクセル75%変位値半径標準偏差:FFT128ピクセル75%変位値半径標準偏差と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
60.FFT32ピクセル最小と平均半径標準偏差の比率:FFT128ピクセル最小と平均半径標準偏差の比率と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
61.FFT32ピクセル最大と平均半径標準偏差の比率:FFT128ピクセル最大と平均半径標準偏差の比率と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
62.FFT32ピクセル平均半径標準偏差:FFT128ピクセル平均半径標準偏差と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
63.半径標準偏差のFFT32ピクセル標準偏差:半径標準偏差のFFT128ピクセル標準偏差と同じであるが、32ピクセル長半径ラインを用いる代わりとして。
【0035】
一層多くのFFT粒子特徴が用いられ、それらはすべて長さを変化する回転された半径ラインに基づいて平均値に関連する:
64.FFT128ピクセル平均強度種類:異なる回転のための128ピクセルラインに沿う平均ピクセル値の分類された待ち行列リスト。これは、変換中長さ128ピクセルの半径ラインを配置するとともに、N°の増加によって180°の弧を通して半径ラインを回転することによって計算される。N°の各増加のために、そのライン上のピクセルの平均値が計算される。すべてのN°増加の平均ピクセル値は、低いものから高いものへ分類され、待ち行列に蓄積される。
65.FFT128ピクセル最小平均値:平均値の分類された待ち行列リストから検索された最小半径平均値。
66.FFT128ピクセル最大半径値:平均値の分類された待ち行列から検索された最大半径平均値。
67.FFT128ピクセル25%変位値半径平均値:待ち行列に蓄積された平均値の25%変位値に対応する待ち行列からの半径平均値。
68.FFT128ピクセル50%変位値半径平均値:待ち行列に蓄積された平均値の50%変位値に対応する待ち行列からの半径平均値。
69.FFT128ピクセル75%変位値半径平均値:待ち行列に蓄積された平均値の75%変位値に対応する待ち行列からの半径平均値。
70.FFT128ピクセル最小と平均半径平均値の比率:待ち行列に蓄積された半径平均値の最小と平均の比率。
71.FFT128ピクセル最大と平均半径平均値の比率:待ち行列に蓄積された半径平均値の最大と平均の比率。
72.FFT128ピクセル平均半径標準偏差:待ち行列に蓄積された平均値の平均半径標準偏差値。
73.平均値のFFT128ピクセル標準偏差:待ち行列に蓄積された半径平均値のすべての標準偏差。
【0036】
粒子特徴の第7の族は、イメージ強度のグレースケールとカラーヒストグラム変位値を用いる。それらは、粒子境界内部の強度変化についての追加の情報を提供する。特に、グレースケール、赤、緑及び青のヒストグラム変位値は、異なるスペクトル帯域における強度特性を提供する。さらに、粒子分析で用いられる着色は、いくつかの粒子が緑のようなあるカラーを吸収するのをもたらすが、その他は、ある波長において屈折特性を示す。従って、すべての粒子特徴を用いることは、人が緑を吸収する白血球や黄色の光を屈折する結晶のような着色された粒子を識別するのを可能にする。
【0037】
ヒストグラム、累積的ヒストグラム及び変位値計算は、米国特許5,343,538号に開示される。それは、参照によってここに組み込まれる。粒子イメージは、典型的に、イメージを3つのカラー成分に分解するCCDカメラを用いて取り込まれる。好ましい実施の形態は、粒子イメージの赤、緑及び青成分を別々に取り込むRGBカメラを用いる。次の粒子特徴は、イメージのグレースケール、赤、緑及び青の成分に基づいて計算される:
74.グレースケールピクセル強度:粒子境界内部のグレースケールピクセル強度の分類された待ち行列リスト。グレースケール値は、3つのカラー成分の合計である。(マスクイメージによってマスクされるような)粒子境界内部の各ピクセルのために、グレースケールピクセル値は、グレースケール待ち行列に加えられ、それは(例えば、低いものから高いものに)分類される。
75.最小グレースケールイメージ強度:待ち行列に蓄積された最小グレースケールピクセル値。
76.25%グレースケール強度:待ち行列に蓄積されたグレースケールピクセル値の25%変位値に対応する値。
77.50%グレースケール強度:待ち行列に蓄積されたグレースケールピクセル値の50%変位値に対応する値。
78.75%グレースケール強度:待ち行列に蓄積されたグレースケールピクセル値の75%変位値に対応する値。
79.最大グレースケールイメージ強度:待ち行列に蓄積された最大グレースケールピクセル値。
80.赤ピクセル強度:粒子境界内部の赤ピクセル強度の分類された待ち行列リスト。粒子イメージは、各ピクセル値の赤成分だけが残るように変換される。(マスクイメージによってマスクされるような)粒子境界内部の各ピクセルのために、赤ピクセル値は、赤行列に追加され、それは、それから、低いものから高いものに分類される。
81.最小赤イメージ強度:待ち行列に蓄積された最小赤ピクセル値。
82.25%赤強度:待ち行列に蓄積された赤ピクセル値の25%変位値に対応する値。
83.50%赤強度:待ち行列に蓄積された赤ピクセル値の50%変位値に対応する値。
84.75%赤強度:待ち行列に蓄積された赤ピクセル値の75%変位値に対応する値。
85.最大赤イメージ強度:待ち行列に蓄積された最大赤ピクセル値。
86.緑ピクセル強度:粒子境界内部の緑ピクセル強度の分類された待ち行列リスト。粒子イメージは、ピクセル値の緑成分だけが残るように変換される。(マスクイメージによってマスクされるような)粒子境界内部の各ピクセルのために、緑ピクセル値は、緑待ち行列に追加され、それは、それから、低いものから高いものに分類される。
87.最小緑イメージ強度:待ち行列に蓄積された最小緑ピクセル値。
88.25%緑強度:待ち行列に蓄積された緑ピクセル値の25%変位値に対応する値。
89.50%緑強度:待ち行列に蓄積された緑ピクセル値の50%変位値に対応する値。
90.75%緑強度:待ち行列に蓄積された緑ピクセル値の75%変位値に対応する値。
91.最大緑イメージ強度:待ち行列に蓄積された最大緑ピクセル値。
92.青ピクセル強度:粒子境界内部の青ピクセル強度の分類された待ち行列リスト。粒子イメージは、ピクセル値の青成分のみが残るように変換される。(マスクイメージによってマスクされるような)粒子境界内部の各ピクセルのために、青ピクセル値は青行列に追加され、それは、それから、低いものから高いものに分類される。
93.最小青イメージ強度:待ち行列に蓄積される最小青ピクセル値。
94.25%青強度:待ち行列に蓄積された青ピクセル値の25%変位値に対応する値。
95.50%青強度:待ち行列に蓄積された青ピクセル値の50%変位値に対応する値。
96.75%青強度:待ち行列に蓄積された青ピクセル値の75%変位値に対応する値。
97.最大青イメージ強度:待ち行列に蓄積された最大青ピクセル値。
【0038】
粒子特徴の第8の族は、FFT等級分類における変化を更に特徴付けるために、同心円と環を用いる。中心円は、中心円の外側で中心円と同軸の直径を連続的に増加する(ワッシャの形状の)7つの環とともに、FFTの中心上に画定される。第1の環は、中心円の外径に等しい内径と、第2の環の内径と等しい外径とを有し、以下同様である。次の粒子特徴は、FFT中の中心円と7つの環から計算される:
98.中心円平均値:中心円内部のFFTの大きさの平均値。
99.中心円標準偏差:中心円内部のFFTの大きさの標準偏差。
100.中心円に対する環平均値:第1の環内部のFFTの大きさの平均値の中心円のそれに対する比率。
101.中心円に対する環標準偏差:第1の環内部のFFTの大きさの標準偏差の中心円のそれに対する比率。
102.円に対する環平均値:第1の環内部のFFTの大きさの平均値のその環の外径によって画定される円のそれに対する比率。
103.円に対する環標準偏差:第1の環内部のFFTの大きさの標準偏差のその環の外径によって画定される円のそれに対する比率。
104.環の環に対する平均値:第1の環内部のFFTの大きさの平均値の次に小さい直径を有する環又は中心円(第1の環の場合には、それは中心円であろう)のそれに対する比率。
105.環の環に対する標準偏差:第1の環内部のFFTの大きさの標準偏差の次に小さい直径を有する環又は中心円(第1の環の場合には、それは中心円であろう)のそれに対する比率。
106〜111:第1の輪の代わりに第2の環が用いられる以外は、特徴100〜104と同じ。
112〜117:第1の輪の代わりに第3の環が用いられる以外は、特徴100〜104と同じ。
118〜123:第1の輪の代わりに第4の環が用いられる以外は、特徴100〜104と同じ。
123〜129:第1の輪の代わりに第5の環が用いられる以外は、特徴100〜104と同じ。
130〜135:第1の輪の代わりに第6の環が用いられる以外は、特徴100〜104と同じ。
136〜141:第1の輪の代わりに第7の環が用いられる以外は、特徴100〜104と同じ。
154〜197は、それらが粒子イメージのFFTのFFTに適用される以外は、98〜141と同じである。
【0039】
粒子特徴の最後の族は、FFT等級分類における変化を更に特徴付けるために、FFTウィンドウサイズ(例えば、128)の11%、22%、33%、44%、55%、及び66%に等しい一辺を持つ同心の正方形を用いる。それは、オリジナルの分析物イメージの大きさ、形状及びきめによって影響を受ける。FFTのきめを特徴付ける2つの周知のきめ分析アルゴリズムがある。第1は、ベクトル分散(Vector Dispersion)と称せられ、それは、法線を用いて領域を教示するために、平面に適合することを含み、参照により組み込まれるParkerの165〜168頁に記述される。第2は、表面曲率距離関数(Surface Curvature Metric)と称され、その領域に多項式を適合させることを含み、参照により組み込まれるParkerの168〜171頁に記述される。次の粒子特徴は、FFT中異なる大きさのウィンドウから計算される:
142〜147:それぞれ11%、22%、33%、44%、55%、及び66%FFTウィンドウへのベクトル分散アルゴリズムの適用。
148〜153:それぞれ11%、22%、33%、44%、55%、及び66%FFTウィンドウへの表面曲率距離関数アルゴリズムの適用。
【0040】
処理及び判断
一旦、前述の粒子特徴が計算されると、ある粒子の分類法又はサンプルの全体にある粒子のすべてが処理されるか否かを決定するために、処理ルールが適用される。好ましい実施の形態は、より大きい粒子を取り込むためにより大きい視野で低出力フィールド(LPF)スキャンを実行するための低出力対物レンズ(例えば、10×)と、より小さい粒子のより微少な詳細を取り込むためにより大きい感度を持つ高出力フィールド(HPF)スキャンを実行するためのを高出力対物レンズ(例えば、40×)とを用いて粒子イメージを取得する。
【0041】
本発明のシステムは、LPFスキャン及びHPFスキャンにおいて取り込まれた粒子を分類するために、別々のマルチニューラルネット決定構造を利用する。興味のあるほとんどの粒子がLPF又はHPFスキャンの一つであるが、両方にではなく現れるので、別の決定構造は、各構造が分類しなければならない興味のある粒子数を最小にする。
【0042】
ニューラルネット構造
図8は、LPF及びHPFスキャンにおけるすべてのニューラルネットのために用いられる基本のニューラルネット構造を示す。ネットは、それぞれネットで使用のために選択される上述の粒子特徴の一つに対応する入力X−Xを持つ入力層を含む。各入力は、隠された層における複数のニューロンZ−Zのそれぞれ一つに接続される。これらの隠された層ニューロンZ−Zのそれぞれは、重み付け方法で入力層から受けたすべての値を合計し、それによって、各ニューロンの実際の重さが個々に割当て可能である。各隠された層ニューロンZ−Zはまた、重み付けされた合計に非線形関数を適用する。各隠された層ニューロンZ−Zからの出力は、ニューロンの第2(出力)層Y−Yのそれぞれ一つに供給される。出力層ニューロンY−Yのそれぞれはまた、重み付け方法で隠された層から受けた入力を合計し、重み付けされた合計に非線形関数を適用する。出力層ニューロンは、ネットの出力を提供し、それゆえ、これらの出力ニューロン数は、ネットが作る決定クラス数に対応する。入力数は、ネットへの入力のために選択される粒子特徴数に等しい。
【0043】
後に記述されるように、各ネットは、正確な結果を作るために「訓練」される。なされる各決定のために、ネットの決定に適切な粒子特徴だけがネットへの入力のために選択される。訓練手続きは、満足する結果が全体としてネットから達成されるまで、ニューロンのための種々の重みを変更することを含む。好ましい実施の形態では、種々のネットは、製品バージョン5.30のニューラルワーク(NeuralWorks)を用いて訓練された。それは、Carnegie, Paのニューラルウェア(Neural Ware)によって製造され、特に、拡張デルタバーデルタプロパゲーションアルゴリズムである。好ましい実施の形態におけるすべてのネットのすべてのニューロンに用いられる非線形関数は、双曲線タンジェント関数であり、そこでは、入力範囲は、低スロープ領域を避けるために、−0.8〜+0.8に抑えられる。
【0044】
LPFスキャンプロセス
LPFスキャンプロセスは、図6Aに示され、低出力対物レンズを用いて次の粒子イメージ(分析物)を得ることによって始まる。それから、ニューラルネット分類法が実行される。それは、図6Bに示されるように、分析物イメージにニューラルネットのカスケード構造を適用するプロセスを含む。各ニューラルネットは、上述の計算された198粒子特徴の選択されたサブグループをとって、粒子がネットの特徴を満たす0〜1までの範囲の分類確率因子を計算する。ネットのカスケード構造は、下流に向かって各ニューラルネット結果の精度を向上するのに役立つ。なぜならば、粒子がある特性を持つか持たないためにそれが予め選別された操作をすると分類されるとすれば、各ネットは、本質的に、より正確に設計され得るからである。システム効率のために、198のすべての粒子特徴は、好ましくは、各粒子イメージのために計算され、それから、図6Bのニューラルネット分類プロセスが適用される。
【0045】
粒子イメージに適用される第1のニューラルネットは、アモル分類ネット(AMOR Classifier Net)であり、それは、粒子が不定形であるか否かを決定する。好ましい実施の形態のために、このネットは、上述の198の粒子特徴の選択されたサブセットのための42の入力と、隠された層の20のニューロンと、出力層の2のニューロンとを含む。図9A〜9Cの表における「LPF AMOR2」と称せられる列は、このネットで使用のために選択された上述の42の粒子特徴の数を示す。このネットの第1及び第2の出力は、それぞれ粒子が不定形であるか否かの確率に対応する。確率がより高いどちらかが、ネットの決定を構成する。ネットが粒子は不定形であると決定するならば、粒子の分析は終了する。
【0046】
粒子が不定形でないと決定されるならば、SQEP/CAST/OTHER分類ネットが適用される。それは、粒子が扁平上皮細胞(SQEP)、糞細胞(CAST)、もう一つのタイプの細胞のいずれであるかを決定する。好ましい実施の形態のために、このネットは、上述の198の粒子特徴の選択されたサブセットのための48の入力と、隠された層の20のニューロンと、出力層の3のニューロンとを含む。図9A〜9Cの表における「LPF CAST/SQEP/OTHER3」と称せられる列は、このネットで使用のために選択された上述の48の粒子特徴の数を示す。このネットの第1、第2及び第3の出力は、それぞれ粒子が糞、SQEP、又はもう一つの粒子タイプである確率に対応する。最も高い確率のどれかはネットの決定を構成する。
【0047】
粒子が糞細胞と決定されるならば、糞分類ネット(CAST Classifier Net)が適用される。それは、粒子が白血球クランプ(WBCC)、非結晶糞細胞(HYAL)、又は病的な糞細胞のような分類されない糞(UNCC)のいずれであるかを決定する。好ましい実施の形態のために、このネットは、上述の198の粒子特徴の選択されたサブセットのための36の入力と、隠された層の10のニューロンと、出力層の3のニューロンとを含む。図9A〜9Cの表における「LPF CAST3」と称せられる列は、このネットで使用のために選択された上述の36の粒子特徴の数を示す。このネットの第1、第2及び第3の出力は、粒子がWBCC、HYAL又はUNCCである確率に対応する。確率が最も高いどれかはネットの決定を構成する。
【0048】
粒子が扁平上皮細胞であると決定されるならば、その決定はただ残される。
【0049】
粒子がもう一つのタイプの細胞であると決定されるならば、OTHER Classifier Netが適用される。それは、粒子が肝臓上皮細胞又はトランジション上皮細胞のような非扁平上皮細胞(NSE)、分類されない結晶(UNCX)、酵母(YEAST)、あるいは粘液(MUCS)のいずれであるかを決定する。好ましい実施の形態のために、このネットは、上述の198粒子特徴の選択されたサブセットのための46の入力と、隠された層の20のニューロンと、出力層の4のニューロンとを含む。図9A〜9Cの表における「LPF OTHER4」と称せられる列は、このネットで使用のために選択された上述の46の粒子特徴の数を示す。このネットの第1、第2、第3及び第4の出力は、粒子がNSE、UNCX、YEAST、又はMUCSである確率に対応する。確率が最も高いどれかはネットの決定を構成する。
【0050】
図6Aに戻って、一旦、ニューラルネット分類が粒子タイプを決定すると、粒子が人為構造として分類されるべきか否かを決定するために、回避ルールによる技術(ART by Abstention Rule)が適用される。なぜならば、粒子分類を保証するのに十分高い分類確率因子を与えるネットがないからである。好ましい実施の形態によって適用される回避ルールによる技術は、以下のようになる:ネット構造による最終的な分類がHYALであり、CAST確率がSQEP/CAST/Otherネットにおいて0.98より小さかったならば、粒子は人為構造として再分類される。同様に、ネット構造による最終的な分類がUNCCであり、CAST確率がSQEP/CAST/Otherネットにおいて0.95より小さかったならば、粒子は人為構造として再分類される。
【0051】
図6Aに示される次のステップは、回避ルールによる技術に耐える粒子に適用する。粒子がUNCC、HYALあるいはSQEPとしてネット構造によって分類されたならば、その分類は無条件に受け入れられる。粒子がもう一つのタイプの粒子として分類されたならば、粒子が人為構造として分類されるべきか否かを決定するために、粒子取り込みテストが適用される。部分的取り込みテストは、粒子境界が1以上の粒子イメージパッチ境界に当たるか否かを決定し、従って、粒子イメージの一部のみがパッチイメージによって取り込まれた。好ましい実施の形態の部分的取り込みテストは、基本的に、それらが背景ピクセルを表すことを保証するために、パッチの境界を形成するピクセルを見る。これは、パッチ境界上の累積的強度ヒストグラムを収集し、これらの強度の下限と上限を計算することによってなされる。好ましい実施の形態の下限は、ヒストグラムの底から3番目の値かヒストグラムの底から2%の値のいずれか大きい方である。上限は、ヒストグラムの上部から3番目の値かヒストグラムの上部から2%の値のいずれか大きい方である。パッチイメージは、(例えば、0〜255までの範囲を持つピクセル強度の)下限が185より小さいならば、部分的取り込みと思われる。同じく、パッチは、上限が250以下であり、下限が200より小さいならば(これは、粒子イメージの円光がパッチイメージ境界を教示する場合を処理することである)、部分的取り込みと思われる。部分的取り込みテストに耐えるすべての粒子は、それらの分類を維持し、LPFスキャンプロセスが完了する。
【0052】
好ましい実施の形態では、同じく、部分的取り込みテストは、ニューラルネットのいくつかによって用いられる粒子特徴の一つとして用いられる。粒子境界が1以上の粒子イメージパッチ境界を当てるならば、特徴値は1であり、そうでないならば、0である。この粒子特徴は、図9A〜9Cにおいて「0」を割り当てられる。
【0053】
HPFスキャンプロセス
HPFスキャンプロセスは、図7Aに示され、高出力対物レンズを用いて次の粒子イメージ(分析物)を得ることによって始まる。2つの前処理人為構造分類ステップが、粒子をニューラルネット分類に委ねる前に実行される。第1の前処理ステップは、粒子のそれぞれが完全に適合し得る最も小さいボックスに対応した状態で、5つのサイズボックス(HPF1〜HPF5)を画定することによって始まる。好ましい実施の形態では、最も小さいボックスHPF5は、12×12ピクセルであり、最も大きいボックスHPF1は、50×50ピクセルである。HPF5ボックスに対応したすべての粒子は、人為構造として分類され、さらなる考察から取り除かれる。なぜならば、それらの粒子は、システムの決定を与える正確な分類にはあまりにも小さいからである。
【0054】
第2の前処理ステップは、HPF3又はHPF4に対応するすべての残りの粒子を見出す。それは、50平方ピクセルより小さいセル面積を有し、長くも薄くもなく、人為構造としてそれらを分類する。この第2の前処理ステップは、大きさとアスペクト比基準を結合する。それは、丸い傾向があるより小さい粒子を除去する。一旦、HPF3又はHPF4ボックスであって、50平方ピクセルより少ないセル面積に対応する粒子が分離されると、そのような粒子のそれぞれは、次の2つの基準のいずれかを満足するならば、人為構造として分類される。第1に、粒子面積によって分離される粒子外周の正方形が20より小さいならば、粒子は、長くも薄くもなく、人為構造に分類される。第2に、XとYモーメントの分散行列の固有値の比率(ストレッチ値とも呼ばれる)が20より小さいならば、粒子は、長くも薄くもなく、人為構造に分類される。
【0055】
上述の2つの前処理ステップを耐えた粒子イメージは、図7Bに示されるニューラルネットのカスケード構造を備える。各ニューラルネットは、上述の計算された198の粒子特徴の選択されたサブグループをとり、粒子がネットの基準を満たす0〜1までの範囲の分類確率因子を計算する。ネットのカスケード構造と同様に、これは、下流に向かって各ニューラルネット結果の精度を向上するのに役立ち、好ましくは、198の粒子特徴のすべては、HPFスキャンが始まる前に各粒子イメージのために計算される。
【0056】
粒子イメージに適用される第1のニューラルネットは、AMOR分類ネットであり、それは、粒子が不定形であるか否かを決定する。好ましい実施の形態のために、このネットは、上述の198の粒子特徴の選択されたサブセットのための50の入力と、隠された層の10のニューロンと、出力層の2のニューロンとを含む。図9A〜9Cの表における「LPF AMOR2」と称せられる列は、このネットで使用のために選択された上述の50の粒子特徴の数を示す。このネットの第1及び第2の出力は、それぞれ粒子が不定形であるか否かの確率に対応する。確率がより高いどちらかが、ネットの決定を構成する。ネットが粒子は不定形であると決定するならば、粒子の分析は終了する。
【0057】
粒子が不定形でないと決定されるならば、Round/Not Round分類ネットが適用される。それは、粒子形状が円形の予め決められた量を示すか否かを決定する。好ましい実施の形態のために、このネットは、上述の198の粒子特徴の選択されたサブセットのための39の入力と、隠された層の20のニューロンと、出力層の2のニューロンとを含む。図9A〜9Cの表における「HPF ROUND/NOT ROUND2」と称せられる列は、このネットで使用のために選択された上述の39の粒子特徴の数を示す。このネットの第1及び第2の出力は、粒子が「丸い」又はそうでない確率に対応する。最も高い確率のどちらかはネットの決定を構成する。
【0058】
粒子が「丸い」と決定されるならば、丸い細胞分類ネット(Round Cells Classifier Net)が適用される。それは、粒子が赤血球(RBC)、白血球(WBC)、肝臓上皮細胞又はトランジション上皮細胞のような非扁平上皮細胞(NSE)、あるいは酵母(YEAST)のいずれであるかを決定する。好ましい実施の形態のために、このネットは、上述の198の粒子特徴の選択されたサブセットのための18の入力と、隠された層の3のニューロンと、出力層の3のニューロンとを含む。図9A〜9Cの表における「HPF Round4」と称せられる列は、このネットで使用のために選択された上述の18の粒子特徴の数を示す。このネットの第1、第2、第3及び第4の出力は、粒子がRBC、WBC、NSE又はYEASTである確率に対応する。確率が最も高いどれかはネットの決定を構成する。
【0059】
粒子が「丸く」ないと決定されるならば、Not Round分類ネットが適用される。それは、丸い細胞分類ネット(Round Cells Classifier Net)が適用される。それは、粒子が赤血球(RBC)、白血球(WBC)、肝臓上皮細胞又はトランジション上皮細胞のような非扁平上皮細胞(NSE)、分類していない結晶(UNCX)、酵母(YEAST)、精子(SPRM)あるいはバクテリア(BACT)のいずれであるかを決定する。好ましい実施の形態のために、このネットは、上述の198の粒子特徴の選択されたサブセットのための100の入力と、隠された層の20のニューロンと、出力層の7のニューロンとを含む。図9A〜9Cの表における「HPF NOT Round7」と称せられる列は、このネットで使用のために選択された上述の100の粒子特徴の数を示す。このネットの7の出力は、粒子がRBC、WBC、NSE、UNCX、YEAST、SPRM又はBACTである確率に対応する。最も高い確率のどれかはネットの決定を構成する。
【0060】
図7Aに戻って、一旦、ニューラルネット分類が粒子タイプを決定したら、粒子が人為構造として分類されるべきか否かを決定するために、回避ルールによる技術が適用される。なぜならば、粒子分類を保証するのに十分高い分類確率因子を与えるネットがないからである。好ましい実施の形態によって適用される回避ルールによる技術は、ある基準が満たされるならば、人為構造として4つの粒子タイプを再分類する。第1に、ネット構造による最終的な分類が酵母であり、YEAST確率がNot Round Cells分類ネットにおいて0.9より小さいならば、粒子は人為構造として再分類される。第2に、ネット構造による最終的な分類がNSEであり、NSE確率がRound Cells分類ネットにおいて0.9より小さいか、あるいはround確率がRound/Not Round分類ネットにおいて0.9より小さいならば、粒子は人為構造として再分類される。第3に、ネット構造による最終的な分類がnot roundNSEであり、NSE確率がNot Round Cells分類ネットにおいて0.9より小さいならば、粒子は人為構造として再分類される。第4に、ネット構造による最終的な分類がUNCXであり、UNCX確率がRound Cells分類ネットにおいて0.9より小さいか、あるいはround確率がRound/Not Round分類ネットにおいて0.9より小さいならば、粒子は人為構造として再分類される。
【0061】
図7Aに示される次のステップは、部分的取込みテストであり、それは、回避ルールによる技術に耐えるすべての粒子に適用される。部分的取込みテストは、粒子境界が人為構造として分類されるべきか否かを決定する。なぜならば、粒子境界は、1以上の粒子イメージパッチ境界に当たるからであり、従って、粒子イメージの一部のみがパッチイメージによって取り込まれたからである。LPFスキャンと同様に、好ましい実施の形態の部分的取り込みテストは、基本的に、それらが背景ピクセルを表すことを保証するために、パッチの境界を形成するピクセルを見る。これは、パッチ境界上の累積的強度ヒストグラムを収集し、これらの強度の下限と上限を計算することによってなされる。好ましい実施の形態の下限は、ヒストグラムの底から3番目の値かヒストグラムの底から2%の値のいずれか大きい方である。上限は、ヒストグラムの上部から3番目の値かヒストグラムの上部から2%の値のいずれか大きい方である。パッチイメージは、(例えば、0〜255までの範囲を持つピクセル強度の)下限が185より小さいならば、部分的取り込みと思われる。同じく、パッチは、粒子イメージの円光がパッチイメージ境界を教示する場合を処理するために、上限が250以下であり、下限が200より小さいならば、部分的取り込みと思われる。
【0062】
部分的取り込みテストに耐えるすべての粒子は、それらの分類を維持する。部分的取込みと思われるすべての粒子は、部分的取込みルールによる技術を更に受け、それは、次の6つの基準のいずれかが満たされるならば、人為構造としてそのような粒子を再分類する。
1.それがHPF1サイズボックスに対応したならば。
2.それがRBC、WBC、BYST又はUNCXのいずれかとして分類されなかったならば。
3.それがRBCとして分類されたならば、HPF2サイズボックスに対応され、あるいは5.0以上のストレッチ値を有したならば。
4.それがWBCとして分類され、5.0以上のストレッチ値を有したならば。
5.それがUNCXとして分類され、10.0以上のストレッチ値を有したならば。
6.それがBYSTとして分類され、20.0以上のストレッチ値を有したならば。
これらの6つの基準のいずれも粒子イメージによって満たされないならば、ニューラルネット分類は、たとえ終始が部分的取込みとみなされたとしても有効であることを許容され、HPFスキャン処理は、完了する。これらの6つのルールは、部分的取込みがニューラルネット決定処理をゆがめないが、部分的取込みが間違った決定に至るような粒子を除去する場合には、部分的分類決定を続けることを選択された。
【0063】
どの特徴が上述の各ニューラルネットのために用いられるべきであるかを最良に決定するために、あらゆる所定のニューラルネットに入力される特徴値は、小さい量より一つずつ変更され、ニューラルネット出力のこうかは、記録される。ニューラルネットの出力に対する最大効果を有する特徴が用いられるべきである。
【0064】
後処理決定
一旦、すべての粒子イメージが部分的タイプによって分類されると、後決定処理が、分類結果の精度を更に増すために実行される。この処理は、結果の一式を考慮して、全体として、信頼できると考慮されない分類結果を取り除く。
【0065】
ユーザ設定可能な集中閾値は、全結果のための雑音レベル閾値を確立する後決定処理の一タイプである。これらの閾値はユーザによって設定され得る。ニューラルネット分類イメージ集中が閾値より小さいならば、カテゴリー内のすべての粒子は、人為構造として再分類される。例えば、HPFスキャンが全サンプルのただ2,3のRBCのみを見出すならば、これらは間違った結果であり、これらの粒子は、人為構造として再分類される。
【0066】
過度な不定形の検出は、あまりにも多くの粒子が不定形として分類されるならば、疑わしい結果を捨てるもう一つの後決定プロセスである。好ましい実施の形態では、不定形でないHPFパッチが10以上あり、それらの60%以上がニューラルネットによって不定形であると分類されるならば、全標本の結果は、信頼できないとして捨てられる。
【0067】
好ましい実施の形態は、また、多くのLPF間違いの明確なフィルタを含み、それは、矛盾しあるいは疑わしい結果を捨てる。HPF粒子と異なり、LPF人為構造は、すべての形状と大きさがある。多くの場合、システムの決定で、真の臨床的に重要な分析物からLPF人為構造を識別することが不可能である。LPF人為構造のための間違った実在を減らすために、多くのフィルタがネットによってなされる集計決定を見るために用いられ、ただ意味を為さないそれらの結果を捨てる。例えば、HPF WBCカウントが9より小さいならば、白血球のクランプが、白血球が十分な数見美出されないならばおそらく存在しないので、すべてのLPF WBCCは人為構造として再分類されるべきである。さらに、これらの粒子がそのように少ない数存在しそうにないので、あるタイプのちょうど2,3の粒子の検出は、無視されるべきである。好ましい実施の形態では、システムは、3以上のLPF UNCX検出粒子、あるいは2以上のLPF NSE検出粒子、又は3以上のLPF MUC検出粒子、あるいは2以上のHPF SPRM検出粒子、又は3以上のLPF YEAST検出粒子を見出さなければならない。これらの閾値が満たされないならば、それぞれ粒子は、人為的構造として再分類される。さらに、あらゆるLPF YEAST検出粒子を受けるために、少なくとも2のHPF BYST検出粒子がなければならない。
【0068】
ニューラルネット訓練及び選択
各ニューラルネットは、予め分類されたイメージの訓練セットを用いて訓練される。訓練セットに加えて、予め分類されたイメージの第2のより小さいセットは、テストセットとして予約される。好ましい実施の形態では、NeuralWorksによって出版される商用プログラム「NeuralWare」は、訓練を実行するために用いられる。テストセットの平均誤差が最小にされるとき、訓練が終わる。
【0069】
このプロセスは、多数のスタートするシードとネット構造(すなわち、隠された層と各層における要素の数)のために繰り返される。最終的な選択は、全平均誤差率だけでなく、特定のクラス間の誤差における制約を満足することに基づく。例えば、扁平上皮細胞を病的糞と識別することは望ましくない。なぜならば、扁平上皮細胞は、通常、女性の尿標本に生じるが、病的糞は、異常な状況を示すからである。それゆえ、好ましい実施の形態は、SQEPとしてUNCCのより多くの誤分類を犠牲にして、0.03より小さいUNCC誤差率にSQEPを持つネットを助ける。この状況は、UNCC検出の感度を幾分減らすが、女性の標本における間違った実在を最小にする。それは、女性の尿サンプルの高い割合が異常であると呼ばれるので、十分高い発生頻度で、システムを無能にする。従って、前後差率を最小にするだけでなく、「最適な」ネットの選択における特定の誤差率のコストを考慮する方法を利用し、ネット訓練へのこの選択基準を構築することが望ましい。
【0070】
前述から分かるように、本発明の方法及び装置は、以下の面において先行技術と異なる。先行技術では、各処理段階において、残りの未分類粒子が人為構造又は未知を考慮される状態で、粒子の分類がなされる。粒子の分類を人為構造又は未知のものとして最小にするために、エッチ段階における分類のための値の範囲は大きい。
【0071】
それと対照的に、本発明のエッチ段階における分類のための値の範囲は狭く、そう分類される確実性のより大きい確率を有する粒子のみをもたらし、その残りは、前処理段階に関するさらなる処理のための分類において分類される。本発明のマルチネット構造は、粒子の属性又は物理的特性(例えば、その円形)によって、及び/又は未知のカテゴリーを含む個別の及びグループの粒子分類によって決定空間を分割するために、粒子特徴のサブグループを利用する。これは、決定空間を分割した。それは、各決定における確率因子を作り、利用可能な情報を一層効果的に用いる。その必要性は、限定的であり、この情報が全体決定の同数であるが、各段階におけるより少ない可能な結果を持って作るために用いられるのを効率的に可能にする。前処理及び後処理は、学習情報が決定プロセスの一部として包含されることを可能にする。後処理は、他のソースから利用可能であるか、実際の決定プロセスから収集されたかのいずれかの文脈上の情報の使用が確率因子を更に処理し、決定を向上するのを可能にする。ニューラルネット確実性の使用は、多数の処理力段階において、回避クラス、すなわち人為構造へのイメージを測定する。ある意味で、ガントレットの各段階において「私は知らない」カテゴリーに非常に置かれそうであるガントレットを走らせるために、イメージデータを強制していることとしてこのマルチニューラルアプローチを見ることができる。これは、一つのネットを通して単に走るのよりもずっと強力である。なぜならば、本質的に、達成されるものは、一つのテンプレートができるよりもずっと良く定義されるテンプレートへのデータの多数の適合であり、それは、情報の効率的使用を可能にする。これについて考えるもう一つの方法は、異なるサブ空間におけるデータが分析されることであり、そのサブ空間又はそれが特徴から落ちるその他の特性で、ある意味ではそれが完全にあるいは十分うまく適合するよう要求される。本発明の訓練方法は、訓練セットを通して単に一つのパスでなく、多くのネットから選択し、特徴ベクトルサイズを減らすことを含む。それぞれが物理的特性の特定のセットについて集中して、特徴自体の高い数は、システムの精度を増す。
【0072】
本発明は、上述のここで示された実施の形態に制限されず、添付の特許請求の範囲内におけるあらゆるすべての変更を含むことを理解されたい。それゆえ、本発明が生物学的サンプルのイメージの分類に関して記述されるが、同じく、イメージを分類するために抽出されて用いられ得る特徴を有するあらゆるイメージのためのイメージ分析を含むことを理解されたい。例えば、本発明は、顔認識のために用いられ得る。特徴は、顔イメージが識別され、予め決められた分類に分類され得るように、目、鼻、口など、あるいは顔形状や大きさのようなより一般的特徴の形状、大きさ、位置及び寸法を識別し、分類するために抽出され得る。
【図面の簡単な説明】
【図1】
本発明の方法を示すフロー図である。
【図2】
本発明の装置の概略図である。
【図3】
図3A及び3Bは、本発明の境界強調を示すフロー図である。
【図4】
本発明の対称特徴抽出を示す図である。
【図5】
図5A〜5Dは、種々の形状の骨格化を示す図である。
【図6】
図6Aは、本発明のLPFスキャン処理を示すフロー図である。
図6Bは、本発明のLPFスキャン処理で用いられるニューラルネット分類のフロー図である。
【図7】
図7Aは、本発明のHPFスキャン処理を示すフロー図である。
図7Bは、本発明のHPFスキャン処理で用いられるニューラルネット分類のフロー図である。
【図8】
本発明で用いられるニューラルネットの概略図である。
【図9】
図9A〜9Cは、本発明のLPF及びHPFスキャン処理における種々のニューラルネットで用いられる粒子特徴を示す表である。

Claims (24)

  1. 複数の分類クラスの一つにあるイメージ内の要素を分類する方法であって、該要素は複数の特徴を有し、その方法は、
    前記要素の前記イメージから前記複数の特徴を抽出するステップと、
    以下の少なくとも一つのサブステップによって前記要素の分類クラスを決定するステップと、
    前記要素の物理的特性を決定するために、抽出された特徴の第1のサブグループを選択して処理し、前記要素の分類クラスを決定するために決定された物理的特性に応じて、抽出された特徴の第2のサブグループを選択して処理するサブステップと、
    前記要素の一群の分類クラスを決定するために、抽出された特徴の第3のサブグループを選択して処理し、前記要素の分類クラスを決定するために、決定された分類クラスグループに応じて、抽出された特徴の第4のサブグループを選択して処理するサブステップと、
    複数の前に決定された分類クラス決定に基づいて、前記要素の決定された分類クラスを変更するステップと、
    を含むことを特徴とする方法。
  2. 前記要素が生物学的粒子であることを特徴とする請求項1記載の方法。
  3. 前記決定のそれぞれは、確率因子を割り当てるステップを含み、前記方法は、前記要素を分類するために用いられる1以上の確率因子が予め決められた閾値を越え損ねる場合には、人為構造分類に決定された分類クラスを変更するステップを更に含むことを特徴とする請求項1記載の方法。
  4. 前記要素の物理的特性に基づいて人為構造として該要素を分類するステップであって、該人為構造要素は、前記要素の分類クラスの決定を回避する、前記分類ステップを更に含むことを特徴とする請求項1記載の方法。
  5. 前記要素の境界が前記要素を含むイメージの境界と相交わるか否かを決定するステップと、
    前記要素境界及びイメージ境界が交わるように決定される場合には、前記要素の決められた分類クラスを人為構造分類に変更するステップと、
    を更に含むことを特徴とする請求項1記載の方法。
  6. 前記抽出された特徴の前記第1、第2、第3及び第4の処理は、ニューラルネットを用いて実行されることを特徴とする請求項1記載の方法。
  7. 要素のテストセットとともに、既知の要素の訓練セットを用いて、抽出された特徴の第1、第2、第3及び第4のサブグループを選択して処理することによって、前記ニューラルネットを訓練するステップであって、ニューラルネットの訓練は、要素のテストセットの分類クラスの決定の精度割合が予め決められた値に達するまで繰返し実行される、前記訓練ステップを更に含むことを特徴とする請求項6記載の方法。
  8. 予め決められた量だけ特徴値のそれぞれを変更するとともに、それぞれニューラルネットの出力の最大のものに影響を与える特徴を選択することによって、前記複数の特徴の第1、第2、第3及び第4のサブグループは、選択されることを特徴とする請求項6記載の方法。
  9. 前記複数の抽出された特徴の一つは、前記要素の対称性であり、該対称特徴の抽出は、
    前記要素の重心を横切る第1の線分を画定するステップと、
    反対方向に前記第1の線分から離れて直交方向に延伸する第1の線分に沿うポイントのための第2及び第3の線分を画定するステップと、
    前記要素の抽出された対称特徴を計算するために、前記第2及び第3の線分の長さの差を利用するステップと、
    を含むことを特徴とする請求項1記載の方法。
  10. 前記複数の抽出された特徴の一つは、前記要素イメージの骨格化であり、該骨格化特徴の抽出は、1以上の線分を形成するために、前記要素の境界を直交してつぶすことを含むことを特徴とする請求項1記載の方法。
  11. 前記複数の抽出された特徴の一つは、前記要素イメージの空間的分布の測定であり、該複数の抽出された特徴の少なくとももう一つは、該要素の空間的周波数領域の測定であることを特徴とする請求項1記載の方法。
  12. 複数の分類クラスの一つにあるイメージ内の要素を分類する画像装置であって、該要素は複数の特徴を有し、該装置は、
    前記要素の前記イメージから前記複数の特徴を抽出する手段と、
    前記要素の分類クラスを決定する手段であって、該決定手段は、
    前記要素の物理的特性を決定するために、抽出された特徴の第1のサブグループを選択して処理する手段、及び、前記要素の分類クラスを決定するために、決定された物理的特性に応じて、抽出された特徴の第2のサブグループを選択して処理する手段と、
    前記要素の一群の分類クラスを決定するために、抽出された特徴の第3のサブグループを選択して処理する手段、及び、前記要素の分類クラスを決定するために、決定された分類クラスグループに応じて、抽出された特徴の第4のサブグループを選択して処理する手段と、の少なくとも一つを含む、前記決定手段と、
    複数の前に決定された分類クラス決定に基づいて、前記要素の決定された分類クラスを変更する手段と、
    を備えることを特徴とする装置。
  13. 前記要素が生物学的粒子であることを特徴とする請求項12記載の装置。
  14. 前記決定のそれぞれは、確率因子を割り当てることを含み、前記決定手段は、前記要素を分類するために用いられる1以上の確率因子が予め決められた閾値を越え損ねる場合には、決定された分類クラスを人為構造分類に変更する手段を更に含むことを特徴とする請求項12記載の装置。
  15. 前記要素の物理的特性に基づいて人為構造として該要素を分類する手段であって、該人為構造要素は、前記要素の分類クラスの決定を回避する、前記分類手段を更に含むことを特徴とする請求項12記載の装置。
  16. 前記要素の境界が前記要素を含むイメージの境界と相交わるか否かを決定する手段と、
    前記要素境界及びイメージ境界が交わるように決定される場合には、前記要素の決められた分類クラスを人為構造分類に変更する手段と、
    を更に備えることを特徴とする請求項12記載の装置。
  17. 前記抽出された特徴の前記第1、第2、第3及び第4の処理は、ニューラルネットを用いて実行されることを特徴とする請求項12記載の装置。
  18. 要素のテストセットとともに、既知の要素の訓練セットを用いて、抽出された特徴の第1、第2、第3及び第4のサブグループを選択して処理することによって、前記ニューラルネットを訓練する手段であって、要素のテストセットの分類クラスの決定の精度割合が予め決められた値に達するまで、訓練手段が繰返して訓練する、前記訓練手段を更に含むことを特徴とする請求項17記載の装置。
  19. 予め決められた量だけ特徴値のそれぞれを変更するとともに、それぞれニューラルネットの出力の最大のものに影響を与える特徴を選択することによって、前記複数の特徴の第1、第2、第3及び第4のサブグループは、選択されることを特徴とする請求項17記載の装置。
  20. 前記複数の抽出された特徴の一つは、前記要素の対称性であり、前記抽出手段は、
    前記要素の重心を横切る第1の線分を画定する手段と、
    反対方向に前記第1の線分から離れて直交方向に延伸する第1の線分に沿うポイントのための第2及び第3の線分を画定する手段と、
    前記要素の抽出された対称特徴を計算するために、前記第2及び第3の線分の長さの差を利用する手段と、
    を備えることを特徴とする請求項12記載の装置。
  21. 前記複数の抽出された特徴の一つは、前記要素イメージの骨格化であり、前記抽出手段は、1以上の線分を形成するために、前記要素の境界を直交してつぶす手段を更に備えることを特徴とする請求項12記載の装置。
  22. 前記複数の抽出された特徴の一つは、前記要素イメージの空間的分布の測定であり、該複数の抽出された特徴の少なくとももう一つは、該要素の空間的周波数領域の測定であることを特徴とする請求項12記載の装置。
  23. 複数の分類の一つにあるイメージ内の要素を分類する方法であって、該要素は複数の特徴を有し、その方法は、
    前記イメージから前記複数の特徴を抽出するステップと、
    第1の決定基準によって抽出された前記複数の特徴に基づいて前記要素の分類を決定するステップであって、該第1の決定基準は、未知の分類として前記要素の分類を含む、決定ステップと、
    前記要素が前記第1の決定基準によって未知の分類として分類される場合には、該第1の決定基準とは異なる第2の決定基準によって前記要素の分類を決定するステップと、
    前記要素が前記第1の決定基準によって複数の分類の一つとして分類される場合には、前記第1及び第2の決定基準とは異なる第3の決定基準によって前記要素の分類を決定するステップと、
    を含むことを特徴とする方法。
  24. 複数の分類クラスの一つにあるイメージ内の要素を分類する画像装置であって、該要素は複数の特徴を有し、その装置は、
    前記要素の前記イメージから前記複数の特徴を抽出器と、
    少なくとも以下の一つによって前記要素の分類クラスを決定する第1のプロセッサと、
    前記要素の物理的特性を決定するために、抽出された特徴の第1のサブグループを選択して処理するとともに、前記要素の分類クラスを決定するために、決定された物理的特性に応じて、抽出された特徴の第2のサブグループを選択して処理する、
    前記要素の一群の分類クラスを決定するために、抽出された特徴の第3のサブグループを選択して処理するとともに、前記要素の分類クラスを決定するために、決定された分類クラスグループに応じて、抽出された特徴の第4のサブグループを選択して処理する、
    複数の前に決定された分類クラス決定に基づいて、前記要素の決定された分類クラスを変更する第2のプロセッサと、
    を備えることを特徴とする装置。
JP2001579226A 2000-04-24 2001-04-24 マルチニューラルネット画像装置及びその方法 Expired - Lifetime JP4945045B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US19923700P 2000-04-24 2000-04-24
PCT/US2001/013451 WO2001082216A1 (en) 2000-04-24 2001-04-24 Multi-neural net imaging apparatus and method
US09/841,941 US6947586B2 (en) 2000-04-24 2001-04-24 Multi-neural net imaging apparatus and method

Publications (3)

Publication Number Publication Date
JP2004505233A true JP2004505233A (ja) 2004-02-19
JP2004505233A5 JP2004505233A5 (ja) 2008-06-05
JP4945045B2 JP4945045B2 (ja) 2012-06-06

Family

ID=46149960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001579226A Expired - Lifetime JP4945045B2 (ja) 2000-04-24 2001-04-24 マルチニューラルネット画像装置及びその方法

Country Status (6)

Country Link
JP (1) JP4945045B2 (ja)
AT (1) ATE434799T1 (ja)
AU (1) AU2001257299A1 (ja)
CA (1) CA2377602C (ja)
DK (1) DK1301894T3 (ja)
ES (1) ES2328450T3 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010060564A (ja) * 2002-08-15 2010-03-18 Qinetiq Ltd 組織学的アセスメント
WO2010100704A1 (ja) * 2009-03-04 2010-09-10 日本電気株式会社 画像診断支援装置、画像診断支援方法、及び記憶媒体
JP2019529882A (ja) * 2016-08-22 2019-10-17 アイリス インターナショナル, インコーポレイテッド 生体粒子の分類のシステム及び方法
WO2020066209A1 (ja) * 2018-09-27 2020-04-02 株式会社堀場製作所 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
JP2021526864A (ja) * 2018-06-13 2021-10-11 パターン バイオサイエンス インコーポレイテッド 限局された容量のアレイを使用する、サンプルの細胞表現型評価のための組成物および方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2388169B1 (es) * 2010-02-25 2013-08-19 Universidad De León Procedimiento de visión artificial para la detección de gotas citoplasmáticas distales en espermatozoides.
JP6092132B2 (ja) * 2014-01-29 2017-03-08 シスメックス株式会社 血球分析装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03131756A (ja) * 1989-10-18 1991-06-05 Hitachi Ltd 血球自動分類装置
JPH07286954A (ja) * 1994-04-19 1995-10-31 Hitachi Ltd 細胞自動分類装置
JPH0829317A (ja) * 1994-07-18 1996-02-02 Hitachi Ltd 粒子自動分類システム
JPH0991430A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd パターン認識装置
JPH10302067A (ja) * 1997-04-23 1998-11-13 Hitachi Ltd パターン認識装置
JPH11132933A (ja) * 1997-10-29 1999-05-21 Hitachi Ltd 生体に関する粒子再分類方法
JPH11132984A (ja) * 1997-10-24 1999-05-21 Fuji Electric Co Ltd ガスセンサ用検知素子の製造方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03131756A (ja) * 1989-10-18 1991-06-05 Hitachi Ltd 血球自動分類装置
JPH07286954A (ja) * 1994-04-19 1995-10-31 Hitachi Ltd 細胞自動分類装置
JPH0829317A (ja) * 1994-07-18 1996-02-02 Hitachi Ltd 粒子自動分類システム
JPH0991430A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd パターン認識装置
JPH10302067A (ja) * 1997-04-23 1998-11-13 Hitachi Ltd パターン認識装置
JPH11132984A (ja) * 1997-10-24 1999-05-21 Fuji Electric Co Ltd ガスセンサ用検知素子の製造方法
JPH11132933A (ja) * 1997-10-29 1999-05-21 Hitachi Ltd 生体に関する粒子再分類方法
JPH11132932A (ja) * 1997-10-29 1999-05-21 Hitachi Ltd 生体に関する粒子画像分類システムおよび粒子の再分類方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010060564A (ja) * 2002-08-15 2010-03-18 Qinetiq Ltd 組織学的アセスメント
WO2010100704A1 (ja) * 2009-03-04 2010-09-10 日本電気株式会社 画像診断支援装置、画像診断支援方法、及び記憶媒体
JP2010203949A (ja) * 2009-03-04 2010-09-16 Nec Corp 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
US8787636B2 (en) 2009-03-04 2014-07-22 Nec Corporation Diagnostic imaging support in which image data of high magnification is generated to image data of low magnification for classification thereof
US11403751B2 (en) 2016-08-22 2022-08-02 Iris International, Inc. System and method of classification of biological particles
JP7104691B2 (ja) 2016-08-22 2022-07-21 アイリス インターナショナル, インコーポレイテッド 生体粒子の分類のシステム及び方法
JP2019529882A (ja) * 2016-08-22 2019-10-17 アイリス インターナショナル, インコーポレイテッド 生体粒子の分類のシステム及び方法
JP2022137166A (ja) * 2016-08-22 2022-09-21 アイリス インターナショナル, インコーポレイテッド 生体粒子の分類のシステム及び方法
JP7465914B2 (ja) 2016-08-22 2024-04-11 アイリス インターナショナル, インコーポレイテッド 生体粒子の分類のシステム及び方法
JP2021526864A (ja) * 2018-06-13 2021-10-11 パターン バイオサイエンス インコーポレイテッド 限局された容量のアレイを使用する、サンプルの細胞表現型評価のための組成物および方法
WO2020066209A1 (ja) * 2018-09-27 2020-04-02 株式会社堀場製作所 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
JPWO2020066209A1 (ja) * 2018-09-27 2021-09-09 株式会社堀場製作所 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
JP7538718B2 (ja) 2018-09-27 2024-08-22 株式会社堀場製作所 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置
US12105009B2 (en) 2018-09-27 2024-10-01 Horiba, Ltd. Method for generating data for particle analysis, program for generating data for particle analysis, and device for generating data for particle analysis

Also Published As

Publication number Publication date
JP4945045B2 (ja) 2012-06-06
AU2001257299A1 (en) 2001-11-07
CA2377602C (en) 2012-04-10
DK1301894T3 (da) 2009-08-24
ES2328450T3 (es) 2009-11-13
CA2377602A1 (en) 2001-11-01
ATE434799T1 (de) 2009-07-15

Similar Documents

Publication Publication Date Title
US6947586B2 (en) Multi-neural net imaging apparatus and method
US7236623B2 (en) Analyte recognition for urinalysis diagnostic system
Amin et al. Recognition of acute lymphoblastic leukemia cells in microscopic images using k-means clustering and support vector machine classifier
JP5425814B2 (ja) サポートベクタマシンを用いてフローサイトメトリーデータを分析するための方法及びシステム
JP2019529882A (ja) 生体粒子の分類のシステム及び方法
Luo et al. Comparison of statistical and neural network methods for classifying cereal grains using machine vision
US8068132B2 (en) Method for identifying Guignardia citricarpa
JPS6171337A (ja) フローサイトメトリー法を用いる粒子の検出および分類のための装置および方法
WO2013037119A1 (zh) 红细胞形态学分析装置及其方法
CN110473167B (zh) 一种基于深度学习的尿沉渣图像识别系统及方法
CN116188423B (zh) 基于病理切片高光谱图像的超像素稀疏解混检测方法
CN114821189B (zh) 一种基于眼底图像的病灶图像分类与识别方法
KR102624956B1 (ko) 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법
WO2020004101A1 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
Bhuiyan et al. Automatic acute lymphoblastic leukemia detection and comparative analysis from images
Susrama et al. Automated analysis of human sperm number and concentration (oligospermia) using otsu threshold method and labelling
JP4945045B2 (ja) マルチニューラルネット画像装置及びその方法
Athira et al. Automatic detection of diabetic retinopathy using R-CNN
EP1301894B1 (en) Multi-neural net imaging apparatus and method
Sulaiman et al. Semi-automated pseudo colour features extraction technique for cervical cancer's pap smear images
CN1226609C (zh) 分析生物样品用的方法
Duanggate et al. A review of image analysis and pattern classification techniques for automatic pap smear screening process
JP2006507486A (ja) 細管の自動組織学的類別
CN111401119A (zh) 细胞核的分类
RU2785607C1 (ru) Способ распознавания структуры ядер бластов крови и костного мозга

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110627

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120305

R150 Certificate of patent or registration of utility model

Ref document number: 4945045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term