JP2006510006A - 自動流動顕微鏡のための粒子抽出 - Google Patents

自動流動顕微鏡のための粒子抽出 Download PDF

Info

Publication number
JP2006510006A
JP2006510006A JP2004553950A JP2004553950A JP2006510006A JP 2006510006 A JP2006510006 A JP 2006510006A JP 2004553950 A JP2004553950 A JP 2004553950A JP 2004553950 A JP2004553950 A JP 2004553950A JP 2006510006 A JP2006510006 A JP 2006510006A
Authority
JP
Japan
Prior art keywords
patch
pixels
pixel
value
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004553950A
Other languages
English (en)
Other versions
JP4038210B2 (ja
Inventor
エリック シャポウラウド
Original Assignee
インターナショナル リモート イメイジング システムズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターナショナル リモート イメイジング システムズ インコーポレイテッド filed Critical インターナショナル リモート イメイジング システムズ インコーポレイテッド
Publication of JP2006510006A publication Critical patent/JP2006510006A/ja
Application granted granted Critical
Publication of JP4038210B2 publication Critical patent/JP4038210B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Dispersion Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

物体の境界の所在を突き止める方法及び装置。複数の画素を有する物体の電子画像を形成する。物体のエッジセグメントを表す画素の群を識別する。パッチを画素群の周りに形成し、各パッチをこれが画素群のうちの一つを完全に含むよう寸法決めすると共に位置決めする。互いに所定量だけオーバーラップしたパッチのうちのどれか2つを互いにマージして2つのマージしたパッチを完全に含むよう寸法決めされると共に位置決めされたマージ済みパッチを形成するパッチマージプロセスを実施する。マージプロセスは、所定量だけ互いにオーバーラップしたパッチとマージ済みパッチが存在しないようになるまで互いにオーバーラップしているパッチ及びマージ済みパッチの任意のものについて続行する。マージ済みパッチのうちの一つの中に含まれたエッジセグメントを全て、物体の境界を表すものとして相互に関連付ける。

Description

本願は、2002年11月18日に出願された米国仮特許出願第60/427,466号の権益主張出願である。
発明の分野
本発明は、希釈流体サンプル中の粒子を分析する方法及びシステムに関し、特に、視野中の物体の境界の所在を自動的に突き止める方法及び装置に関する。
発明の背景
希釈流体サンプル中の粒子を分析する方法及びシステムは、米国特許第4,338,024号明細書及び第4,393,466号明細書に開示されているように周知である。既存の流動顕微鏡型粒子分析器が、粒子を背景とのこれらの明るさの違いに基づいて検出する画像収集装置及びソフトウェアを用いている。米国特許第4,538,299号明細書及び第5,625,709号明細書は、かかる分析器の例を記載している。残念なことに、現在用いられているシステム及び方法は、低コントラスト粒子を効率的に検出することができない場合が多く、しかも、同一物体の互いに異なる部分を異なる物体として識別する場合が多く、その結果、分類及び報告された要素の量が不正確になる。
発明の概要
本発明は、粒子画像を正確に識別し、各々が単一の粒子の画像を含む画像セグメントを生じさせる方法である。
本発明は、視野中の関心のある物体の境界の所在を自動的に突き止める方法であって、物体を含む視野の電子画像を形成する段階を有し、電子画像は、複数の画素で形成され、物体のエッジセグメントを表す画素の群を識別する段階を有し、パッチを画素群の周りに形成する段階を有し、各パッチは、これが画素群のうちの一つを完全に含むよう寸法決めされると共に位置決めされ、互いに対する所定の近接閾値を満足させるパッチのうちの任意の2つを互いにマージして2つのマージしたパッチを完全に含むよう寸法決めされると共に位置決めされたマージ済みパッチを形成するパッチマージプロセスを実施する段階を有する方法である。マージプロセスは、所定の近接閾値を満足させるパッチ及びマージ済みパッチが存在しないようになるまで所定の近接閾値を満足させるパッチ及びマージ済みパッチの任意のものについて続行する。
本発明は又、視野内の関心のある物体の境界の所在を自動的に突き止める装置であって、物体を含む視野の電子画像を形成する画像化システムを有し、電子画像は、複数の画素で形成され、前記装置は、少なくとも1つのプロセッサを有する装置である。少なくとも1つのプロセッサは、物体のエッジセグメントを表す画素の群を識別し、パッチを画素群の周りに形成し、各パッチは、これが画素群のうちの一つを完全に含むよう寸法決めされると共に位置決めされ、互いに対する所定の近接閾値を満足させるパッチのうちの任意の2つを互いにマージして2つのマージしたパッチを完全に含むよう寸法決めされると共に位置決めされたマージ済みパッチを形成するパッチマージプロセスを実施する。マージプロセスは、所定の近接閾値を満足させるパッチ及びマージ済みパッチが存在しないようになるまで所定の近接閾値を満足させるパッチ及びマージ済みパッチの任意のものについて続行する。
本発明の他の目的及び特徴は、明細書、特許請求の範囲及び添付の図面を参照すると明らかになろう。
好ましい実施形態の詳細な説明
本発明の方法は、低コントラスト粒子検出と物体部分の組み合わせを可能にするよう粒子の検出性を高める。この方法は、5つの基本的段階を有し、図1に概略的に示すように画像化システム2及びプロセッサ4を有する従来型粒子分析器を用いてこの方法を実施することができる。
画像化システム及びプロセッサ
画像化システム2は、関心のある粒子を含むサンプルの視野の画像を作成するために用いられる。画像化システム2は好ましくは、米国特許第4,338,024号明細書、第4、393,466号明細書、第4,538,299号明細書及び第4,612,614号明細書に記載されているような周知の流動顕微鏡であり、これら米国特許明細書の記載内容全体をここに参照により引用する。かかるシステムは、図1に示すように、フローセル10、顕微鏡12及びカメラ14を有している。関心のある流体を含む試料流体をフローセル10の検査領域に通し、それにより粒子の画像が流動顕微鏡12を介して見えるようにする。カメラ14(これは好ましくはCCDカメラである)は、粒子がフローセル10を通って流れているときに顕微鏡12を介して粒子の連続した視野の画像を捕捉し、これら画像をディジタル粒子画像に変換する。カメラ14によって撮られたディジタル粒子画像の各々は、数千の、それどころか数百万の個々の画素から成る。光源16(例えば、ストローブ)が好ましくは、フローセル10の検査領域を(正面照明及び背面照明により)照明するために用いられる。注目されるべきこととして、本発明は非流動性試料流体(例えば検査スライダ上に置かれた試料流体)を分析する画像化システムにも適用できる。
プロセッサ4は、以下に説明するようにディジタル粒子画像を処理できるどのマイクロプロセッサ及び(又は)コンピュータシステム、或いは複数のマイクロプロセッサ及び(又は)コンピュータシステムであってもよい。かかるプロセッサの例としては、データプロセッサ、DPS(ディジタル信号プロセッサ)、マイクロコントローラ及びコンピュータシステム用プロセッサ(これは各々、CISC及び(又は)RISC型のものあるのがよい)が挙げられるが、これらには限定されない。
粒子検出性を高める方法
図2に示すように本発明の粒子検出法には5つの基本的段階があり、これらは、1)背景レベルの設定、2)2値画像の作成、3)粒子エッジの検出、4)パッチの形成、及び5)パッチのマージングである。
段階1:背景レベルの設定
図3は、背景レベルを設定する4つの段階を示している。このプロセスは、各画素の位置についてのメジアン(中央値)背景レベルを作成するだけでなく画像ごとの背景照明の変動(例えば、システムの結果としての精度に悪影響を及ぼす場合のあるストローブ16とは異なる強度)を補償するような仕方でかかる作成を行なう。
第1に(段階1−1では)、透明の流体をフローセル10中に送り(又は検査スライダ上に配置し)、ここで透明な流体のN個の画像をカメラ14により撮り、ディジタル化してN個のディジタル化された背景画像を作成する。非限定的な例として、Nは、3に等しいのがよい。第2に(段階1−2では)、N個の画像の各々についてディジタル背景画像の画素値のヒストグラムを作成し、ここで、各ヒストグラムのピーク値は、その画像についての平均画素値に一致する。第3に(段階1−3では)、所定の「標準化」画素値を選択し、その画素値を各画像の全ての画素値に加算し又はこれらから減算することにより各画像をその画素値に標準化してN個の画像の全てが所定の標準化画素値のところにヒストグラムのピークを有するようにする。例えば、所定の標準化画素値が215であり、N個の画像のうちの1つが210のところにヒストグラムピークを有する場合、その画像の全ての画素を5の値だけ増加させる。N個の画像のうち別の1つが190のところにヒストグラムピークを有する場合、その画像の全ての画素値を25だけ増加させる。かくして、全てのN個の画像を、画像ごとの背景照明の変動を補償する単一の画素値に標準化する。第4に(段階1−4では)、ディジタル画像の各画素位置について、メジアン画素値をN個の画像の全ての画素値(標準化段階1−3により修正された)から求め、ここでメジアン背景レベル画像を画素の位置を基準として画素位置上に作成する。かくして、メジアン背景レベル画像の各画素値は、標準化されたN個の画像の全てからのその画素位置についての修正されたメジアン値を表し、ここでNは、1を含む画像の任意の数であってよい。
好ましくは、所定の標準化画素値は、画素飽和を生じさせることなくできるだけ高く選択される。かくして、画素値が0〜255の範囲にわたる場合のあるシステムでは、所定の標準化画素値は、背景画像の画素値のどれもが255に達することがないように選択される。
背景照明(例えば、フラッシュごとの)変動を補償することによりシステムは、以下に詳細に説明するように背景画素と粒子エッジを正確に反映する画素を識別するための低い閾値で動作することができる。注目されるべきこととして、画像ごとの背景照明変動が最小であるシステムに関し、段階1−2及び1−3の照明に関する補償を省くことができ、それにより、たとえNが1に等しくても、メジアン背景レベル画像を段階1−1で得られたN個の画像の測定画素値から直接段階1−4で計算する(その標準化を行なわないで)。Nが1に等しい場合、メジアン画素値は、測定画素値である。
段階2:2値画像作成
図4は、2値画像を作成する段階を示している。第1に(段階2−1)、関心のある粒子を含む試料流体をフローセル中に送り(又は、検査スライダ上に配置し)、ここで試料流体(及びその中の粒子)の画像をカメラ14で撮り、これらをディジタル化してディジタル試料画像を形成する。必ずしも必要ではないが、好ましくは、上述の照明補償(段階1−1及び1−3)を試料画像の各々について実施する(試料画像ごとの照明の差を補償するため)。具体的には、画素値のヒストグラムを試料画像の各々について作り、ここで、各ヒストグラムのピーク値は、その試料画像に関する平均画素値に一致する(段階2−2)。所定の標準化画素値を選択し(好ましくは、画素の飽和を回避しながら可能な限り最も高い値を用いて)、その画素値を各画像の全ての画素値に加算し又はこれらから減算することにより各画像をその画素値に標準化してN個の画像の全てが所定の標準化画素値のところにヒストグラムのピークを有するようにする(段階2−3)。好ましくは、試料画像に関する所定の標準化画素値は、背景画像を標準化するために用いられた画素値と同一である。最後に、2値画像を画素別に各試料画像について作成し(段階2−4)、それによりメジアン背景レベル画像値と試料画像値の差が所定の閾値Xを超える画素だけを強調する。
図5は、2値画像の一例を示しており、対応の試料画像画素値とメジアン背景レベル画像画素値の差が閾値Xを超えている場合、2値画像画素には第1の値(例えば、「1」)が割り当てられ、残りの2値画像画素には第2の画素値(例えば、「0」)が割り当てられる。注目されるべきこととして、背面照明された試料画像に関し、背景に対応した画素は、粒子の部分に対応した画素よりも明るい(強度が高い)。
所定の閾値Xは、低コントラスト粒子の画像についてシステムの感度を最大にするために多過ぎるノイズを生じさせないでできるだけ小さく選択される。閾値を高過ぎるレベルに設定する場合、システムは、実際に粒子の部分部分に相当する幾つかの画素を背景の一部として誤って識別することになる。閾値を低過ぎるレベルに設定すると、システムは、実際に背景の部分部分に相当する幾つかの画素を粒子の一部として誤って識別することになる。最善の結果を得るためには、理想的な閾値Xは、各システムについて実験的に決定されるべきである。
段階3:エッジ検出
試料画像の各々に関し、段階3で作成された対応の2値画像を用いて試料画像中の種々の粒子のエッジを突き止める。画像化システムにおける粒子エッジ検出は周知であり、かかる検出には、試料画像中の粒子のエッジに対応した試料画像の画素を識別するプロセスが含まれる。例えば、粒子エッジに対応した画素を、一方の側に画像の背景に対応した隣接の画素を有すると共に他方の側に粒子内部に対応した隣接の画素を有するものとして識別する場合が多い。典型的なエッジ検出法は、1以上のエッジ画素を識別することによって始まり、次いで、既にそのようにして識別された画素に隣接したかかる数よりも多くのエッジ画素があるかどうかについてサーチする。例示の粒子エッジ追跡法は、米国特許第5,626,709号明細書及び第4,538,299号明細書に開示されており、これら米国特許明細書の記載内容をここに参照により引用する。エッジ画素をいったん識別すると、かかるエッジ画素を画像の残部(これは、画像の背景及び粒子内部に相当している)から識別する。例えば、図6に示すように、図2の2値画像をエッジ検出法により処理してエッジ画素として識別された画素が「1」として割り当てられたままの状態にするのがよく、残りの画素には全て、「0」が割り当てられる。その結果、複数の画素が粒子エッジ又はエッジセグメントを定める(エッジセグメントは、粒子エッジの少なくとも一部を連続的に定める一群のエッジ画素によって形成される)。
段階4:パッチ形成
各試料画像の場合、矩形のパッチを検出された各粒子エッジ又はエッジセグメントの周りに作成し、この場合、各パッチは、検出された粒子エッジ又はエッジセグメントの全体を依然として含んだ状態でできる限り小さく寸法決めされる。図6の2値画像についての矩形パッチの単純な例示の作成法が、図7に示されており、この場合、一粒子についての4つの別々のエッジセグメントの結果、4つの矩形パッチ(P1,P2,P3,P4)が得られる。
任意的に行なわれる段階として、各パッチの壁の各々を同一の所定量だけパッチ中心から拡大して遠ざけることにより各パッチを拡大させることができる。例えば、パッチサイズが10×20画素であり、所定量が5画素である場合、各パッチの壁を5画素だけ戻し、後に20×30のパッチサイズが残るようにする。最も正確な粒子識別結果を生じさせる最適の所定拡大量は、システムの設計に応じて様々であり、実験により決定できる。実用化された粒子分析器では、10×20のパッチサイズを34×44のパッチサイズに拡大するよう最適な所定拡大量を試行錯誤により12画素(画像全体中の全部で約140万画素のうちから)であるよう決定した。パッチは好ましくは、第5であって最後の段階に進む前に拡大される。
段階5:パッチのマージ
最終段階は、互いにオーバーラップしているパッチを連続的にマージして同一粒子に属するパッチ(及びその中のエッジセグメント)を識別することである。マージプロセスは、段階4から得られ(場合によっては、拡大され)画素の所定の数Yよりも多い数を共有することにより互いにオーバーラップしているパッチのうちのどれかを互いにマージすることにより開始する。かくして、その基準を満たす2つのパッチの場合、これら2つのパッチを単一のパッチにマージし、この場合、単一パッチは、互いにオーバーラップしたパッチの両方に完全に含むのがよい最も小さな矩形を表す。このマージングプロセスは、段階4からの元々のパッチ、現段階のマージ済みパッチ及び(又は)これら2つの任意の組み合わせを用いて続行し、遂には、上述の基準を用いてはそれ以上マージできるパッチがないようになる。
図8A〜図8Cは、図7からのパッチのマージングの単純化された例を示している。図7では、パッチのうちの2つ(P1,P2)が、(共通の2つの画素を有することにより)互いにオーバーラップしている。画素の所定数Yが2を超えないと仮定すると、パッチP1,P2を図8Aに示すように互いにマージして単一のマージ済みパッチP5にする。今や、パッチP5は、パッチP3とオーバーラップしており、図8Bは、結果的にマージ済みパッチP6が得られるようにするパッチP5,P3のマージの仕方を示している。この特定の例では、マージングはそれ以上起こらない。というのは、パッチP6は、パッチP4とオーバーラップしていないからである。図5Bは、任意のパッチ拡大段階を利用すべき理由についての良好な例を示している。というのは、これにより、同一粒子からの他のパッチに隣接しているがこれとは別のパッチが最終マージ済みパッチに含まれるようになるからである。パッチマージプロセス前又はその間にちょうど単一の画素のパッチ拡大を行なった場合、同一粒子の4つの互いに別個の粒子エッジセグメントを表す元のパッチのうちの4つ(P1,P2,P3,P4)は全て、図8Cに示すように最終マージ済みパッチP7に正しく含まれている。
パッチのマージングがいったん完了すると、最終パッチのうちの1つの中に見られるエッジセグメントを単一の粒子に関連付け(その単一粒子の境界を表すものとして)、その最終パッチの外部に見られるエッジセグメントを非粒子又は隣接しているが別個の粒子の一部として関連付ける。この時点で、1つの最終パッチ内のエッジセグメント相互間の隙間を埋めると、単一で且つ連続した粒子エッジを形成することができる。
2つのパッチをマージするのに必要な画素の所定数Yの最適値は、システムによって様々であり、実験により決定できる。実用化された粒子分析器では、50画素(画像全体の全部で140万画素のうちから)が、オーバーラップ状態にあるパッチのマージングをトリガする共有画素の最適所定数Yであることが判明した。パッチマージプロセスをいったん完了すると、残りの各パッチは、単一粒子の画像を含んで余りある。
互いに別々であって既知のパッチの各粒子を互いに隔離することにより、システムは、同一粒子の互いに異なる部分を互いに異なる粒子として識別するのを高信頼度で回避することができ、それにより、一粒子のエッジ部分を別の粒子のエッジ部分に橋渡しする恐れ無く、各パッチ内で粒子エッジ中の隙間を埋めることができる。
パッチの互いにオーバーラップした境界に関し上述すると共に図示しているパッチマージングを説明する。しかしながら、パッチマージングは、パッチの近接性を測定する任意のやり方で実施でき、パッチは、もしこれらが特定の近接性閾値に適合していればマージされる。図示すると共に上述したように互いに別々の粒子エッジセグメントを含むパッチ境界のオーバーラップにより近接性を簡単に測定できる。しかしながら、加うるに、近接性の他の測定法、例えばパッチ境界部分相互間の1又は複数の測定距離(例えば、互いに最も近くに位置するパッチ境界部分相互間の距離、最も遠くに位置するパッチ境界部分相互間の距離等)又はパッチサイズと離隔距離の両方に基づく重力のような引力判定基準(例えば、パッチの全体サイズ及びパッチ中心間距離を考慮する基準、これは、質量と重力の分析に類似している)を用いてもよく、この場合、「大きな」粒子は、互いにマージするが、ほぼ同じ離隔距離でも大きな粒子と小さな粒子はマージしない場合がある。かくして、近接性閾値は、2つの互いにオーバーラップしたパッチにより共有される画素の特定の数であり又は2つの粒子の境界セグメント相互間の距離であり、或いは、パッチのサイズをパッチ境界又はパッチ中心間距離で割った値である場合がある。
本発明は、上述すると共に図示した実施形態には限定されず、特許請求の範囲に記載された本発明の範囲に属するどの変形例及び全ての変形例を含むものであることは理解されるべきである。例えば、特許請求の範囲の記載及び明細書の記載から明らかなように、図示すると共に特許請求の範囲に記載した順序そのままで全ての方法段階を実施する必要はなく、別個独立のパッチの粒子の適当な隔離を可能にするような順序で実施できる。さらに、パッチの形状は、必ずしも矩形である必要はなく、これらのマージング挙動を最適化するよう形状及び向きが様々であってよい。全ての物体が本来的に凸状であると仮定すると、或る形状、例えば矩形は、隣り合うパッチを積極的に「捕捉」するが、他の形状、例えば円形及び楕円形は、隣り合う物体の捕捉を最小限にする。加うるに、本システムは好ましくは、マージ済みパッチ内に含まれるエッジセグメントを全て物体の境界を表すものとして関連付けるが、必ずしもそうである必要はない。これとは異なり、結果的にマージ済みパッチ内に含まれるエッジセグメントを分析のためにユーザに単に提供してもよく、或いは、他の分析目的でシステムによって用いてもよい。
本発明の方法を実施する粒子分析器の略図である。 本発明の方法段階を示すフローチャートである。 背景レベルを設定する方法段階を示すフローチャートである。 2値画像を作成する方法段階を示すフローチャートである。 図4の方法段階から得られた例示の2値画像についての画素値アレイの一例を示す図である。 エッジ検出後における図5の画素値アレイの一例を示す図である。 パッチの形成後における図6の画素値アレイの一例を示す図である。 単一粒子の周りのパッチのマージング法を示す図7の画素値アレイの一例を示す図である。 単一粒子の周りのパッチのマージング法を示す図7の画素値アレイの一例を示す図である。 単一粒子の周りのパッチのマージング法を示す図7の画素値アレイの一例を示す図である。

Claims (38)

  1. 視野中の関心のある物体の境界の所在を自動的に突き止める方法であって、
    物体を含む視野の電子画像を形成する段階を有し、電子画像は、複数の画素で形成され、
    物体のエッジセグメントを表す画素の群を識別する段階を有し、
    パッチを画素群の周りに形成する段階を有し、各パッチは、これが画素群のうちの一つを完全に含むよう寸法決めされると共に位置決めされ、
    互いに対する所定の近接閾値を満足させるパッチのうちの任意の2つを互いにマージして2つのマージしたパッチを完全に含むよう寸法決めされると共に位置決めされたマージ済みパッチを形成するパッチマージプロセスを実施する段階を有し、マージプロセスは、所定の近接閾値を満足させるパッチ及びマージ済みパッチが存在しないようになるまで所定の近接閾値を満足させるパッチ及びマージ済みパッチの任意のものについて続行することを特徴とする方法。
  2. マージ済みパッチのうちの一つの中に含まれたエッジセグメントを全て、物体の境界を表すものとして相互に関連付ける段階を更に有することを特徴とする請求項1記載の方法。
  3. 所定の近接閾値は、互いにオーバーラップしたパッチ及びマージ済みパッチのうちの任意のものにより共有される所定数の画素であることを特徴とする請求項1記載の方法。
  4. 所定の近接閾値は、パッチ及マージ済みパッチのうちの任意のもの相互間の所定の距離であることを特徴とする請求項1記載の方法。
  5. 所定の距離は、パッチ及びマージ済みパッチの境界から測定されていることを特徴とする請求項4記載の方法。
  6. 所定の距離は、パッチ及びマージ済みパッチの中央部分から測定されていることを特徴とする請求項4記載の方法。
  7. 所定の近接閾値は、パッチ及びマージ済みパッチの寸法及び離隔距離から計算されることを特徴とする請求項1記載の方法。
  8. パッチの形成段階は、画素群のうちの1つを依然として完全に含む状態でパッチの各々をできる限り小さく寸法決めする段階を更に含むことを特徴とする請求項1記載の方法。
  9. パッチをできる限り小さく寸法決めした後、パッチの形成段階は、パッチの壁部分を所定距離パッチの中心から遠ざけることによりパッチの各々を拡張させる段階を更に含むことを特徴とする請求項8記載の方法。
  10. パッチの各々の形状は、矩形であることを特徴とする請求項9記載の方法。
  11. 物体のエッジセグメントを表す画素の群の識別段階は、
    視野の背景レベル画像を形成する段階を含み、背景レベル画像は、各々が位置に関して画素のうちの1つに相当し、各々が画素値を備えた複数の背景レベル画素で構成され、
    物体画素として、対応関係にある背景レベル画素の画素値から少なくとも所定の量だけ変化する画素値を備えた画素の各々を分類する段階を含み、
    物体画素のうちのどれが物体のエッジに相当するかを識別する段階を含むことを特徴とする請求項1記載の方法。
  12. 視野の背景レベル画像の形成段階は、
    関心のある物体を含まない視野のN個の背景電子画像を形成する段階を更に含み、背景電子画像の各々は、各々の位置が背景レベル画像のうちの1つに対応し、各々が画素値を備えた複数の背景画素で形成され、Nは、正の整数であり、
    1つの背景レベル画素に対応した背景画素についての画素値のメジアンを計算することにより背景レベル画素をそれぞれ1つずつ発生させる段階を更に含むことを特徴とする請求項11記載の方法。
  13. 視野のN個の背景電子画像を形成する段階は、透明な流体を視野中へ流す段階を含むことを特徴とする請求項12記載の方法。
  14. 視野の背景レベル画素を形成する段階は、背景レベル画素の発生前にN個の背景電子画像の各々について背景画素値の平均値を標準化する段階を更に含むことを特徴とする請求項12記載の方法。
  15. 背景画素値の平均値を標準化する段階は、
    N個の背景電子画像のそれぞれ1つずつについてのヒストグラムを作成する段階を更に含み、ヒストグラムの各々は、N個の背景電子画像の1つについての背景画素値の平均値に対応したピーク値を有し、
    所定の平均画素値を選択する段階を更に含み、
    N個の背景電子画像についての背景画素値を調整してそのヒストグラムが全て、全体として所定の平均画素値に等しいピーク値を有するようにする段階を更に含むことを特徴とする請求項14記載の方法。
  16. 所定の平均画素値は、調整された背景画素値がその最大画素値を超えないように選択されることを特徴とする請求項15記載の方法。
  17. 物体画素として分類する段階は、物体を含む視野の電子画像の2値画像を作成する段階を更に含み、2値画像は、各々が位置に関して画素の各々のそれぞれに対応した複数の2値画素で構成され、2値画素の各々は、対応の画素が少なくとも所定量だけ対応の背景レベル画素の画素値から変化すると第1の値に割り当てられ、対応の画素値が少なくとも所定の量だけ対応の背景レベル画素の画素値から変化しない場合、第2の値に割り当てられることを特徴とする請求項11記載の方法。
  18. 物体画素のうちどれが物体のエッジに対応するかを識別する段階は、
    第1の値が割り当てられた2値画素のうちで、元々全て第1の値が割り当てられた2値画素の他のものによって囲まれた任意の2値画素を第2の値に割り当て直す段階を含むことを特徴とする請求項17記載の方法。
  19. 画素は各々、値を備え、物体を含む視野の電子画像を形成する段階は、
    物体を含む電子画像に関するヒストグラムを作成する段階を更に含み、ヒストグラムは、画素値の平均値に対応したピーク値を有し、
    所定の平均画素値を選択する段階を更に含み、
    画素値を調整してヒストグラムが全体として所定の平均画素値に等しいピーク値を有するようにする段階を更に含むことを特徴とする請求項1記載の方法。
  20. 視野内の関心のある物体の境界の所在を自動的に突き止める装置であって、物体を含む視野の電子画像を形成する画像化システムを有し、電子画像は、複数の画素で形成され、前記装置は、少なくとも1つのプロセッサを有し、該プロセッサは、
    物体のエッジセグメントを表す画素の群を識別し、
    パッチを画素群の周りに形成し、各パッチは、これが画素群のうちの一つを完全に含むよう寸法決めされると共に位置決めされ、
    互いに対する所定の近接閾値を満足させるパッチのうちの任意の2つを互いにマージして2つのマージしたパッチを完全に含むよう寸法決めされると共に位置決めされたマージ済みパッチを形成するパッチマージプロセスを実施し、マージプロセスは、所定の近接閾値を満足させるパッチ及びマージ済みパッチが存在しないようになるまで所定の近接閾値を満足させるパッチ及びマージ済みパッチの任意のものについて続行することを特徴とする装置。
  21. 少なくとも1つのプロセッサは、マージ済みパッチのうちの1つの中に含まれたエッジセグメントを全て物体の境界を表すものとして関連付けることを特徴とする請求項20記載の装置。
  22. 所定の近接閾値は、互いにオーバーラップしたパッチ及びマージ済みパッチのうちの任意のものにより共有される所定数の画素であることを特徴とする請求項20記載の装置。
  23. 所定の近接閾値は、パッチ及マージ済みパッチのうちの任意のもの相互間の所定の距離であることを特徴とする請求項20記載の装置。
  24. 所定の距離は、パッチ及びマージ済みパッチの境界から測定されていることを特徴とする請求項23記載の装置。
  25. 所定の距離は、パッチ及びマージ済みパッチの中央部分から測定されていることを特徴とする請求項24記載の装置。
  26. 所定の近接閾値は、パッチ及びマージ済みパッチの寸法及び離隔距離から計算されることを特徴とする請求項20記載の装置。
  27. パッチの形成段階は、画素群のうちの1つを依然として完全に含む状態でパッチの各々をできる限り小さく寸法決めする段階を更に含むことを特徴とする請求項20記載の装置。
  28. パッチをできる限り小さく寸法決めした後、少なくとも1つのプロセッサにより実施されるパッチの形成段階は、パッチの壁部分を所定距離パッチの中心から遠ざけることによりパッチの各々を拡張させる段階を更に含むことを特徴とする請求項27記載の装置。
  29. パッチの各々の形状は、矩形であることを特徴とする請求項28記載の装置。
  30. 物体のエッジセグメントを表す画素の群は、少なくとも1つのプロセッサにより識別され、少なくとも1つのプロセッサは、
    視野の背景レベル画像を形成し、背景レベル画像は、各々が位置に関して画素のうちの1つに相当し、各々が画素値を備えた複数の背景レベル画素で構成され、
    物体画素として、対応関係にある背景レベル画素の画素値から少なくとも所定の量だけ変化する画素値を備えた画素の各々を分類し、
    物体画素のうちのどれが物体のエッジに相当するかを識別することを特徴とする請求項20記載の装置。
  31. 前記システムは、
    関心のある物体を含まない視野のN個の背景電子画像を形成し、背景電子画像の各々は、各々の位置が背景レベル画像のうちの1つに対応し、各々が画素値を備えた複数の背景画素で形成され、Nは、正の整数であり、
    1つの背景レベル画素に対応した背景画素についての画素値のメジアンを計算することにより背景レベル画素をそれぞれ1つずつ発生させることにより、
    視野の背景レベル画像を形成することを特徴とする請求項30記載の装置。
  32. 前記システムは、透明な流体を視野中へ流して視野のN個の背景電子画像を形成することを特徴とする請求項31記載の装置。
  33. 少なくとも1つのプロセッサは、
    背景レベル画素の発生前にN個の背景電子画像の各々について背景画素値の平均値を標準化することにより、
    視野の背景レベル画素を形成することを特徴とする請求項31記載の装置。
  34. 少なくとも1つのプロセッサは、
    N個の背景電子画像のそれぞれ1つずつについてのヒストグラムを作成し、ヒストグラムの各々は、N個の背景電子画像の1つについての背景画素値の平均値に対応したピーク値を有し、
    所定の平均画素値を選択し、
    N個の背景電子画像についての背景画素値を調整してそのヒストグラムが全て、全体として所定の平均画素値に等しいピーク値を有するようにすることにより、
    背景画素値の平均値を標準化することを特徴とする請求項33記載の装置。
  35. 少なくとも1つのプロセッサは、調整された背景画素値がその最大画素値を超えないように所定の平均画素値を選択することを特徴とする請求項34記載の装置。
  36. 少なくとも1つのプロセッサは、
    物体を含む視野の電子画像の2値画像を作成し、2値画像は、各々が位置に関して画素の各々のそれぞれに対応した複数の2値画素で構成され、2値画素の各々は、対応の画素が少なくとも所定量だけ対応の背景レベル画素の画素値から変化すると第1の値に割り当てられ、対応の画素値が少なくとも所定の量だけ対応の背景レベル画素の画素値から変化しない場合、第2の値に割り当てられるようにすることにより、
    物体画素として分類することを特徴とする請求項30記載の装置。
  37. 少なくとも1つのプロセッサは、
    第1の値が割り当てられた2値画素のうちで、元々全て第1の値が割り当てられた2値画素の他のものによって囲まれた任意の2値画素を第2の値に割り当て直すことにより、
    物体画素のうちどれが物体のエッジに対応するかを識別することを特徴とする請求項36記載の装置。
  38. 画素は各々、値を備え、少なくとも1つのプロセッサは、更に、
    物体を含む電子画像に関するヒストグラムを作成し、ヒストグラムは、画素値の平均値に対応したピーク値を有し、
    所定の平均画素値を選択し、
    画素値を調整してヒストグラムが全体として所定の平均画素値に等しいピーク値を有するようにすることにより、
    物体を含む視野の電子画像を形成することを特徴とする請求項20記載の装置。
JP2004553950A 2002-11-18 2003-11-17 自動流動顕微鏡のための粒子抽出 Expired - Fee Related JP4038210B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42746602P 2002-11-18 2002-11-18
PCT/US2003/037014 WO2004046736A2 (en) 2002-11-18 2003-11-17 Particle extraction for automatic flow microscope

Publications (2)

Publication Number Publication Date
JP2006510006A true JP2006510006A (ja) 2006-03-23
JP4038210B2 JP4038210B2 (ja) 2008-01-23

Family

ID=32326539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004553950A Expired - Fee Related JP4038210B2 (ja) 2002-11-18 2003-11-17 自動流動顕微鏡のための粒子抽出

Country Status (9)

Country Link
US (1) US7702172B2 (ja)
EP (1) EP1565873B1 (ja)
JP (1) JP4038210B2 (ja)
CN (1) CN100353368C (ja)
AU (1) AU2003294351B2 (ja)
CA (1) CA2505782C (ja)
DK (1) DK1565873T3 (ja)
ES (1) ES2423319T3 (ja)
WO (1) WO2004046736A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009509270A (ja) * 2005-09-21 2009-03-05 ルミネックス・コーポレーション 画像データ処理の方法及びシステム
WO2023176081A1 (ja) * 2022-03-18 2023-09-21 株式会社Screenホールディングス 画像標準化方法および観察装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7822276B2 (en) 2005-02-17 2010-10-26 Iris International, Inc. Method and apparatus for analyzing body fluids
US8014590B2 (en) * 2005-12-07 2011-09-06 Drvision Technologies Llc Method of directed pattern enhancement for flexible recognition
US9594239B1 (en) 2009-06-16 2017-03-14 Lester F. Ludwig Optical tomography for microscopy, cell cytometry, microplate array instrumentation, crystallography, and other applications
US8885035B2 (en) * 2009-06-16 2014-11-11 Lester F. Ludwig Electronic imaging flow-microscope for environmental remote sensing, bioreactor process monitoring, and optical microscopic tomography
US10502666B2 (en) * 2013-02-06 2019-12-10 Alentic Microscience Inc. Sample processing improvements for quantitative microscopy
US9518920B2 (en) 2013-06-26 2016-12-13 Alentic Microscience Inc. Sample processing improvements for microscopy
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4338024A (en) * 1980-05-02 1982-07-06 International Remote Imaging Systems, Inc. Flow analyzer and system for analysis of fluids with particles
US4393466A (en) * 1980-09-12 1983-07-12 International Remote Imaging Systems Method of analyzing particles in a dilute fluid sample
US4612614A (en) 1980-09-12 1986-09-16 International Remote Imaging Systems, Inc. Method of analyzing particles in a fluid sample
US4538299A (en) * 1981-12-04 1985-08-27 International Remote Imaging Systems, Inc. Method and apparatus for locating the boundary of an object
JP2686274B2 (ja) * 1988-03-24 1997-12-08 東亜医用電子株式会社 細胞画像処理方法および装置
US5313948A (en) * 1991-11-28 1994-05-24 Aloka Co., Ltd. Ultrasonic diagnostic apparatus
US5450531A (en) 1992-11-30 1995-09-12 Eastman Kodak Company Resolution enhancement system for combined binary and gray scale halftone images
JP3445394B2 (ja) * 1993-12-17 2003-09-08 ゼロックス・コーポレーション 少なくとも二つのイメージセクションの比較方法
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US5594807A (en) * 1994-12-22 1997-01-14 Siemens Medical Systems, Inc. System and method for adaptive filtering of images based on similarity between histograms
US5625709A (en) * 1994-12-23 1997-04-29 International Remote Imaging Systems, Inc. Method and apparatus for identifying characteristics of an object in a field of view
US5642433A (en) * 1995-07-31 1997-06-24 Neopath, Inc. Method and apparatus for image contrast quality evaluation
US6272253B1 (en) 1995-10-27 2001-08-07 Texas Instruments Incorporated Content-based video compression
US6175227B1 (en) * 1997-07-03 2001-01-16 Coulter International Corp. Potential-sensing method and apparatus for sensing and characterizing particles by the Coulter principle
JP3853034B2 (ja) * 1997-08-13 2006-12-06 シスメックス株式会社 物体の境界決定方法および装置並びに物体の境界決定プログラムを記録した記録媒体
US6061476A (en) * 1997-11-24 2000-05-09 Cognex Corporation Method and apparatus using image subtraction and dynamic thresholding
US6606402B2 (en) * 1998-12-18 2003-08-12 Cognex Corporation System and method for in-line inspection of stencil aperture blockage
US6400846B1 (en) * 1999-06-04 2002-06-04 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to search for object surfaces
US6516097B1 (en) * 1999-07-16 2003-02-04 Lockheed Martin Corporation Image segmentation system
US6947586B2 (en) * 2000-04-24 2005-09-20 International Remote Imaging Systems, Inc. Multi-neural net imaging apparatus and method
US7236623B2 (en) * 2000-04-24 2007-06-26 International Remote Imaging Systems, Inc. Analyte recognition for urinalysis diagnostic system
US7020335B1 (en) * 2000-11-21 2006-03-28 General Dynamics Decision Systems, Inc. Methods and apparatus for object recognition and compression
US7031525B2 (en) * 2002-07-30 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Edge detection based on background change
US7110602B2 (en) * 2002-08-21 2006-09-19 Raytheon Company System and method for detection of image edges using a polar algorithm process
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009509270A (ja) * 2005-09-21 2009-03-05 ルミネックス・コーポレーション 画像データ処理の方法及びシステム
JP2012127969A (ja) * 2005-09-21 2012-07-05 Luminex Corp 画像データ処理の方法及びシステム
WO2023176081A1 (ja) * 2022-03-18 2023-09-21 株式会社Screenホールディングス 画像標準化方法および観察装置

Also Published As

Publication number Publication date
WO2004046736A2 (en) 2004-06-03
US7702172B2 (en) 2010-04-20
ES2423319T3 (es) 2013-09-19
JP4038210B2 (ja) 2008-01-23
AU2003294351A1 (en) 2004-06-15
CA2505782A1 (en) 2004-06-03
EP1565873A4 (en) 2011-04-13
US20040136593A1 (en) 2004-07-15
CN100353368C (zh) 2007-12-05
WO2004046736A3 (en) 2004-07-15
CA2505782C (en) 2011-01-04
CN1739111A (zh) 2006-02-22
DK1565873T3 (da) 2013-09-08
EP1565873A2 (en) 2005-08-24
EP1565873B1 (en) 2013-06-05
AU2003294351B2 (en) 2007-10-04

Similar Documents

Publication Publication Date Title
US8274651B2 (en) Method of inspecting a semiconductor device and an apparatus thereof
CN110402487B (zh) 对从晶片检测的缺陷进行分类的方法和装置
KR102083706B1 (ko) 반도체 검사 레시피 생성, 결함 리뷰 및 계측을 위한 적응적 샘플링
KR102203112B1 (ko) 표준 기준 이미지로부터 결정된 속성에 기초한 결함 검출 및 분류
US9293298B2 (en) Defect discovery and inspection sensitivity optimization using automated classification of corresponding electron beam images
JP5225297B2 (ja) ウエハー上に形成されたダイに於けるアレイ領域の認識方法、ならびに係る方法の設定方法
JP4374303B2 (ja) 検査方法及びその装置
US10861145B2 (en) Defect inspection device and defect inspection method
US20090010527A1 (en) Defect Inspection Method
TW201511157A (zh) 使用設計資料於半導體晶圓上偵測重複缺陷之方法及系統
JP4038210B2 (ja) 自動流動顕微鏡のための粒子抽出
JP2013134666A (ja) 二値画像生成装置、分類装置、二値画像生成方法および分類方法
JP4250931B2 (ja) 外観検査装置および外観検査方法
JP2004177139A (ja) 検査条件データ作成支援プログラム及び検査装置及び検査条件データ作成方法
CN113677980B (zh) 用于检验的缺陷候选生成
JPH03102846A (ja) パターン欠陥検出方法
CN110441315A (zh) 电子部件测试设备和方法
JPH10214327A (ja) 画像を用いた表面欠陥検出方法
CN117853425A (zh) 缺陷检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071102

R150 Certificate of patent or registration of utility model

Ref document number: 4038210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131109

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees