JP2005525550A - 細胞の迅速自動化スクリーニングシステム及び方法 - Google Patents

細胞の迅速自動化スクリーニングシステム及び方法 Download PDF

Info

Publication number
JP2005525550A
JP2005525550A JP2004503932A JP2004503932A JP2005525550A JP 2005525550 A JP2005525550 A JP 2005525550A JP 2004503932 A JP2004503932 A JP 2004503932A JP 2004503932 A JP2004503932 A JP 2004503932A JP 2005525550 A JP2005525550 A JP 2005525550A
Authority
JP
Japan
Prior art keywords
image
cell
analysis
sample
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004503932A
Other languages
English (en)
Inventor
ラム,ピーター
アレクサムドロフ,ユーリー
チブーフ,ジュレク
ドンダース,ポール
サラテ,カルロス
ソルティス,ボーダン・ジェイ
Original Assignee
アマーシャム バイオサイエンセズ ナイアガラ,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アマーシャム バイオサイエンセズ ナイアガラ,インク. filed Critical アマーシャム バイオサイエンセズ ナイアガラ,インク.
Publication of JP2005525550A publication Critical patent/JP2005525550A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G01N33/5008Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics
    • G01N33/502Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics for testing non-proliferative effects
    • G01N33/5026Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics for testing non-proliferative effects on cell morphology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497Particle shape
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2333/00Assays involving biological materials from specific organisms or of a specific nature
    • G01N2333/435Assays involving biological materials from specific organisms or of a specific nature from animals; from humans
    • G01N2333/46Assays involving biological materials from specific organisms or of a specific nature from animals; from humans from vertebrates
    • G01N2333/4603Assays involving biological materials from specific organisms or of a specific nature from animals; from humans from vertebrates from fish
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Toxicology (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Biotechnology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Dispersion Chemistry (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

薬物開発において自動化された細胞スクリーニングを実施するためのシステムは、自動化顕微鏡(100)と、高速オートフォーカスデバイスと、デジタル画像化システム(500)とを備える。プロセスは、ユーザーの操作が最小限であって関連の細胞物質が区分され、かつ数量化されるソフトウェアにおいて実施される。以下の領域における改良:画像処理の公知の方法を、自動化セグメント化を達成するような方法で実施する;既知の測定値の設定(画素カウントなど)を、信頼できる方式で生物学的態様を実施する方法として実行する;多様なサンプルの自動的な位置づけ、集束、画像化及び処理のための構成要素を、システムとして組み込んで、その中にセグメント化及び測定方法を組み込んでもよい;さらに高度に自動化されさらに迅速な細胞スクリーニングを得るシステムに、構成要素及び方法を適合させる。

Description

本発明は該して、薬物発見における自動的な細胞スクリーニングに関し、具体的には、かかるスクリーニングを実施するためのシステムであって、自動的顕微鏡と、高速オートフォーカスデバイスと、デジタル画像化システムと、ユーザーの操作が最小限であって関連の細胞物質が区分されかつ数量化されるソフトウェアにおいて実行されるプロセスとを備えるシステムに関する。
有望な新薬は、化合物を標的に対して試験することによって発見され、このプロセスはスクリーニングと呼ばれる。従来、スクリーニングは比較的時間のかかるプロセスであり、大規模製薬会社で1週間でスクリーニングできるのは数百又は数千の化合物である。利用可能な化合物及び生物学的標的の数はかなり限られているので、これは容認できる数といえる。
化合物合成(例えば、コンビナトリアルケミストリー)及び(ゲノミクス、プロテオミクスその他の分野からの)生物学的標的の同定における近年の進歩は、スクリーニングの性質に変化をもたらした。化合物の数が増え、標的の数も急速に増大すると予想される。その増大の程度は、現在の薬物が、推定50000の潜在的遺伝子産物(その各々が標的となる可能性がある)のうち約450を標的としていることを考慮すれば、理解できよう。遺伝子産物(タンパク質)の研究から利用できるであろう標的についてはいうまでもない。従って、実施できるはずの試験の数は極めて多くなり、今後も増え続けるであろう。医薬品スクリーニング部門は試験速度の向上が見込まれる技術を実施している。その論理は、単位時間当たりに実施される試験の数が多いほど、有望な新薬が発見される可能性が高くなるというものである。
高速スクリーニングは、「ハイスループットスクリーニング(HTS)」と呼ばれ、1日当たり数千又は何千もの試験を行なうプロセスとして規定され得る。HTSにはハイスループットに適合した装置及びロボット工学が必要であり、この目的のためのシステムは開示されている(例えば、Ramm他の米国特許出願公開第2001/0028510号)。
大抵、HTSに用いられる装置及びロボット工学は組織には適合しない。これらは化合物及び単離された標的に適応される。目的の化合物(化合物と呼ばれる)は、化合物とその標的との間の分子相互作用を反映する標的の取込み又は幾つかの他の特性を用いて、標的(別の化合物、レセプター分子、タンパク質など)に対して試験される。標的に対する化合物のハイスループット試験は、「一次スクリーニング」と呼ばれる。一次スクリーニングが1日当たり何千もの試験を行い、それらの試験でさらに検討する価値のある化合物(「ヒット」、通常、スクリーニングの0.5%未満)がある割合で得らるとすれば、一次スクリーニングで得られたヒットは、今までにない速度で蓄積されている。これらのヒットはポスト一次スクリーニング段階で評価されて、このヒット化合物の有効性、毒性及び特異性を特徴づけられなければならない。特徴づけされたこれらの要因を用いて、少数の最適ヒット「リード」を、極めて費用のかさみ時間を浪費する前臨床試験及び臨床試験に持ち込むことができる。
残念なことに、ポスト一次試験はさらに複雑で一次試験よりもかなり遅い。その試験は、化合物と単離された標的分子との間の分子相互作用を簡単に検出するには十分ではない。そうではなく、化合物は組織との相互作用について試験されなければならない。従って、ヒットの蓄積はいまや、薬物開発のパイプライン内の主なボトルネックであり、昔可能であったよりも高速でリードを検証し得るポスト一次試験が必要である。
このボトルネックは、ポスト一次試験が生物学において化合物の相互作用を実証するのに有効である場合に緩和され得る。見込みのある経路の1つは、細胞においてポスト一次アッセイを実施することである。細胞は、単純な化合物の混合物から得られるよりも生物学的に関連性のある試験を提供し得る。同時に、細胞アッセイは費用が少なく、実施がかなり素早く、高等生物(例えば、げっ歯類)において実施されるアッセイよりも社会的に受容可能である。細胞ベースのアッセイの重要性は増し続けることが予測される。なぜなら生体応答についての細胞モデルは発展かつ改善し続けているからである。
細胞アッセイに伴う潜在的な問題は、比較的低レベルの処理能力であることが最も証拠付けられる。例えば、「代謝速度」法は、Dawes(1972)によって開示されており、「プール量」法が、Freshney(1987)によって記載されている。これらのタイプの低処理能力の技術は、画像化又は検出の他の高処理能力法の使用なしに細胞集団を解析するために用いられる代表的な技術である。
高速の処理能力を達成するために、画像ベースの測定を細胞集団で用いてもよく(例えば、Malay他,1989;Schroeder及びNeagle,1996;Ramm,1999)、細胞サンプルを取り扱う、画像化する、解析するプロセスを自動化及び最適化するための種々の方法と組み合わせてもよい。これらの開示では、測定の実体は、マイクロウェルプレートにおける複数のウェルの各々の中の細胞の集団である。細胞又は細胞下の細部は解明されない。
細胞集団応答の検出は、集団における別個の細胞内に存在する効果の検出のための要件と対比され得る。この場合、細胞又は細胞下の解明が必要であり、顕微鏡的細胞スクリーニングのための多数のシステム及び方法が開発されている。集団のスクリーニングと同様に、重要なのは、細胞サンプルを取り扱い、画像化し、解析するプロセスを自動化して最適化するシステム及び方法を構築することである。本発明を用いて、自動化された細胞スクリーニングを単一の細胞及び細胞下解明によって実施することができる。
イメージサイトメトリー
「サイトメトリー」は、個々の細胞からの特徴の測定である。「イメージサイトメトリー」は、サイトメトリー測定を実施するための画像化システムの使用である。サイトメトリック測定には、細胞下の細部は必要であってもなくてもよい。別個の細胞を低解像度で画像化する場合、各々の細胞は、少数の画像画素を占め、均一な測定ポイントとして処理される(例えば、Miraglia他,1999)。本発明者らは、これらを「ポイント細胞アッセイ」と呼ぶ。細胞の解剖学はまた、各々が多数の画素を占める細胞の一部で、高い解像度で解明され得る。細胞下の解像度のレベルは、最も大きい構造のみの可視化(例えば、Galbraith他,1991)から細胞下オルガネラ(当該分野に関する物質のほとんど)の解像に及ぶ。サイトメトリー測定の共通のクラスとしては、以下が挙げられる:
形態計測−細胞、核及びオルガネラのサイズ、形状及び外見、例えば:
・神経突起成長は、神経発達又は再生の指標として用いられる(Masseroli他,1993;Siklos他,1993;Malgrange他,1994;Mezin他,1994;Turner他,1994;de Medinaceli他,1995;Pauwels他,1995;Ventimiglia他,1995;Stahlhut他,1997;Isaacs他,1998;Bilsland他,1999;Pollack他,1999;Ronn他,2000)。
・核のサイズ、形状及びクロマチンの分布における変化は、細胞周期を通じた進行と(例えば、De Le Torre及びNavarrete,1974;Sawicki他,1974;Giroud,1982)、又は増殖傾向の分類(例えば、Crissman他,1990;Martin他,1984;Smith他,1989;Souchier他,1995)と関連し得る。
形態計測は通常、診断的な画像サイトメーターに基づいて実施される。これらは、自動化されたデバイスであって、臨床スクリーニングのための専用の構成要素及びソフトウェア方法を組み込んでいる(例えば、Lee他,1992;Wied他,1987;米国特許第5281517号;同第5287272号;同第5627908号;同第5741648号;同第5978498号;同第6271036号;同第6252979号に開示される通り)。
機能的な解析−細胞下区画の物質の量又は物質(単数又は複数)の比較した量を測定すること、及び細胞機能の指標としてその測定値を用いることが通常である。
・イオンチャネル 細胞の電位の変化は、イオンチャネルの操作を反映する。細胞内標識の局在化は、イオンチャネルの操作を検討するために、電気生理学に対する代替として用いられ得る(例えば、Taylor他,2001;Omalley,1994における概説))。
・移行(細胞下画分の間のタンパク質の移動)タンパク質は、2つのタイプの細胞下区画に局在する。それらは、膜に包埋されるか会合してもよく(例えば、細胞膜を装飾するレセプター)、又はそれらは水相であってもよい(核質又は細胞質)。多くの細胞機能が、これらの区画の間のタンパク質移行に関連する。機能的な画像化を、特定の細胞内レセプター区画に対する局在化(例えば、Luby−Phelps他,1985)又は細胞の区画の間のレセプターの輸送を検査するために用いることができる。例えば、Georget他(1998)、並びにTrapman及びBrinkmann(1993)は、核/細胞質比の画像化数量化を用いるレセプター局在化の解析を開示している。蛍光がレセプターを標識し、蛍光の動きが、核と細胞質との間のレセプター分子の位置の変化を反映する。
・局在化(細胞及び細胞下画分内のタンパク質の量)細胞下画分(例えば、核及び細胞質)における任意の(例えば、構造)タンパク質の量を機能の(例えば、Kawamoto他,1997におけるような増殖の傾向の)指標として用いることができる。
形態計測及び機能的解析のためのサイトメトリーのシステムは、多くの商業的業者から上市されているタイプの画像解析装置を中心として構築され得る。かかるシステムの幾つかは、研究室における適用のために設計され(研究システム)、その機能を実施するには頻繁なオペレーターの操作を必要とする。従って、これらのシステムは、所定の時間で少数の試料を検討する。かかるシステムの例は、Imaging Research Inc.のMCID画像アナライザーである。他のかかるシステムは産業上の薬物開発(工業的システム)、又は細胞診断(診断システム)における適用のために設計されており、それらは、頻繁なオペレーターの操作なしに機能し(自動化)、所定の期間で比較的多数の試料を検討する(「ハイスループット」と呼ばれる)。産業上のハイスループットシステムの例は、Imaging Research Inc.のAutoLead Cell Analyzer及びCellomics Inc.のArrayScan IIである。細胞診断システムの例は、CompuCyte Inc.のLSCである。
研究システムを用いて得られた多くの刊行物によって、細胞における形態計測及び機能的測定を行うための方法が記載されている。かかる測定の周知の例としては、核と細胞質との間のサイズもしくは標識の強度の比、又は複数の波長で励起された、蛍光の相対強度(標準的蛍光方法又は空間依存性の方法、例えば、蛍光共鳴エネルギー伝達によって得られた)が挙げられる。
研究システムは、診断及びスクリーニングに対する理論的な適用を有する。すなわち、それらは、任意の細胞検出方法を実行するようにプログラムされかつ操作され得る(例えば、Serra,1982がしばしば引用される)。ほとんどの産業上及び診断上のシステムは、画像中の細胞の検出を増強する検索システムでも実行される、公知の画像処理方法を用いる。
しかし、検索システムは、産業上の薬物の発見又は臨床診断に有用となる、自動化及び処理能力を欠いている。最も通常には、オペレーターは、このシステムを頻繁に操作しなければならない。例えば、Bacus(米国特許第5018209号)は、かかるオペレーター補助診断システムを開示しているが、このシステムは少数のサンプルでは有用であるが、ハイスループットの環境では有用ではない。
サイトメトリック画像化システムにおいて使用される方法
プレセグメント化
特徴の検出性を増強するためには画像を前処理することが通常である。例えば、特定の重畳フィルタ、例えば、Prewitt(O’Gorman他,1985)及びHueckel(Hueckel,1971)はときどき、フィルタリングされていない画像よりも細胞周囲を良好に示す。かかる方法は、引き続くセグメント化の精度を改善して、セグメント化画素をオペレーターが編集する必要性を減じることができる。
収集光学及び照射野内での不均質性を正すために、局所(例えば、米国特許第5072382号に開示される)又は全体的(多くの市販の画像化システムに通常適用される)なバックグラウンドの変動を正すために、他の周知の補正が適用される。これに関して、空欄の画像を取得すること、高周波数の強度変動を除去する幾つかの方法でこの画像を処理すること、処理された画像における各々の位置で参照画素値から逸脱を算出すること、及び逸脱要因のマトリックスを補正マトリックスとして確保すること(例えば、Imaging ResearchのMCIDシステムにおける実施に対して例えられたように)が一般的である。この補正マトリックスは引き続く画像におけるバックグラウンドの均質性を改善するために用いられる。
セグメント化
測定が行なわれ得る前に、関連の画像特徴をバックグラウンドから識別しなければならない。この識別は、画像のセグメント化のための周知の方法を用いて行なわれる(多くの市販品、例えば、Media CyberneticsのソフトウェアImageProにおける実施に例えられた)。セグメント化は、画像をその成分又はオブジェクトに小分割するプロセスとして規定される。トレーシング及び閾値化は、セグメント化のための公知の方法である(他の方法もある)。理想的には、単純な染色プロセスによって細胞又は細胞成分のあいまいな検出が得られ、ここでは各々の染色されたオブジェクトが目的の特徴をマークし、他の画像成分は染色されない。この目標は、このオブジェクトが単純な強度規準で検出されるのに十分明るいか又は暗いことである。実際には、この目標はめったに達成されない。
トレーシング
最も簡単な手技によるセグメント化方法は、ヒトのオペレーターが細胞及び細胞下の細部をトレースすることである。次いでこのシステムは、このトレース内の画素を用いて目的のパラメーターを報告する(例えば、Deligdisch他,1993;Gil他,1986)。
閾値化
最も簡単な自動的セグメント化方法である強度閾値化は、グレースケール(濃淡階調)又はカラー画像を入力とし、強度周波数をヒストグラムにし、単一の識別値(閾値)に基づく二値画像を出力する。単一の強度又は色の閾値化は、セグメント化画素の幾つかが妥当なだけであり、セグメント化画像がオペレーターの編集を要するという点で産業上の適用にはめったに適さない。例えば、Takamatsu他(1986)は、単一の強度閾値化は、フローサイトメトリーによって得られるよりも細胞検出について正確性が低かったということを報告している。多くの問題が存在しており、これには、単一の画像又は画像の組における位置から位置へ変化する細胞及びバックグラウンドの強度が挙げられる。
標的領域
一旦、画像画素が妥当である可能性があるとしてセグメント化されれば、それらは目的の特徴(領域又は標的と呼ばれる)に適合するように分類されなければならない。そのポイントは、均一性の規準に従って別個の領域に対する画素に分類することである。均一性規準は、公知の種々の方法に由来し得る幾つかのパラメーター(例えば、検出された画素を分離する距離)に基づく。region抽出のための技術のなかでも最も複雑でない方法としては、マニュアル又は半自動的抽出が挙げられる。このプロセスでは、人々は、領域に対してセグメント化画素の割り当てを確認するか又は同定する。
「領域拡張」とは、分離されセグメント化画素を領域へ融合させるプロセスである。領域拡張のためには多くの規準が用いられ得る(例えば、Chassery及びGarbay,1984;Garbay 1986;Ong他,1993;Smeulders他,1979)。例えば、幾何学的特徴(例えば、別の領域からの距離、サイズ、形状、テクスチャ、度数分布、フラクタル次元、局所湾曲)又は統計的特徴(例えば、分散、モード、歪度、とがり、エントロピー)は、領域に対する画素の分類の部分として用いられ得る。領域拡張はまた、形態学的技術に基づいてもよい。例えば、Seniuk他,1991及び米国特許第5978498号は、核及び細胞質区画を識別するための強度ベースのマスク、続いて浸食(清浄な核を抽出するため)及び拡大(清浄な細胞質領域を抽出するため)を用いる一連の工程における形態学の使用を開示している。
次いで、拡張領域は種々のさらに高レベルのプロセスへ渡されてもよい。例えば、複雑な画素統計学(例えば、米国特許第6307957号に開示されるマルチスケール・ウェーブレット最大値(multiscale wavelet maxima)が領域において測定値を得るために適用され得る。同様に、細胞分類のための方法に基づく知識は、領域を入力としてとらえ、その出力として判断を下す。これらのシステムは専門的なシステム及び/又は神経網を組み込んでもよい(例えば、米国特許第5287272号;Refenes他,1990;Stotzka他,1995)。
細胞スクリーニングシステム
細胞内のプローブのレベルを測定するための公知の方法の集合を使用する研究システムは広範に開示されている(例えば、Macaulay及びPalcic,1990;Mize他,1988;Thompson他,1990;Zoli他,1990)。同様に、産業上の細胞スクリーニングシステムは、プレセグメント化、セグメント化及び標的分類のための公知の方法を実施する(例えば、CellomicsのArrayScanシステム、及びAmersham BiosciencesのInCellシステムにおいてのように)。研究及び産業上のシステムをお互いから識別されるものは、産業上のシステムが、オペレーターの操作が最小で(自動的に)機能しながら、さらに高速の処理能力を提供するということである。研究の適用は、ほとんどの任意の画像解析システムにおいて達成され得る。自動化及び処理能力は、専門的なソフトウェア及びハードウェアを組み込むシステム内でのみ達成できる。
例えば、広範に適用される原理は、容易に検出される細胞下成分をマークすることで、細胞位置及びこのマークされた成分に隣接する細胞下成分の引き続く検出を改善するということである。通常は、このマークされた成分は核である(例えば、Benveniste他,1989;Lockett他,1991;Anderson他,1992;Santisteban他,1992に開示されるように)。産業上の適用では(例えば、米国特許第5989835号に開示される、Cellomics,Inc.のArrayScan IIで供給される)、マークされた核の周囲の細胞質は、別の細胞質(この細胞質は環を超えて存在する)に対する一方の細胞質の進入を最小化するようにこの環によって(自動的に)限定され得る。同じ環の方法は、検索システムで実行され得るが、ユーザーの相互作用が最小でかつ高い処理能力で操作するように、この顕微鏡システム及びソフトウェアの自動化はない。詳細には、Seniuk他(1991)は、DNA特異的蛍光プローブを用いて細胞核をマークして、次いで細胞質プローブ含量の画像ベースの測定のために核からある距離(この場合、1μmの距離を用いた)で環を作成する方法を開示している。
細胞成分のマーキング及び他の成分を局在化するためのこれらの成分の使用は公知の方法である。しかし、工業的な細胞スクリーニングシステムにおいて有効なシステム及び方法への公知の方法の構築によって、これらのシステム及び方法が先行技術において利用可能であるよりも優れた自動化及び処理能力を生みだすという新規性が得られる。かかる自動化され、かつ高い処理能力のシステムを作成する困難性は、過小評価されるべきではなく、かかるシステム(開示されているか又は実施することが例えられている)の極めて少数によってしか実証されない(例えば、Proffit他,1996;Ramm他,2001,2002;米国特許第5989835号;同第6103479号)。
本発明は、以下の領域における改善を達成するシステム及びプロセスを提供する:
・(プレセグメント化及びセグメント化)画像処理のための公知の方法は、自動的なセグメント化が達成されるような方法で実行される(例えば、Ramm他,米国特許出願公開第2001/0028510号に開示されるように)。
・(測定)公知の測定の組(画素カウントなど)を、生物学的な局面を信頼できる方式で示す方法として実行する(例えば、Ramm他,2001/0028510に開示されるように)。
・(光学、機械及び電子機器)多様なサンプルの自動的な位置決め、集束、画像化及び処理のための構成要素を、システムとして組み込んで、その中にセグメント化及び測定方法を組み込んでもよい。
さらに高度に自動化され、かつさらに迅速な細胞スクリーニングを得るシステムに、構成要素及び方法を適合させる。
本発明の1つの態様によれば、ユーザーの相互作用が最小であって自動的な解析を実施する方法へ構築される、アッセイ処理手順のライブラリが提供される。このライブラリのメンバーは、以下である:
・高強度ピークの非線形抑制、
・適応ノイズ平滑化(ガウシアン)、
・非線形拡散フィルタリングによる適応ノイズ平滑化及び特徴強化、
・最適ヒストグラム二分割による閾値化、
・シード化領域拡張、
・テクスチャ変換、
・検出された特徴の形態学的リファイニング、
・局所コントラストによる数量化、
・分布特徴解析、
・顆粒細部の周波数領域検出、
・境界マッピング、
・バックグラウンド補正、
・ふるい分け。
開示された方法としては、神経突起アッセイ、顆粒移行アッセイ、核移行アッセイ、及びメンブレンラッフリングアッセイが挙げられる。
本発明の別の態様によれば、この方法は、複数の容器中に試料を配置し、集束して、自動化実験装置とインターフェースする自動化されたオプトメカニカルシステム内に組み込まれる。
さらなる態様によれば、本発明は画像を取得しかつ記録するために、ソフトウェアを収納するために用いられる電子カメラ及びコンピューターが包含される。
前述の簡単な説明、並びに本発明のさらなる目的、特徴及び利点は、現在好ましい以下の詳細な説明からさらに完全に理解されるが、それにもかかわらず、本発明に従う例示的な実施形態には、参考として以下の図面を添付している。
本明細書に用いた語句の意味及び略号を表1に規定する。
ここで図面の説明を振り返れば、図1は、本発明のシステムの光学的、機械的及び電気的構成要素を図示する模式的なブロック図である。倒立顕微鏡スタンド100は、蛍光エピイルミネーター101及びタングステンハロゲントランスイルミネーター102を装備される。対物タレット103に装着されるのは、好ましくは圧電性の種類の高速モータードライブ104である。モーター104は、対物レンズ200をZ次元(垂直に)動かして最高の焦点位置に達するようにする。最高の焦点位置は、デジタルコンピューター600によってモニターされる通り、共焦点オートフォーカスデバイス300によって規定される。オートフォーカスソフトウェアが選択される場合、顕微鏡Z焦点ドライブ107はまた、対物レンズ200をZ次元で動かすように用いられてもよい。フィルタチェンジャー108は、イルミネーター101の照射通路にフィルタを存在させて、それによって狭い照射励起帯を選択するように配置される。必要に応じて、コンピューター制御下に光学的な狭い励起帯を選択するように、フィルタチェンジャー109が、顕微鏡100の発光通路に装着されてもよい。シャッター110は、コンピューター制御下にイルミネーター102からの光を透過する。モーターを装着されたステージ400は、対物レンズ200に対して各々の複数のウェルが存在するようにマルチウェルプレート410を運ぶ。CCDカメラ500は、プレート410に細胞の画像を取得するように装着される。デジタルコンピューター600は、この構成要素(フィルタチェンジャー108/109、シャッター110、焦点部品104、300、107、ステージ400、カメラ500)を制御して、解析を行なうソフトウェアを備える。
顕微鏡100は好ましくは、落射蛍光光学及び透過光照射通路を備えられた倒立スタンドである。モーターを取り付けられたコンピューター制御のステージ400が、試料容器を顕微鏡光学にまたがって動かすように顕微鏡に装着される。好ましくは、ステージ400は、マルチウェルプレート410のためのホルダーを装備され、このホルダーは、Zymarc IndustriesのTwister2のような標準的な実験ロボットによるプレートの挿入及び除去を可能にするように構築される。デジタルカメラ500は、好ましくは、冷却型で低ノイズのCCDカメラであり、この顕微鏡に装着されて試料の画像を取得する。システム制御及び画像記録は、デジタルコンピューター600によって行なわれる。
図2は、高速オートフォーカスデバイスを図示する模式的なブロック図である。レーザーダイオード100から放射された光は、ビームスプリッター103′によって導入された収差を補償するように計算された、透過ウインドウ101′を通過する。この補償は、補償する収差を導入するためにこのウインドウを傾けることによって達せられる。ビームスプリッター103′は収差を誘導せず(例えば、極めて細いビームスプリッターの場合のように)、ガラスウインドウ101′からの補正が必要ないタイプのものでなければならない。
ウインドウ101′をそのままにすれば、次にレーザービームは、ビームの幅を制限する開口部102′を通過して、その結果、そのレーザービームはその後、顕微鏡の対物レンズ200の後レンズを満たす。直径15〜20mmの後レンズを有する対物レンズでの操作のために、この開口部を直径2.4mmに構成する。
ビームスプリッター103′は、レーザー強度制限デバイスとして機能する。これは、吸収表面104′上の側面に対して入射レーザービームの95%より多くを反射するように構築される。優先的に、この吸光度は、逆反射(他の構成要素に対して投射されることによって測定感度を悪化させ得る)を最小にするような程度に、大きい(100%に近い)。ビームスプリッター103′からの側方反射は、吸収表面104′に向かって進行するので、広範に発散するように算出され、検出器600′に向かって戻る集束された反射の侵入は最小限である。
このシステムは、レーザービームの残りのわずかな割合の使用において効率的であるように設計される。このレーザービームの低出力及びこのデバイスの効率性によって、オートフォーカスを比較的非制限的なカテゴリー内で認証することが可能になる(クラス1)。レーザービームのさらに大部分が鋭敏な操作に必要であった場合、この認証カテゴリーはさらに制限的であって、このデバイスの費用及び複雑性の両方ともかなり大きくなる。
別の光通路は、ビームスプリッター103′を通して透過されて、ミラー105′へ通過し、これは、最終のビームの焦点を維持するために高い平面度(λ/4)であり、レーザーを放射する近赤外線及び赤外線の波長における効率性を最大にするために高い反射性である。ミラーコーティングは金であって、関連の波長を効率的に反射する特性を有する。
ミラー105′からの光は、光を平行にして、光検知器ピンホール500′の開口部(絞り)を最もよく満たすような焦点距離の収斂レンズ106に反射される。好ましくは、レンズ106′は、動作波長λに対して限定された回折である。
次いで、平行にされたビームは、フィルタ108′を備える別のミラー107′に通過する。かかるミラーの例は、λ/2の平面度を有し、750nm未満の波長を透過し、750nmを越える波長を反射する特性を備える、高品質ダイクロイックアセンブリである。ミラー107′は、対物レンズ200の後レンズに向かって所望の波長を最も効率的に反射するような角度に傾けられる。好ましい実施形態において、ミラー107′の後面は、望ましくない反射を最小限にするように抗反射コーティングである。
光は、顕微鏡の対物レンズ200を通って試料容器300′の底面に透過する。対物レンズ200は、容器300′に対して垂直な次元で動かされて、容器300′の底面よりも大きい距離にまたがるのに十分太く、ウェル3/0の含量の一部を含む検出容積を通じてレーザービームを掃引する。
容器300′の透明な表面と空気(底面301)と液体(内面302)との間の境界からの反射を、対物レンズ200によって収集して、フィルタ/ミラー107′/108′に送る。ミラー107′/108′は、レーザー波長を優先的に通過して、容器300′及び試料媒体303からの他の発光をブロックする。この反射された光は、レンズ106′、ミラー105′及びビームスプリッター103′(光検知器600′に光の一部を戻す)を通して戻る。
光検知器600′は、対物レンズ200がサンプル容積310をアドレスするように動かされるにつれて、ビームをモニターする。正反射によって生じた光の量は、以下のように算出できる:
式中、Nは、光が通過する第一の媒体の反射指数であり、N′は、光が通過する第二の媒体の反射指数である。Iの値は、N及びN′の反射指数が異なる場合に最大化される。従って、空気から試料容器310の底への第一の遷移303は、この試料容器の材料から水気のある液体への遷移302よりも大きい反射を生じる。コンピューター600におけるソフトウェアアルゴリズムは、光検知器によって生じる波形の形状をリアルタイムでモニターして、遷移302を突き止める。
操作中、本発明の位置的オートフォーカスは、レーザービームを、顕微鏡の対物レンズを通って試料容器300′へ伝達する。急速な焦点ドライブ(これは、圧電性アクチュエータであってもよい)は、顕微鏡の対物レンズ200をz面(深度)でプレート底301に対して動かして、サンプリング容積を確立する。サンプリング容積における各々のポイントで、逆反射は、共焦点光検知器600′に伝達される。この光検知器は、反射強度をモニターして、その強度をデジタルコンピューターへ伝達され得る電圧に変換する。コンピューターのソフトウェアは、照射ビームが資料容器の表面にわたって推移するにつれて生じる強度特徴に基づいて最高の焦点位置を算出する。このデバイスの構成要素及び構成は、共焦点光学通路の周知の実施形態と同様である(米国特許第4881808号、同第6130745号、国際公開第92/15034号、同第95/22058号、同第98/44375号、同第00/37984号に開示された通り)。これらのシステムの幾つかはまた、細胞が存在する基板に対応する焦点面を検出し、次いでこの基板を超える幾つかの固定された距離で細胞の焦点を確立する。
本発明のオートフォーカスの特徴であるのは、これがソフトウェアオートフォーカスアルゴリズムを組み込んでおり、その結果、これが、容器の表面に対して固定されていない位置(例えば、5〜15umを上回る範囲内)に存在する細胞とともに用いられ得るということである。この方法は、次の工程を含む:a)参考として位置オートフォーカスによって達成される最高の焦点位置を用いる;b)試料容器中に固定距離動かす;c)z面中の間隔で多数の画像をとり、これらの画像から最高の焦点を算出する(図3)。当業者は、ソフトウェアオートフォーカスが、単独で用いられる場合、多数の画像をとらなければならないために、遅いということを認識する。しかし、試料容器によって規定される位置に至るための現在のハードウェアの使用、及びその後にその容器に対して参照されるポイントで制限された組の画像取得を開始することで、本発明のシステムは、単独で用いられるソフトウェアオートフォーカスよりも迅速に機能することが可能になる。
本発明のシステムの特徴は、このシステムが厚みのある試料を焦点するために用いられ得るということである。例えば、ゼブラフィッシュの1細胞胚へのドーパミントランスポータープロモーター−GFP構築物の注入後、ドーパミン作動性ニューロンにおける緑色蛍光タンパク質(GFP)の一過性の発現が観察されている。これらの胚は、トランスジェニック魚のホモ接合性ストックを確立するために成体まで成長される。次いで、トランスジェニック株の胚は、マイクロウェルプレートに胚を置き、化合物を投与することによって、スクリーニング方式で研究することができる。これらの胚は、標準的な顕微鏡の対物レンズの焦点の深さよりも厚みがある。本発明のシステムは、単一焦点面を超えて延在する試料を収容する。この方法は、次の工程を含む:a)参照として位置オートフォーカスによって達成される最高の焦点位置を用いる;b)試料容器中に固定距離動かす;c)試料を含むのに十分大きい距離にまたがって、z面中で一組の画像をとる、d)公知の画像組み合わせアルゴリズムを用いてこの試料の全体の厚みを最高に示す単一の画像にこの画像を合わせる。
別の態様では、同じ焦点駆動システムを用いて、蛍光Z面画像のスタックを作製することが可能で、これからデジタル逆重畳について公知の方法を用いて、単一の最高の焦点の画像が算出される。この場合、公知のアルゴリズムを用いる画像逆重畳は、上記のように画像組み合わせに置き換えられる。
図3は、フローチャートであって、これは図4〜図9にさらに詳細である通り、神経突起解析のための一般的な手順を示す。もとの画像110′は、画像前処理、二値化、シード化領域拡張、形態学的リファイニング、細胞及び神経突起の分類、並びに境界マッピングを含む一組の手順に供される。
図4は、自動化された神経突起解析のための方法内で用いられる画像前処理手順を示すフローチャートである。もとの画像110′は、判定ポイント111に送られる。画像110′が蛍光標識される場合、これは、非線形抑制114に直接進行する(プロセス1−このプロセス及び全ての他の番号付けされたプロセスは、以下にさらに詳細に記載される)。もとの画像110′が未標識の場合、これは、テクスチャ変換112(プロセス6)に供されて、画像113を作成し、これが次いで、非線形抑制114(プロセス1)に供される。画像115は、抑制114からの出力である。
画像115は、適応ノイズ平滑化116(プロセス2)に供されて、前処理された神経突起画像117として出力される。
図5aは、微分干渉コントラスト顕微鏡を用いて画像化された未染色の細胞画像を示しており、エネルギーテクスチャ変換は、図5bの画像を生じ、ここでは、神経突起が他の画像成分に対して強調されている。この図の目的は、本発明の方法のエネルギーテクスチャ変換によって、神経突起が自動的な手順によって容易にセグメント化される画像が得られることを示すことである。
図6は、神経突起解析方法の二値化手順を図示するフローチャートである。120で、画像117が入力される。121では、前処理された神経突起画像117がヒストグラム二分割によって二値化される(プロセス4)。二値画像122が出力される。123では、画像122が、SRG手順のためのシードとして働く(プロセス5)。領域画像124が出力される。125で、領域画像124は、小さいホール及び平滑な境界線を除くために形態学的画像リファイニング(プロセス7)に供される。二値神経突起画像126が、図7に示されるように出力される。
図7aは、もとの画像(蛍光顕微鏡を用いて得られた)を示しており、図7bは、二値神経突起画像126を示しており、ここでは、神経突起及び細胞本体の両方が本発明によって正確に二値化されている。この図の目的は、本発明の方法の二値化プロセスによって、神経突起及び細胞本体の正確なセグメント化がもたらされることを示すことである。
図8は、本発明の方法の細胞及び神経突起の分類手順を図示するフローチャートである。127では、画像126が出力される。128では、画像126がマルチ規準プロセスによってふるい分けられる(プロセス13)。ふるい128は、神経突起又は細胞の特徴でない形状及び領域を有するオブジェクトを除く。ふるい128は、細胞及び神経突起の両方を含む画像129を出力する。130では、画像129は、形態学的開口プロセスに供される。前駆画像131が出力される。
132では、サイズによるふるい(プロセス13)が画像131に適用される。ふるい132の出力は、二値細胞画像133であり、これは最小細胞サイズよりも大きいオブジェクトのみを含む。
134では、前駆画像131が、細胞及び神経突起画像129から論理的に除外される。これによって神経突起のみを含む画像135が得られる。136では、画像135を、サイズ、形状及び近似を含むマルチ規準プロセスによってふるい分けして(プロセス13)、二値神経突起画像137を作成する。画像137では、神経突起の形状及びサイズを有し、かつ細胞本体に近位である(画像133に図示されるように)オブジェクトのみが存在する。
図9は、本発明の方法の境界マッピング手順を図示するフローチャートである。138では、二値化神経突起画像137が骨組みにされて、骨組みにされた神経突起画像139が作成される。
140では、テセレーション手順を二値細胞画像133に適用して、細胞本体の影響のゾーンからなるテセレーション処理細胞画像141を作成する(図10を参照のこと)。これらの影響のゾーンは、各々の細胞の周囲の幾何的に規定された領域であり、この中で神経突起がもとの細胞に割り当てられ得る。
142では、神経突起及び神経突起の形状の細部(終点、分岐点、結合点など)が、骨組みにされた神経突起画像139において決定される。細胞画像133及びテセレーション処理画像141を用いて、神経突起及び神経突起の細部は、もとの細胞に割り当てられ得る。
図10は、神経突起及び神経突起の形状の細部が割り当てられる影響のゾーンを図示する。「C」の表示は、細胞本体を意味する。「N」の表示は、神経突起の骨格を規定する。「Z」の表示は、影響ゾーンの境界線を意味する。「d」の表示は、神経突起形状の細部を意味する。この図の目的は、本発明の境界マッピングが、お互いの細胞の周囲のゾーンを作成すること、並びに神経突起及びその形状の特徴の起源を突き止めることの両方に有効であるということを示すことである。各々の細胞のゾーン内で、示される神経突起及びその特徴が、そのゾーンについてのもとの細胞に関連付けられ得る。
図11は左側に、顆粒移行アッセイの解析の顆粒セグメント化のためのフローチャートを示す。もとの画像210を、画像前処理、二値化及び数量化を含む一組の手順に供する。
図11は右側に顆粒移行アッセイの解析の細胞本体セグメント化についてのフローチャートを示す。もとの画像200を、画像前処理、二値化、シード化領域拡張、形態学的リファイニング、ふるい分け及び数量化を含む一組の手順に供する。
図12は、顆粒移行アッセイの解析のための方法の細胞本体セグメント化の画像処理を図示するフローチャートである。もとの画像200を、非線形抑制220(プロセス1)に供する。次いで、出力画像201を判定ポイント221に送る。出力画像201がノイズが多い場合、これを適応ノイズ平滑化222(プロセス2)、又は非線形拡散フィルタリング223(プロセス3)に供して、画像202を作成する。好ましくはフィルタリング223は、SGMD処理及びAEED処理の相互作用によって達成される。画像201がノイズが多くない場合、これをプロセス224に直接進める。224において、画像201又は202がバックグラウンド補正225に供されるべきか否かの決定を行なう(プロセス12)。前処理された細胞画像203を作成する。
図13は、顆粒移行アッセイの解析のための方法の細胞本体セグメント化の二値化、シード化領域拡張、形態学的リファイニング及びふるい分け手順を示すフローチャートである。225′において、前処理された細胞画像203が入力される。226では、画像203はOHBによって二値化されて(プロセス4)二値シード画像204が得られる。227では、画像204は、SRGに供されて(プロセス5)、領域画像205が得られる。228では、領域画像205が形態学的リファイニングに供されて(プロセス7)、リファイニングされた前駆細胞画像206が出力される。229では、リファイニングされた細胞画像206が、サイズによるふるいに供されて(プロセス13)、これが二値細胞画像207を生じる。細胞画像207は、最小細胞サイズよりも小さいオブジェクトを含まない。
図14は、顆粒移行アッセイの解析のための方法の顆粒セグメント化手順を示すフローチャートである。二値細胞画像207は、非線形拡散フィルタリング230(プロセス3)に供されて、出力画像208が得られる。好ましくは、拡散フィルタリングは、SPED処理による。画像208における強調された強度ピークは、小胞に相当し、231で局所最大として検出されて、二値顆粒画像209を生じる。
図15は、顆粒移行アッセイの解析のための方法の数量化手順を図示するフローチャートである。232において、二値顆粒画像209及び二値細胞画像207を用いて、もとの画像200において、細胞質及び小胞(細胞質内の顆粒)の成分が突き止められる。画像200の位置付けられた成分から、任意の形態の強度又は空間に基づく解析が実行され得る。好ましくは、局所コントラスト(プロセス8)及び/又は分布特徴の解析(プロセス9)及び/又は周波数領域解析(プロセス10、図16)による数量化が、数量化233で行なわれる。
図16は、数量化233の周波数領域解析(プロセス10)を図示しており、これは処理された細胞における顆粒の変化の識別を示している。細胞内顆粒物質における相違は、細胞画像のフーリエスペクトルから検出される。コントロール細胞のエネルギースペクトルは、ドットによって示される(下側の曲線)が、3用量の薬物で処理した、漸増する量及びサイズの顆粒を含む細胞のスペクトルが、それぞれ対応して丸、四角及びバツで示される。この図は、生物学的に関連する効果が本発明の空間的領域解析によって識別され得ることを示す。
図17は、核移行の解析のためのプロセスを実証するフローチャートである。もとの画像300は、幾何学的位置づけ補助として核を最もよく示す画像である。もとの画像301は、目的の標識された分子を最もよく示す画像であり、これは、標識された分子の局所濃度に相当する蛍光強度を有する。好ましくは、画像300及び画像301における核及び非核細胞区画の示差的な可視化は、顕微鏡での励起及び発光フィルタリングの異なる条件によって達成される。
画像300(図17の左側)は、核を区分する一組の手順に供される。これらの手順は、画像の前処理、二値化、シード化領域拡張、形態学的リファイニング、ふるい分け及び数量化を含む。
画像301(図17の右側)は、細胞質を区分する一組の手順に供される。これらの手順は、画像の前処理、二値化、シード化領域拡張、形態学的リファイニング、ふるい分け及び数量化を含む。
図18は、核移行アッセイの解析に用いられる核セグメント化の前処理段階を図示するフローチャートである。もとの画像300を、330で入力させる。331において、画像300を、非線形抑制(プロセス1)に供して、画像302を出力する。画像302を判定ポイント332に送る。画像302がノイズが多い場合、これを適応ノイズ平滑化333(プロセス2)、又は非線形拡散フィルタリング334(プロセス3)に供する。好ましくは、フィルタリング334は、SGMD及びAEED処理の相互作用によって達成される。画像303が出力される。画像303は、判定ポイント335に送られる。バックグラウンドの補正が所望される場合、画像303は、バックグラウンド補正336に供される(プロセス12)。前処理された核の画像304が作成される。
図19は、核移行アッセイの解析のために用いられた核セグメント化の二値化、シード化領域拡張、形態学的リファイニング及びふるい分け手順を示す。337では、画像304が入力される。338では、画像304は、最も可能性の高い画素の値よりも暗い核画像の画素が、最も可能性の高い画素の値に設定されるプロセスに供される。画像305が出力される。339では、画像305はOHBによって二値化されて(プロセス4)、画像306が出力される。340では、画像306は、SRGに供されて(プロセス5)、領域画像307が得られる。341では、領域画像307は、画像305で行なわれるOHBの第二の繰り返し(プロセス4)のための画素を規定するためのマスクとして用いられる。二値画像308が出力されて、領域画像307よりも核境界線のさらに正確な定義が提供される。342では、画像308が形態学的リファイニングに供される(プロセス7)。画像309が出力される。343では、画像309は、ふるい分けされる(プロセス13)。ふるい343は、最小の核サイズよりも小さいオブジェクト(このオブジェクトは除去されなければ核と混同される)を除く。二値の核画像310が出力される。
図20は、核移行アッセイの解析に用いられる細胞質セグメント化手順の前処理を図示するフローチャートである。344において、細胞質画像301が入力される。画像301を、345で非線形抑制(プロセス1)に供する。画像311が出力される。画像311が判定ポイント346に送られる。画像311がノイズが多い場合、これを適応ノイズ平滑化347(プロセス2)、又は非線形拡散フィルタリング348(プロセス3)に供する。好ましくは、フィルタリング348は、SGMD及びAEED処理の相互作用によって達成される。画像312が出力される。画像312は、判定ポイント349に送られる。バックグラウンドの補正が所望される場合、画像312は、バックグラウンド補正350に供される(プロセス12)。前処理された細胞質の画像3/3が作成される。
図21は、核移行アッセイの解析のための方法において用いられる細胞質セグメント化の二値化、シード化領域拡張、形態学的リファイニング及びふるい分けのプロセスを示すフローチャートである。351では、画像313が入力される。352では、画像313は、最も可能性の高い画素の値よりも暗い核画像の画素が、最も可能性の高い画素の値に設定されるプロセスに供される。画像314が出力される。353では、画像314はOHBによって二値化されて(プロセス4)、シード画像315が出力される。354では、画像315は、SRGに供されて(プロセス5)、領域画像316が得られる。355では、領域画像316は、画像314で行なわれるOHBの第二の繰り返し(プロセス4)のための画素を規定するためのマスクとして用いられる。二値画像317が出力されて、領域画像316よりも核境界線(核除外のため)のさらに正確な定義が提供される。356では、画像317が形態学的リファイニングに供される(プロセス7)。画像318が出力される。357では、画像318は、ふるい分けされる(プロセス13)。ふるい357は、最小の細胞サイズよりも小さいオブジェクト(このオブジェクトは除去されなければ核と混同される)を除く。二値の細胞質画像319が出力される。
図22は、核移行アッセイの解析のための方法に用いられる数量化手順を図示するフローチャートである。1つの態様では、数量化は、起源としてセグメント化核を用いる。次いで、強度データがもとの細胞質画像301から、核に対して近位で規定される固定位置で読みとられる(例えば、カラーは核から2画素で開始して、核から6画素まで延在する)。
358では、二値核画像310が入力される。好ましくは、359で、画像310は、形態学的拡張演算(Russ 1999,p460、及びParker 1997,p68に開示される)に供されて、拡張された二値核画像320が得られる。好ましくは、この拡張は、環状構造要素で行なわれる(Parker 1997、p73に開示される通り)。画像320は、二値核画像310の核成分及びこの拡張プロセスによって生まれる核周囲成分の両方から構成される。
360では、画像310が画像320から排除されて、核周囲成分のみを含む画像321が残る。
361では、画像310は、細胞質画像301における核画素を同定するためのマスクとして機能し、画像321は、細胞質画像301における核周囲画素を同定するためのマスクとして機能する。
好ましくは、362で、核周囲標識強度及び核標識強度の比から移行が数量化される(プロセス8)。別の好ましい態様では、363において、数量化は、比362の分布特徴解析(プロセス9)を含む。
別の態様では、364で、二値細胞質画像319を用いて、細胞質画像301における細胞質画素を同定し、細胞質画素強度は、これらの同定された画素から算出される。364で、二値核画像310は、細胞質画像301内の核領域を同定するためのマスクとして機能し、核画素強度は、これらの同定された画素から算出される。好ましくは、365で、核の内側及び、その細胞のできるだけ多くの細胞質を含む領域における細胞質標識強度の比から数量化される(プロセス8)。別の態様では、数量化は、比365の分布特徴解析366(プロセス9)をふくんでいてもよい。
図23は、ラッフル移行の解析を図示するフローチャートである。もとの画像400は、幾何学的位置づけ補助として核を最もよく示す画像である。もとの画像401は、目的の標識された分子を最もよく示す画像であり、これは、標識された分子の局所濃度に相当する蛍光強度を有する。好ましくは、画像400及び画像401における核及び非核細胞区画の示差的な可視化は、顕微鏡での励起及び発光フィルタリングの異なる条件によって達成される。
画像400(図23の左側)は、核を区分する一組の手順に供される。これらの手順は、画像の前処理、二値化、シード化領域拡張、形態学的リファイニング、及びふるい分けを含む。
画像401(図23の右側)は、ラッフルを含む、細胞質を区分する一組の手順に供される。これらの手順は、画像の前処理、二値化、シード化領域拡張、形態学的リファイニング、及びふるい分けを含む。
図24は、ラッフル移行アッセイの解析のための方法に用いられる核セグメント化の前処理段階を図示するフローチャートである。もとの画像400は、430で入力される。431において、画像400を、非線形抑制(プロセス1)に供して、画像402を出力する。画像402を判定ポイント432に送る。画像402がノイズが多い場合、これを適応ノイズ平滑化433(プロセス2)、又は非線形拡散フィルタリング434(プロセス3)に供する。好ましくは、フィルタリング434は、SGMD及びAEED処理の相互作用によって達成される。画像403が出力される。画像403は、判定ポイント435に送られる。バックグラウンドの補正が所望される場合、画像403は、バックグラウンド補正436に供される(プロセス12)。前処理された核の画像404が作成される。
図25は、ラッフル移行の解析のための方法に用いられる核セグメント化の二値化、シード化領域拡張、形態学的リファイニング及びふるい分けのプロセスを図示するフローチャートである。437では、画像404が入力される。438では、画像404は、最も可能性の高い画素の値よりも暗い核画像の画素が、最も可能性の高い画素の値に設定されるプロセスに供される。画像405が出力される。439では、画像405はOHBによって二値化されて(プロセス4)、画像406が出力される。440では、画像406は、SRGに供されて(プロセス5)、領域画像407が得られる。441では、領域画像407は、画像405で行なわれるOHBの第二の繰り返し(プロセス4)のための画素を規定するためのマスクとして用いられる。二値画像408が出力されて、領域画像407よりも核境界線のさらに正確な定義が提供される。442では、画像408が形態学的リファイニングに供される(プロセス7)。画像409が出力される。443では、画像409は、ふるい分けされる(プロセス13)。ふるい443は、最小の核サイズよりも小さいオブジェクト(このオブジェクトは除去されなければ核と混同される)を除く。二値の核画像410が出力される。
図26は、ラッフル移行アッセイの解析に用いられる細胞質セグメント化手順の前処理段階を図示するフローチャートである。444において、細胞質画像401が入力される。445で、ラッフルのサイズ特徴付けの細部を強調するさらに有利な特性を有するバックグラウンド補正に画像401を供する(プロセス12)。画像411が出力される。画像411は446で非線形拡散フィルタリング(プロセス3)に供される。好ましくは、フィルタリング446は、SGMD処理及びAEED処理の相互作用によって達成される。前処理されたラッフル画像412が得られる。
図27は、ラッフル移行アッセイの解析のための方法において用いられるラッフルセグメント化の二値化、シード化領域拡張、形態学的リファイニング及びふるい分けのプロセスを示すフローチャートである。447では、前処理されたラッフル画像412が入力される。448では、画像412は、最も可能性の高い画素の値よりも暗いラッフル画像の画素が、最も可能性の高い画素の値に設定されるプロセスに供される。画像413が出力される。449では、画像413はOHBによって二値化されて(プロセス4)、画像414が出力される。450では、画像414は、SRGに供されて(プロセス5)、領域画像415が得られる。451では、領域画像415は、画像413で行なわれるOHBの第二の繰り返し(プロセス4)のための画素を規定するためのマスクとして用いられる。二値画像416が出力されて、領域画像415よりもラッフルのさらに正確な定義が提供される。452では、画像416が形態学的リファイニングに供される(プロセス7)。画像417が出力される。453では、画像417は、サイズによってふるい分けされて(プロセス13)、ラッフルと混同されるオブジェクトが除かれる。二値のラッフル画像418が出力される。
好ましくは、454で、二値核画像410が、二値ラッフル画像418から論理的に除外されて、リファイニングされた二値ラッフル画像419が得られるが、ここではラッフルは核にわたって局在できない。
図28は、ラッフル移行アッセイの解析に用いられる数量化手順を図示するフローチャートである。455では、二値ラッフル画像418又はリファイニングされた二値ラッフル画像419が、細胞質画像401からのラッフル強度の算出のためのマスクとして機能する。好ましくは、456で、数量化は、局所コントラストによって達成される(プロセス8)。別の態様では、数量化は、ラッフルのサイズ及び近似に基づいた分布特徴解析457(プロセス9)を含んでいてもよい。
本発明の方法で用いられる関数
この方法のアルゴリズム的工程は、通常用いられる細胞アッセイの特徴に最も適するように考案されている。この方法は、以下に記載されるライブラリーからの関数を組み込むことによって各々の特定のアッセイに構築される。本発明の方法において用いられる関数の一般的性質は以下に示すが、これらの関数のいずれも、画像における特徴を必要に応じて強調、選択、さもなければ影響するようにパラメーター化できるということが理解されるべきである。
プロセス1)高強度ピークの非線形抑制
高い強度ピークから生じるアーチファクトは、特徴的なグレーレベルの統計上の所望されない変動を誘発し、適応閾値及び領域拡張の手順を混乱させ得る。ピーク抑制法は、ヒストグラム補正の公知の技術の変法である。本発明において実行される通り、このプロセスは、入力としてグレーレベル参照画像をとり、最高のグレーレベルを有する画素に非線形抑制を適用して、ダイナミックレンジの静止内の画素に対する変換を同定する。この出力画像は、さらに明るいオブジェクトを超える強度変動の減少を示すが、明るさの劣るオブジェクトを超える強度変動の低下は示さない。これは、下記のような引き続く画像処理の能力を改善するという点で利点を有する。
プロセス2)適応ノイズ平滑化
適応ノイズ平滑化手順は、検出可能特徴を改善するのに有益であり得る(例えば、Morrison他,1995に開示されるように、当業者に明白である)。本発明の好ましい態様において、優れた細部特徴を損なうことなく画像のシグナル対ノイズ比を増大する手順が用いられる。もとの画像及びガウシアン平滑化画像(それぞれ、U及びUσ)を、式2.1に示されるようにあわせる:
式中、(R)は、得られた画像であり、W=W(|▽σU|)は、もとの画像のガウシアン勾配|▽σU|のモジュラスに依存性の加重関数であり、σは、平滑化に用いられるガウシアン関数の標準偏差である。
加重関数Wの使用は、得られた画像Rの画素が、高い勾配の大きさの領域におけるもとの画像Uの値に近く、かつ低い勾配の大きさを有する領域における平滑化された画像Uσの値に近い値を示すという利点を有する。低勾配の大きさの領域は、さらに大きい割合の画像ノイズを含む傾向であり、それによって相対的な振幅が低下する。
適応ノイズ平滑化は、出力画像におけるノイズが、別個に取得された一組の画像を横切る画像から画像の同じ振幅を有するというさらに望ましい特性を有する。この利点は、ノイズのこの振幅均一性によって引き続くセグメント化手順演算がさらに一貫性にされるということである。
プロセス3)非線形拡散フィルタリングによる適応ノイズ平滑化及び特徴強調
非線形拡散フィルタリング(NDF)法は、画像フィルタリングのためのスケールスペース技術の仲間のうちの1つである。NDF法(例えば、Weickert 1997に開示される)は、有用であって、ここではノイズ(高周波数の空間的変調として規定される)が除去され、より低い空間的周波数をともなう特徴が保存されることが望ましい。
本発明は、関連の画像特徴をそれらの形状及びサイズに依存性の様式で強調したままで、画像ノイズを除去するためにNDF法を適用する。画像は、非線形拡散演算子の反復性適用によって処理される。NDF演算子の正確な性質は、所望の特徴的な特性に従って変化し、かかる演算子の一般的な型を式3.1として示す。
式中、U=U(x,y)は、座標依存性の画像強度であり、
は、拡散率テンソル(成分bxxn)、bxyn)、byxn)、byyn)を用いる)であり、dtは、「タイムステップ」パラメーターであり、これは画像展開の速度を制御する。添字の指数は、NDFプロセスの反復回数を示す。
好ましい態様では、本発明は、Weickert 1997に開示されるような、NDFについての3つの公知の方法のうちの1つ以上を組み込む。
・スカラー「勾配係数」誘導拡散(SGMD)
・異方性エッジ強調拡散
・異方性コヒーレンス強調拡散
入力画像は、グレースケール参照画像である。3.1は、SGMD、AEED又はACEDにおいて特定される通り拡散率テンソルとともに適用される。このプロセスは、何度も繰り返されてもよい。SGME,AEED又はACEDの選択は、強調されるか又は抑制される特徴の形態学に基づいて行なわれる。
好ましい態様では、SGMD及び/又はAEEDを、エッジ保存が重要である特徴とともに用いる。AECDをファイバー様の細部とともに用いる。ファイバーもエッジも両方の保存が必要である場合、3つ全ての方法を用いてもよい。
隔離された強度ピークを保存しなければならない場合、本発明は、本発明者らが、スカラーピーク強調拡散(SPED)と称しているさらなる変換を適用する。
本発明のSPEDプロセスの利点は、NDFが隔離された強度ピークについて、例えば細胞の内側の顆粒物質と関連したピークについて最適化され得るということである。SPED反復を実施するのにおいて、SGMD反復の出力は、ピーク形状のマスクでかき乱され、ここで、画素のグレーレベル値は、このマスク中心から指数関数的な距離で減少する。マスクのサイズは、強調されるべきピーク様画像細部の特徴的なサイズに適合するように予め設定される。この手順を、反復の数回の事前設定について反復して、ノイズを抑制したままで先鋭な強度ピークを強調する。
プロセス4)最適のヒストグラム二分割による閾値化
好ましくは、本発明はセグメント化のための最適ヒストグラム二分割(OHB)に当てはまる。これは、生物学的画像に存在する広範な動的範囲に適合するOHB法の特徴である。
OHB手順の入力は、上記の工程1〜3を用いて必要に応じて処理されたグレースケール画像である。この出力は二値画像であり、ここではセグメント化画素が目的の細胞特徴に相当する。
種々のOHB法が公知であり(例えば、Parker 1997,Paulus 1995)、OHB法の1つ又は別の使用から生じる閾値選択においてはバイアスの可能性がある。従って、複数のOHB方法によって算出される幾つかの閾値の幾つかの特性(例えば、4つ全ての平均、昇順でソートされた中間の2つの値の平均、最小又は最大)を用いて閾値を算出することが本発明の利点である。この統計的閾値は、OHB法のいずれか1つによって誘導されるバイアスを被る可能性は低い。
好ましい態様において、4つのOHB法を用いて閾値を生成する。
・二値化のためのエントロピー測定を最大化するグレーレベル値(Paulus 1995,278〜281頁)。
・二値化のための平均平方離隔測定を最大化するグレーレベル値(Paulus 1995,278〜281頁)。
・ファジー集合としてとった画像のShannon測定を最小化するグレーレベル値(Parker 1997,125頁)。
・ファジー集合としてとった画像のYager測定を最小化するグレーレベル値(Parker 1997,125頁)。
プロセス5)シード化領域拡張
領域拡張に対する入力は、グレースケール参照画像及び二値画像であり、これは工程4に記載されるようなプロセスによる参照画像から作成される。参照画像における目的の特徴を示す二値画素がその参照画像におけるその特徴に正確に対応しないということが最初の二値画像の不利な点である。従って、最終の二値画像が参照画像においてより良好な特徴を示すことができるように領域拡張を用いる。シード化領域拡張法がそのシード画像として最初の二値画像を用いることは本発明の1態様である。次いで、整調可能な反復手順(例えば、Russ,1991、87〜89頁に記載されるものなど)を用いて領域に二値画像を加える。整調(チューニング)は、候補画素を選択するために、拡張するオブジェクト、その近傍及びバックグラウンドの統計的な特性を用いることであると規定され、この1実施形態は、式5.1に示される。統計的パラメーターは、反復して再算出され、その手順は目的の領域に対する画素の最適の割り当てが得られるまで続けられる。
式中、TNは、現在の反復のために用いた閾値であり、Mean[U|BN]及びStd[U|BN]は、二値画素のアンサンブルによって算出される平均及び標準偏差であり、Mean[U|BckN]及びStd[U|BckN]は、バックグラウンド画素のアンサンブルによって算出される平均及び標準偏差であり(すなわち、画素はオブジェクトONにも境界BNにも含まれない)、kB及びkBckは、1に近い値で係数を制御している。
領域拡張プロセスのN回の反復で、画素ONの拡張集合に隣接する(第一の反復で、O1は、シード画像と一致する)候補の境界画素p(p⊂BN)は、参照画像U上の対応するグレー値U(p)がTNの閾値を超える場合及び超える場合のみ、次の反復について画素ON1の拡張集合に含まれる。この閾値は、式Xの通り画像Uの全体的統計から算出される。
この反復プロセスを、画素の拡張集合に隣接する候補画素がなくなるまで(U(p)>TNとして規定される)続ける。
プロセス6)テクスチャ変換
未染色又は生きたまま染色された試料のセグメント化及び解析が可能であることが本発明の利点である。かかる試料は、微分干渉コントラスト(DIC)顕微鏡、明視野顕微鏡又は他の非蛍光顕微鏡を用いて得られる。これらの方法は蛍光又は他の染色手順に耐えられない生存細胞を画像化するのに最も有用である。
重要な態様では、本発明は特徴の検出可能性を増強するために、規定のテクスチャのタイプの強度波動を突き止める。このテクスチャ変換手順は、グレーレベル共起統計学に基づく(例えば、Parker 1997,155頁に開示される通り)。これらの手順は、それらの入力としてグレーレベル参照画像をとり、それらの出力としてグレーレベル処理画像を作成し、ここでは適切なテクスチャの特徴は、他の特徴(が強調される)よりも明るい。次いで、この強調された特徴は、蛍光画像に用いられる手順と同様の手順を用いてセグメント化され得る。従って、同様のセグメント化手順のセットを用いて蛍光及び非蛍光物質を解析できるということがこのテクスチャ変換の重要な利点である。
好ましい態様において、「エネルギー」テクスチャ変換(Parker 1997,160頁に記載される)が用いられる。この変換は、試料の最小の形態学的スケール(MMS)の値によってパラメーター化される。MMSは、意味のある画像細部の最小サイズとしてユーザーに規定される。
テクスチャ変換は、セグメント化の前に非蛍光画像を強調するための好ましい方法であるが、他の変換が用いられ得ることが理解されるべきである。重要な態様は、出力画像における強度増大が参照画像における構造的な特徴的特性に依存する強調である。
プロセス7)検出された特徴の形態学的リファイニング
特徴の境界における微細な突出、種々のサイズのホール又は他の不連続性は、セグメント化形状において所望されない変動を生じ得る。次に、これが数量化アルゴリズムの能力低下をもたらし得る。例えば、骨組み化アルゴリズムは、とがったオブジェクトの端では機能が劣る。形態学的平滑化及びサイズによるふるいわけ管理したホール充填を数量化の前に用いることが本発明の特徴である。MMSの値は、平滑化手順の閾値サイズとして働く。好ましい態様では、この手順は、MMSより小さいサイズの全ての画像細部を除き、これによって粗さを除く。
プロセス8)局所コントラストによる数量化
概して、特徴は、周囲の細胞物質の強度に対するその強度によって規定される。特徴とその局所周囲との間の局所コントラストは、式8.1に規定される。
コントラスト値は、参照画像から、又は処理画像上で規定された位置から直接算出されて、参照画像に移されてもよい。
プロセス9)分布特徴解析
幾つかの測定された特徴に基づく特徴の分布は、基礎にある生物学を反映し得る。通常は、基礎にある生物学を反映するために用いられる特徴サイズ又は強度の頻度ヒストグラムをみる。
本発明は、細胞サンプルにおける変化の指標として混合された特徴分布を用いる。この特徴分布は、確率密度分布関数(PDDF)によってモデル化される。次いで、周波数分布がどうされるべきかという幾つかの予め決定されたモデルに対して仮説を試験する。単峰性の分布は、例えば細胞顆粒が単一の特徴サイズについて分布される場合に得られる。二峰性の分布は、より大きいか又は小さい顆粒の集団が出現する処理によって細胞顆粒がそのように変更される場合に生じる(NorakのTransfluorアッセイと同様に)。この場合、観察されるPDDFが二峰性である程度に基づいて、特定の処理が有効である判定を行なってもよい。
特徴χの二峰性分布という特定の場合に、混合PDDFであるPmix(χ)は、式9.1に示されるようなその2つの成分の別個のPDDFとして表される:
式中、部分的なPDDFであるP1(χ)、P2(χ)の両方とも有限な平均並びに分散μi及びσi(i=1,2)を有する。混合PDDFの二峰性の提示(9.1)において、αは、二峰性モデルについての重みづけパラメーターである。2つの重みづけ係数α及び(1−α)は、混合PDDFPmix(χ)に対する、部分的PDDFであるP1(χ)、P2(χ)の寄与の相対量を反映する。
(9.1)に示される混合PDDFの平均及び分散は、
であり、式中μmix及びσmixは、それぞれ混合サンプルの平均及び標準偏差である。重みづけパラメーターαの実験的推定値
は、9.3a及び9.3bに示されるように、式(9.2a)及び/又は(9.2b)によってサンプルから算出され得る。
式中、推定値
は、部分的サンプル及び混合サンプルの平均及び標準偏差である。部分的サンプルを規定するために、混合サンプルを分けなければならない。これは、閾値二分割演算によって達成される。二分割閾値tは、任意の公知の方法(例えば、プロセス4のOHB方法)によって規定され得る。
好ましい態様において、サンプルの分離は、式9.4において算出されるような2つの集団の平均の間の正規化された距離として表される。
式中、SSはサンプルセパレーションである。
別の好ましい態様では、各々の部分分布が原因となる混合分布の割合は上記に示される通り
である。
SS及び
は本発明の分布特徴解析のための好ましいパラメーターである。
10)顆粒細部の周波数領域検出
細胞本体内の顆粒構造(例えば、小胞)は、生物学を反映する方法でサイズ及び強度を増大又は減少させ得る。従って、顆粒構造解析が画像エネルギースペクトルを解析することによってなされ得ることが本発明の特徴である。エネルギースペクトルは、顆粒及び非顆粒特徴の両方を評価する解析表示によって記載される。
エネルギースペクトルの一般式を式10.1に示す。
式中、E(ρ)はエネルギースペクトルであり、F(ρ,ψ)は、極座標で表されたもとの画像のフーリエ変換であり、<…>ψは角座標による平均を意味し、ρ及びψは、相応して、フーリエ空間における動径座標及び角座標である。
公知の方法(例えば、Granlund他,1995)を用いて、顆粒をほぼ同じ幅の一組の散乱強度ピークとして処理する。好ましい態様では、顆粒の強度プロフィールは、ガウシアン関数によってモデル化される(式10.2)。
式中、aは、顆粒の有効平均半径であり、
は、顆粒の位置である。f(a)は、顆粒の明るさがそのサイズに関する比例乗数である(f(a)〜a3)。明るい顆粒(例えば蛍光)を用いれば、比例乗数f(a)はサイズ測定を改善する。なぜなら顆粒の明るさはその容積に比例するからである。
同じサイズの顆粒のエネルギースペクトルは、ガウシアン関数のフーリエ変換の係数の二乗として規定される(式10.3):
非顆粒特徴によって式10.4に示されるようなエネルギースペクトルにおける累乗項が得られることが公知である(Granlund他,1995):
従って、エネルギースペクトルのためのモデル式(式,10.5)を、2つの主な成分(非顆粒及び顆粒)の寄与の加重和の式でとる:
式中、A1,A2は0より大きい。
生物学的条件の間の識別は、パワースペクトルの顆粒成分の寄与を反映する、2つのフィットしたパラメーター(式10.5から得られる)であるa(平均顆粒半径の見積もり)及び比(A2/A1)に基づいて行なわれる。
この解析は、エネルギースペクトル構築、続いて数量化を通じて進行する。
エネルギースペクトル構築
顆粒のフーリエスペクトルを公知の方法(Press 1992,689頁に記載される通り)によって作成する。次いで、このスペクトルをフーリエ空間における角座標及び半径距離の打ち切りによる平均後に別個の一次元周波数依存に対して減らす。この手順は、半径距離ρj(j=1,...Nρ)の値の別個の組について規定された変換(10.1)を行なう、ここでNρは、半径距離の別個の値の数である。この演算の結果として、平均スペクトル強度<E>jを、ρjの各々の値について算出し、スペクトルの別個の表示が得られる{ρj,<E>j}。
数量化(スペクトルフィッティング)
非線形フィッティングの公知の方法(Press 1992,683頁,408頁)を用いて、エネルギースペクトルから3つのフィッティングパラメーターを得る−a(顆粒の有効平均半径)並びにモデル式(10.5)からの振幅A2及びA1。好ましい態様において、aの値及び比(A2/A1)を画像数量化のために用いる。
11)境界マッピング
境界マッピングは、セグメント化画像で幾何学的解析を行なうために用いられる手順である。本発明は、神経突起起源周囲の幾何学的領域を突き止めるために境界マッピングを用いる(図10)。最も代表的には、各々の細胞は、境界マッピングプロセスによって出力された、その周囲の境界設定領域を有する。
境界マッピングの1つの態様として、セグメント化神経突起(下記のプロセスからの出力として)を骨組みにする(例えば、Russ 1991,483〜485頁に開示されたように)。この骨組み化された画像において、対応する細胞画像における神経突起、神経突起終端、神経突起分岐点、及び各々の神経突起についての起源の細胞(付着点)を見出すことができる。
・二値骨格の画素は、その3×3近傍において2つを超える非ゼロ画素が存在する場合、及びその場合のみ分岐点であると考えられる。
・二値骨格の画素は、その3×3近傍において1つだけ非ゼロ画素が存在する場合、及びその場合のみ終点であると考えられる。
・二値骨格の画素は、それが終点であり、細胞に対して近傍である場合、その細胞に対する神経突起の付着点であると想定される。
・神経突起は、その神経突起が、対応する細胞テセレーション処理画像にける細胞の境界設定領域内に存在する場合に、特定の細胞本体に起源すると考えられる。
境界マッピングの第二の態様として、細胞テセレーション処理画像を作成する。テセレーションは、シードとして働く任意のセグメント化標的の無条件の領域拡張又は二値拡張の結果である(Parker 1997,69頁)。この場合、標的は最も代表的には細胞本体である。
従って、境界マッピングは2つの入力画像を有する。セグメント化神経突起画像は骨格化に入力される。セグメント化細胞画像はテセレーションに入力される。骨格化神経突起画像及びテセレーション処理細胞画像は、中間出力である。最終出力は、骨格化された画像からとった神経突起幾何学の測定値であり、テセレーション処理細胞画像からとった特定の細胞に対する神経突起起源の局在化である。
12)バックグラウンド補正
バックグラウンド補正は、照射又はもとの画像からの発光強度における空間不均一性を除去する。好ましい方法は、試料の細部が存在しないが低周波数バックグラウンド成分が存在している、高度に平滑化された画像を作製するために画像を処理することである。この高度に平滑化された画像は、もとの画像から差引きされるか、又はもとの画像に分割される。
画像を平滑化するための種々の手順は当業者に明白である。例えば、ガウシアン平滑化、グレースケール開放、ペアワイズフィルタリング(開放後閉鎖又は閉鎖後開放)、又は可変縦続フィルタリング(Jahne 1999,627〜680頁)は、全てこのタイプの演算において用いられている。
平滑化演算又はバックグラウンド補正の他の方法はまた、さらに大きい特徴を重視しないままで、所定のサイズの特徴を最適に選択するためにも用いることができるということが理解されるべきである。
13)ふるい分け
ふるい分けは、二値画像をフィルタリングして、目的の特徴に相当しない形状を有する、セグメント化標的を除去するプロセスである。例えば、画像は、サイズによってふるい分けされて、特定のサイズ範囲内におさまる特徴のみがふるい分けされた画像に残る。多くの他のタイプのふるいは、特徴の幾何的な特性に依存する。例えば、画像は、形状の記述子によってふるい分けされ得る(Russ 1999,553〜555に開示のように)。本発明の特徴は、ふるい分けが単一の規準(例えば、サイズ)又は複数の規準を用いて適用されるということである。複数規準のふるいの例としては、本発明の方法は、異なる規準(例えば、第一の画像では円形、第二では細長い)に従って2つの画像をふるい分け、次いでさらなるふるい分け工程を行う。2つ組のふるい分けでは、別の規準(例えば、丸いオブジェクトに近い細長いオブジェクト)を満たす特徴のみが保持される。
神経突起アッセイのための方法
神経突起物質は構造的に複雑であり、画像は多くの潜在的に混同される特徴を含む。蛍光標識された試料及び未標識の試料を含む、広範な種々の試料内の神経突起の自動的かつ正確な検出を行なうことが本発明の特徴である。
1つの態様では、この方法は、未染色の画像における引き続くセグメント化を改善するためにエネルギーテクスチャ変換を用いる。
別の態様では、この方法は、非線形の拡散フィルタリング、最適のヒストグラム二分割、シード化領域拡張、ふるい分け、及び形態学的画像リファイニングのプロセスを使用することによって神経突起及び細胞本体の検出能を改善する。
別の態様では、この方法は、テセレーション手順を用いて細胞本体についての影響のゾーンを境界設定する。これらのゾーンから、神経突起構造は、その起源の細胞本体に関連し得る。広範な種々の神経突起構造を同定して、起源の細胞本体に関連付けることができることが本発明の特徴である。
神経突起解析のための詳細な手順は、図3〜10に最もよく示される。
顆粒移行アッセイのための方法
本発明は、Norak Inc.のTransfluorアッセイのような核移行アッセイにおいて共通して観察された顆粒物質の解析を行なう。これらのアッセイでは、予め決定されたサイズの細胞質顆粒は、セグメント化されかつ解析されなければならず、一方では、細胞質の外側の顆粒のアーチファクトは、無視されなければならない。弱く標識された細胞質の物質(次に、この中には顆粒が局在し得る)でさえ検出することが本発明の方法の特徴である。
1つの態様では、この方法は、高強度ピークの非線形抑制、非線形拡散フィルタリング又は適応ノイズ平滑化、最適のヒストグラム二分割、シード化領域拡張、及び形態学的画像リファイニングのプロセスを使用することによって、顆粒及び細胞質の検出能を改善する。
好ましい態様では、本発明は、顆粒強度又は幾何的特性における変更を報告するために分布的特徴解析を用いる。
顆粒移行アッセイのための手順の詳細を図11〜17に示す。
核移行アッセイのための方法
核移行は、核及び細胞質に含まれる蛍光標識の相対的強度における変化によって通常数量化される。代表的には、2つの画像が得られる。1つの画像は、幾何的な位置づけ補助として、及び/又は生存度もしくは他の細胞機能態様を示すために、核を最もよく示す。第二の画像は細胞質を最もよく示し、ここでは目的の標識分子の局所濃度に相当する蛍光強度を伴う。
本発明の1つの態様では、測定を行なうための核及び細胞質の領域を最もよく示すように、処理された細胞画像から移行が数量化される。好ましくは、核を示すための処理としては、高強度ピークの非線形抑制、非線形拡散フィルタリングによるノイズ抑制、バックグラウンド補正、最適のヒストグラム二分割、及び形態学的リファイニングが挙げられる。好ましくは、細胞質を示すための処理としては、高強度ピークの非線形抑制、適応ノイズ平滑化又は非線形拡散フィルタリングによるノイズ抑制、バックグラウンド補正、最適のヒストグラム二分割、及び形態学的リファイニングが挙げられる。
1つの態様では、分布的特徴解析は、移行を数量化するために用いられ得る。この場合、さらに暗いさらに明るい核及び/又は細胞質の相対的な寄与が核又は細胞質の強度ヒストグラムの二峰性の性質から識別され得る。
強度数量化プロセスから算出された任意の強度パラメーターを分布解析に供してもよい。例えば、核−細胞質比、核強度、及び細胞質強度は全て用いることができる。
核移行アッセイの解析のための方法を図18〜23に示す。
メンブレンラッフリングアッセイのための方法
幾つかの移行事象を細胞質の非断続領域内の標識の限局された分布によって特徴付ける。この分布は、形態学的に別個であるか又は隆線形の生成物であって、ここでは「ラッフル(ruffles)」と呼ばれる。ラッフルは、特定の断面サイズの強度識別特徴として規定される。この方法は、核移行アッセイのために用いた方法と同様であり、ラッフルオブジェクトをさらによく検出するための詳細なリファイニングをともなう。メンブレンラッフルの自動的な識別を提供する方法に組み入れられることが本発明の関数の特徴である(図24〜28)。
本発明の好ましい実施形態は、例示的な目的のために開示されているが、当業者は、多くの付加、改変及び置換が本発明の範囲及び趣旨から逸脱することなく可能であるということを理解する。
引用文献
Anderson, C.M., Georgiou, G.N., Morrison, I.E.G., Stevenson, G.W. and Cherry, R.J. Tracking of cell surface receptors by fluorescence digital imaging microscopy using a charge-coupled device camera, Journal of Cell Science 101:415-425 (1992).
Benveniste, M., Schlessinger, J. and Kam, Z. Characterization of internalization and endosome formation of epidermal growth factor in transfected NIH-3T3 cells by computerized image-intensifed three-dimensional fluorescence microscopy, The Journal of Cell Biology 109:2105-2115 (1989).
Chassery, J.M. and Garbay, C. An interative segmentation method based on a contextual color and shape criterion, IEEE PAMI 6:794 (1984).
Conway, B.R., Minor, L.K., Xu, J.Z., Gunnet, J.W., DeBiasio, R., D’Andrea, M.R., Rubin, R., DeBiasio, R., Giuliano, K., Zhou, L. and Demarest, K.T. Quantification of G-protein coupled receptor internalization using G-protein coupled receptor-green fluorescent protein conjugates with the ArrayScan high-content screening system. Journal of Biomolecular Screening 4:75-86 (1999).
Crissman, J.D., Visscher, D.W. and Kubus, J. Image cytophotometric DNA analysis of atypical hyperplasias and intraductal carcinomas of the breast, Archives of Pathology and Laboratory Medicine 114:1249-1253 (1990).
Dawes, E. A. Quantitative Problems in Biochemistry, Baltimore: Williams and Wilkins, pp.293-311, 1972.
De Le Torre, C. and Navarrete, M. H. Experimental Cell Research 88: 171-174, 1974.
Deligdisch et al., Cancer 72:3253-3257, 1993.
Feynman R. et al, The Feynman Lectures on Physics, Addison-Wesley Publishing Co., Inc., Reading, Massachusetts, Palo Alto, London, 1964, p. 35.
Freshney, R. I. Quantitation and Experimental Design, in Culture of Animal Cells, a Manual of Basic Technique, 2nd ed., New York: Alan R. Liss, pp. 227-256, 1987.
Fu K. S. and Mui, J. K. A Survey on Image Segmentation, Pattern Recognition 13:3-16 (1981).
Galbraith, W. Wagner, M.C.E., Chao, J., Abaza, M., Ernst, L.A., Nederlof, M.A., Hartsock, R.J., Taylor, D.L. and Waggoner, A.S. Imaging cytometry by multiparameter fluorescence, Cytometry 12:579-596 (1991).
Garbay, C. Image structure representation and processing: a discussion of some segmentation methods in cytology, IEEE Transactions PAMI 2:140 (1986).
Georget, V., Terouanne, B., Lumbroso, S., Nicolas, J.-C. and Sultan , S. Trafficking of Androgen Receptor Mutants Fused to Green Fluorescent Protein: A New Investigation of Partial Androgen Insensitivity Syndrome, The Journal of Clinical Endocrinology & Metabolism 83:3597-3603 (1998).
Gibson, D. and Gaydecki, P.A. The application of local gray level histograms to arganelle classification in histological images, Gibson, D. and Gaydeicki, P.A. Computers in Biology and Medicine 26:329-337 (1996).
Gil, J., Marchevsky, A.M. and Sialge, D.A. Applications of computerized interactive morphometry in pathology: I. Tracings and generation of graphics standards, Laboratory Investigation 54:222-227 (1986).
Giroud, F. Biology of the Cell 44:177-188 (1982)
Granlund G.H., Knutsson H., Signal Processing For Computer Vision, Kluwer Academic Publishers, 1995, pp 174-176.
Hueckel, M.H. An operator which locates edges in digitized pictures, Journal of the Association of Computing Machines 1:113 (1971).
Ishido, T., Itabashi, M., Ochiai, A., Hirota, T., Yokota, T. and Saito, D. Morphometric analysis of colorectal dysplasia with image processing, Archives of Pathology and Laboratory Medicine 118:619-623 (1994).
Kawamoto, H., Koizumi, H. and Uchikoshi, T. Expression of the G2-M checkpoint regulators cyclin B1 and cdc2 in nonmalignant and malignant human breast lesions, American Journal of Pathology 150:15-23 (1997).
Lee et al., A processing strategy for automated Papanicolaou smear screening, Analytical and Quantitatiave Cytology and Histology 14:415-425 (1992).
Lockett, S.J., Jacobsen, K., O’Rand, M., Kaufman, D.G., Corcoran, M., Simonsen, M.G., Taylor, H. and Herman, B. Automated image-based cytometry with fluorescence-stained specimens, Biotechniques 10:514-519 (1991).
Luby-Phelps, K., Lanni, F. and Taylor, D.L. Behavior of a fluorescent analogue of calmodulin in living 3T3 cells, The Journal of Cell Biology 101:1245-1256 (1985).
Macaulay, C. and Palcic, B. A comparison of some quick and simple threshold selection methods for stained cells, Analytical and Quantitative Cytology and Histology, 3:134 (1988).
Macaulay, C. and Palcic, B. An edge relocation segmentation algorithm, Analytical and Quantitative Cytology and Histology, 6:394 (1990).
Malay, F.-E., Vittoz, M., Urwyler, A., Koshikawa, K., Schleinkofer, L. and De Weck, A.L. A dual microtiter plate (192 sample) luminometer employing computer-aided single-photon imaging applicable to cellular luminescence and luminescence immunoassay, Journal of Immunological Methods 122:91-96 (1989).
Martin, H., Voss, K., Hufnagel, P. and Frolich, K. Automated image analysis of gliomas: An objective and reproducible method for tumor grading, Acta Neuropathologica 63:160-169 (1984).
Miraglia, S., Swartzman, E.A., Mellentin-Michelotti, J., Evangelista, L., Smith, C., Gunawan, I., Lohman, K., Goldberg, E.M., Manian, B. and Pau-Miau, Y. Homogeneous cell- and bead-based assays for high-throughput screening using fluorometric microvolume assay technology. Journal of Biomolecular Screening 4:193-204 (1999).
Mize, R.R., Holdefer, R.N. and Nabors, L.B. Quantitative immunocytochemistry using an image analyzer. I. Hardware evaluation, image processing, and data analysis, Journal of Neuroscience Methods 26:1-24 (1988).
Morrison, I.E.G., Anderson, C.M., Georgiou, G.N., Stevenson, G.V.W. and Cherry, R.J. Analysis of receptor clustering on cell surfaces by imaging fluorescent particles, Biophysical Journal 67:1280-1290 (1994).
O’Gorman, L., Sanderson, A.C. and Preston, K. Jr. A system for automated liver tissue image analysis: methods and results, IEEE Transactions BME 9:696 (1985).
Oldmixon, E.H., Butler, J.P. and Hoppin, F.G. Semi-automated measurement of true chord length distributions and moments by video microscopy and image analysis, Journal of Microscopy 175:60-69 (1994).
Omalley, D.M. Calcium permeability of the neuronal nuclear envelope: evaluation using confocal volumes and intracellular perfusion, Journal of Neuroscience 14:5741-5758 (1994).
Ong, S.H., Giam, S.T., Jayasooriah, Sinniah, R. Adaptive window-based tracking for the detection of membrane structures in kidney electron micrographs, Machine Vision and Applications 6:215 (1993).
Parker, J.R., Algorithms for Image Processing and Computer Vision, John Wiley & Sons, 1997
Paulus, D.W.R., Hornegger J., Pattern Recognition and Image Processing in C++, Vieweg 1995
Press W. H. et all, Numerical Recipes in C, Cambridge University Press, 1992
Proffit et al., Cytometry 24:204-213, 1996
Ramm, P. Imaging systems in assay screening, Drug Discovery Today 4:401-410 (1999).
Ramm, P., Soltys, B., Cholewinski, A., Nadon, R., Alexandrov, Y., Cybuch, J., Donders, P., Kennedy, A. and Bula, W. Automated screening of neurite outgrowth, Paper presented at the 2001 Annual Meeting of the Society for Biomolecular Screening, September 2001.
Ramm, P., Soltys, B., Cholewinski, A., Nadon, R., Alexandrov, Y., Cybuch, J., Donders, P., Kennedy, A. and Bula, W. Automated screening of neurite outgrowth, Submitted to Journal of Biomolecular Screening, January 2002.
Refenes, A.N., Jain, N. and Alsulaiman, M.M. An integrated neural network system for histological image understanding, Proceedings of the SPIE Machine Vision Systems Integration in Industry 1386:62 (1990).
Russ, J.C., Computer Assisted Microscopy, Plenum Press, 1991, pp. 87-89.
Russ, J.C., Image Processing Handbook, CRC Press LLC, 1999
Santisteban, M.-S., Montmasson, M.-P., Giroud, F., Ronot, X. and Brugal, G. Fluorescence image cytometry of nuclear DNA content versus chromatin pattern: A comparative study of ten fluorochromes, The Journal of Histochemistry and Cytochemistry 40:1789-1797 (1992).
Sawicki, W., Rowinski, J. and Swenson, R. Journal of Cell Physiology 84:423-428, (1974).
Serra, J. Image Analysis and Mathematical Morphology, Acadmic Press, 1982.
Smeulders, A.W.M., Veldstra, L.L., Ploem, J.S. and Cornelisse, C.J. Texture analysis of cervical cell nuclei by segmentation of chromatin patterns, Journal of Histochemistry and Cytochemistry 1:199 (1979).
Smith, T.G., Marks, W.B., Lange, G.D., Sheriff, W.H. and Neale, E.A. A fractal analysis of cell images, Journal of Neuroscience Methods 27:173-180 (1989).
Schroeder, K.S. and Neagle, B.D. FLIPR:; A new instrument for accurate, high throughput optical screening, Journal of Biomolecular Screening 1:75-84 (1996).
Seniuk, N.A., Tatton, W.G., Cannon, P.D., Garber, A.T. and Dixon, G.H. First expression of protamine message in trout testis, Annals of the New York Academy of Sciences 637:277-288 (1991).
Souchier, C., Ffrench, M., Benchaib, M., Catallo, R. and Bryon, P.A. Methods for cell proliferation analysis by fluorescent image cytometry, Cytometry 20:203-209 (1995).
Stotzka, R., Manner, R., Bartels, R.H. and Thompson, D. A hybrid neural and statistical classifier system for histopathologic grading of prostatic lesions, Analytical and Quantitative Histology and Cytology 17:204-218 (1995).
Takamatsu, T. et al., Acta Histochem. Cytochem. 19: 61-71, 1986
Taylor, D. L., Woo, E.S. and Giuliano, K.A. Real-time molecular and cellular analysis: the new frontier of drug discovery, Current Opinion in Biotechnology 12:75-81 (2001).
Thompson, D., Bartels, H.G., Haddad, J.W. and Bartels, P.H. Scene segmentation in a machine vision system for histopathology, SPIE Proceedings New Technologies in Cytometry and Molecular Biology 1206:40 (1990).
Wied, G.L. et al. Expert systems as classifiers in diagnostic cytopathology, IEEE/Ninth Annual Conference of the Engineering in Medicine and Biology Society, pp.1915-1917 (1987).
Zoli, M., Zini, I., Agnati, L.F., Guidolin, D., Ferraguti, F. and Fuxe, K. Neurochemistry International 16:383-418 (1990).
Wolberg, W.H., Street, W.N. and Mangasarian, O.L. Breast cytology diagnosis with digital image analysis, Analytical and Quantitative Cytology and Histology 15:396-404 (1993).
本発明のシステムの光学的、機械的及び電気的構成要素を図示する模式的なブロック図である; 高速オートフォーカスデバイスを図示する模式的なブロック図である。 神経突起解析のための一般的手順を示すフローチャートである。 自動的な神経突起解析のための方法において用いられる画像前処理手順を示すフローチャートである。 図5aは、未染色の細胞画像を、微分干渉コントラスト顕微鏡を用いた画像として示しており、画像処理手順のエネルギーテクスチャ変換によって図5bの画像が得られ、ここでは、神経突起が強調され、自動的なシステムによってさらに容易に検出される。 神経突起解析方法の二値化手順を図示するフローチャートである。 図7aは、もとの画像(蛍光顕微鏡を用いて得られた)を示しており、図7bは、神経突起の二値画像を示し、ここでは、神経突起及び細胞本体の両方が、本発明の二値化手順によって、正確にかつ自動的に二値化されている。 本発明の方法の細胞及び神経突起分類手順を図示するフローチャートである。 本発明の境界マッピング手順を図示するフローチャートである。 特定の神経突起及びもとの細胞のその幾何的特性を突き止めるための自動的切りわけマッピング手順の間、その中に神経突起及び神経突起形状の細部が割り当てられている影響のゾーンを図示している。 左側には、顆粒移行アッセイの解析の顆粒セグメント化のためのフローチャートを示す。右側には、顆粒移行アッセイの解析の細胞質セグメント化のためのフローチャートを示す。 顆粒移行アッセイの解析のための方法の細胞本体セグメント化の画像処理を図示するフローチャートである。 顆粒移行アッセイの解析のための方法の細胞本体セグメント化の二値化、シード化領域拡張、形態学的リファイニング及びふるい分け手順を示すフローチャートである。 顆粒移行アッセイの解析のための方法の顆粒セグメント化手順を示すフローチャートである。 顆粒移行アッセイの解析のための方法の数量化手順を図示するフローチャートである。 数量化の周波数領域解析方法からのデータを図示しており、これは処理された細胞における顆粒の変化の周波数領域識別が、顆粒物質の測定領域のような他の方法の実行可能な代替法であることを実証する。 核移行の解析のためのプロセスを実証するフローチャートである。 核移行アッセイの解析に用いられる核セグメント化の前処理段階を図示するフローチャートである。 核移行の解析のための方法の核セグメント化の二値化、シード化領域拡張、及び形態学的リファイニングプロセスを図示するフローチャートである。 核移行アッセイの解析に用いられる細胞質セグメント化の前処理を図示するフローチャートである。 核移行アッセイの解析のための方法において用いられる細胞質セグメント化の二値化、シード化領域拡張、形態学的リファイニング及びふるい分け手順を示すフローチャートである。 核移行アッセイの解析に用いられる数量化手順を図示するフローチャートである。 ラッフル移行の解析を図示するフローチャートである。 ラッフル移行アッセイの解析のための方法において用いられる核セグメント化の前処理段階を図示するフローチャートである。 ラッフル移行の解析のための方法において用いられる核セグメント化の二値化、シード化領域拡張、及び形態学的リファイニング、及びふるい分けのプロセスを図示するフローチャートである。 ラッフル移行アッセイの解析に用いられる細胞質セグメント化の前処理段階を図示するフローチャートである。 ラッフル移行アッセイの解析のための方法において用いられるラッフルセグメント化の二値化、シード化領域拡張、形態学的リファイニング及びふるい分けのプロセスを図示するフローチャートである。 ラッフル移行アッセイの解析に用いられる数量化手順を図示するフローチャートである。

Claims (13)

  1. 電子カメラと、上記カメラのための焦点画像を与える光学サブシステムと、複数の容器中の検体を光学サブシステムのレンジ内の位置に配置する位置決めサブシステムと、上記カメラ及び上記サブシステムを制御するコンピューターと、細胞の同化の解析のための一般制御プロセスを総合的に規定する一組の選択可能なサブプログラムを含むコンピュータープログラムを実行するコンピューターとを備える、細胞同化作用の自動的解析のためのオプトメカニカルシステム。
  2. 実験装置に対するインターフェースをさらに備える、請求項1記載のシステム。
  3. 前記制御サブプログラムが、神経突起同化作用を解析するための一般的自動化制御プロセスを総合的に規定する、請求項1又は請求項2記載のシステム。
  4. 前記制御サブプログラムが、細胞内の顆粒物質を解析するための一般的自動化制御プロセスを総合的に規定する、請求項1乃至請求項3のいずれか1項記載のシステム。
  5. 前記制御サブプログラムが、顆粒細胞下区画と非顆粒細胞下区画との間の物質の移行に関連する顆粒物質の特徴及び分布を解析するための一般的自動化制御プロセスを総合的に規定する、請求項4記載のシステム。
  6. 前記制御サブプログラムが、非顆粒細胞下区画の間の物質の移行を解析するための一般的自動化制御プロセスを総合的に規定する、請求項1乃至請求項5のいずれか1項記載のシステム。
  7. 前記制御サブプログラムが、核と細胞質細胞下区画との間の物質の移行を解析するための一般的自動化制御プロセスを総合的に規定する、請求項6記載のシステム。
  8. 前記制御サブプログラムが、形態学的に別個の細胞の同化作用における物質の区画化を解析するための一般的自動化制御プロセスを総合的に規定する、請求項1乃至請求項7のいずれか1項記載のシステム。
  9. 前記制御サブプログラムが、以下の解析プロセス:
    高強度ピークの非線形抑制;
    適応ノイズ平滑化(ガウシアン);
    非線形拡散フィルタリングによる適応ノイズ平滑化及び特徴強化;
    最適ヒストグラム二分割による閾値化;
    シード化領域拡張;
    テクスチャ変換;
    検出された特徴の形態学的リファイニング;
    局所コントラストによる数量化;
    分布特徴解析;
    顆粒細部の周波数領域検出;
    境界マッピング;
    バックグラウンド補正;及び
    ふるい分け;
    のうちの少なくともあるサブグループを達成する、
    請求項1乃至請求項8のいずれか1項記載のシステム
  10. 前記制御サブプログラムが、前記容器の表面に対して固定されていない位置にある細胞に使用し得るソフトウェアオートフォーカスアルゴリズムを含む、請求項1乃至請求項9のいずれか1項記載のシステムであって、
    参照として位置オートフォーカスによって達成される最高の焦点位置を用いる工程と、
    試料容器中に固定距離移動する工程と、
    距離間隔で多数の画像をとる工程と、
    これらの画像からの最高の焦点を算出する工程と、
    を含む、システム。
  11. 前記制御サブプログラムが、単一焦点面を超えて延在する試料に適合したソフトウェアオートフォーカスアルゴリズムを含む、請求項1乃至請求項10のいずれか1項記載のシステムであって、
    参照として位置オートフォーカスによって達成される最高の焦点位置を用いる工程と、
    試料容器中に固定距離移動する工程と、
    該試料を包含する十分大きな距離範囲で一組の画像を取得する工程と、
    該得られた画像を該試料の細い光学的切片を最もよく示す単一の画像に合わせる工程と、
    を含むシステム。
  12. 前記制御サブプログラムが、単一焦点面を超えて延在する試料に適合したソフトウェアオートフォーカスアルゴリズムを含む、請求項1乃至請求項11のいずれか1項記載のシステムであって、
    参照として位置オートフォーカスによって達成される最高の焦点位置を用いる工程と、
    試料容器中に固定距離移動する工程と、
    該試料を包含する十分大きな距離範囲で一組の画像を取得する工程と、
    該得られた画像の組で画像逆重畳を実施して、該試料の細い光学的切片を最もよく示す単一の画像を作成する工程と、
    を含むシステム。
  13. 前記光学切片が前記試料の厚みの実質的に全体である、請求項12又は請求項13記載のシステム。
JP2004503932A 2002-05-14 2003-05-09 細胞の迅速自動化スクリーニングシステム及び方法 Pending JP2005525550A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US38082202P 2002-05-14 2002-05-14
PCT/IB2003/001821 WO2003095986A1 (en) 2002-05-14 2003-05-09 System and methods for rapid and automated screening of cells

Publications (1)

Publication Number Publication Date
JP2005525550A true JP2005525550A (ja) 2005-08-25

Family

ID=29420631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004503932A Pending JP2005525550A (ja) 2002-05-14 2003-05-09 細胞の迅速自動化スクリーニングシステム及び方法

Country Status (6)

Country Link
US (3) US7469056B2 (ja)
EP (1) EP1504247A1 (ja)
JP (1) JP2005525550A (ja)
AU (1) AU2003230069B2 (ja)
CA (1) CA2485602C (ja)
WO (1) WO2003095986A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009534665A (ja) * 2006-04-18 2009-09-24 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 分割用の画像を作成するシステム
US8077945B2 (en) 2005-12-14 2011-12-13 The University Of Tokyo Method of analyzing cell or the like having linear shape, method of analyzing nerve cell and apparatus and program for performing these methods
JPWO2010098105A1 (ja) * 2009-02-26 2012-08-30 国立大学法人名古屋大学 培養状態評価装置、培養状態評価方法、インキュベータおよびプログラム
JP2013517460A (ja) * 2010-01-12 2013-05-16 バイオ−ラド ラボラトリーズ インコーポレイテッド 複数の焦点面を用いた細胞特性決定
JP2013524361A (ja) * 2010-04-09 2013-06-17 ゼネラル・エレクトリック・カンパニイ 画像内のオブジェクトをセグメンテーションする方法
JP2014109488A (ja) * 2012-11-30 2014-06-12 Dainippon Screen Mfg Co Ltd 画像処理装置、画像処理方法、および画像処理プログラム
WO2015093344A1 (ja) * 2013-12-19 2015-06-25 株式会社Screenホールディングス 撮像装置および撮像方法
JP2021515586A (ja) * 2018-03-16 2021-06-24 ザ ユナイテッド ステイツ オブ アメリカ, アズ リプレゼンテッド バイ ザ セクレタリー, デパートメント オブ ヘルス アンド ヒューマン サービシーズ 細胞療法、創薬および診断法における使用のための幹細胞およびその誘導体を検証するために機械学習および/またはニューラルネットワークを使用すること

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0311185D0 (en) * 2003-05-15 2003-06-18 British Telecomm Image-size dependent facial caricaturing
US7860727B2 (en) 2003-07-17 2010-12-28 Ventana Medical Systems, Inc. Laboratory instrumentation information management and control network
US8719053B2 (en) 2003-07-17 2014-05-06 Ventana Medical Systems, Inc. Laboratory instrumentation information management and control network
JP4509702B2 (ja) * 2004-08-31 2010-07-21 オリンパス株式会社 細胞内の顆粒状構造物の測定方法
US8084260B2 (en) * 2004-11-24 2011-12-27 Applied Biosystems, Llc Spectral calibration method and system for multiple instruments
JP4728025B2 (ja) * 2005-03-29 2011-07-20 オリンパス株式会社 細胞画像解析装置
JP4667944B2 (ja) * 2005-04-20 2011-04-13 シスメックス株式会社 画像作成装置
WO2007042553A1 (de) * 2005-10-13 2007-04-19 Evotec Technologies Gmbh Verfahren zur detektion von konturen in bildern biologischer zellen
EP1775573A1 (de) * 2005-10-13 2007-04-18 Evotec Technologies GmbH Verfahren zur Detektion von Konturen in biologischen Zellen
DE102005061834B4 (de) * 2005-12-23 2007-11-08 Ioss Intelligente Optische Sensoren & Systeme Gmbh Vorrichtung und Verfahren zum optischen Prüfen einer Oberfläche
JP2007334141A (ja) * 2006-06-16 2007-12-27 Sanyo Electric Co Ltd 培養物観察システム
US7706591B2 (en) 2006-07-13 2010-04-27 Cellomics, Inc. Neuronal profiling
US8073639B2 (en) * 2007-08-31 2011-12-06 Dh Technologies Development Pte. Ltd. Method for identifying a convolved peak
US8557587B2 (en) * 2009-01-07 2013-10-15 Xy, Llc Self-tuning, biologically modeled sorter
US8515143B2 (en) * 2009-01-09 2013-08-20 Dai Nippon Printing Co., Ltd. Embryo quality evaluation assistance system, embryo quality evaluation assistance apparatus and embryo quality evaluation assistance method
US8385624B2 (en) * 2009-05-13 2013-02-26 David J. Charlot Automated transient image cytometry
US8310531B2 (en) * 2009-08-03 2012-11-13 Genetix Corporation Methods and apparatuses for processing fluorescence images
EP2470991A1 (en) * 2009-08-24 2012-07-04 ABB Technology AG Improved execution of real time applications with an automation controller
EP2488105A4 (en) * 2009-10-13 2014-05-07 Agency Science Tech & Res METHOD AND SYSTEM ADAPTED TO SEGMENT AN OBJECT IN AN IMAGE (A LIVER IN THE OCCURRENCE)
JP5820383B2 (ja) * 2009-10-30 2015-11-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像データにより表される病巣の3次元解析
GB2478593B (en) * 2010-03-12 2017-05-31 Inst For Medical Informatics Optimising the initialization and convergence of active contours for segmentation of cell nuclei in histological sections
WO2012016242A2 (en) * 2010-07-30 2012-02-02 Aureon Biosciences, Inc. Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
EP2617011A1 (en) * 2010-09-14 2013-07-24 Ramot at Tel Aviv University, Ltd. Cell occupancy measurement
US8849057B2 (en) * 2011-05-19 2014-09-30 Foveon, Inc. Methods for digital image sharpening with noise amplification avoidance
US20130094750A1 (en) * 2011-10-12 2013-04-18 Tolga Tasdizen Methods and systems for segmentation of cells for an automated differential counting system
JP2013101484A (ja) * 2011-11-08 2013-05-23 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP5762571B2 (ja) * 2012-01-04 2015-08-12 株式会社知能情報システム 画像処理方法、画像処理装置、画像処理プログラム、および記録媒体
US9518914B2 (en) * 2012-09-24 2016-12-13 Brigham And Women's Hospital, Inc. Portal and method for management of dialysis therapy
EP2932238B1 (en) 2012-12-14 2018-02-28 Vala Sciences, Inc. Analysis of action potentials, transients, and ion flux in excitable cells
US9904842B2 (en) 2012-12-19 2018-02-27 Koninklijke Philips N.V. System and method for classification of particles in a fluid sample
DE102013218437A1 (de) * 2013-09-13 2015-03-19 Siemens Aktiengesellschaft Verfahren zur automatischen oder halb-automatischen Segmentierung und Vorrichtung
PL232619B1 (pl) * 2014-01-08 2019-07-31 Inst Chemicznej Przerobki Wegla Sposób określania morfologii koksów i karbonizatów
EP3125191A4 (en) * 2014-03-27 2017-08-16 Noritsu Precision Co., Ltd. Image processing device
JP6673198B2 (ja) * 2014-05-30 2020-03-25 株式会社ニコン 顕微鏡
EP2985719A1 (en) * 2014-08-15 2016-02-17 IMEC vzw A system and method for cell recognition
US9939623B2 (en) * 2015-10-19 2018-04-10 Molecular Devices, Llc Microscope system with transillumination-based autofocusing for photoluminescence imaging
US9971966B2 (en) * 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
US11473081B2 (en) 2016-12-12 2022-10-18 xCella Biosciences, Inc. Methods and systems for screening using microcapillary arrays
JP7042045B2 (ja) * 2017-08-10 2022-03-25 シスメックス株式会社 試料分析装置
DE102017009804A1 (de) * 2017-10-20 2019-04-25 Vermicon Ag Verfahren zur Bewertung von mikroskopischen Proben und Vorrichtung zur Ausführung dieses Verfahrens
CN111492368B (zh) * 2017-12-22 2024-03-05 文塔纳医疗系统公司 用于基于膜特征对组织图像中的细胞进行分类的系统和方法
WO2019243897A2 (en) * 2018-06-19 2019-12-26 Metasystems Hard And Software Gmbh System and method for detection and classification of objects of interest in microscope images by supervised machine learning
CN108961250B (zh) * 2018-07-20 2023-02-07 中国科学院深圳先进技术研究院 一种目标物统计方法、装置、终端以及存储介质
US10885631B2 (en) * 2019-02-01 2021-01-05 Essen Instruments, Inc. Label-free cell segmentation using phase contrast and brightfield imaging
US11803963B2 (en) 2019-02-01 2023-10-31 Sartorius Bioanalytical Instruments, Inc. Computational model for analyzing images of a biological specimen
EP4032968A4 (en) * 2019-09-17 2023-11-08 Nikon Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
US11164039B2 (en) * 2019-10-23 2021-11-02 International Business Machines Corporation Framework for few-shot temporal action localization
CN211857087U (zh) * 2020-02-24 2020-11-03 宁波激智科技股份有限公司 一种减干涉准直膜
WO2022023956A1 (en) * 2020-07-31 2022-02-03 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for on-phase microscopy
CN113111926A (zh) * 2021-03-31 2021-07-13 南京华晟医学检验实验室有限公司 基于tct制片的异常宫颈血细胞筛选方法
CN114674757A (zh) * 2022-03-25 2022-06-28 厦门大学 一种实现涡旋光热透镜效应及测量的实验装置
CN115165710B (zh) * 2022-09-08 2022-11-29 珠海圣美生物诊断技术有限公司 细胞的快速扫描方法和装置
CN116698679B (zh) * 2023-07-27 2023-12-19 中国食品药品检定研究院 一种实时的微粒过滤效果测量装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325277A (ja) * 1996-06-04 1997-12-16 Nikon Corp 焦点検出装置
WO2001011340A1 (en) * 1999-08-05 2001-02-15 Cellomics, Inc. Optical system analysis of cells

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4741043B1 (en) 1985-11-04 1994-08-09 Cell Analysis Systems Inc Method of and apparatus for image analyses of biological specimens
US5281517A (en) 1985-11-04 1994-01-25 Cell Analysis Systems, Inc. Methods for immunoploidy analysis
US4881808A (en) 1988-02-10 1989-11-21 Intelligent Surgical Lasers Imaging system for surgical lasers
US4965725B1 (en) 1988-04-08 1996-05-07 Neuromedical Systems Inc Neural network based automated cytological specimen classification system and method
US5072382A (en) 1989-10-02 1991-12-10 Kamentsky Louis A Methods and apparatus for measuring multiple optical properties of biological specimens
US5162641A (en) 1991-02-19 1992-11-10 Phoenix Laser Systems, Inc. System and method for detecting, correcting and measuring depth movement of target tissue in a laser surgical system
US5548661A (en) 1991-07-12 1996-08-20 Price; Jeffrey H. Operator independent image cytometer
US5733721A (en) 1992-11-20 1998-03-31 The Board Of Regents Of The University Of Oklahoma Cell analysis method using quantitative fluorescence image analysis
US6130475A (en) * 1993-12-07 2000-10-10 International Business Machines Corporation Clock distribution system for synchronous circuit assemblies
US5631734A (en) 1994-02-10 1997-05-20 Affymetrix, Inc. Method and apparatus for detection of fluorescently labeled materials
US5932872A (en) * 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
WO1996009604A1 (en) 1994-09-20 1996-03-28 Neopath, Inc. Apparatus for automated identification of cell groupings on a biological specimen
US5627908A (en) 1994-09-20 1997-05-06 Neopath, Inc. Method for cytological system dynamic normalization
US6252979B1 (en) 1995-06-07 2001-06-26 Tripath Imaging, Inc. Interactive method and apparatus for sorting biological specimens
US6718053B1 (en) * 1996-11-27 2004-04-06 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US6103479A (en) 1996-05-30 2000-08-15 Cellomics, Inc. Miniaturized cell array methods and apparatus for cell-based screening
US5989835A (en) 1997-02-27 1999-11-23 Cellomics, Inc. System for cell-based screening
EP1985995A3 (en) 1996-08-16 2009-09-16 GE Healthcare Niagara Inc. A digital imaging system for assays in well plates, gels and blots
US6307957B1 (en) 1997-02-28 2001-10-23 Electro-Optical Sciences Inc Multispectral imaging and characterization of biological tissue
DE19713362A1 (de) 1997-03-29 1998-10-01 Zeiss Carl Jena Gmbh Konfokale mikroskopische Anordnung
US6271036B1 (en) 1997-07-16 2001-08-07 University Of Medicine & Dentistry Of New Jersey Method for evaluating cytopathology specimens
JP4945025B2 (ja) * 1998-12-21 2012-06-06 エボテック・アーゲー 軸方向高解像度を有する走査型顕微鏡方法
US6130745A (en) 1999-01-07 2000-10-10 Biometric Imaging, Inc. Optical autofocus for use with microtiter plates
US6876760B1 (en) * 2000-12-04 2005-04-05 Cytokinetics, Inc. Classifying cells based on information contained in cell images
US6986993B1 (en) * 1999-08-05 2006-01-17 Cellomics, Inc. System for cell-based screening

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325277A (ja) * 1996-06-04 1997-12-16 Nikon Corp 焦点検出装置
WO2001011340A1 (en) * 1999-08-05 2001-02-15 Cellomics, Inc. Optical system analysis of cells

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8077945B2 (en) 2005-12-14 2011-12-13 The University Of Tokyo Method of analyzing cell or the like having linear shape, method of analyzing nerve cell and apparatus and program for performing these methods
JP2009534665A (ja) * 2006-04-18 2009-09-24 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 分割用の画像を作成するシステム
JPWO2010098105A1 (ja) * 2009-02-26 2012-08-30 国立大学法人名古屋大学 培養状態評価装置、培養状態評価方法、インキュベータおよびプログラム
JP2013517460A (ja) * 2010-01-12 2013-05-16 バイオ−ラド ラボラトリーズ インコーポレイテッド 複数の焦点面を用いた細胞特性決定
JP2013524361A (ja) * 2010-04-09 2013-06-17 ゼネラル・エレクトリック・カンパニイ 画像内のオブジェクトをセグメンテーションする方法
JP2014109488A (ja) * 2012-11-30 2014-06-12 Dainippon Screen Mfg Co Ltd 画像処理装置、画像処理方法、および画像処理プログラム
US9639736B2 (en) 2012-11-30 2017-05-02 SCREEN Holdings Co., Ltd. Apparatus for and method of processing image and storage medium
WO2015093344A1 (ja) * 2013-12-19 2015-06-25 株式会社Screenホールディングス 撮像装置および撮像方法
JP2015118036A (ja) * 2013-12-19 2015-06-25 株式会社Screenホールディングス 撮像装置および撮像方法
JP2021515586A (ja) * 2018-03-16 2021-06-24 ザ ユナイテッド ステイツ オブ アメリカ, アズ リプレゼンテッド バイ ザ セクレタリー, デパートメント オブ ヘルス アンド ヒューマン サービシーズ 細胞療法、創薬および診断法における使用のための幹細胞およびその誘導体を検証するために機械学習および/またはニューラルネットワークを使用すること

Also Published As

Publication number Publication date
AU2003230069B2 (en) 2008-11-13
WO2003095986A1 (en) 2003-11-20
US20090074283A1 (en) 2009-03-19
US7469056B2 (en) 2008-12-23
US20100254590A1 (en) 2010-10-07
US7764822B2 (en) 2010-07-27
CA2485602A1 (en) 2003-11-20
US9057701B2 (en) 2015-06-16
US20060257013A1 (en) 2006-11-16
AU2003230069A1 (en) 2003-11-11
CA2485602C (en) 2013-10-01
WO2003095986A8 (en) 2005-05-06
EP1504247A1 (en) 2005-02-09

Similar Documents

Publication Publication Date Title
US9057701B2 (en) System and methods for rapid and automated screening of cells
JP5357043B2 (ja) 量子ドットで染色された組織試料の定量的マルチ・スペクトル画像の分析
JP4532261B2 (ja) 生物学的試料のための光線画像分析
US8712118B2 (en) Automated measurement of concentration and/or amount in a biological sample
JP5602717B2 (ja) 高密度細胞集団の自動セグメンテーション方法およびシステム
JP2022084796A (ja) 画像処理のための自動アッセイ評価および正規化
Henriksen et al. Laser scanning cytometry and its applications: a pioneering technology in the field of quantitative imaging cytometry
JP2009512927A (ja) 画像処理方法
Méhes et al. Quantitative analysis of disseminated tumor cells in the bone marrow by automated fluorescence image analysis
Niederlein et al. Image analysis in high content screening
JP7160047B2 (ja) 生体物質定量方法、画像処理装置及びプログラム
KR20220156564A (ko) 자동화된 형광 이미징 및 단일 셀 분할
Culley et al. Made to measure: an introduction to quantification in microscopy data
WO2020262117A1 (ja) 画像処理システム、画像処理方法及びプログラム
Prakash et al. Considerations for measurement of embryonic organ growth
Bredfeldt Collagen Alignment Imaging and Analysis for Breast Cancer Classification
Kim et al. Cellular imaging-based biological analysis for cancer diagnostics and drug target development

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090728

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090804

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090828

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090904

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090928

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091027

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091027

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100811

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100820

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100910

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101110

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110405