JP2005525550A - 細胞の迅速自動化スクリーニングシステム及び方法 - Google Patents
細胞の迅速自動化スクリーニングシステム及び方法 Download PDFInfo
- Publication number
- JP2005525550A JP2005525550A JP2004503932A JP2004503932A JP2005525550A JP 2005525550 A JP2005525550 A JP 2005525550A JP 2004503932 A JP2004503932 A JP 2004503932A JP 2004503932 A JP2004503932 A JP 2004503932A JP 2005525550 A JP2005525550 A JP 2005525550A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cell
- analysis
- sample
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 292
- 238000012216 screening Methods 0.000 title abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 122
- 239000000463 material Substances 0.000 claims abstract description 11
- 210000004027 cell Anatomy 0.000 claims description 105
- 238000004458 analytical method Methods 0.000 claims description 70
- 210000002241 neurite Anatomy 0.000 claims description 64
- 239000008187 granular material Substances 0.000 claims description 55
- 230000000877 morphologic effect Effects 0.000 claims description 33
- 238000007670 refining Methods 0.000 claims description 30
- 238000011002 quantification Methods 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 23
- 238000007873 sieving Methods 0.000 claims description 22
- 238000009499 grossing Methods 0.000 claims description 21
- 238000009792 diffusion process Methods 0.000 claims description 18
- 230000001629 suppression Effects 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 238000003705 background correction Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000010899 nucleation Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000003834 intracellular effect Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000006790 cellular biosynthetic process Effects 0.000 claims 2
- 210000003484 anatomy Anatomy 0.000 claims 1
- 238000004590 computer program Methods 0.000 claims 1
- 238000013508 migration Methods 0.000 claims 1
- 230000005012 migration Effects 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract description 47
- 238000012545 processing Methods 0.000 abstract description 26
- 238000005259 measurement Methods 0.000 abstract description 24
- 238000003384 imaging method Methods 0.000 abstract description 17
- 230000001413 cellular effect Effects 0.000 abstract description 6
- 238000009509 drug development Methods 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000000691 measurement method Methods 0.000 abstract description 2
- 210000000805 cytoplasm Anatomy 0.000 description 40
- 238000003556 assay Methods 0.000 description 32
- 210000004940 nucleus Anatomy 0.000 description 25
- 239000000523 sample Substances 0.000 description 25
- 230000006870 function Effects 0.000 description 20
- 210000005056 cell body Anatomy 0.000 description 18
- 150000001875 compounds Chemical class 0.000 description 18
- 238000001228 spectrum Methods 0.000 description 18
- 238000010232 migration assay Methods 0.000 description 16
- 230000005937 nuclear translocation Effects 0.000 description 15
- 238000012360 testing method Methods 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 13
- 230000003993 interaction Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 230000007704 transition Effects 0.000 description 11
- 238000011160 research Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 230000001086 cytosolic effect Effects 0.000 description 8
- 108090000623 proteins and genes Proteins 0.000 description 8
- 102000004169 proteins and genes Human genes 0.000 description 7
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 6
- 230000002902 bimodal effect Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 102000005962 receptors Human genes 0.000 description 6
- 108020003175 receptors Proteins 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000004163 cytometry Methods 0.000 description 5
- 210000002257 embryonic structure Anatomy 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 238000013537 high throughput screening Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000003915 cell function Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000005090 green fluorescent protein Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013425 morphometry Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 210000001768 subcellular fraction Anatomy 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 108010043121 Green Fluorescent Proteins Proteins 0.000 description 2
- 102000004144 Green Fluorescent Proteins Human genes 0.000 description 2
- 102000004310 Ion Channels Human genes 0.000 description 2
- 238000000423 cell based assay Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 210000004395 cytoplasmic granule Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000007876 drug discovery Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000002714 localization assay Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004001 molecular interaction Effects 0.000 description 2
- 239000002547 new drug Substances 0.000 description 2
- 230000030648 nucleus localization Effects 0.000 description 2
- 210000003463 organelle Anatomy 0.000 description 2
- 239000002243 precursor Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000022932 ruffle assembly Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000009261 transgenic effect Effects 0.000 description 2
- 230000005945 translocation Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241001589086 Bellapiscis medius Species 0.000 description 1
- 108010001857 Cell Surface Receptors Proteins 0.000 description 1
- 108010077544 Chromatin Proteins 0.000 description 1
- 108020004414 DNA Proteins 0.000 description 1
- 241000252212 Danio rerio Species 0.000 description 1
- 102000006441 Dopamine Plasma Membrane Transport Proteins Human genes 0.000 description 1
- 108010044266 Dopamine Plasma Membrane Transport Proteins Proteins 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 241000405965 Scomberomorus brasiliensis Species 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 239000008346 aqueous phase Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008512 biological response Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000022131 cell cycle Effects 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000012611 container material Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 210000005064 dopaminergic neuron Anatomy 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000000684 flow cytometry Methods 0.000 description 1
- 238000002795 fluorescence method Methods 0.000 description 1
- 238000002866 fluorescence resonance energy transfer Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 229960001330 hydroxycarbamide Drugs 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 102000027411 intracellular receptors Human genes 0.000 description 1
- 108091008582 intracellular receptors Proteins 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 102000006240 membrane receptors Human genes 0.000 description 1
- 230000037323 metabolic rate Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003562 morphometric effect Effects 0.000 description 1
- 230000003988 neural development Effects 0.000 description 1
- 230000014511 neuron projection development Effects 0.000 description 1
- 230000007718 nuclear exclusion Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002810 primary assay Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000007398 protein translocation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- -1 tungsten halogen Chemical class 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
- G01N33/5008—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics
- G01N33/502—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics for testing non-proliferative effects
- G01N33/5026—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics for testing non-proliferative effects on cell morphology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1497—Particle shape
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2333/00—Assays involving biological materials from specific organisms or of a specific nature
- G01N2333/435—Assays involving biological materials from specific organisms or of a specific nature from animals; from humans
- G01N2333/46—Assays involving biological materials from specific organisms or of a specific nature from animals; from humans from vertebrates
- G01N2333/4603—Assays involving biological materials from specific organisms or of a specific nature from animals; from humans from vertebrates from fish
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Urology & Nephrology (AREA)
- Hematology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cell Biology (AREA)
- Microbiology (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Toxicology (AREA)
- Tropical Medicine & Parasitology (AREA)
- Biotechnology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Dispersion Chemistry (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Abstract
Description
「サイトメトリー」は、個々の細胞からの特徴の測定である。「イメージサイトメトリー」は、サイトメトリー測定を実施するための画像化システムの使用である。サイトメトリック測定には、細胞下の細部は必要であってもなくてもよい。別個の細胞を低解像度で画像化する場合、各々の細胞は、少数の画像画素を占め、均一な測定ポイントとして処理される(例えば、Miraglia他,1999)。本発明者らは、これらを「ポイント細胞アッセイ」と呼ぶ。細胞の解剖学はまた、各々が多数の画素を占める細胞の一部で、高い解像度で解明され得る。細胞下の解像度のレベルは、最も大きい構造のみの可視化(例えば、Galbraith他,1991)から細胞下オルガネラ(当該分野に関する物質のほとんど)の解像に及ぶ。サイトメトリー測定の共通のクラスとしては、以下が挙げられる:
形態計測−細胞、核及びオルガネラのサイズ、形状及び外見、例えば:
・神経突起成長は、神経発達又は再生の指標として用いられる(Masseroli他,1993;Siklos他,1993;Malgrange他,1994;Mezin他,1994;Turner他,1994;de Medinaceli他,1995;Pauwels他,1995;Ventimiglia他,1995;Stahlhut他,1997;Isaacs他,1998;Bilsland他,1999;Pollack他,1999;Ronn他,2000)。
プレセグメント化
特徴の検出性を増強するためには画像を前処理することが通常である。例えば、特定の重畳フィルタ、例えば、Prewitt(O’Gorman他,1985)及びHueckel(Hueckel,1971)はときどき、フィルタリングされていない画像よりも細胞周囲を良好に示す。かかる方法は、引き続くセグメント化の精度を改善して、セグメント化画素をオペレーターが編集する必要性を減じることができる。
測定が行なわれ得る前に、関連の画像特徴をバックグラウンドから識別しなければならない。この識別は、画像のセグメント化のための周知の方法を用いて行なわれる(多くの市販品、例えば、Media CyberneticsのソフトウェアImageProにおける実施に例えられた)。セグメント化は、画像をその成分又はオブジェクトに小分割するプロセスとして規定される。トレーシング及び閾値化は、セグメント化のための公知の方法である(他の方法もある)。理想的には、単純な染色プロセスによって細胞又は細胞成分のあいまいな検出が得られ、ここでは各々の染色されたオブジェクトが目的の特徴をマークし、他の画像成分は染色されない。この目標は、このオブジェクトが単純な強度規準で検出されるのに十分明るいか又は暗いことである。実際には、この目標はめったに達成されない。
最も簡単な手技によるセグメント化方法は、ヒトのオペレーターが細胞及び細胞下の細部をトレースすることである。次いでこのシステムは、このトレース内の画素を用いて目的のパラメーターを報告する(例えば、Deligdisch他,1993;Gil他,1986)。
最も簡単な自動的セグメント化方法である強度閾値化は、グレースケール(濃淡階調)又はカラー画像を入力とし、強度周波数をヒストグラムにし、単一の識別値(閾値)に基づく二値画像を出力する。単一の強度又は色の閾値化は、セグメント化画素の幾つかが妥当なだけであり、セグメント化画像がオペレーターの編集を要するという点で産業上の適用にはめったに適さない。例えば、Takamatsu他(1986)は、単一の強度閾値化は、フローサイトメトリーによって得られるよりも細胞検出について正確性が低かったということを報告している。多くの問題が存在しており、これには、単一の画像又は画像の組における位置から位置へ変化する細胞及びバックグラウンドの強度が挙げられる。
一旦、画像画素が妥当である可能性があるとしてセグメント化されれば、それらは目的の特徴(領域又は標的と呼ばれる)に適合するように分類されなければならない。そのポイントは、均一性の規準に従って別個の領域に対する画素に分類することである。均一性規準は、公知の種々の方法に由来し得る幾つかのパラメーター(例えば、検出された画素を分離する距離)に基づく。region抽出のための技術のなかでも最も複雑でない方法としては、マニュアル又は半自動的抽出が挙げられる。このプロセスでは、人々は、領域に対してセグメント化画素の割り当てを確認するか又は同定する。
細胞内のプローブのレベルを測定するための公知の方法の集合を使用する研究システムは広範に開示されている(例えば、Macaulay及びPalcic,1990;Mize他,1988;Thompson他,1990;Zoli他,1990)。同様に、産業上の細胞スクリーニングシステムは、プレセグメント化、セグメント化及び標的分類のための公知の方法を実施する(例えば、CellomicsのArrayScanシステム、及びAmersham BiosciencesのInCellシステムにおいてのように)。研究及び産業上のシステムをお互いから識別されるものは、産業上のシステムが、オペレーターの操作が最小で(自動的に)機能しながら、さらに高速の処理能力を提供するということである。研究の適用は、ほとんどの任意の画像解析システムにおいて達成され得る。自動化及び処理能力は、専門的なソフトウェア及びハードウェアを組み込むシステム内でのみ達成できる。
・(プレセグメント化及びセグメント化)画像処理のための公知の方法は、自動的なセグメント化が達成されるような方法で実行される(例えば、Ramm他,米国特許出願公開第2001/0028510号に開示されるように)。
・(測定)公知の測定の組(画素カウントなど)を、生物学的な局面を信頼できる方式で示す方法として実行する(例えば、Ramm他,2001/0028510に開示されるように)。
・(光学、機械及び電子機器)多様なサンプルの自動的な位置決め、集束、画像化及び処理のための構成要素を、システムとして組み込んで、その中にセグメント化及び測定方法を組み込んでもよい。
さらに高度に自動化され、かつさらに迅速な細胞スクリーニングを得るシステムに、構成要素及び方法を適合させる。
・高強度ピークの非線形抑制、
・適応ノイズ平滑化(ガウシアン)、
・非線形拡散フィルタリングによる適応ノイズ平滑化及び特徴強化、
・最適ヒストグラム二分割による閾値化、
・シード化領域拡張、
・テクスチャ変換、
・検出された特徴の形態学的リファイニング、
・局所コントラストによる数量化、
・分布特徴解析、
・顆粒細部の周波数領域検出、
・境界マッピング、
・バックグラウンド補正、
・ふるい分け。
この方法のアルゴリズム的工程は、通常用いられる細胞アッセイの特徴に最も適するように考案されている。この方法は、以下に記載されるライブラリーからの関数を組み込むことによって各々の特定のアッセイに構築される。本発明の方法において用いられる関数の一般的性質は以下に示すが、これらの関数のいずれも、画像における特徴を必要に応じて強調、選択、さもなければ影響するようにパラメーター化できるということが理解されるべきである。
高い強度ピークから生じるアーチファクトは、特徴的なグレーレベルの統計上の所望されない変動を誘発し、適応閾値及び領域拡張の手順を混乱させ得る。ピーク抑制法は、ヒストグラム補正の公知の技術の変法である。本発明において実行される通り、このプロセスは、入力としてグレーレベル参照画像をとり、最高のグレーレベルを有する画素に非線形抑制を適用して、ダイナミックレンジの静止内の画素に対する変換を同定する。この出力画像は、さらに明るいオブジェクトを超える強度変動の減少を示すが、明るさの劣るオブジェクトを超える強度変動の低下は示さない。これは、下記のような引き続く画像処理の能力を改善するという点で利点を有する。
適応ノイズ平滑化手順は、検出可能特徴を改善するのに有益であり得る(例えば、Morrison他,1995に開示されるように、当業者に明白である)。本発明の好ましい態様において、優れた細部特徴を損なうことなく画像のシグナル対ノイズ比を増大する手順が用いられる。もとの画像及びガウシアン平滑化画像(それぞれ、U及びUσ)を、式2.1に示されるようにあわせる:
非線形拡散フィルタリング(NDF)法は、画像フィルタリングのためのスケールスペース技術の仲間のうちの1つである。NDF法(例えば、Weickert 1997に開示される)は、有用であって、ここではノイズ(高周波数の空間的変調として規定される)が除去され、より低い空間的周波数をともなう特徴が保存されることが望ましい。
・異方性エッジ強調拡散
・異方性コヒーレンス強調拡散
好ましくは、本発明はセグメント化のための最適ヒストグラム二分割(OHB)に当てはまる。これは、生物学的画像に存在する広範な動的範囲に適合するOHB法の特徴である。
領域拡張に対する入力は、グレースケール参照画像及び二値画像であり、これは工程4に記載されるようなプロセスによる参照画像から作成される。参照画像における目的の特徴を示す二値画素がその参照画像におけるその特徴に正確に対応しないということが最初の二値画像の不利な点である。従って、最終の二値画像が参照画像においてより良好な特徴を示すことができるように領域拡張を用いる。シード化領域拡張法がそのシード画像として最初の二値画像を用いることは本発明の1態様である。次いで、整調可能な反復手順(例えば、Russ,1991、87〜89頁に記載されるものなど)を用いて領域に二値画像を加える。整調(チューニング)は、候補画素を選択するために、拡張するオブジェクト、その近傍及びバックグラウンドの統計的な特性を用いることであると規定され、この1実施形態は、式5.1に示される。統計的パラメーターは、反復して再算出され、その手順は目的の領域に対する画素の最適の割り当てが得られるまで続けられる。
未染色又は生きたまま染色された試料のセグメント化及び解析が可能であることが本発明の利点である。かかる試料は、微分干渉コントラスト(DIC)顕微鏡、明視野顕微鏡又は他の非蛍光顕微鏡を用いて得られる。これらの方法は蛍光又は他の染色手順に耐えられない生存細胞を画像化するのに最も有用である。
特徴の境界における微細な突出、種々のサイズのホール又は他の不連続性は、セグメント化形状において所望されない変動を生じ得る。次に、これが数量化アルゴリズムの能力低下をもたらし得る。例えば、骨組み化アルゴリズムは、とがったオブジェクトの端では機能が劣る。形態学的平滑化及びサイズによるふるいわけ管理したホール充填を数量化の前に用いることが本発明の特徴である。MMSの値は、平滑化手順の閾値サイズとして働く。好ましい態様では、この手順は、MMSより小さいサイズの全ての画像細部を除き、これによって粗さを除く。
概して、特徴は、周囲の細胞物質の強度に対するその強度によって規定される。特徴とその局所周囲との間の局所コントラストは、式8.1に規定される。
幾つかの測定された特徴に基づく特徴の分布は、基礎にある生物学を反映し得る。通常は、基礎にある生物学を反映するために用いられる特徴サイズ又は強度の頻度ヒストグラムをみる。
細胞本体内の顆粒構造(例えば、小胞)は、生物学を反映する方法でサイズ及び強度を増大又は減少させ得る。従って、顆粒構造解析が画像エネルギースペクトルを解析することによってなされ得ることが本発明の特徴である。エネルギースペクトルは、顆粒及び非顆粒特徴の両方を評価する解析表示によって記載される。
顆粒のフーリエスペクトルを公知の方法(Press 1992,689頁に記載される通り)によって作成する。次いで、このスペクトルをフーリエ空間における角座標及び半径距離の打ち切りによる平均後に別個の一次元周波数依存に対して減らす。この手順は、半径距離ρj(j=1,...Nρ)の値の別個の組について規定された変換(10.1)を行なう、ここでNρは、半径距離の別個の値の数である。この演算の結果として、平均スペクトル強度<E>jを、ρjの各々の値について算出し、スペクトルの別個の表示が得られる{ρj,<E>j}。
非線形フィッティングの公知の方法(Press 1992,683頁,408頁)を用いて、エネルギースペクトルから3つのフィッティングパラメーターを得る−a(顆粒の有効平均半径)並びにモデル式(10.5)からの振幅A2及びA1。好ましい態様において、aの値及び比(A2/A1)を画像数量化のために用いる。
境界マッピングは、セグメント化画像で幾何学的解析を行なうために用いられる手順である。本発明は、神経突起起源周囲の幾何学的領域を突き止めるために境界マッピングを用いる(図10)。最も代表的には、各々の細胞は、境界マッピングプロセスによって出力された、その周囲の境界設定領域を有する。
・二値骨格の画素は、その3×3近傍において2つを超える非ゼロ画素が存在する場合、及びその場合のみ分岐点であると考えられる。
・二値骨格の画素は、その3×3近傍において1つだけ非ゼロ画素が存在する場合、及びその場合のみ終点であると考えられる。
・二値骨格の画素は、それが終点であり、細胞に対して近傍である場合、その細胞に対する神経突起の付着点であると想定される。
・神経突起は、その神経突起が、対応する細胞テセレーション処理画像にける細胞の境界設定領域内に存在する場合に、特定の細胞本体に起源すると考えられる。
バックグラウンド補正は、照射又はもとの画像からの発光強度における空間不均一性を除去する。好ましい方法は、試料の細部が存在しないが低周波数バックグラウンド成分が存在している、高度に平滑化された画像を作製するために画像を処理することである。この高度に平滑化された画像は、もとの画像から差引きされるか、又はもとの画像に分割される。
ふるい分けは、二値画像をフィルタリングして、目的の特徴に相当しない形状を有する、セグメント化標的を除去するプロセスである。例えば、画像は、サイズによってふるい分けされて、特定のサイズ範囲内におさまる特徴のみがふるい分けされた画像に残る。多くの他のタイプのふるいは、特徴の幾何的な特性に依存する。例えば、画像は、形状の記述子によってふるい分けされ得る(Russ 1999,553〜555に開示のように)。本発明の特徴は、ふるい分けが単一の規準(例えば、サイズ)又は複数の規準を用いて適用されるということである。複数規準のふるいの例としては、本発明の方法は、異なる規準(例えば、第一の画像では円形、第二では細長い)に従って2つの画像をふるい分け、次いでさらなるふるい分け工程を行う。2つ組のふるい分けでは、別の規準(例えば、丸いオブジェクトに近い細長いオブジェクト)を満たす特徴のみが保持される。
神経突起物質は構造的に複雑であり、画像は多くの潜在的に混同される特徴を含む。蛍光標識された試料及び未標識の試料を含む、広範な種々の試料内の神経突起の自動的かつ正確な検出を行なうことが本発明の特徴である。
本発明は、Norak Inc.のTransfluorアッセイのような核移行アッセイにおいて共通して観察された顆粒物質の解析を行なう。これらのアッセイでは、予め決定されたサイズの細胞質顆粒は、セグメント化されかつ解析されなければならず、一方では、細胞質の外側の顆粒のアーチファクトは、無視されなければならない。弱く標識された細胞質の物質(次に、この中には顆粒が局在し得る)でさえ検出することが本発明の方法の特徴である。
核移行は、核及び細胞質に含まれる蛍光標識の相対的強度における変化によって通常数量化される。代表的には、2つの画像が得られる。1つの画像は、幾何的な位置づけ補助として、及び/又は生存度もしくは他の細胞機能態様を示すために、核を最もよく示す。第二の画像は細胞質を最もよく示し、ここでは目的の標識分子の局所濃度に相当する蛍光強度を伴う。
幾つかの移行事象を細胞質の非断続領域内の標識の限局された分布によって特徴付ける。この分布は、形態学的に別個であるか又は隆線形の生成物であって、ここでは「ラッフル(ruffles)」と呼ばれる。ラッフルは、特定の断面サイズの強度識別特徴として規定される。この方法は、核移行アッセイのために用いた方法と同様であり、ラッフルオブジェクトをさらによく検出するための詳細なリファイニングをともなう。メンブレンラッフルの自動的な識別を提供する方法に組み入れられることが本発明の関数の特徴である(図24〜28)。
Anderson, C.M., Georgiou, G.N., Morrison, I.E.G., Stevenson, G.W. and Cherry, R.J. Tracking of cell surface receptors by fluorescence digital imaging microscopy using a charge-coupled device camera, Journal of Cell Science 101:415-425 (1992).
Benveniste, M., Schlessinger, J. and Kam, Z. Characterization of internalization and endosome formation of epidermal growth factor in transfected NIH-3T3 cells by computerized image-intensifed three-dimensional fluorescence microscopy, The Journal of Cell Biology 109:2105-2115 (1989).
Chassery, J.M. and Garbay, C. An interative segmentation method based on a contextual color and shape criterion, IEEE PAMI 6:794 (1984).
Conway, B.R., Minor, L.K., Xu, J.Z., Gunnet, J.W., DeBiasio, R., D’Andrea, M.R., Rubin, R., DeBiasio, R., Giuliano, K., Zhou, L. and Demarest, K.T. Quantification of G-protein coupled receptor internalization using G-protein coupled receptor-green fluorescent protein conjugates with the ArrayScan high-content screening system. Journal of Biomolecular Screening 4:75-86 (1999).
Crissman, J.D., Visscher, D.W. and Kubus, J. Image cytophotometric DNA analysis of atypical hyperplasias and intraductal carcinomas of the breast, Archives of Pathology and Laboratory Medicine 114:1249-1253 (1990).
Dawes, E. A. Quantitative Problems in Biochemistry, Baltimore: Williams and Wilkins, pp.293-311, 1972.
De Le Torre, C. and Navarrete, M. H. Experimental Cell Research 88: 171-174, 1974.
Deligdisch et al., Cancer 72:3253-3257, 1993.
Feynman R. et al, The Feynman Lectures on Physics, Addison-Wesley Publishing Co., Inc., Reading, Massachusetts, Palo Alto, London, 1964, p. 35.
Freshney, R. I. Quantitation and Experimental Design, in Culture of Animal Cells, a Manual of Basic Technique, 2nd ed., New York: Alan R. Liss, pp. 227-256, 1987.
Fu K. S. and Mui, J. K. A Survey on Image Segmentation, Pattern Recognition 13:3-16 (1981).
Galbraith, W. Wagner, M.C.E., Chao, J., Abaza, M., Ernst, L.A., Nederlof, M.A., Hartsock, R.J., Taylor, D.L. and Waggoner, A.S. Imaging cytometry by multiparameter fluorescence, Cytometry 12:579-596 (1991).
Garbay, C. Image structure representation and processing: a discussion of some segmentation methods in cytology, IEEE Transactions PAMI 2:140 (1986).
Georget, V., Terouanne, B., Lumbroso, S., Nicolas, J.-C. and Sultan , S. Trafficking of Androgen Receptor Mutants Fused to Green Fluorescent Protein: A New Investigation of Partial Androgen Insensitivity Syndrome, The Journal of Clinical Endocrinology & Metabolism 83:3597-3603 (1998).
Gibson, D. and Gaydecki, P.A. The application of local gray level histograms to arganelle classification in histological images, Gibson, D. and Gaydeicki, P.A. Computers in Biology and Medicine 26:329-337 (1996).
Gil, J., Marchevsky, A.M. and Sialge, D.A. Applications of computerized interactive morphometry in pathology: I. Tracings and generation of graphics standards, Laboratory Investigation 54:222-227 (1986).
Giroud, F. Biology of the Cell 44:177-188 (1982)
Granlund G.H., Knutsson H., Signal Processing For Computer Vision, Kluwer Academic Publishers, 1995, pp 174-176.
Hueckel, M.H. An operator which locates edges in digitized pictures, Journal of the Association of Computing Machines 1:113 (1971).
Ishido, T., Itabashi, M., Ochiai, A., Hirota, T., Yokota, T. and Saito, D. Morphometric analysis of colorectal dysplasia with image processing, Archives of Pathology and Laboratory Medicine 118:619-623 (1994).
Kawamoto, H., Koizumi, H. and Uchikoshi, T. Expression of the G2-M checkpoint regulators cyclin B1 and cdc2 in nonmalignant and malignant human breast lesions, American Journal of Pathology 150:15-23 (1997).
Lee et al., A processing strategy for automated Papanicolaou smear screening, Analytical and Quantitatiave Cytology and Histology 14:415-425 (1992).
Lockett, S.J., Jacobsen, K., O’Rand, M., Kaufman, D.G., Corcoran, M., Simonsen, M.G., Taylor, H. and Herman, B. Automated image-based cytometry with fluorescence-stained specimens, Biotechniques 10:514-519 (1991).
Luby-Phelps, K., Lanni, F. and Taylor, D.L. Behavior of a fluorescent analogue of calmodulin in living 3T3 cells, The Journal of Cell Biology 101:1245-1256 (1985).
Macaulay, C. and Palcic, B. A comparison of some quick and simple threshold selection methods for stained cells, Analytical and Quantitative Cytology and Histology, 3:134 (1988).
Macaulay, C. and Palcic, B. An edge relocation segmentation algorithm, Analytical and Quantitative Cytology and Histology, 6:394 (1990).
Malay, F.-E., Vittoz, M., Urwyler, A., Koshikawa, K., Schleinkofer, L. and De Weck, A.L. A dual microtiter plate (192 sample) luminometer employing computer-aided single-photon imaging applicable to cellular luminescence and luminescence immunoassay, Journal of Immunological Methods 122:91-96 (1989).
Martin, H., Voss, K., Hufnagel, P. and Frolich, K. Automated image analysis of gliomas: An objective and reproducible method for tumor grading, Acta Neuropathologica 63:160-169 (1984).
Miraglia, S., Swartzman, E.A., Mellentin-Michelotti, J., Evangelista, L., Smith, C., Gunawan, I., Lohman, K., Goldberg, E.M., Manian, B. and Pau-Miau, Y. Homogeneous cell- and bead-based assays for high-throughput screening using fluorometric microvolume assay technology. Journal of Biomolecular Screening 4:193-204 (1999).
Mize, R.R., Holdefer, R.N. and Nabors, L.B. Quantitative immunocytochemistry using an image analyzer. I. Hardware evaluation, image processing, and data analysis, Journal of Neuroscience Methods 26:1-24 (1988).
Morrison, I.E.G., Anderson, C.M., Georgiou, G.N., Stevenson, G.V.W. and Cherry, R.J. Analysis of receptor clustering on cell surfaces by imaging fluorescent particles, Biophysical Journal 67:1280-1290 (1994).
O’Gorman, L., Sanderson, A.C. and Preston, K. Jr. A system for automated liver tissue image analysis: methods and results, IEEE Transactions BME 9:696 (1985).
Oldmixon, E.H., Butler, J.P. and Hoppin, F.G. Semi-automated measurement of true chord length distributions and moments by video microscopy and image analysis, Journal of Microscopy 175:60-69 (1994).
Omalley, D.M. Calcium permeability of the neuronal nuclear envelope: evaluation using confocal volumes and intracellular perfusion, Journal of Neuroscience 14:5741-5758 (1994).
Ong, S.H., Giam, S.T., Jayasooriah, Sinniah, R. Adaptive window-based tracking for the detection of membrane structures in kidney electron micrographs, Machine Vision and Applications 6:215 (1993).
Parker, J.R., Algorithms for Image Processing and Computer Vision, John Wiley & Sons, 1997
Paulus, D.W.R., Hornegger J., Pattern Recognition and Image Processing in C++, Vieweg 1995
Press W. H. et all, Numerical Recipes in C, Cambridge University Press, 1992
Proffit et al., Cytometry 24:204-213, 1996
Ramm, P. Imaging systems in assay screening, Drug Discovery Today 4:401-410 (1999).
Ramm, P., Soltys, B., Cholewinski, A., Nadon, R., Alexandrov, Y., Cybuch, J., Donders, P., Kennedy, A. and Bula, W. Automated screening of neurite outgrowth, Paper presented at the 2001 Annual Meeting of the Society for Biomolecular Screening, September 2001.
Ramm, P., Soltys, B., Cholewinski, A., Nadon, R., Alexandrov, Y., Cybuch, J., Donders, P., Kennedy, A. and Bula, W. Automated screening of neurite outgrowth, Submitted to Journal of Biomolecular Screening, January 2002.
Refenes, A.N., Jain, N. and Alsulaiman, M.M. An integrated neural network system for histological image understanding, Proceedings of the SPIE Machine Vision Systems Integration in Industry 1386:62 (1990).
Russ, J.C., Computer Assisted Microscopy, Plenum Press, 1991, pp. 87-89.
Russ, J.C., Image Processing Handbook, CRC Press LLC, 1999
Santisteban, M.-S., Montmasson, M.-P., Giroud, F., Ronot, X. and Brugal, G. Fluorescence image cytometry of nuclear DNA content versus chromatin pattern: A comparative study of ten fluorochromes, The Journal of Histochemistry and Cytochemistry 40:1789-1797 (1992).
Sawicki, W., Rowinski, J. and Swenson, R. Journal of Cell Physiology 84:423-428, (1974).
Serra, J. Image Analysis and Mathematical Morphology, Acadmic Press, 1982.
Smeulders, A.W.M., Veldstra, L.L., Ploem, J.S. and Cornelisse, C.J. Texture analysis of cervical cell nuclei by segmentation of chromatin patterns, Journal of Histochemistry and Cytochemistry 1:199 (1979).
Smith, T.G., Marks, W.B., Lange, G.D., Sheriff, W.H. and Neale, E.A. A fractal analysis of cell images, Journal of Neuroscience Methods 27:173-180 (1989).
Schroeder, K.S. and Neagle, B.D. FLIPR:; A new instrument for accurate, high throughput optical screening, Journal of Biomolecular Screening 1:75-84 (1996).
Seniuk, N.A., Tatton, W.G., Cannon, P.D., Garber, A.T. and Dixon, G.H. First expression of protamine message in trout testis, Annals of the New York Academy of Sciences 637:277-288 (1991).
Souchier, C., Ffrench, M., Benchaib, M., Catallo, R. and Bryon, P.A. Methods for cell proliferation analysis by fluorescent image cytometry, Cytometry 20:203-209 (1995).
Stotzka, R., Manner, R., Bartels, R.H. and Thompson, D. A hybrid neural and statistical classifier system for histopathologic grading of prostatic lesions, Analytical and Quantitative Histology and Cytology 17:204-218 (1995).
Takamatsu, T. et al., Acta Histochem. Cytochem. 19: 61-71, 1986
Taylor, D. L., Woo, E.S. and Giuliano, K.A. Real-time molecular and cellular analysis: the new frontier of drug discovery, Current Opinion in Biotechnology 12:75-81 (2001).
Thompson, D., Bartels, H.G., Haddad, J.W. and Bartels, P.H. Scene segmentation in a machine vision system for histopathology, SPIE Proceedings New Technologies in Cytometry and Molecular Biology 1206:40 (1990).
Wied, G.L. et al. Expert systems as classifiers in diagnostic cytopathology, IEEE/Ninth Annual Conference of the Engineering in Medicine and Biology Society, pp.1915-1917 (1987).
Zoli, M., Zini, I., Agnati, L.F., Guidolin, D., Ferraguti, F. and Fuxe, K. Neurochemistry International 16:383-418 (1990).
Wolberg, W.H., Street, W.N. and Mangasarian, O.L. Breast cytology diagnosis with digital image analysis, Analytical and Quantitative Cytology and Histology 15:396-404 (1993).
Claims (13)
- 電子カメラと、上記カメラのための焦点画像を与える光学サブシステムと、複数の容器中の検体を光学サブシステムのレンジ内の位置に配置する位置決めサブシステムと、上記カメラ及び上記サブシステムを制御するコンピューターと、細胞の同化の解析のための一般制御プロセスを総合的に規定する一組の選択可能なサブプログラムを含むコンピュータープログラムを実行するコンピューターとを備える、細胞同化作用の自動的解析のためのオプトメカニカルシステム。
- 実験装置に対するインターフェースをさらに備える、請求項1記載のシステム。
- 前記制御サブプログラムが、神経突起同化作用を解析するための一般的自動化制御プロセスを総合的に規定する、請求項1又は請求項2記載のシステム。
- 前記制御サブプログラムが、細胞内の顆粒物質を解析するための一般的自動化制御プロセスを総合的に規定する、請求項1乃至請求項3のいずれか1項記載のシステム。
- 前記制御サブプログラムが、顆粒細胞下区画と非顆粒細胞下区画との間の物質の移行に関連する顆粒物質の特徴及び分布を解析するための一般的自動化制御プロセスを総合的に規定する、請求項4記載のシステム。
- 前記制御サブプログラムが、非顆粒細胞下区画の間の物質の移行を解析するための一般的自動化制御プロセスを総合的に規定する、請求項1乃至請求項5のいずれか1項記載のシステム。
- 前記制御サブプログラムが、核と細胞質細胞下区画との間の物質の移行を解析するための一般的自動化制御プロセスを総合的に規定する、請求項6記載のシステム。
- 前記制御サブプログラムが、形態学的に別個の細胞の同化作用における物質の区画化を解析するための一般的自動化制御プロセスを総合的に規定する、請求項1乃至請求項7のいずれか1項記載のシステム。
- 前記制御サブプログラムが、以下の解析プロセス:
高強度ピークの非線形抑制;
適応ノイズ平滑化(ガウシアン);
非線形拡散フィルタリングによる適応ノイズ平滑化及び特徴強化;
最適ヒストグラム二分割による閾値化;
シード化領域拡張;
テクスチャ変換;
検出された特徴の形態学的リファイニング;
局所コントラストによる数量化;
分布特徴解析;
顆粒細部の周波数領域検出;
境界マッピング;
バックグラウンド補正;及び
ふるい分け;
のうちの少なくともあるサブグループを達成する、
請求項1乃至請求項8のいずれか1項記載のシステム - 前記制御サブプログラムが、前記容器の表面に対して固定されていない位置にある細胞に使用し得るソフトウェアオートフォーカスアルゴリズムを含む、請求項1乃至請求項9のいずれか1項記載のシステムであって、
参照として位置オートフォーカスによって達成される最高の焦点位置を用いる工程と、
試料容器中に固定距離移動する工程と、
距離間隔で多数の画像をとる工程と、
これらの画像からの最高の焦点を算出する工程と、
を含む、システム。 - 前記制御サブプログラムが、単一焦点面を超えて延在する試料に適合したソフトウェアオートフォーカスアルゴリズムを含む、請求項1乃至請求項10のいずれか1項記載のシステムであって、
参照として位置オートフォーカスによって達成される最高の焦点位置を用いる工程と、
試料容器中に固定距離移動する工程と、
該試料を包含する十分大きな距離範囲で一組の画像を取得する工程と、
該得られた画像を該試料の細い光学的切片を最もよく示す単一の画像に合わせる工程と、
を含むシステム。 - 前記制御サブプログラムが、単一焦点面を超えて延在する試料に適合したソフトウェアオートフォーカスアルゴリズムを含む、請求項1乃至請求項11のいずれか1項記載のシステムであって、
参照として位置オートフォーカスによって達成される最高の焦点位置を用いる工程と、
試料容器中に固定距離移動する工程と、
該試料を包含する十分大きな距離範囲で一組の画像を取得する工程と、
該得られた画像の組で画像逆重畳を実施して、該試料の細い光学的切片を最もよく示す単一の画像を作成する工程と、
を含むシステム。 - 前記光学切片が前記試料の厚みの実質的に全体である、請求項12又は請求項13記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US38082202P | 2002-05-14 | 2002-05-14 | |
PCT/IB2003/001821 WO2003095986A1 (en) | 2002-05-14 | 2003-05-09 | System and methods for rapid and automated screening of cells |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005525550A true JP2005525550A (ja) | 2005-08-25 |
Family
ID=29420631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004503932A Pending JP2005525550A (ja) | 2002-05-14 | 2003-05-09 | 細胞の迅速自動化スクリーニングシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (3) | US7469056B2 (ja) |
EP (1) | EP1504247A1 (ja) |
JP (1) | JP2005525550A (ja) |
AU (1) | AU2003230069B2 (ja) |
CA (1) | CA2485602C (ja) |
WO (1) | WO2003095986A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009534665A (ja) * | 2006-04-18 | 2009-09-24 | ジーイー・ヘルスケア・バイオサイエンス・コーポレイション | 分割用の画像を作成するシステム |
US8077945B2 (en) | 2005-12-14 | 2011-12-13 | The University Of Tokyo | Method of analyzing cell or the like having linear shape, method of analyzing nerve cell and apparatus and program for performing these methods |
JPWO2010098105A1 (ja) * | 2009-02-26 | 2012-08-30 | 国立大学法人名古屋大学 | 培養状態評価装置、培養状態評価方法、インキュベータおよびプログラム |
JP2013517460A (ja) * | 2010-01-12 | 2013-05-16 | バイオ−ラド ラボラトリーズ インコーポレイテッド | 複数の焦点面を用いた細胞特性決定 |
JP2013524361A (ja) * | 2010-04-09 | 2013-06-17 | ゼネラル・エレクトリック・カンパニイ | 画像内のオブジェクトをセグメンテーションする方法 |
JP2014109488A (ja) * | 2012-11-30 | 2014-06-12 | Dainippon Screen Mfg Co Ltd | 画像処理装置、画像処理方法、および画像処理プログラム |
WO2015093344A1 (ja) * | 2013-12-19 | 2015-06-25 | 株式会社Screenホールディングス | 撮像装置および撮像方法 |
JP2021515586A (ja) * | 2018-03-16 | 2021-06-24 | ザ ユナイテッド ステイツ オブ アメリカ, アズ リプレゼンテッド バイ ザ セクレタリー, デパートメント オブ ヘルス アンド ヒューマン サービシーズ | 細胞療法、創薬および診断法における使用のための幹細胞およびその誘導体を検証するために機械学習および/またはニューラルネットワークを使用すること |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0311185D0 (en) * | 2003-05-15 | 2003-06-18 | British Telecomm | Image-size dependent facial caricaturing |
US7860727B2 (en) | 2003-07-17 | 2010-12-28 | Ventana Medical Systems, Inc. | Laboratory instrumentation information management and control network |
US8719053B2 (en) | 2003-07-17 | 2014-05-06 | Ventana Medical Systems, Inc. | Laboratory instrumentation information management and control network |
JP4509702B2 (ja) * | 2004-08-31 | 2010-07-21 | オリンパス株式会社 | 細胞内の顆粒状構造物の測定方法 |
US8084260B2 (en) * | 2004-11-24 | 2011-12-27 | Applied Biosystems, Llc | Spectral calibration method and system for multiple instruments |
JP4728025B2 (ja) * | 2005-03-29 | 2011-07-20 | オリンパス株式会社 | 細胞画像解析装置 |
JP4667944B2 (ja) * | 2005-04-20 | 2011-04-13 | シスメックス株式会社 | 画像作成装置 |
WO2007042553A1 (de) * | 2005-10-13 | 2007-04-19 | Evotec Technologies Gmbh | Verfahren zur detektion von konturen in bildern biologischer zellen |
EP1775573A1 (de) * | 2005-10-13 | 2007-04-18 | Evotec Technologies GmbH | Verfahren zur Detektion von Konturen in biologischen Zellen |
DE102005061834B4 (de) * | 2005-12-23 | 2007-11-08 | Ioss Intelligente Optische Sensoren & Systeme Gmbh | Vorrichtung und Verfahren zum optischen Prüfen einer Oberfläche |
JP2007334141A (ja) * | 2006-06-16 | 2007-12-27 | Sanyo Electric Co Ltd | 培養物観察システム |
US7706591B2 (en) | 2006-07-13 | 2010-04-27 | Cellomics, Inc. | Neuronal profiling |
US8073639B2 (en) * | 2007-08-31 | 2011-12-06 | Dh Technologies Development Pte. Ltd. | Method for identifying a convolved peak |
US8557587B2 (en) * | 2009-01-07 | 2013-10-15 | Xy, Llc | Self-tuning, biologically modeled sorter |
US8515143B2 (en) * | 2009-01-09 | 2013-08-20 | Dai Nippon Printing Co., Ltd. | Embryo quality evaluation assistance system, embryo quality evaluation assistance apparatus and embryo quality evaluation assistance method |
US8385624B2 (en) * | 2009-05-13 | 2013-02-26 | David J. Charlot | Automated transient image cytometry |
US8310531B2 (en) * | 2009-08-03 | 2012-11-13 | Genetix Corporation | Methods and apparatuses for processing fluorescence images |
EP2470991A1 (en) * | 2009-08-24 | 2012-07-04 | ABB Technology AG | Improved execution of real time applications with an automation controller |
EP2488105A4 (en) * | 2009-10-13 | 2014-05-07 | Agency Science Tech & Res | METHOD AND SYSTEM ADAPTED TO SEGMENT AN OBJECT IN AN IMAGE (A LIVER IN THE OCCURRENCE) |
JP5820383B2 (ja) * | 2009-10-30 | 2015-11-24 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像データにより表される病巣の3次元解析 |
GB2478593B (en) * | 2010-03-12 | 2017-05-31 | Inst For Medical Informatics | Optimising the initialization and convergence of active contours for segmentation of cell nuclei in histological sections |
WO2012016242A2 (en) * | 2010-07-30 | 2012-02-02 | Aureon Biosciences, Inc. | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
EP2617011A1 (en) * | 2010-09-14 | 2013-07-24 | Ramot at Tel Aviv University, Ltd. | Cell occupancy measurement |
US8849057B2 (en) * | 2011-05-19 | 2014-09-30 | Foveon, Inc. | Methods for digital image sharpening with noise amplification avoidance |
US20130094750A1 (en) * | 2011-10-12 | 2013-04-18 | Tolga Tasdizen | Methods and systems for segmentation of cells for an automated differential counting system |
JP2013101484A (ja) * | 2011-11-08 | 2013-05-23 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
JP5762571B2 (ja) * | 2012-01-04 | 2015-08-12 | 株式会社知能情報システム | 画像処理方法、画像処理装置、画像処理プログラム、および記録媒体 |
US9518914B2 (en) * | 2012-09-24 | 2016-12-13 | Brigham And Women's Hospital, Inc. | Portal and method for management of dialysis therapy |
EP2932238B1 (en) | 2012-12-14 | 2018-02-28 | Vala Sciences, Inc. | Analysis of action potentials, transients, and ion flux in excitable cells |
US9904842B2 (en) | 2012-12-19 | 2018-02-27 | Koninklijke Philips N.V. | System and method for classification of particles in a fluid sample |
DE102013218437A1 (de) * | 2013-09-13 | 2015-03-19 | Siemens Aktiengesellschaft | Verfahren zur automatischen oder halb-automatischen Segmentierung und Vorrichtung |
PL232619B1 (pl) * | 2014-01-08 | 2019-07-31 | Inst Chemicznej Przerobki Wegla | Sposób określania morfologii koksów i karbonizatów |
EP3125191A4 (en) * | 2014-03-27 | 2017-08-16 | Noritsu Precision Co., Ltd. | Image processing device |
JP6673198B2 (ja) * | 2014-05-30 | 2020-03-25 | 株式会社ニコン | 顕微鏡 |
EP2985719A1 (en) * | 2014-08-15 | 2016-02-17 | IMEC vzw | A system and method for cell recognition |
US9939623B2 (en) * | 2015-10-19 | 2018-04-10 | Molecular Devices, Llc | Microscope system with transillumination-based autofocusing for photoluminescence imaging |
US9971966B2 (en) * | 2016-02-26 | 2018-05-15 | Google Llc | Processing cell images using neural networks |
US11473081B2 (en) | 2016-12-12 | 2022-10-18 | xCella Biosciences, Inc. | Methods and systems for screening using microcapillary arrays |
JP7042045B2 (ja) * | 2017-08-10 | 2022-03-25 | シスメックス株式会社 | 試料分析装置 |
DE102017009804A1 (de) * | 2017-10-20 | 2019-04-25 | Vermicon Ag | Verfahren zur Bewertung von mikroskopischen Proben und Vorrichtung zur Ausführung dieses Verfahrens |
CN111492368B (zh) * | 2017-12-22 | 2024-03-05 | 文塔纳医疗系统公司 | 用于基于膜特征对组织图像中的细胞进行分类的系统和方法 |
WO2019243897A2 (en) * | 2018-06-19 | 2019-12-26 | Metasystems Hard And Software Gmbh | System and method for detection and classification of objects of interest in microscope images by supervised machine learning |
CN108961250B (zh) * | 2018-07-20 | 2023-02-07 | 中国科学院深圳先进技术研究院 | 一种目标物统计方法、装置、终端以及存储介质 |
US10885631B2 (en) * | 2019-02-01 | 2021-01-05 | Essen Instruments, Inc. | Label-free cell segmentation using phase contrast and brightfield imaging |
US11803963B2 (en) | 2019-02-01 | 2023-10-31 | Sartorius Bioanalytical Instruments, Inc. | Computational model for analyzing images of a biological specimen |
EP4032968A4 (en) * | 2019-09-17 | 2023-11-08 | Nikon Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
US11164039B2 (en) * | 2019-10-23 | 2021-11-02 | International Business Machines Corporation | Framework for few-shot temporal action localization |
CN211857087U (zh) * | 2020-02-24 | 2020-11-03 | 宁波激智科技股份有限公司 | 一种减干涉准直膜 |
WO2022023956A1 (en) * | 2020-07-31 | 2022-02-03 | The Joan and Irwin Jacobs Technion-Cornell Institute | System and method for on-phase microscopy |
CN113111926A (zh) * | 2021-03-31 | 2021-07-13 | 南京华晟医学检验实验室有限公司 | 基于tct制片的异常宫颈血细胞筛选方法 |
CN114674757A (zh) * | 2022-03-25 | 2022-06-28 | 厦门大学 | 一种实现涡旋光热透镜效应及测量的实验装置 |
CN115165710B (zh) * | 2022-09-08 | 2022-11-29 | 珠海圣美生物诊断技术有限公司 | 细胞的快速扫描方法和装置 |
CN116698679B (zh) * | 2023-07-27 | 2023-12-19 | 中国食品药品检定研究院 | 一种实时的微粒过滤效果测量装置及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09325277A (ja) * | 1996-06-04 | 1997-12-16 | Nikon Corp | 焦点検出装置 |
WO2001011340A1 (en) * | 1999-08-05 | 2001-02-15 | Cellomics, Inc. | Optical system analysis of cells |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4741043B1 (en) | 1985-11-04 | 1994-08-09 | Cell Analysis Systems Inc | Method of and apparatus for image analyses of biological specimens |
US5281517A (en) | 1985-11-04 | 1994-01-25 | Cell Analysis Systems, Inc. | Methods for immunoploidy analysis |
US4881808A (en) | 1988-02-10 | 1989-11-21 | Intelligent Surgical Lasers | Imaging system for surgical lasers |
US4965725B1 (en) | 1988-04-08 | 1996-05-07 | Neuromedical Systems Inc | Neural network based automated cytological specimen classification system and method |
US5072382A (en) | 1989-10-02 | 1991-12-10 | Kamentsky Louis A | Methods and apparatus for measuring multiple optical properties of biological specimens |
US5162641A (en) | 1991-02-19 | 1992-11-10 | Phoenix Laser Systems, Inc. | System and method for detecting, correcting and measuring depth movement of target tissue in a laser surgical system |
US5548661A (en) | 1991-07-12 | 1996-08-20 | Price; Jeffrey H. | Operator independent image cytometer |
US5733721A (en) | 1992-11-20 | 1998-03-31 | The Board Of Regents Of The University Of Oklahoma | Cell analysis method using quantitative fluorescence image analysis |
US6130475A (en) * | 1993-12-07 | 2000-10-10 | International Business Machines Corporation | Clock distribution system for synchronous circuit assemblies |
US5631734A (en) | 1994-02-10 | 1997-05-20 | Affymetrix, Inc. | Method and apparatus for detection of fluorescently labeled materials |
US5932872A (en) * | 1994-07-01 | 1999-08-03 | Jeffrey H. Price | Autofocus system for scanning microscopy having a volume image formation |
WO1996009604A1 (en) | 1994-09-20 | 1996-03-28 | Neopath, Inc. | Apparatus for automated identification of cell groupings on a biological specimen |
US5627908A (en) | 1994-09-20 | 1997-05-06 | Neopath, Inc. | Method for cytological system dynamic normalization |
US6252979B1 (en) | 1995-06-07 | 2001-06-26 | Tripath Imaging, Inc. | Interactive method and apparatus for sorting biological specimens |
US6718053B1 (en) * | 1996-11-27 | 2004-04-06 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
US6103479A (en) | 1996-05-30 | 2000-08-15 | Cellomics, Inc. | Miniaturized cell array methods and apparatus for cell-based screening |
US5989835A (en) | 1997-02-27 | 1999-11-23 | Cellomics, Inc. | System for cell-based screening |
EP1985995A3 (en) | 1996-08-16 | 2009-09-16 | GE Healthcare Niagara Inc. | A digital imaging system for assays in well plates, gels and blots |
US6307957B1 (en) | 1997-02-28 | 2001-10-23 | Electro-Optical Sciences Inc | Multispectral imaging and characterization of biological tissue |
DE19713362A1 (de) | 1997-03-29 | 1998-10-01 | Zeiss Carl Jena Gmbh | Konfokale mikroskopische Anordnung |
US6271036B1 (en) | 1997-07-16 | 2001-08-07 | University Of Medicine & Dentistry Of New Jersey | Method for evaluating cytopathology specimens |
JP4945025B2 (ja) * | 1998-12-21 | 2012-06-06 | エボテック・アーゲー | 軸方向高解像度を有する走査型顕微鏡方法 |
US6130745A (en) | 1999-01-07 | 2000-10-10 | Biometric Imaging, Inc. | Optical autofocus for use with microtiter plates |
US6876760B1 (en) * | 2000-12-04 | 2005-04-05 | Cytokinetics, Inc. | Classifying cells based on information contained in cell images |
US6986993B1 (en) * | 1999-08-05 | 2006-01-17 | Cellomics, Inc. | System for cell-based screening |
-
2003
- 2003-05-09 JP JP2004503932A patent/JP2005525550A/ja active Pending
- 2003-05-09 AU AU2003230069A patent/AU2003230069B2/en not_active Ceased
- 2003-05-09 US US10/514,925 patent/US7469056B2/en active Active
- 2003-05-09 EP EP03722911A patent/EP1504247A1/en not_active Ceased
- 2003-05-09 CA CA2485602A patent/CA2485602C/en not_active Expired - Lifetime
- 2003-05-09 WO PCT/IB2003/001821 patent/WO2003095986A1/en active Application Filing
-
2008
- 2008-10-17 US US12/253,275 patent/US7764822B2/en not_active Expired - Fee Related
-
2010
- 2010-06-17 US US12/817,422 patent/US9057701B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09325277A (ja) * | 1996-06-04 | 1997-12-16 | Nikon Corp | 焦点検出装置 |
WO2001011340A1 (en) * | 1999-08-05 | 2001-02-15 | Cellomics, Inc. | Optical system analysis of cells |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8077945B2 (en) | 2005-12-14 | 2011-12-13 | The University Of Tokyo | Method of analyzing cell or the like having linear shape, method of analyzing nerve cell and apparatus and program for performing these methods |
JP2009534665A (ja) * | 2006-04-18 | 2009-09-24 | ジーイー・ヘルスケア・バイオサイエンス・コーポレイション | 分割用の画像を作成するシステム |
JPWO2010098105A1 (ja) * | 2009-02-26 | 2012-08-30 | 国立大学法人名古屋大学 | 培養状態評価装置、培養状態評価方法、インキュベータおよびプログラム |
JP2013517460A (ja) * | 2010-01-12 | 2013-05-16 | バイオ−ラド ラボラトリーズ インコーポレイテッド | 複数の焦点面を用いた細胞特性決定 |
JP2013524361A (ja) * | 2010-04-09 | 2013-06-17 | ゼネラル・エレクトリック・カンパニイ | 画像内のオブジェクトをセグメンテーションする方法 |
JP2014109488A (ja) * | 2012-11-30 | 2014-06-12 | Dainippon Screen Mfg Co Ltd | 画像処理装置、画像処理方法、および画像処理プログラム |
US9639736B2 (en) | 2012-11-30 | 2017-05-02 | SCREEN Holdings Co., Ltd. | Apparatus for and method of processing image and storage medium |
WO2015093344A1 (ja) * | 2013-12-19 | 2015-06-25 | 株式会社Screenホールディングス | 撮像装置および撮像方法 |
JP2015118036A (ja) * | 2013-12-19 | 2015-06-25 | 株式会社Screenホールディングス | 撮像装置および撮像方法 |
JP2021515586A (ja) * | 2018-03-16 | 2021-06-24 | ザ ユナイテッド ステイツ オブ アメリカ, アズ リプレゼンテッド バイ ザ セクレタリー, デパートメント オブ ヘルス アンド ヒューマン サービシーズ | 細胞療法、創薬および診断法における使用のための幹細胞およびその誘導体を検証するために機械学習および/またはニューラルネットワークを使用すること |
Also Published As
Publication number | Publication date |
---|---|
AU2003230069B2 (en) | 2008-11-13 |
WO2003095986A1 (en) | 2003-11-20 |
US20090074283A1 (en) | 2009-03-19 |
US7469056B2 (en) | 2008-12-23 |
US20100254590A1 (en) | 2010-10-07 |
US7764822B2 (en) | 2010-07-27 |
CA2485602A1 (en) | 2003-11-20 |
US9057701B2 (en) | 2015-06-16 |
US20060257013A1 (en) | 2006-11-16 |
AU2003230069A1 (en) | 2003-11-11 |
CA2485602C (en) | 2013-10-01 |
WO2003095986A8 (en) | 2005-05-06 |
EP1504247A1 (en) | 2005-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9057701B2 (en) | System and methods for rapid and automated screening of cells | |
JP5357043B2 (ja) | 量子ドットで染色された組織試料の定量的マルチ・スペクトル画像の分析 | |
JP4532261B2 (ja) | 生物学的試料のための光線画像分析 | |
US8712118B2 (en) | Automated measurement of concentration and/or amount in a biological sample | |
JP5602717B2 (ja) | 高密度細胞集団の自動セグメンテーション方法およびシステム | |
JP2022084796A (ja) | 画像処理のための自動アッセイ評価および正規化 | |
Henriksen et al. | Laser scanning cytometry and its applications: a pioneering technology in the field of quantitative imaging cytometry | |
JP2009512927A (ja) | 画像処理方法 | |
Méhes et al. | Quantitative analysis of disseminated tumor cells in the bone marrow by automated fluorescence image analysis | |
Niederlein et al. | Image analysis in high content screening | |
JP7160047B2 (ja) | 生体物質定量方法、画像処理装置及びプログラム | |
KR20220156564A (ko) | 자동화된 형광 이미징 및 단일 셀 분할 | |
Culley et al. | Made to measure: an introduction to quantification in microscopy data | |
WO2020262117A1 (ja) | 画像処理システム、画像処理方法及びプログラム | |
Prakash et al. | Considerations for measurement of embryonic organ growth | |
Bredfeldt | Collagen Alignment Imaging and Analysis for Breast Cancer Classification | |
Kim et al. | Cellular imaging-based biological analysis for cancer diagnostics and drug target development |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090728 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090804 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090828 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090904 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090928 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091027 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20091027 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100811 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100820 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100910 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101110 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110405 |