JP2008541048A - 自動画像解析 - Google Patents
自動画像解析 Download PDFInfo
- Publication number
- JP2008541048A JP2008541048A JP2008510046A JP2008510046A JP2008541048A JP 2008541048 A JP2008541048 A JP 2008541048A JP 2008510046 A JP2008510046 A JP 2008510046A JP 2008510046 A JP2008510046 A JP 2008510046A JP 2008541048 A JP2008541048 A JP 2008541048A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- automatic image
- images
- image
- biological sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010191 image analysis Methods 0.000 title description 5
- 238000012545 processing Methods 0.000 claims abstract description 46
- 239000012472 biological sample Substances 0.000 claims abstract description 24
- 210000004027 cell Anatomy 0.000 claims description 81
- 239000000523 sample Substances 0.000 claims description 47
- 210000003855 cell nucleus Anatomy 0.000 claims description 35
- 230000003595 spectral effect Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 28
- 230000002159 abnormal effect Effects 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 7
- 210000004940 nucleus Anatomy 0.000 claims description 7
- 201000010099 disease Diseases 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 208000015181 infectious disease Diseases 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 21
- 210000000805 cytoplasm Anatomy 0.000 description 12
- 241000282414 Homo sapiens Species 0.000 description 7
- 230000001086 cytosolic effect Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000010183 spectrum analysis Methods 0.000 description 6
- 238000010186 staining Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 208000022361 Human papillomavirus infectious disease Diseases 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- -1 pl6INK4a Proteins 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 239000000427 antigen Substances 0.000 description 3
- 108091007433 antigens Proteins 0.000 description 3
- 102000036639 antigens Human genes 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 210000000265 leukocyte Anatomy 0.000 description 3
- 102000000905 Cadherin Human genes 0.000 description 2
- 108050007957 Cadherin Proteins 0.000 description 2
- 208000009608 Papillomavirus Infections Diseases 0.000 description 2
- 241000700605 Viruses Species 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000005168 endometrial cell Anatomy 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 210000003296 saliva Anatomy 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241001502050 Acis Species 0.000 description 1
- 241000203069 Archaea Species 0.000 description 1
- 206010003445 Ascites Diseases 0.000 description 1
- 108700020462 BRCA2 Proteins 0.000 description 1
- 102000052609 BRCA2 Human genes 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 101150008921 Brca2 gene Proteins 0.000 description 1
- 101100314454 Caenorhabditis elegans tra-1 gene Proteins 0.000 description 1
- 108090000565 Capsid Proteins Proteins 0.000 description 1
- 102000003846 Carbonic anhydrases Human genes 0.000 description 1
- 108090000209 Carbonic anhydrases Proteins 0.000 description 1
- 102100025064 Cellular tumor antigen p53 Human genes 0.000 description 1
- 102100023321 Ceruloplasmin Human genes 0.000 description 1
- 208000007190 Chlamydia Infections Diseases 0.000 description 1
- 206010061041 Chlamydial infection Diseases 0.000 description 1
- 102000007345 Chromogranins Human genes 0.000 description 1
- 108010007718 Chromogranins Proteins 0.000 description 1
- 241000699800 Cricetinae Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 208000035874 Excoriation Diseases 0.000 description 1
- 102000008857 Ferritin Human genes 0.000 description 1
- 108050000784 Ferritin Proteins 0.000 description 1
- 238000008416 Ferritin Methods 0.000 description 1
- 238000009649 Feulgen staining Methods 0.000 description 1
- 102000018233 Fibroblast Growth Factor Human genes 0.000 description 1
- 108050007372 Fibroblast Growth Factor Proteins 0.000 description 1
- 102000016359 Fibronectins Human genes 0.000 description 1
- 108010067306 Fibronectins Proteins 0.000 description 1
- 101710113436 GTPase KRas Proteins 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 229920002683 Glycosaminoglycan Polymers 0.000 description 1
- 208000005176 Hepatitis C Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101000721661 Homo sapiens Cellular tumor antigen p53 Proteins 0.000 description 1
- 101000583175 Homo sapiens Prolactin-inducible protein Proteins 0.000 description 1
- 108090000723 Insulin-Like Growth Factor I Proteins 0.000 description 1
- 102000014429 Insulin-like growth factor Human genes 0.000 description 1
- 101710125507 Integrase/recombinase Proteins 0.000 description 1
- 241000270322 Lepidosauria Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 206010054949 Metaplasia Diseases 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 101001096236 Mus musculus Prolactin-inducible protein homolog Proteins 0.000 description 1
- 108050000637 N-cadherin Proteins 0.000 description 1
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 description 1
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 description 1
- 108020004711 Nucleic Acid Probes Proteins 0.000 description 1
- 102000004264 Osteopontin Human genes 0.000 description 1
- 108010081689 Osteopontin Proteins 0.000 description 1
- 101710116435 Outer membrane protein Proteins 0.000 description 1
- 229930182555 Penicillin Natural products 0.000 description 1
- JGSARLDLIJGVTE-MBNYWOFBSA-N Penicillin G Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)CC1=CC=CC=C1 JGSARLDLIJGVTE-MBNYWOFBSA-N 0.000 description 1
- 102100024315 Pericentrin Human genes 0.000 description 1
- 101710179262 Pericentrin Proteins 0.000 description 1
- 241000009328 Perro Species 0.000 description 1
- 241000286209 Phasianidae Species 0.000 description 1
- 102000012288 Phosphopyruvate Hydratase Human genes 0.000 description 1
- 108010022181 Phosphopyruvate Hydratase Proteins 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 102100030350 Prolactin-inducible protein Human genes 0.000 description 1
- 102000016611 Proteoglycans Human genes 0.000 description 1
- 108010067787 Proteoglycans Proteins 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 108050002653 Retinoblastoma protein Proteins 0.000 description 1
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 1
- 208000019802 Sexually transmitted disease Diseases 0.000 description 1
- 102000005157 Somatostatin Human genes 0.000 description 1
- 108010056088 Somatostatin Proteins 0.000 description 1
- 241000589970 Spirochaetales Species 0.000 description 1
- 102000004874 Synaptophysin Human genes 0.000 description 1
- 108090001076 Synaptophysin Proteins 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 238000000627 alternating current impedance spectroscopy Methods 0.000 description 1
- 239000005441 aurora Substances 0.000 description 1
- 238000011888 autopsy Methods 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 102000052116 epidermal growth factor receptor activity proteins Human genes 0.000 description 1
- 108700015053 epidermal growth factor receptor activity proteins Proteins 0.000 description 1
- 210000003527 eukaryotic cell Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003925 fat Substances 0.000 description 1
- 229940126864 fibroblast growth factor Drugs 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 150000004676 glycans Chemical class 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 210000004251 human milk Anatomy 0.000 description 1
- 235000020256 human milk Nutrition 0.000 description 1
- 238000012606 in vitro cell culture Methods 0.000 description 1
- 150000002484 inorganic compounds Chemical class 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 230000015689 metaplastic ossification Effects 0.000 description 1
- 238000009629 microbiological culture Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007479 molecular analysis Methods 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- YOHYSYJDKVYCJI-UHFFFAOYSA-N n-[3-[[6-[3-(trifluoromethyl)anilino]pyrimidin-4-yl]amino]phenyl]cyclopropanecarboxamide Chemical compound FC(F)(F)C1=CC=CC(NC=2N=CN=C(NC=3C=C(NC(=O)C4CC4)C=CC=3)C=2)=C1 YOHYSYJDKVYCJI-UHFFFAOYSA-N 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 108091008104 nucleic acid aptamers Proteins 0.000 description 1
- 239000002853 nucleic acid probe Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 229940049954 penicillin Drugs 0.000 description 1
- 210000004910 pleural fluid Anatomy 0.000 description 1
- 102000040430 polynucleotide Human genes 0.000 description 1
- 108091033319 polynucleotide Proteins 0.000 description 1
- 239000002157 polynucleotide Substances 0.000 description 1
- 229920001282 polysaccharide Polymers 0.000 description 1
- 239000005017 polysaccharide Substances 0.000 description 1
- 239000013641 positive control Substances 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 210000001236 prokaryotic cell Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- NHXLMOGPVYXJNR-ATOGVRKGSA-N somatostatin Chemical compound C([C@H]1C(=O)N[C@H](C(N[C@@H](CO)C(=O)N[C@@H](CSSC[C@@H](C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CC=2C=CC=CC=2)C(=O)N[C@@H](CC=2C=CC=CC=2)C(=O)N[C@@H](CC=2C3=CC=CC=C3NC=2)C(=O)N[C@@H](CCCCN)C(=O)N[C@H](C(=O)N1)[C@@H](C)O)NC(=O)CNC(=O)[C@H](C)N)C(O)=O)=O)[C@H](O)C)C1=CC=CC=C1 NHXLMOGPVYXJNR-ATOGVRKGSA-N 0.000 description 1
- 229960000553 somatostatin Drugs 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 239000012192 staining solution Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S128/00—Surgery
- Y10S128/92—Computer assisted medical diagnostics
- Y10S128/922—Computer assisted medical diagnostics including image analysis
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Dispersion Chemistry (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
Abstract
上記のような、自動画像処理が:a)生体試料の中の対象のデジタル画像を取得するステップと;b)デジタル画像から関心のある複数の対象を選択するステップと;c)複数の異なる波長における選択した関心のある対象の複数の画像を取得するステップと;d)複数の画像のうちの1を対応するデジタル画像と組み合わせて、組み合わせた画像を作成するステップと;e)組み合わせた画像を解析して生体試料を評価するステップとを有する。
【選択図】図1
【選択図】図1
Description
本書の主題は、自動画像解析に有用な方法及び器具に関する。
医学的な試料の細胞の画像は、単調であるが医療分析にとって不可欠なツールである。自動化した細胞の画像化が開発されており、より均一な細胞の画像解析のためのニーズに合っている。自動化した細胞画像装置は、スライドガラスでの解析を大きく変えず、疲労の影響を受けにくく、人間と比較してかなりの処理能力を提供できる。
以前にいくつか開発され現在利用可能ないくつかの自動化システムを付加的な人間による解析とともに使用することで、分析する試料の数を増やし、分析する者が経験する疲れを減らしている。自動化した選別機を使用して、人間によるさらなる検査のために各試料、対象を選別できる。このような方法により、機械が人間によって解析すべき各資料の関心のあるこれらの対象をより簡単且つ経済的に識別するように、このような分析の感度を増やすことができる。
しかしながら、自動画像装置は、それに提供される試料及びデータ及びそのプログラミングによって制限される。さらに、コンピュータ処理上の理由のため、画像装置は、解析のために単色の白黒画像を一般に使用しており、試料そのものが、特に細胞学的に染色した試料のための広範囲のスペクトルデータ及び他の情報を提供する。
例えば、パパニコロー(Papanicolaou)染色した試料の自動画像解析では、従来の自動化したスクリーニングシステムにおける異常な対象物の分類が、正常な化生細胞及び他の混同物の存在によって複雑となる可能性がある。いくつかの画像システムでは、試料の正常な細胞よりも細胞又は細胞核が「暗く」(光学的により密な)及び/又は大きく現れるため、光学密度に基づいてパパニコロー染色した試料の関心のある細胞を識別するようにしている。染色した試料の化生細胞の細胞質も暗く、その結果縮小した細胞核となるため:細胞質のコントラストにより測定エラーが生じる可能性がある。化生細胞は、スライドガラス上に多数あるのに対し異常細胞は希であるが、それが画像装置に同等に暗く見えるため、自動画像装置は人間による再検査のために異常細胞よりはるかに多い化生細胞を選択してしまう。
本書で開示した一実施例によれば、自動画像処理が:a)生体試料の中の対象のデジタル画像を取得するステップと;b)デジタル画像から関心のある複数の対象を選択するステップと;c)複数の異なる波長における関心のある対象の複数の画像を取得するステップと;d)複数の画像のうちの1を対応するデジタル画像と組み合わせて、組み合わせた画像を作成するステップと;e)組み合わせた画像を解析して生体試料を評価するステップとを具える。
本書で開示した別の実施例によれば、自動画像処理が:a)生体試料の中の対象のデジタル画像を取得するステップと;b)デジタル画像から少なくとも1の関心のある対象を選択するステップと;c)複数の異なる波長における少なくとも1の関心のある対象の少なくとも1の画像を取得して、多波長の画像のセットを作成するステップと;d)多波長の画像のセットを解析して生体試料を評価するステップとを含む。
本書で開示したさらに別の実施例によれば、自動画像処理に使用するための器具が:a)試料に第1のスペクトル領域を出力可能な少なくとも1の光源と;b)第1のスペクトル領域によって照射される際に試料の部分の第1の画像を検出可能な少なくとも1の検出器と;c)第1の条件セットに基づいて第1の画像のサブセットを選択可能な少なくとも1のコンピュータとを有する。2セット以上の画像を制御する場合は、これらの画像を組み合わせて少なくとも1の組み合わせた画像を作成してもよい。そして、少なくとも1のコンピュータが、選択したサブセットの画像のセットを解析してもよく、さらに第1の条件セット又は異なるセットである第2の条件セットに基づいて画像のセットのサブセットを選択することもできる。
本書で開示したさらに別の実施例によれば、自動画像処理に使用するための器具が:a)試料に第1のスペクトル領域を出力可能な第1の光源と;b)第1のスペクトル領域によって照射される際に試料の部分の第1の画像を検出可能な第1の検出器と;c)第1の条件セットに基づいて第1の画像のサブセットを選択可能な第1のコンピュータと;d)第1の光源又は異なる光源である第2の光源であって、第1のスペクトル領域とは異なる第2のスペクトル領域を出力可能な第2の光源と;e)第1の検出器又は異なる検出器である第2の検出器であって、第2のスペクトル領域によって照射される際に、選択したサブセットにおける画像の第2の画像を検出可能な第2の検出器と;f)第1のコンピュータ又は異なるコンピュータである第2のコンピュータであって、選択したサブセットの第1及び第2の画像を解析して、さらに第1の条件セット又は異なるセットである第2の条件セットに基づいて第1及び第2の画像のサブセットを選択可能な第2のコンピュータとを有する。
本書で開示したさらに別の実施例によれば、自動画像処理に使用するための器具が:a)試料に第1のスペクトル領域を出力可能な第1の光源と;b)第1のスペクトル領域によって照射される際に試料の部分の第1の画像を検出可能な第1の検出器と;c)第1の条件セットに基づいて第1の画像のサブセットを選択可能な第1のコンピュータと;d)第1の光源又は異なる光源である第2の光源であって、第1のスペクトル領域とは異なる第2のスペクトル領域を出力可能な第2の光源と;e)第1の検出器又は異なる検出器である第2の検出器であって、第2のスペクトル領域によって照射される際に、選択したサブセットにおける画像の第2の画像を検出可能な第2の検出器と;f)第1のコンピュータ又は異なるコンピュータである第2のコンピュータであって、選択したサブセットの第2の画像及び前記第1の画像具える組み合わせた画像を作成し、さらに前記第1の条件セット又は異なるセットである第2の条件セットに基づいて組み合わせた画像のサブセットを選択可能な第2のコンピュータとを有する。
自動化した画像処理及び/又は装置は、ここで述べるように、多波長の光を使用して試料に照射し、自動的に又は操作者によって操作可能な画像を得る。また、様々な波長で関連する情報を含む画像を取得して、組み合わせた画像を追加的な解析にかけることができる。さらに、1つの画像に見られる対象を様々な波長の光にかけて、試料に基づいて診断を与える前に、綿密に対象を解析することができる。ある実施例では、白色光をサンプル又は試料に照射して、試料/サンプルと少なくとも1のTVカメラ又は他のカメラとの間に少なくとも1のカラーフィルタを配置することによって、関連する情報を取得することができる。また、切り替え可能なカラーフィルターを備えたカメラを使用してもよい。ある実施例では、特定の画像のセットが「関心のある細胞」を具えている場合、システムのオペレータが細胞部位に戻って、追加的な画像を作成又は取り出してもよく、サンプル又は試料についての情報を揃える際に、研究者、コンピュータ又は技術者を支援する。
また、自動画像装置による一連の対象のさらなる研究のためのいくつかの方法、処理及び装置であって、単体で又は組み合わせて使用する方法、処理及び装置が、本書で提供されている。多波長で対象を解析することによって得られる情報の使用を通して、関心のある形態(陽性)を含む細胞又はクラスターを、選択したセットの中の偽情報(false alarm)又は陰性細胞と一層区別することができる。また、子宮内膜細胞又は子宮頸管細胞、又はある異常な細胞といった特定の細胞型を、このような調べを通して識別してもよい。
Cytyc Corporation’s THINPREP(登録商標) Imaging System、the TriPath FOCALPOINT(商標) Profiler、the ChromaVision ACIS(登録商標) System、the CompuCyt iCyte Imaging System、the Applied Imaging CYTOVISION(商標) System、及びthe Veracel Verasys(商標) Imaging Systemを含む多くの個々の画像システムが、本出願が出願された時点で市販されている。これらの機器及び装置を改良して、本書に記載されているような追加的な画像処理のステップに組み込むことができることに留意されたい。
最新のTHINPREP(登録商標)画像処理システム(「TIS」)は、パパニコロー(Papanicolaou)染色処理によって染色してデジタル画像処理した単細胞及びクラスターの双方を含む、スライドガラスの試料の1又はそれ以上の関心のある対象を有する視野を識別する。例えば、TISは、所定の試料のスライドガラスの高い積分光学密度を具えた100個の個別の対象のリスト及び高い平均光学密度を具えた20個のクラスタのリストを作ることができる。上記のような100及び20個以上又は以下の他の値の対象及びクラスタを収集することができる。本書に提供されているような追加的な解析は、識別、適切な選択及びこれらの特定の対象の改善した解析を改善する。このような追加的な解析のレベルは、特定の対象に集中しておりスペクトル解析の使用を含んでいる点でユニークである。
光の波長を特定する熟慮した方法により、細胞の試料の分類化の改良が可能となり、スペクトル領域全体にわたる試料の走査を含んでおり、その領域の中の特定の波長が試料のパラメータの分類化の改良が可能であるかどうかを判断する。スペクトル領域にわたって試料を規則的又は不規則な間隔で走査し、その後、未修整の画像及び/又は1又はそれ以上の様々な波長の特定の画像と様々な方法で組み合わせてもよい。また、試料の一部分をスペクトル領域にわたって規則的又は不規則な間隔で走査し、特定の波長部分をそれぞれ自動的又はユーザによって精査して、試料の同じ部分の多波長の特定の画像を作成してもよい。
異なる試料の様々なパラメータを解析して、画像処理した試料をより正確に分類する能力に対するそれらの影響を判定してもよい。ある実施例では、細胞核の境界を特定するのが望ましい。細胞核の形状の規則性が、画像処理した細胞の状態に関する重要な手掛かりを提供可能であり、細胞核の形状の不規則性が、悪性になる前の状態を示すことができる。このため、例えば、細胞核と細胞質との間のコントラストを上げることにより細胞核を識別するための能力を改善すると、細胞の状態を自動的に診断する方法が改善される。
ある実施例では、細胞核の画像処理が、核のテクスチャ、その形状、合成した暗さ、平均暗さ、又はそれらの組み合わせの判定を有している。テクスチャは、当技術分野で知られるように、近接する画素と比較した所定の画素の値の解析に関するものである。適切な方法によって、例えば、面積の4π倍で割られた周囲長の二乗を測定することで形状を判定できる。さらに、細胞核を取り囲む細胞質の「リング」を使用してもよい。このようなリング状の細胞質の光学密度を画像からデジタル処理で除去し、細胞核を測定するための能力を増やして、試料の中の異なる細胞の細胞質が互いに重なる状態で視覚化を改善できる。
本実施例は、パパニコロー(Papanicolaou)染色処理によって染色した細胞の試料を説明しているが、本書に記載の方法を他の適切及び/又は従来の処理及び/又は材料によって染色した試料とともに使用できることに留意されたい。考えられる染色方法は、ヘマトキシリン(hematoxylin)及びエオシン(eosin)染色、フォイルゲン(Feulgen)染色、DNA染色、化学量論染色、及び対比染色を有する。ある実施例では、方法が、染色しない試料を有するか又は使用してもよい。さらに、このような実施例が、子宮頸部細胞検査から得られる細胞の試料に関する方法の使用を表しているが、何らかの適切な生体試料を本書に記載の方法で同様に使用してもよい。
また、本書で組み合わせが開示される場合、このような組み合わせ要素の各サブコンビネーションが特に開示され、これは主題の範囲内であることに留意されたい。逆に、異なる要素又は要素のグループが開示される場合、それらの組み合わせもまた開示される。また、主題の要素が複数の代替例を有するものとして開示される場合、各代替例が単一又は他の代替例と組み合わせて排除されるこのような主題の例が本書で開示されている;考えられる主題の1以上の要素がこのような除外を有し、このような除外を有する要素の全ての組み合わせが本書で開示されている。
別に定義しない限り、あるいは文脈が明らかに別に示さない限り、本書で使用する全ての技術的及び科学的な用語は、本発明が属する当業者によって一般に理解されるのと同じ意味を有する。本書に記載したのと類似又は同等な方法及び材料を、本書に記載した主題の実行又は検査で使用できるが、ここでは好適な方法及び材料を説明する。
前述のように、本書に記載の方法、処理及び/又は器具は、TISといった既存の自動画像システムの能力を追加機能と組み合わせて、試料サンプルの「関心のある対象の」特定のサブセットを解析し、正常細胞、異常細胞、疾病に関連する特別な状態、又はそれらの組み合わせの自動認識を与える。
本書に記載のように、ある自動化した画像処理は、:a)生体試料の中の対象のデジタル画像を取得するステップと;b)前記デジタル画像から関心のある複数の対象を選択するステップと;c)前記関心のある対象の複数の異なる波長における複数の画像を取得するステップと;d)前記複数の画像のうちの1を対応するデジタル画像と組み合わせて、組み合わせた画像を作成するステップと;e)前記組み合わせた画像を解析して前記生体試料を評価するステップとを具える。
このような考えられる実施例では、試料の中の関心のある対象を特定し、その後、他のスペクトル領域を具える対象に照射することによって、このような対象の追加の画像を所得する。加算、減算及び又は組み合わせた画像の比率といった数学的な手段によって、追加の画像を組み合わせてもよい。2以上の画像を組み合わせてもよい。そして、組み合わせた画像は、本書に記載の条件セットによって分析され、その結果単波長の照射によって得られる結果と比較される。このような方法により、追加の有用な照射の波長を特定できる。複数の波長での追加の画像を、元々の画像を取得する際に同時に取得して、その後、後に使用する可能性のために保存してもよい。あるいは、対象を移動させて、複数の波長での新たな画像を取得してもよい。
本書に記載のように、考えられる別の自動化した画像処理は:a)生体試料の中の対象のデジタル画像を取得するステップと;b)前記デジタル画像から少なくとも1の関心のある複数の対象を選択するステップと;c)前記少なくとも1の関心のある対象の複数の異なる波長における少なくとも1の画像を取得して、多波長の画像のセットを作成するステップと;d)前記多波長の画像のセットを解析して前記生体試料を評価するステップとを具える。
このような追加的な考えられる実施例では、複数の異なる波長で収集した少なくとも1の画像を使用して画像から特徴を抽出する。例えば、青系統の色域の暗さに対する赤系統の色域の暗さの比率は、生体試料から取得される画像を評価する際に有用である。このような考えられる実施例は、生体試料の同じ画像又は画像収集に多くの観点を与えるよう構成される。関連する実施例では、ユーザが4又は5の画像を取得して、様々な画像の細胞核の中の画素のいくつかの加重値が正常に対する異常性を示す結果を与えることを見付ける。このような処理は、生体試料からの画像の「分光的特徴」を与える。
ある実施例では、画像装置が最初に高い積分光学密度の細胞核及び高い平均光学密度クラスターに基づいて特定のサブセットを識別する。異常な試料では、サブセットが異常な対象及びいくつかの「偽情報(false alarms)」を一般に有する。正常な試料では、サブセットが正常な対象及びいくつかの「偽情報」をも一般に有する。偽情報は、重なった細胞核又は細胞核と細胞質との間の本質的に低いコントラストを具えた正常な対象といった反応/修復型の細胞又は人為的な影響の存在によるものである。
本書に記載したいくつかの実施例では、画像装置が、これらの特定した対象に戻って追加的な解析又は解析を適用し、本当に異常な対象を反応/修復型の変化及び/又は「偽の情報」とより良く区別する。追加的な解析は、スペクトル解析又はマーカーの検出を有することができ、細胞核及び細胞質双方からの測定を含めることができる。
本書に記載のあるいくつかの実施例では、上位2000対象、上位1000又はそれ以下の対象、上位500対象、上位200対象又は上位120対象といった対象の特定のサブセットについて、スペクトル解析を実行する。サブセットとして選ばれる対象の数は、コンピュータのメモリ、コンピュータのスピード、ユーザがさらなる精度でサンプルを評価する必要性といったことの関数である。対象のサブセットが選択され記憶されると、サブセットの上位120画像又は対象の解析を適切な基準に基づいて選択できる。つまり、例えば、対象のサブセットは、一つの波長で取り込んだ2000画像を含んでもよい。別の波長では、1000画像を収集する。解析中に、それぞれ2000画像のセット及び1000画像のセットから120画像が抽出される。
他の実施例では、対象のサブセットに戻るのではなく、最初の画像を取得した時点で複数の波長の画像を記憶してもよい。そして、対象を移動させずに関心のある対象のサブセットについて追加の解析を実行してもよい。
多波長の光を使用して単波長又は多波長で取得した白黒画像をデジタル化できる。得られる「カラー」画像を、白黒の単色の画像よりも簡単に評価してもよい。ある実施例では、その後に対象の分類を試みることができる。特定の対象の解析に基づいて、人間によって追加の再検査を要することなしに基準としての試料を特定するための決定を行うことができる。
また、スペクトル情報を使用して特定の型の細胞を識別できる。例えば、クラスターのリストを識別する場合、子宮内膜細胞、又は子宮頸管細胞を識別するのが望ましい。一つの細胞核のリストを識別する場合に、化生又は子宮頸管細胞又は他の特定の細胞型の識別が細胞学者にとって有用である。双方のタイプの識別では、あるレベルの異常性を本書に記載されているスペクトル解析を通して判定できる。このような測定は、細胞核及び細胞質の形態及びスペクトル情報の測定を含めることができる。
また、スペクトル情報は、疾病に関する特定の細胞の変化又は他の細胞の変化を検出することができる。例えば、HPV感染により、スペクトルの変化をもたらす細胞の変化を生じる可能性がある。これは、画像装置によって検出可能であり、分子分析を要さずにHPVに感染しているとして試料を特定できる。
疾病の存在又は感染による細胞の変化は、多くの場合マーカーの存在によって示される。例えば、抗体は、感染、例えばHPV又はクラミジアの感染の存在を検出できる。また、核酸プローブ又はアプタマー(aptamers)といった他の分子マーカーを使用して、疾病又は感染の存在を示すことができる。ある実施例では、例えば標準的なパパニコロー染色液といった使用される染色液の中に通常存在しない独自のカラーラベルにプローブを取り付けてもよい。このラベルは、特定の吸収スペクトルを具えてもよく、又は特定の波長の光を照射に使用する場合にのみ蛍光を発してもよい。色の解析及び/又はマーカへの照射は特定の対象について行うことができる。
全体として、このような方法は、スライドの上の対象の次の解析を減らし、完全にスライドでの解析を行う場合に取得できるよりも早い実行が可能となる。また、追加の解析が、関連する特性、例えば細胞核の密度の変化が認識されることにより疑わしいものとしてすでに選択した対象のみに適用されるため、感度又は特異度を増やすことができる。
例えば、TISは、高い積分光学密度(IOD)で100個の対象(通常は細胞核)を識別する。本書で提供されている方法を使用するシステムでは、これら100個の識別した対象のいくつか又は全てのスペクトル解析を行うことができる。スペクトル解析を使用して、これらが陰性細胞の細胞核又は異常細胞の細胞核により似ているスペクトル特性を有する細胞核であるかどうかを表示することができる。このような解析に基づいて、そのスライド(slide)がおそらく陰性で人間による解析をこれ以上必要としないことを決定することができる。
自動化したスペクトルの画像処理方法の他の実施例は、追加の解析、パパニコロー検査、腺管の洗浄(ductal lavage)、肺等のための診断、分類、又は細胞の選択のための自動化した解析と;2又はそれ以上の照射する色から取得される画像の組み合わせによる改善した区分解析の改善とを有している。また、自動化した方法は、マルチスペクトルの分離、区分け、及び/又は画像又は関心のある対象の定量化を含むステップを有してもよい。
本書で使用する「色」、「波長」及び「スペクトル領域」といった用語は、狭い帯域幅、例えばレーザ光源によって出力される正確な波長と、例えば広帯域又は多帯域の光源にフィルタを使用することによって出力される多少広い帯域幅の双方を表すことができることに留意されたい。発光ダイオード(LED)の照射により、個別のLEDに応じて狭い幅又は多少広い幅の照射のいずれかを出力できる。
試料とも称する解析するサンプルは、細胞、組織又は体液を含む、直接又は間接的に生命体から取得できる生体材料の元とすることができる。サンプルの非限定的な例は、血液、尿、精液、母乳、唾液、粘液、胸膜液、骨盤液、関節液、腹水、体腔洗浄、眼球ブラッシング、皮膚擦過、口腔スワブ(buccal swab)、膣スワブ(vaginal swab)、子宮頸部細胞検査、直腸スワブ(rectal swab)、吸引物、針生検、例えば手術又は検視解剖によって得られる組織の部分、血漿、血清、脊髄液、リンパ液、皮膚の外分泌物、呼吸器、腸、及び尿生殖路、涙、唾液、腫瘍、内臓、微生物培養、ウイルス、及び体外での細胞培養構成要素のサンプルを含む。サンプルは、関心のある対象を含むことが分かっている陽性対照サンプルとすることができる。
自動装置によって選択される可能性のある関心のある対象は、検出することが望まれる試料の成分である。対象の非限定的な例は、ポリヌクレオチド、タンパク質、ペプチド、多糖、ムコ多糖体、プロテオグリカン、炭水化物、脂質、脂肪、細胞、細胞型、有機体、ウイルス、構造体、抗原、無機化合物、又はセンサを得ることができる他の分子を含む。
典型的な分子対象は、HPV E2タンパク質、HPV E6及びE7タンパク質、HPV Llカプシドタンパク質、pl6INK4a、E−カドヘリン、N−カドヘリン、p53、GCDFP−15、ペニシリン、NuMA、カルボニックアンヒドラーゼ、マトリクス・メタロプロテイナーゼ、核マトリクスタンパク質、フェリチン、オーロラA(aurora A)、ペリセントリン、オステオポンチン、prostatin、インスリン様成長因子、線維芽細胞増殖因子、BRCAl、BRCA2、mammoglobin、PSE、CEA、CA−125、CA19−9、CA15−3、ソマトスタチン、シナプトフィジン、クロモグラニン、kallikriens、フィブロネクチン、EGFR、K−ras、Her−2/neu、トレポネーマ抗原、ニューロン特異的エノラーゼ、網膜芽細胞腫タンパク、C型肝炎表面抗原、クラミジア・トラコマチス感染症の外膜タンパク質を含む性感染症マーカー、癌マーカー、及びHIV gpl20を含む。
対象が細胞又は細胞の成分又は生成物の場合、細胞は、原核細胞、真核細胞又は古細菌(archea)を含む臓器とすることができる。細胞は、生きていても死んでいてもよい。多細胞生物から取得する場合、細胞は任意の細胞型でよい。細胞は、培養細胞系又は第1の分離株でよく、細胞は、哺乳類、両生類、爬虫類、植物、酵母菌、細菌、マイコバクテリア(mycobacterial)、スピロヘータ、又は原生動物でよい。細胞は、ヒト、マウス、ラット、ハムスター、ニワトリ、ウズラ又はイヌのものでよい。細胞は、正常細胞、突然変異細胞、遺伝子組み換えが行われている細胞、癌細胞等でよい。
本書に記載の自動画像処理方法を実施するための実施例では、装置が多波長の光を試料に照射できる1又はそれ以上の光源を有する。また、この装置は、多波長の照射で試料の画像を取得できる1又はそれ以上の検出器を有する。
また、この装置は、第1の波長で試料から取得した画像から関心のある対象のサブセットを選択可能なコンピュータ又は他の選択手段を有する。この装置は、1又は複数の別々の解析を含む任意の条件セットに基づいてこれらの対象を選択する。平均光学密度、積分光学密度、形状、組織等を含む、このような基準の例が本書に与えられている。この装置は、第2の波長で関心のある特定の対象を画像処理でき、その後これらの追加的な画像を第1の関心のある画像と組み合わせて組み合わせた画像を作成し、さらに追加的な解析を行って最初に実行された基準と同じか又は異なってもよいさらなる基準に基づいて対象の特定のサブセットを選択することができる。
アナログ装置又はデジタル装置によって画像を付け加えるか又は互いに比較することができる。例えば、2つの色(すなわち、2つの異なる波長のLEDから)の照射を同時に行い、アナログ処理で画像を加えることによって2つの画像を合わせてもよい。他の実施例では、画像をデジタル化して追加又は比較してもよい。
以下の実施例は、本書に説明した主題を作製及び使用する方法についての完全な記載を当業者に提供するように説明するが、本発明と見なされる範囲の限定を意図するものではない。使用する数値(例えば、量、温度等)に関する精度を確かめるための取り組みがなされているが、実験的な誤差及び狂いを説明する必要がある。
実施例1 自動画像処理を改良するための多波長スクリーニング
多波長での試料の画像処理が自動画像装置におけるシーン分割の動作及び/又は特徴抽出動作を高めるかどうかを判定するための実験を実施した。いくつかの異常細胞及び多くの化生細胞が、非常に厚い細胞質により細胞核のコントラストを下げる。さらに、染色システムが、染色した試料の中に多色を形成し、試料の全ての細胞にとって単色の照射が最適ではない可能性がある。例えば、パパニコロー(Papanicolaou)染色が、赤、青又は緑色の細胞質を形成し、いくつかのデジタル画像装置とともに使用する単波長が、このような相違する細胞の最適な画像を提供しない可能性がある。このため、コントラスト全体の改善を一つの手段として使用して、解析を改善するための可能性ある方法を評価した。
多波長での試料の画像処理が自動画像装置におけるシーン分割の動作及び/又は特徴抽出動作を高めるかどうかを判定するための実験を実施した。いくつかの異常細胞及び多くの化生細胞が、非常に厚い細胞質により細胞核のコントラストを下げる。さらに、染色システムが、染色した試料の中に多色を形成し、試料の全ての細胞にとって単色の照射が最適ではない可能性がある。例えば、パパニコロー(Papanicolaou)染色が、赤、青又は緑色の細胞質を形成し、いくつかのデジタル画像装置とともに使用する単波長が、このような相違する細胞の最適な画像を提供しない可能性がある。このため、コントラスト全体の改善を一つの手段として使用して、解析を改善するための可能性ある方法を評価した。
正常、異常及び化生のパパニコロー染色細胞を含む11の顕微鏡視野を、白黒ビデオカメラを備えたZeiss Axioskop顕微鏡を用いて、51の異なる波長を使用してデジタル化した。これは、光源と顕微鏡との間にモノクロメータ(EG&Gモデル585−22)を設置することによって実行された。そして、画像を450及び700ナノメータの間の波長で5ナノメータ毎にデジタル化した。多波長の画像を一旦デジタル化すると、アルゴリズムを調査して2つの画像の組み合わせを加え、細胞核と細胞質との間のコントラストを自動的に判断した。コントラストは、細胞質の中の10×10画素ボックス(box)と比較した細胞核の中の10×10画素ボックスのグレーレベルの差として規定した。大部分の画像に対して最適なコントラストを与える570nmの単波長を選択した。
他の波長とこのような画像との組み合わせを解析して、570nmの画像に対する組み合わせた(2つの画像を加えて2で割った)画像のコントラストの変化を判定した。図1は、570nmの画像と組み合わせた51の全ての波長(y軸)について11の各対象についてのコントラスト(x軸はdiff3で;diff=二波長の画像についての細胞核と細胞質との間のグレー値(grey values)の差から、単波長の画像についての細胞核と細胞質との間のグレー値の差を引いたもの)の純変化の散布図を示す。
細胞質の色又は細胞型に拘わらず、全ての対象についての組み合わせた画像のコントラストを改善する(約600及び670の間の)範囲を識別した。これは、多波長の画像を組み合わせてコントラストを改善できることを示している。
実施例2 困難な試料に対する多波長の画像処理の改善の解析
多波長の画像を使用する可能性を調査するために、パパニコロー染色したスライドからの一連の異常細胞及び正常な化生細胞を、実施例1に基づいて選択した570nm及び650nmの2つの波長を使用して、白黒ビデオカメラを備えたZeiss Axioskop顕微鏡を用いてデジタル化した。画像全体をデジタル化してクラスタ、組織片、血液等の「無秩序」を可能にした。初めに画像を単波長−多くのパパニコロー検査の画像システムに使用する標準的な緑色照射(570nm)のみを使用して解析した。その後、570及び650nmの2つの波長の組み合わせを用いて画像を解析した。
多波長の画像を使用する可能性を調査するために、パパニコロー染色したスライドからの一連の異常細胞及び正常な化生細胞を、実施例1に基づいて選択した570nm及び650nmの2つの波長を使用して、白黒ビデオカメラを備えたZeiss Axioskop顕微鏡を用いてデジタル化した。画像全体をデジタル化してクラスタ、組織片、血液等の「無秩序」を可能にした。初めに画像を単波長−多くのパパニコロー検査の画像システムに使用する標準的な緑色照射(570nm)のみを使用して解析した。その後、570及び650nmの2つの波長の組み合わせを用いて画像を解析した。
そして、細胞核を見付けるために細胞を自動的に分割した。分割のアルゴリズムは、細胞核かもしれないもの(暗い対象)を自動的に見付けることによって行われ、画像のグレーレベルのヒストグラムに基づいた繰り返し方法を使用する。この方法は、対象の現在の輪郭の中の中間調のヒストグラムから、最小及び最大の暗さの値の変化を監視する。多くの他の分割方法を適用して、細胞核、細胞質、又は画像の他の対象を見付けることができる。分割の後に、細胞核の外観を抽出し、形状及び組織の測定に基づいてアーチファクト(artifacts)除去がなされる。組み合わせた画像の性能を検査するために、細胞の積分光学密度(「IOD」)を使用して細胞の簡単なリストを整理する。このような形態は、スライド上で測定される全ての形態のうちの最も識別力のあるものの一つである。しかしながら、リスト中で異常細胞の間の位置に現れる「大きく/暗い」が正常な「化生」細胞が困難なものにしている。
「面倒な」化生細胞を具える患者の試料について試験を行って、高いIODを具える40個の細胞をリストに記録した。単波長のみを使用した場合、化生した細胞核が、悪性度の高い鱗状の上皮内病巣の特性を持つ異常な細胞核のセットのリスト中に、位置22に1つ、さらには位置33から40にもっと現れた。高い積分光学濃度では、多くの異常細胞核が100個の細胞核のリストの中で見付けられた。
しかしながら、2つの波長を組み合わせた画像を使用して同じ患者の40個の細胞核の試料から細胞のIOD値のリストを作成した場合、一つの化生した細胞核のみが位置37に出現した。ここでは、多くの異常な細胞核がリストの最初の40の位置に見られた。このように、組み合わせにより、「偽の陽性(false positive)」の細胞核が少なくなるという細胞をランク付け能力が示され、このような非常に困難な問題に対する2色の解析の有効性が示された。
最終的なチェックとして、単波長及び二波長を組み合わせた画像における照合するクラスターのデータと比較することによってクラスターの画像を解析した。データが、白血球細胞のクラスターの「白と黒が入り交じった」外観と(画素濃度があまり変化しない)異常細胞の滑らかなクラスターとの間の、グレーレベルの標準偏差の差における顕著な改善を示した。このような外観は、白血球細胞のクラスターによる「偽情報(false alarms)」を除去できるため重要である。このような区別が無い場合、画像装置が、同じスライドガラス上にありそうなそれほど多くはない異常なクラスターの代わりに、いくつかの非常に数の多い白血球細胞のクラスターのいくつかを選択して細胞検査技師に示す可能性がある。これらのデータは、コントラストが改善され、画像装置によってより良い区別が可能であることを明らかに示す。二波長の照射により、パパニコロー検査のスライドガラスの細胞の臨床的適用における区分け及び分類の改善が可能である。
以上のように、改良した自動画像解析システムの特定の実施例、使用及び適用方法を開示した。しかしながら、本書の発明の概念から逸脱せずに、上記に加えて多くのさらなる改良が可能であることが当業者にとって明らかである。
Claims (25)
- 生体試料の中の対象のデジタル画像を取得するステップと、
前記デジタル画像から関心のある複数の対象を選択するステップと、
複数の異なる波長における前記関心のある対象の複数の画像を取得するステップと、
前記複数の画像のうちの1を対応するデジタル画像と組み合わせて、組み合わせた画像を作成するステップと、
前記組み合わせた画像を解析して前記生体試料を評価するステップと、
を具えることを特徴とする自動画像処理。 - 前記関心のある対象が、前記生体試料の他の対象と比較して比較的高い光学密度の対象を含むことを特徴とする請求項1に記載の自動画像処理。
- 前記デジタル画像を紫外線から赤外線の範囲の少なくとも1の波長から取得することを特徴とする請求項1に記載の自動画像処理。
- 前記デジタル画像を約670nmよりも短い波長のうちの少なくとも1から取得することを特徴とする請求項3に記載の自動画像処理。
- 前記複数の異なる波長が等間隔に増加することを特徴とする請求項1に記載の自動画像処理。
- 前記関心のある対象が細胞を含むことを特徴とする請求項1に記載の自動画像処理。
- 前記処理を使用して正常な試料を判定することを特徴とする請求項1に記載の自動画像処理。
- 前記処理を使用して感染又は他の疾病を識別することを特徴とする請求項1に記載の自動画像処理。
- 前記生体試料を評価するステップが、マーカーを検出するステップを有することを特徴とする請求項1に記載の自動画像処理。
- 前記生体試料を評価するステップが、異常又は感染した細胞の分光的特徴を検出するステップを具えることを特徴とする請求項1に記載の自動画像処理。
- 生体試料の中の対象のデジタル画像を取得するステップと、
前記デジタル画像から少なくとも1の関心のある対象を選択するステップと、
複数の異なる波長における前記少なくとも1の関心のある対象の少なくとも1の画像を取得して、多波長の画像の組を作成するステップと、
前記多波長の画像の組を解析して前記生体試料を評価するステップと、
を具えることを特徴とする自動画像処理。 - 前記少なくとも1の関心のある対象が、前記生体試料の他の対象に対して比較的高い光学密度の対象を含むことを特徴とする請求項11に記載の自動画像処理。
- 前記デジタル画像を紫外線から赤外線の範囲の少なくとも1の波長から取得することを特徴とする請求項11に記載の自動画像処理。
- 前記デジタル画像を約670nmよりも短い波長のうちの少なくとも1から取得することを特徴とする請求項13に記載の自動画像処理。
- 前記複数の異なる波長が等間隔に増加することを特徴とする請求項11に記載の自動画像処理。
- 前記少なくとも1の関心のある対象が細胞を含むことを特徴とする請求項11に記載の自動画像処理。
- 前記処理を使用して前記細胞の核を正確に識別するための向上した能力をもって判定することを特徴とする請求項11に記載の自動画像処理。
- 前記処理を使用して前記細胞の核の密度を正確に識別するための向上した能力をもって判定することを特徴とする請求項17に記載の自動画像処理。
- 前記生体試料を評価するステップが、マーカーを検出するステップを有することを特徴とする請求項11に記載の自動画像処理。
- 前記処理を使用して正常な試料を判定することを特徴とする請求項11に記載の自動画像処理。
- 前記処理を使用して感染又は他の疾病を識別することを特徴とする請求項11に記載の自動画像処理。
- 前記生体試料を評価するステップが、異常又は感染した細胞の分光的特徴を検出するステップを具えることを特徴とする請求項11に記載の自動画像処理。
- 試料に第1のスペクトル領域を出力可能な第1の光源と、
前記第1のスペクトル領域によって照射される際に前記試料の部分の第1の画像を検出可能な第1の検出器と、
第1の条件セットに基づいて前記第1の画像のサブセットを選択可能な第1のコンピュータと、
前記第1の光源又は異なる光源である第2の光源であって、前記第1のスペクトル領域とは異なる第2のスペクトル領域を出力可能な第2の光源と、
前記第1の検出器又は異なる検出器である第2の検出器であって、前記第2のスペクトル領域によって照射される際に、選択した前記サブセットにおける前記画像の第2の画像を検出可能な第2の検出器と、
前記第1のコンピュータ又は異なるコンピュータである第2のコンピュータであって、前記選択したサブセットの前記第2の画像及び前記第1の画像を具える組み合わせた画像を作成し、さらに前記第1の条件セット又は異なるセットである第2の条件セットに基づいて前記組み合わせた画像のサブセットを選択可能な第2のコンピュータと、
を具えることを特徴とする器具。 - 前記第2のコンピュータが、前記第1のコンピュータ又は異なるコンピュータであり、前記選択したサブセットの前記第1及び第2の画像を解析し、さらに前記第1の条件セット又は異なるセットである第2の条件セットに基づいて前記第1及び第2の画像のサブセットを選択可能であることを特徴とする請求項23に記載の器具。
- 前記第1の条件セット又は前記第2の条件セットの少なくとも一方が少なくとも1の波長を具えることを特徴とする請求項23に記載の器具。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/120,437 US7587078B2 (en) | 2005-05-02 | 2005-05-02 | Automated image analysis |
PCT/US2006/015720 WO2006118888A1 (en) | 2005-05-02 | 2006-04-25 | Automated image analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008541048A true JP2008541048A (ja) | 2008-11-20 |
Family
ID=36710368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008510046A Pending JP2008541048A (ja) | 2005-05-02 | 2006-04-25 | 自動画像解析 |
Country Status (12)
Country | Link |
---|---|
US (2) | US7587078B2 (ja) |
EP (1) | EP1877979A1 (ja) |
JP (1) | JP2008541048A (ja) |
KR (1) | KR20080007447A (ja) |
CN (1) | CN101167101A (ja) |
AU (1) | AU2006242644A1 (ja) |
BR (1) | BRPI0611381A2 (ja) |
CA (1) | CA2603801A1 (ja) |
IL (1) | IL187123A0 (ja) |
MX (1) | MX2007013581A (ja) |
TW (1) | TW200709799A (ja) |
WO (1) | WO2006118888A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5789786B2 (ja) * | 2012-11-27 | 2015-10-07 | パナソニックIpマネジメント株式会社 | 画像計測装置および画像計測方法 |
JP2020504289A (ja) * | 2016-10-20 | 2020-02-06 | オプティナ ダイアグノスティクス,インコーポレイテッド | 生体組織内の異常を検出するための方法及びシステム |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8719053B2 (en) | 2003-07-17 | 2014-05-06 | Ventana Medical Systems, Inc. | Laboratory instrumentation information management and control network |
US7860727B2 (en) | 2003-07-17 | 2010-12-28 | Ventana Medical Systems, Inc. | Laboratory instrumentation information management and control network |
US7587078B2 (en) * | 2005-05-02 | 2009-09-08 | Cytyc Corporation | Automated image analysis |
US9070006B2 (en) * | 2006-12-19 | 2015-06-30 | Hologic, Inc. | Method and system for processing an image of a biological specimen |
GB2451076A (en) * | 2007-07-16 | 2009-01-21 | Illinois Tool Works | Inspection apparatus and method using penetrating radiation |
EP3214478B1 (en) * | 2007-09-21 | 2018-12-26 | Leica Biosystems Imaging Inc. | Improved image quality for diagnostic resolution digital slide images |
US8326014B2 (en) * | 2007-09-28 | 2012-12-04 | Cytyc Corporation | Methods and systems for processing biological specimens utilizing multiple wavelengths |
US9017610B2 (en) * | 2008-04-25 | 2015-04-28 | Roche Diagnostics Hematology, Inc. | Method of determining a complete blood count and a white blood cell differential count |
US9602777B2 (en) | 2008-04-25 | 2017-03-21 | Roche Diagnostics Hematology, Inc. | Systems and methods for analyzing body fluids |
GB2464747B (en) * | 2008-10-10 | 2013-05-15 | Hai Kang Life Corp Ltd | Method for detection of analyte in microarray of samples and apparatus for performing such method |
US8891851B2 (en) * | 2009-07-15 | 2014-11-18 | Glenn F. Spaulding | Home healthcare management system and hardware |
JP5601098B2 (ja) * | 2010-09-03 | 2014-10-08 | ソニー株式会社 | 蛍光強度補正方法及び蛍光強度算出装置 |
CN102096914B (zh) * | 2011-01-26 | 2012-10-10 | 中国科学院自动化研究所 | 一种生物荧光图像中自体荧光干扰的去除方法 |
CN111610138B (zh) * | 2011-04-15 | 2023-06-09 | 罗氏血液诊断股份有限公司 | 测量细胞体积和成份 |
TWI582408B (zh) * | 2011-08-29 | 2017-05-11 | 安美基公司 | 用於非破壞性檢測-流體中未溶解粒子之方法及裝置 |
US8977017B2 (en) * | 2011-09-15 | 2015-03-10 | The General Hospital Corporation | System and method for support of medical diagnosis |
CN102519861B (zh) * | 2011-12-09 | 2013-10-30 | 南昌百特生物高新技术股份有限公司 | 血细胞形态多模式图像筛选方法 |
US9020192B2 (en) | 2012-04-11 | 2015-04-28 | Access Business Group International Llc | Human submental profile measurement |
CN103413281B (zh) * | 2013-08-28 | 2016-03-30 | 西安电子科技大学 | 一种生物活体激发荧光成像中的去除背景荧光干扰的方法 |
EP3016116A1 (en) | 2014-11-03 | 2016-05-04 | Roche Diagniostics GmbH | Printed circuit board arrangement, coil for a laboratory sample distribution system, laboratory sample distribution system and laboratory automation system |
WO2017057970A1 (ko) * | 2015-09-30 | 2017-04-06 | 주식회사 싸이토젠 | 광학적 세포 식별방법 |
KR102643765B1 (ko) | 2017-03-09 | 2024-03-05 | 홀로직, 인크. | 생물학적 표본의 자동 제조를 위한 시스템 및 방법 |
CN110892247B (zh) | 2017-08-17 | 2023-08-25 | 雅培医护站股份有限公司 | 用于执行光学和电化学测定的设备、系统和方法 |
KR101926117B1 (ko) * | 2017-08-18 | 2018-12-06 | 주식회사 싸이토젠 | 안드로겐 수용체의 변이체 기반 전립선암환자 스크리닝 방법 |
US10586336B2 (en) | 2018-05-18 | 2020-03-10 | Hong Kong Applied Science and Technology Research Institute Company Limited | Image pre-processing for accelerating cytological image classification by fully convolutional neural networks |
US11508168B2 (en) * | 2018-10-15 | 2022-11-22 | Upmc | Systems and methods for specimen interpretation |
CA3112071A1 (en) | 2018-11-02 | 2020-05-07 | Hologic, Inc. | Digital imaging system and method |
TWI691936B (zh) * | 2019-09-02 | 2020-04-21 | 臺中榮民總醫院 | 偵測、分類及定量醫學影像中多目標之方法 |
IL293254A (en) | 2019-11-25 | 2022-07-01 | Hologic Inc | Method and system for digital imaging |
US11755845B2 (en) | 2021-06-18 | 2023-09-12 | International Business Machines Corporation | Automated process for generating natural language descriptions of raster-based weather visualizations for output in written and audible form |
WO2023164664A1 (en) | 2022-02-28 | 2023-08-31 | Hologic, Inc. | Digital imaging system and method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000501829A (ja) * | 1995-07-19 | 2000-02-15 | モルフォメトリックス テクノロジーズ インク. | 画像解析用の多スペクトル分割 |
JP2001525580A (ja) * | 1997-12-04 | 2001-12-11 | アプライド スペクトラル イメージング リミテッド | 癌細胞の検出方法 |
JP2003513268A (ja) * | 1999-10-29 | 2003-04-08 | サイティック コーポレイション | 細胞学的撮像システムおよび方法 |
JP2004286666A (ja) * | 2003-03-24 | 2004-10-14 | Olympus Corp | 病理診断支援装置および病理診断支援プログラム |
WO2004113876A1 (en) * | 2003-06-12 | 2004-12-29 | Cytyc Corporation | System for determining the stain quality of slides using scatter plot distributions |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4191940A (en) * | 1978-01-09 | 1980-03-04 | Environmental Research Institute Of Michigan | Method and apparatus for analyzing microscopic specimens and the like |
US5008185A (en) | 1985-11-04 | 1991-04-16 | Cell Analysis Systems, Inc. | Methods and apparatus for the quantitation of nuclear proteins |
US4998284A (en) * | 1987-11-17 | 1991-03-05 | Cell Analysis Systems, Inc. | Dual color camera microscope and methodology for cell staining and analysis |
US5134662A (en) * | 1985-11-04 | 1992-07-28 | Cell Analysis Systems, Inc. | Dual color camera microscope and methodology for cell staining and analysis |
US4845552A (en) * | 1987-08-20 | 1989-07-04 | Bruno Jaggi | Quantitative light microscope using a solid state detector in the primary image plane |
US5202931A (en) * | 1987-10-06 | 1993-04-13 | Cell Analysis Systems, Inc. | Methods and apparatus for the quantitation of nuclear protein |
US5016173A (en) * | 1989-04-13 | 1991-05-14 | Vanguard Imaging Ltd. | Apparatus and method for monitoring visually accessible surfaces of the body |
WO1992013265A1 (en) * | 1991-01-24 | 1992-08-06 | The University Of Maryland | Method and apparatus for multi-dimensional phase fluorescence lifetime imaging |
US5548661A (en) * | 1991-07-12 | 1996-08-20 | Price; Jeffrey H. | Operator independent image cytometer |
US5764792A (en) | 1996-01-19 | 1998-06-09 | Oncor, Inc. | Method and apparatus for processing images |
WO1998037811A1 (en) * | 1997-02-28 | 1998-09-03 | Electro-Optical Sciences, Inc. | Systems and methods for the multispectral imaging and characterization of skin tissue |
US6259807B1 (en) | 1997-05-14 | 2001-07-10 | Applied Imaging Corp. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
US6438261B1 (en) * | 1998-09-03 | 2002-08-20 | Green Vision Systems Ltd. | Method of in-situ focus-fusion multi-layer spectral imaging and analysis of particulate samples |
US20030048933A1 (en) * | 2001-08-08 | 2003-03-13 | Brown Carl S. | Time-delay integration imaging of biological specimen |
US7697975B2 (en) | 2003-06-03 | 2010-04-13 | British Colombia Cancer Agency | Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection |
US7587078B2 (en) * | 2005-05-02 | 2009-09-08 | Cytyc Corporation | Automated image analysis |
-
2005
- 2005-05-02 US US11/120,437 patent/US7587078B2/en active Active
-
2006
- 2006-04-25 WO PCT/US2006/015720 patent/WO2006118888A1/en active Application Filing
- 2006-04-25 CA CA002603801A patent/CA2603801A1/en not_active Abandoned
- 2006-04-25 JP JP2008510046A patent/JP2008541048A/ja active Pending
- 2006-04-25 AU AU2006242644A patent/AU2006242644A1/en not_active Abandoned
- 2006-04-25 MX MX2007013581A patent/MX2007013581A/es active IP Right Grant
- 2006-04-25 BR BRPI0611381-8A patent/BRPI0611381A2/pt not_active IP Right Cessation
- 2006-04-25 CN CNA2006800143422A patent/CN101167101A/zh active Pending
- 2006-04-25 EP EP06758606A patent/EP1877979A1/en not_active Withdrawn
- 2006-04-25 KR KR1020077025500A patent/KR20080007447A/ko not_active Application Discontinuation
- 2006-05-02 TW TW095115585A patent/TW200709799A/zh unknown
-
2007
- 2007-11-01 IL IL187123A patent/IL187123A0/en unknown
-
2009
- 2009-06-08 US US12/480,452 patent/US20090245612A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000501829A (ja) * | 1995-07-19 | 2000-02-15 | モルフォメトリックス テクノロジーズ インク. | 画像解析用の多スペクトル分割 |
JP2001525580A (ja) * | 1997-12-04 | 2001-12-11 | アプライド スペクトラル イメージング リミテッド | 癌細胞の検出方法 |
JP2003513268A (ja) * | 1999-10-29 | 2003-04-08 | サイティック コーポレイション | 細胞学的撮像システムおよび方法 |
JP2004286666A (ja) * | 2003-03-24 | 2004-10-14 | Olympus Corp | 病理診断支援装置および病理診断支援プログラム |
WO2004113876A1 (en) * | 2003-06-12 | 2004-12-29 | Cytyc Corporation | System for determining the stain quality of slides using scatter plot distributions |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5789786B2 (ja) * | 2012-11-27 | 2015-10-07 | パナソニックIpマネジメント株式会社 | 画像計測装置および画像計測方法 |
US9558551B2 (en) | 2012-11-27 | 2017-01-31 | Panasonic Intellectual Property Management Co., Ltd. | Image measurement apparatus and image measurement method for determining a proportion of positive cell nuclei among cell nuclei included in a pathologic examination specimen |
JP2020504289A (ja) * | 2016-10-20 | 2020-02-06 | オプティナ ダイアグノスティクス,インコーポレイテッド | 生体組織内の異常を検出するための方法及びシステム |
JP7258354B2 (ja) | 2016-10-20 | 2023-04-17 | オプティナ ダイアグノスティクス,インコーポレイテッド | 生体組織内の異常を検出するための方法及びシステム |
US11769264B2 (en) | 2016-10-20 | 2023-09-26 | Optina Diagnostics Inc. | Method and system for imaging a biological tissue |
Also Published As
Publication number | Publication date |
---|---|
US7587078B2 (en) | 2009-09-08 |
US20090245612A1 (en) | 2009-10-01 |
TW200709799A (en) | 2007-03-16 |
CA2603801A1 (en) | 2006-11-09 |
US20060245630A1 (en) | 2006-11-02 |
IL187123A0 (en) | 2008-02-09 |
CN101167101A (zh) | 2008-04-23 |
EP1877979A1 (en) | 2008-01-16 |
WO2006118888A1 (en) | 2006-11-09 |
AU2006242644A1 (en) | 2006-11-09 |
KR20080007447A (ko) | 2008-01-21 |
BRPI0611381A2 (pt) | 2010-08-31 |
MX2007013581A (es) | 2008-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008541048A (ja) | 自動画像解析 | |
US20210325308A1 (en) | Artificial flourescent image systems and methods | |
JP2024045407A (ja) | 身体試料中の実体を検出する方法および装置 | |
AU2003236675B2 (en) | Method for quantitative video-microscopy and associated system and computer software program product | |
WO2021113821A1 (en) | Systems and methods for high throughput drug screening | |
JP5469070B2 (ja) | 生物検体を処理するための複数の波長を用いる方法およびシステム | |
EP3009832A1 (en) | A cytological system and method for analyzing a biological sample by raman spectroscopy | |
JP2000513465A (ja) | 生体組織の試料および体液の試料の自動顕微鏡支援検査方法 | |
EP1680757A1 (en) | Automated microspcope slide tissue sample mapping and image acquisition | |
KR20080063280A (ko) | 다수의 세포 이하의 성분을 검출하고 정량화하는 방법 | |
JP7487418B2 (ja) | 多重化免疫蛍光画像における自己蛍光アーチファクトの識別 | |
CN109297949A (zh) | 显微影像结合透射拉曼光谱的肿瘤细胞检测方法及装置 | |
Ortega et al. | Hyperspectral database of pathological in-vitro human brain samples to detect carcinogenic tissues | |
JP2008518587A (ja) | 多細胞下成分の検出及び定量法 | |
JP7492650B2 (ja) | 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別 | |
CN114782372A (zh) | Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统 | |
Bower et al. | A quantitative framework for the analysis of multimodal optical microscopy images | |
CN111598880A (zh) | 荧光原位杂交样本病理检测系统 | |
WO2022201992A1 (ja) | 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム | |
US20100177942A1 (en) | Method and apparatus for analyzing imagery data | |
US20040235180A1 (en) | Method for analyzing a biological sample | |
Gao et al. | Evaluation of GAN architectures for visualisation of HPV viruses from microscopic images | |
Wang et al. | Fluorescence in situ hybridization (FISH) signal analysis using automated generated projection images | |
US20230296519A1 (en) | Autofluorescence-Based Targeting of Pathologically/Diagnostically Relevant Tissue Regions for Efficient and Accurate Omics Profiling | |
EP4137795A1 (en) | Fluorescence image analysis method, fluorescence image analyser, fluoresence image analysis program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110920 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120228 |