CN101176116B - 基于色原分离的图像分析方法 - Google Patents
基于色原分离的图像分析方法 Download PDFInfo
- Publication number
- CN101176116B CN101176116B CN2006800165652A CN200680016565A CN101176116B CN 101176116 B CN101176116 B CN 101176116B CN 2006800165652 A CN2006800165652 A CN 2006800165652A CN 200680016565 A CN200680016565 A CN 200680016565A CN 101176116 B CN101176116 B CN 101176116B
- Authority
- CN
- China
- Prior art keywords
- dyestuff
- image
- sample
- transparency value
- dyeing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000000926 separation method Methods 0.000 title abstract description 12
- 238000010191 image analysis Methods 0.000 title abstract description 6
- 239000000975 dye Substances 0.000 claims description 119
- 230000003287 optical effect Effects 0.000 claims description 26
- 238000004043 dyeing Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 20
- 230000008033 biological extinction Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000003745 diagnosis Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000001413 cellular effect Effects 0.000 abstract description 8
- 230000007170 pathology Effects 0.000 abstract description 7
- 238000010865 video microscopy Methods 0.000 abstract description 4
- 239000000523 sample Substances 0.000 description 93
- 210000004027 cell Anatomy 0.000 description 73
- 230000000873 masking effect Effects 0.000 description 49
- 108090000623 proteins and genes Proteins 0.000 description 29
- 238000004458 analytical method Methods 0.000 description 28
- 239000009871 tenuigenin Substances 0.000 description 26
- CWHJIJJSDGEHNS-MYLFLSLOSA-N Senegenin Chemical compound C1[C@H](O)[C@H](O)[C@@](C)(C(O)=O)[C@@H]2CC[C@@]3(C)C(CC[C@]4(CCC(C[C@H]44)(C)C)C(O)=O)=C4[C@@H](CCl)C[C@@H]3[C@]21C CWHJIJJSDGEHNS-MYLFLSLOSA-N 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 17
- 235000013405 beer Nutrition 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 16
- 102000004169 proteins and genes Human genes 0.000 description 12
- 238000010521 absorption reaction Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 10
- 230000004075 alteration Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 210000004940 nucleus Anatomy 0.000 description 9
- 238000002360 preparation method Methods 0.000 description 9
- 241000894007 species Species 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 102000015694 estrogen receptors Human genes 0.000 description 7
- 108010038795 estrogen receptors Proteins 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- HLUCICHZHWJHLL-UHFFFAOYSA-N hematein Chemical compound C12=CC=C(O)C(O)=C2OCC2(O)C1=C1C=C(O)C(=O)C=C1C2 HLUCICHZHWJHLL-UHFFFAOYSA-N 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000004393 prognosis Methods 0.000 description 6
- 241000276498 Pollachius virens Species 0.000 description 5
- 230000000996 additive effect Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 5
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 5
- 238000003364 immunohistochemistry Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000007901 in situ hybridization Methods 0.000 description 5
- 238000002955 isolation Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 239000012472 biological sample Substances 0.000 description 4
- 239000001046 green dye Substances 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000000386 microscopy Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000002965 ELISA Methods 0.000 description 3
- 206010064571 Gene mutation Diseases 0.000 description 3
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 3
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000009396 hybridization Methods 0.000 description 3
- 238000004452 microanalysis Methods 0.000 description 3
- 238000007431 microscopic evaluation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 210000001768 subcellular fraction Anatomy 0.000 description 3
- 101001136981 Homo sapiens Proteasome subunit beta type-9 Proteins 0.000 description 2
- 102100035764 Proteasome subunit beta type-9 Human genes 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000000326 densiometry Methods 0.000 description 2
- 238000001739 density measurement Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000000275 quality assurance Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000004960 subcellular localization Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 108700028369 Alleles Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101150029707 ERBB2 gene Proteins 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 239000011358 absorbing material Substances 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005842 biochemical reaction Methods 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 230000001086 cytosolic effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003365 immunocytochemistry Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011005 laboratory method Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000013563 matrix tablet Substances 0.000 description 1
- 108020004999 messenger RNA Proteins 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000009456 molecular mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 210000000633 nuclear envelope Anatomy 0.000 description 1
- 238000000424 optical density measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 210000004332 phalangeal cell Anatomy 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000001243 protein synthesis Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
- G01N1/31—Apparatus therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Veterinary Medicine (AREA)
- Medicinal Chemistry (AREA)
- Evolutionary Biology (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Urology & Nephrology (AREA)
- Hematology (AREA)
- General Engineering & Computer Science (AREA)
- Food Science & Technology (AREA)
- Evolutionary Computation (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本发明提供基于色原分离的图像分析方法,该方法涉及在细胞生物学和病理学应用中的定量视频显微技术。
Description
技术领域
本发明涉及图像分析,更具体地涉及基于色原分离的图像分析方法,其涉及用于细胞生物学和病理学应用中的定量视频显微技术。
背景技术
对组织的评估和分析属于病理学领域。在近来的时间,方法和技术上的发展已经使数字图像分析成为辅助病理学家更准确解释图像的最有效工具之一。尽管这样的图像分析技术根本上有助于给细胞学家提供准确的、重复性和客观的细胞分析,组织学解释技术仍倾向于依赖对样品的主观分析。这样的组织学解释技术还可能受制于观察者自身以及观察者之间一致性的变化,这进一步趋向提供较低准确性、较低重复性和较少客观性的结果。由于这些原因,组织的图像分析一开始就受限于开发用来分析细胞学样品的技术。
随着高性能计算机、局域和广域通信、低成本数据库方案、存储技术的改进和低成本高分辨率数码相机和/或扫描仪的发展和应用,这种局势已经得到改变。先前由于缺乏CPU处理能力,在常规环境中较复杂的算法先前不能应用于组织切片。然而,现在可以应用这样的算法来评估和量化组织特异性特征,其涉及标志物量化和亚细胞定位。与此同时,基于图像分析的初始步骤,即生成和管理数字图像,对于组织切片的重复性和更标准化的视觉评估的更广泛的支持已经可以获得。这在质量控制、质量保证和标准化领域中是尤其如此。可以通过远程病理学方式在会诊病理学家之间交换疑难病例的数字图像,从而获得另外的观点。这些图像还可以有效地应用于能力验证(proficiency testing)。数字图像还可以作为可通过网络访问的强大的图像参考数据库的基础,并且在病例和评估结果的文档化中尤其是在全面电子或打印报告中扮演越来越重要的角色。
制备好组织切片后,病理学家在显微镜下视觉检查组织样品。如果图像分析要应用于切片,显微镜必需至少配备有照相机或者其它图像采集装置,其通过接口与计算机系统连接。照相机通过显微镜采集组织样品的光学显微图像。作为结果,将数字图像收集在计算机的存储器中,并且可以在其监视器上显示。然而,获得的这些数字图像必须使得存储数据仍然恰当地表现光学图像的重要细节。
通常,定量评价数字化图像的下一步骤是分割(segmentation),其有时包括额外的预处理中间步骤。在分割期间,使细胞相互之间分离以及从图像背景中分开。在一些情况中,算法的进步已经使得有可能向下分割细胞至亚细胞组分水平(即,核、细胞质和膜)。尽管看上去它可能是容易的任务,但是分割在图像分析中经常是困难的和易错的步骤。对于以在数字化图像中显示良好对比的方式而使细胞被精细地分开和染色的切片来说,在许多情况中可以非常可靠地完成分割。然而一旦上述条件之一未得到满足,就必须应用极复杂的和费时的分割算法,其中应用另外的关于细胞及其相互关系或者关于标志物和复染亚细胞定位的已有知识。例如,对于浸润肿瘤的组织切片正是如此,此时切片中大部分细胞不能清楚地被分开,而是趋向于相互接触和重叠。
使用基于标志物的算法,能够自动地确定感兴趣区域的范围,并且让病理学家应用他自己的主观经验来决定所呈现的区域是否适当或者需要手动改善。一旦确定了图像的有意义的区域,就开始特征提取。对于每个细胞(及其亚细胞组分)而言,为了尽可能全面地表征单个细胞及其相互作用,可以测量一组密度计量的、形态度量的、构造的和相互间关系的特征。
最后的步骤是呈现原始数据以及将其汇编成有意义的结果和/或得分。理想情况下,图像分析系统得到的输出结果应匹配已由病理学家使用的视觉和/或半定量的分级系统的形式,从而有助于一致性、容易应用或者能够以常规应用来解释。
通过图像分析来评估组织样品的平台越来越多地从通用型图像分析仪转至为日常工作而配置的专门的和专用的“病理学工作站”。这样的工作站组合向病理学家提供必要信息所需的工具,从而实现尽可能最佳的结果。这种工作站的核心是显微镜,其可配备有自动化部件,包括电动载物台(motorized stage)、自动对焦装置、物镜转换器和光强度调节装置。不同的输入装置与工作站相连,比如能够快速自动对焦和获取高分辨率图像的照相机。工作站可以是局域网络(LAN)的一部分。工作站还可以支持不同的通讯协议,从而可以使用现有的通信信道与世界其它地方的工作站相连(广域网或者WAN)。
当工作站整合入LAN和/或WAN时,可以授权该工作站访问现存的参考数据库和医院信息系统(Hospital Information Systems,HIS),从而可以将任何待检验的新病例与长时间积累的参考病例的图像和所附信息进行比较。此外,从待检切片获得的图像可以补充患者和病例历史。
病理学工作站优选适用于综合性组织评价。从初始组织样品的信息和数字图像着手,可以获取从组织制备的切片的图像。患者和病例信息、图像自身以及有关组织样品的细胞组分的任何定量信息都可以储存在相同数据库中。
可以选择一个病例的由工作站累积的所有信息作为报告的一部分,比如图像、测量结果、患者数据、制备数据,该报告可以是打印的或者通过网络以电子形式签发。该报告提供所评估病例的综合性画面并且有利于质量保证和标准化。
在预处理/分割所获取图像期间,通过应用适于彩色照相机(即RGB 3CCD照相机)的多谱成像方法,可以实施许多不同的技术/算法用于图像分析,尤其是用于细胞生物学和病理学应用领域中的定量视频显微分析。
在细胞生物学和病理学中对显微图像的有效分析是必要的,尤其是对于检测和定量遗传物质(基因、信使RNA)或者该遗传信息以蛋白质形式的表达,例如,基因扩增、基因缺失、基因突变、信使RNA分子的数量或者蛋白质表达分析。基因扩增是指在一个细胞中存在相同基因的太多拷贝,其中一个细胞通常包含同一基因的两个拷贝,也称为等位基因。基因缺失是指细胞中可以发现的基因拷贝少于两个。基因突变是指有不完整的或者非功能性的基因存在。信使RNA(mRNA)是从基因阅读而合成的遗传信息分子,其作为蛋白质合成的模板。蛋白质表达是指由细胞生产给定蛋白质。如果编码此蛋白质的基因被上调或者存在太多拷贝的所述基因或者mRNA,就可以过表达该蛋白质。如果基因被下调或者缺失,蛋白质表达水平就可能是低的或者不存在。
通过涉及大量蛋白质、mRNA和基因的分子机制精确地控制正常细胞行为。已知基因扩增、基因缺失和基因突变通过异常蛋白质表达而在异常细胞行为中具有突出的作用。所关注的细胞行为的范围包括各种不同的行为,例如,增殖或者分化调节。因此,为了辅助有用的研究、诊断和预后工具,在基因扩增、缺失和突变、mRNA水平或者蛋白质表达分析中的有效检测是必要的。
有许多实验室技术可用于检测和定量基因扩增、缺失和突变、mRNA水平或者蛋白质表达分析。例如,这样的技术包括Western、Northern和Southern印迹、聚合酶链式反应(“PCR”)、酶联免疫吸附测定(“ELISA”)和比较基因组杂交(“CGH”)技术。然而,常规上应用显微术,因为它是一种提供信息的技术,允许在细胞和亚细胞水平上进行快速分析,其可以以相对少的成本来实施。
当选择显微术作为实验技术时,通常对生物学样品首先进行特异性检测和显示准备。当样品准备好后,技术人员单独用显微镜或者用与照相机和计算机相连的显微镜(其允许更加标准化的和定量的研究)对样品进行分析。可以配置显微镜用于全自动分析,其中用电动载物台和对焦装置、电动物镜转换器、自动光强度调节装置等来对显微镜进行自动化。
制备用于检测的样品可以涉及不同类型的适于显微图像分析的制备技术,比如,例如基于杂交和基于免疫标记的制备技术。这样的检测技术可以与合适的显示技术相结合,比如,例如基于荧光和基于可视颜色反应的技术。
原位杂交(“ISH”)和荧光原位杂交(“FISH”)是用于,例如,检测和定量遗传信息扩增和突变分析的检测和显示技术。可以对组织学或者细胞学样品应用ISH和FISH。这些技术使用特异的互补探针来识别相应的精确序列。根据所用的技术,特异性探针可以包括化学(ISH)标记或者荧光(FISH)标记,其中随后分别应用透射显微镜或者荧光显微镜对样品进行分析。应用化学标记或者荧光标记取决于使用者的目的,每一类型的标记在特定情形中具有超过其它类型标记的相应优势。
在蛋白质表达分析的情况中,例如,可以使用进一步的免疫组织化学(“IHC”)和免疫细胞化学(“ICC”)技术。IHC是将免疫化学应用于组织切片,而ICC是将免疫化学应用于培养细胞或者组织印迹,其中已经对它们实施了特异性细胞学制备,例如基于液体的制备。免疫化学是一类基于应用特异性抗体的技术,其中应用抗体来特异性靶向细胞内或者表面的分子。所述抗体通常包含标志物,一旦遇到靶标分子,标志物将发生生化反应,从而发生颜色变化。在一些情形中,可以将信号扩增集成入特定方案中,其中在施用了第一特异性单克隆抗体后施用包含标记染料的第二抗体。
在杂交和免疫标记研究中,应用不同颜色的色原(chromogen)来区分不同的标志物。因为这些标志物可以是细胞区室特异性的,可以应用该已有知识自动分割细胞(即,从细胞质和/或膜中区分开核的掩蔽层(mask))。总之,“颜色计量”(colorimetric)算法的目的在于提供样品信息以易于诊断和/或预后诊断(prognosis)具体病例。作为举例说明,可以采用免疫组织化学(IHC)技术中应用的定量显微分析算法提供对乳腺ER、PR和HER2蛋白质表达水平的检测和定量。
然而,根据这样的图像分析技术,现需要改善以促进此分析中的灵活性,同时向病理学家提供准确和有用的信息从而让病理学家形成正确的诊断和/或预后诊断。
发明内容
本发明满足了以上和其它的需要,在本发明的一个实施方案中,提供染色样品用于显微成像的方法,由此处理使染色后样品的图像展示出亚细胞组分之间的最佳对比度,以用于病理学家的诊断。该方法包括用染料染色样品;从样品的显微图像中确定染料的透光度值;从所测定的染料透光度值形成样品的人工图像;改变染料的透光度值,从而形成一系列人工图像;从此系列图像中选择一个图像,展示亚细胞组分之间有关染料的最佳对比度并确定在该图像中染料的相应透光度值;以及用染料改变对样品的染色,从而提供染色后样品具有对应于亚细胞组分间最佳对比度的染料透光度值。
本发明的另一方面包括人工染色样品的方法。该方法包括用第一染料染色样品;从所述样品的显微图像中确定第一染料的透光度值和消光系数;从所确定的第一染料透光度值形成所述样品的人工图像;以及用第二染料的消光系数替代第一染料的消光系数从而用所述第二染料对所述样品进行人工染色。
本发明的另一方面包括从样品的图像获得样品测量值的方法。该方法包括从样品的RGB图像中选择其感兴趣区域;在该RGB图像中分割感兴趣区域以鉴定其中感兴趣的任何目标;进行特征提取以确定关于所鉴定的感兴趣目标的测量值;以及确定关于标志物定位和信噪比中至少一种的细胞得分。
本发明的另外一个方面包括选择片上感兴趣区域的方法,其中在对应样品RGB图像的仅标志物图像中,所述区域与其周围区域形成正对比,并且所述正对比区域比其周围区域包括至少一个相对较大的核以及相对较高的细胞密度。该方法包括对样品的仅标志物图像应用低通滤波器,其中通过对所述样品RGB图像的色原分离获得仅标志物图像;确定仅标志物图像中仅标志物像素直方图;以及根据仅标志物直方图中的阈值将所述仅标志物图像二值化,从而形成区分所述样品之阴性和阳性区域的掩蔽层(mask)。
本发明的另一方面包括从样品的图像中分割样品的方法。该方法包括通过阈值处理确定样品RGB图像的背景组分;通过创建膜、细胞质和核中至少一种的组分图像分割所述图像;精细处理分割后图像;以及从所述图像中过滤任何不需要的目标。
本发明的另一方面包括从用低比特分辨成像装置所得图像中,确定关于染色样品的至少一种染料的、关于高染料浓度的光密度数据。该方法包括在不同积分时间获取一系列的样品图像;在成像装置的每个红、绿和蓝色通道中选择最高非饱和强度;以及应用红、绿和蓝色通道中的最高非饱和强度水平重构所述样品的最优化图像,从而使得该优化图像适于色原分离。
本发明的另一方面包括用于凭借三通道成像装置获得的用四种染料染色的生物学样品图像的色原分离方法。该方法包括定义空间共置于所述生物学样品中的所述四种染料的已知的重要的三染料组合;应用具有红、绿和蓝通道的成像装置获得以四种染料染色的样品的图像,由此使得所述图像包括大量的像素,其中每个像素都具有相应的RGB三联体(triplet);投射每个RGB三联体到Ecr+Ecg+Ecb=1的消光系数平面上;在对应每个RGB三联体的消光系数平面中确定四种染料的三染料组合;以及通过将所述消光系数平面种对应每种三染料组合的图像中的像素量表格化来分离样品的图像。
因此,本发明的实施方案满足了此处提出的需要并且提供了显著的优点,这将在本文中进一步详细描述。
附图说明
到此已对本发明进行了概括地描述,在此将参考附图进行说明,所述附图并不一定按比例绘制,其中:
图1示意性举例说明一系列电子染色的样品图像,其中改变染色样品的染料之一的透光度值,从而确定最佳标志物强度,正如核中所示,从而允许病理学家进行形态学分析以及基于标志物表达对细胞进行确定的判定;
图2A和2B显示根据本发明的一个方面自动选择感兴趣区域的一些实例;
图3A1-3A2和3B1-3B2显示根据本发明的一个方面自动选择感兴趣区域和随后的亚细胞分割的实例;
图4以示意图举例说明根据本发明的一个方面的细胞评分方法;
图5A和5B举例说明根据本发明的一个方面应用时间积分方法分析包括高染料浓度的样品的方法;
图6A-6D举例说明根据本发明的一个方面有关4种染料色原分离方法对于染色样品的4种染料之每一种的数据;
图7A、7B1和7B2分别示意性举例说明,根据本发明的一个方面,在Maxwell等价消光系数平面中所表示的图6A-6D的4种染料,以及其3色组合中接受的2种;
图8A举例说明用图6的4种染料染色的修饰的PAP视场;
图8B-8E举例说明对于应用扩展的色原分离与其它染料分离的4种染料中每一种,图8A的修饰的PAP视场;以及
图9A举例说明样品的源(RGB)视场,而图9B举例说明关于4种染料组分中两种的其模拟的电子染色样品,和图9C举例说明用除DAB以外所有染料组分重建的模拟的仅PAP的电子染色的样品图像。
具体实施方式
在此本发明将参考附图进行更加全面的描述,其中显示本发明一些但不是全部的实施方案。实际上,这些发明可以以许多不同的形式来实施并且不应当解释为只限制于本文所列的实施方案;此外,提供这些实施方案使得此公开内容将满足适用的法律要求。在本文中,同样的数字表示相同的要素。
显微镜成像平台
在用于图像获取和处理的典型显微装置中,放大的样品图像首先必须用照相机获取并数字化。通常,在光学或者荧光定量显微镜中使用电荷耦合装置(CCD)数码照相机。分光光度计除外,通常应用两种不同的技术来实施这种比色显微研究。在一种技术中,可以应用黑白(BW)CCD照相机。在此情形中,获得样品的灰阶图像,其对应于具有针对待分析样品之染色的特异性波长的单色光。应用手动或者电子控制,通过用特定窄带宽滤光器过滤白色光源或者通过直接控制光源的波长,来获得特定波长的光。因此,应用该技术,随着颜色数的增加而使分析时间增加,因为针对每种不同的样品染色或者每种不同的波长必须选择光源或者滤波器。因此,许多不同的样品图像,其显示在不同波长处样品的光谱反应,必须依次分别获取以帮助分析。当必须分析多个视场或视景时,典型的方案是以批处理方式自动排序以节约处理时间。
根据第二种技术,使用彩色CCD数字照相机,其中同时采集并获得样品的三个灰阶图像。每个灰阶图像对应于彩色CCD照相机的各个红、绿和蓝通道(RGB)中每个的灰阶图像。当使用彩色CCD数字照相机时,其中同时采集并获得样品的三个灰阶图像(每个灰阶图像对应于各个红、绿和蓝通道(RGB)中每个的灰阶图像),可以应用色原分离技术,其可以允许在图像任何位置(像素)中评价每种分子的光密度(通过它们相连的色原或者染料而被揭示)。在生物学样本上,标志物和复染通常指示待检测和定量的染料。
根据正出现的第三种技术(例如,使用Lumiere Technology的JUMBOSCAN多光谱照相机),可以同时采集和获得样品最多13个灰阶图像。该类型的照相机/扫描仪通过增加对于指定样品可以同时分辨的染料数而在将来可以增加色原分离技术的潜力。
无论如何,可以从样品的彩色图像中确定分子种类的浓度,所述彩色图像包括3个或更多通道。在配备有3CCD照相机的视频显微镜系统中,理想的是,应根据空白场白色参照和黑色场图像来平衡和标准化所述图像,并且随后修正阴影。此外,最好一个通道一个通道地对图像作色差的空间校正。随后可以在RGB图像的每个红、绿和蓝通道中,在图像中的特定像素处,从所测量发射光来计算样品的光密度。随后针对该像素形成相应的光密度向量。随后用样品中所存在染料的相对吸收系数矩阵的逆矩阵乘以光密度向量,从而形成所述像素的结果向量,代表每种染料的光密度贡献。相对吸收系数矩阵包括在每个红、绿和蓝通道中针对样品制备方案中所用每种染料(标志物和复染)的相对吸收系数。因此,结果向量包括针对所述像素的分子种类的浓度,所述分子种类如标志物或者复染所示。
这样的成像技术,也被称为多光谱成像技术,当适用于彩色成像(RGB照相机)时,允许实时(视频速率)处理样品(通常每帧40毫秒),这提供了相当多的益处。实际上,在应用RGB照相机时,为了速度问题和实时处理,或者显示目的,并行实施经由不同通道的采集并且可以生成查找表(look-up table,LUT),其使RGB颜色输入值对应于每种所参与染料的预计算的浓度和/或透光度。
这样的技术,例如,在美国专利申请公开No.US2003/0091221A1(Method for quantitative video-microscopy and associated systemand computer software program product)和US 2003/0138140A1(Method for quantitative video-microscopy and associated systemand computer software program product)中有更详细讨论,这两个申请的发明人为Marcelpoil等并且将其转让给Tripath Imaging,Inc,其还是本发明的受让人,它们的内容以整体通过参考并入本文中。
朗伯-比耳定律(Lambert-Beer law)
配制显微成像平台根据朗伯-比耳定律分析样品。朗伯-比耳定律主要是描述可以在溶液中分子浓度(“分子种类”或者“样品”的浓度)和通过溶液所测量光强度之间可以观察到的比例关系。朗伯-比耳定律通常表示为:
OD=ε·l·C (1)
OD是溶液的光密度,ε是比例常数,被称作摩尔消光或者吸收系数,l是样品的厚度,C是分子种类的浓度。吸收系数ε是对分子种类特异性的并且通常以L·mol-1·cm-1单位表示。
由朗伯-比耳定律所定义的这种比例关系已经在多种情形中被证实,包括例如,单色光照射样品,样品中的低分子浓度,通常没有荧光或者光响应不均匀性(可忽略荧光和扩散)的样品,和缺少化学光敏感性的样品。然而,朗伯-比耳定律可以具有附加的要求,比如,例如在显微镜下对样品的恰当的柯而勒照明(Koehlerillumination)。
几乎在所有目前的显微镜上都提供柯而勒照明,并且在图像平面中提供均匀照明,同时允许有效的对比度控制。柯而勒照明通常对于密度测定分析是关键的。例如,通过用于显微镜的两阶段照明系统来提供恰当的柯而勒照明,其中通过辅助聚光器在次阶段(sub-stage)聚光器孔径中对信息源图像。进而次阶段聚光器在目标(object)上形成辅助聚光器的图像。还可以在每个聚光器上布置可变光圈,其中第一可变光圈控制待照明的目标区域,以及第二可变光圈改变照明光束的数值孔径。
朗伯-比耳定律具有加和性,由此如果样品包含几种光吸收分子种类,例如,具有各自浓度C1和C2的s1和s2,厚度(在溶液中,l1=l1=l)为l的样品的OD可以表示为:
OD=ε1·l1·C1+ε2·l2·C2 (2)
这种情形可以出现在例如生物学分析中,其中样品“视景”或视野或其部分已经用两种染料进行了染色,所述两种染料由靶向感兴趣分子种类的标志物染料和用于染色样品其余部分的复染料组成。
色差校正
为准确测量在显微镜下成像的指定种类的浓度,在不同波长下实施的光密度测量应当对应于样品的同一部分。也就是说,所述系统可以物理校正色差,或者可以通过另一种方法比如软件来实施其它方式的校正。
玻璃的固有色散性质引起简单透镜聚焦蓝光的距离比红光更短。也就是说,简单透镜对于不同波长的光(不同颜色)具有不同的焦距。作为直接结果发生两种现象:
1)对于不同波长的光,沿焦点垂直轴的位置差异被称为纵向色差。也就是说,当以指定颜色(例如绿色)聚焦图像时,相应于其它颜色的图像趋向于轻微的散焦(在此实施例中,蓝和红色将出现散焦)。
2)对于不同波长的光,放大率(焦距)的差异被称作横向色差。也就是说,蓝(短)波长的图像将比红(大)波长的图像更大。
在具有高质量物镜(消多色差物镜)的系统中,色差被校正。如果色差没有在结构上良好校正,可以依下列各项实施基于软件方法的横向色差修正:
1)对比照相机的芯片中心,确定物镜中心的坐标;
2)对比任意选定的波长(通常是中心波长,即,如果使用RGB照相机的话为绿色),对于每一波长,评估观测的放大因数;和
3)根据图像的相对放大率和物镜中心的坐标重新采集各个图像。
实施色原分离
一旦显微镜设置为柯而勒照明模式用于图像获取,并且已经处理了任何色差或者应用了消多色差物镜,可以应用朗伯-比耳定律的加和性质使用线性代数方程来实施色原分离。
更具体地说,还可以将朗伯-比耳定律的加和性质扩展至在彩色图像环境中分析视景的情形中,比如,例如由具有分离的红、绿和蓝通道的RGB照相机生成的图像。在这种实施例中,标记染料(或者“染料1”)在红、绿和蓝通道中分别具有吸收系数,ε1r、ε1g和ε1b。应注意,在每个红、绿和蓝通道中对图像的分析基本包括分析跨红光谱的红色代表图像、跨绿光谱的绿色代表图像和跨蓝光谱的蓝色代表图像。相应地,复染料(或者“染料2”)在红、绿和蓝通道中分别具有吸收系数,ε2r、ε2g和ε2b。由此,根据朗伯-比耳定律的加和性质,在RGB环境中对样品的分析会产生关于其光密度的三方程系统:
ODr=ε1r·l1·C1+ε2r·l2·C2 (3)
ODg=ε1g·l1·C1+ε2g·l2·C2 (4)
ODb=ε1b·l1·C1+ε2b·l2·C2 (5)
其中ODr、ODg和ODb分别代表在红、绿和蓝通道中测量的样品的光密度。进一步说,如果样品制备复杂性增加,比如,例如用三种不同的染料处理样品,方程(3)、(4)和(5)变为:
ODr=ε1r·l1·C1+ε2r·l2·C2+ε3r·l3·C3(6)
ODg=ε1g·l1·C1+ε2g·l2·C2+ε3g·l3·C3(7)
ODb=ε1b·l1·C1+ε2b·l2·C2+ε3b·l3·C3(8)
在此情形中,所述三种染料可以包括,例如,一种标记染料和两种复染料,或者两种标记染料和一种复染料,或者甚至分别三种标记染料。朗伯-比耳定律的这种性质可以扩展至包括甚至更多的染料组合。然而本文所描述的色原分离方法关注于利用具有3通道的快速彩色图像获取装置,比如例如3CCD RGB照相机,将其用于生物学标志物的多光谱成像。因此,由于这3种区别信息通道(R、G、B),所以在任何位置中仅使用3个方程式。
在将朗伯-比耳定律应用于数字显微系统时,这是很困难并复杂的、不准确的或者有时不能测量样品的厚度l。因此,分子种类的浓度C可以扩展和分析作为l和C的乘积(l·C),并且相应地处理结果。例如,当比较特定样品中一种染料的浓度和另一种染料的浓度时,样品厚度项对于这两种浓度将是相同的并且因此确定样品厚度的绝对值和准确值就变得不重要。因此,应当理解准确确定厚度通常就不是必须的,所以在本文公开的分析中它被假定为常数并因此通常可以忽略不计。
数字显微系统应用朗伯-比耳定律时,朗伯-比耳定律还可以表达为:
OD(x,y)=logI0(x,y)-logI(x,y) (9)
对于样品的数字图像而言,(x,y)表示图像中具体的像素,OD(x,y)是样品在此像素的光密度,I(x,y)是样品在此像素的所测量光强度或者透光度,以及I0(x,y)是在没有光吸收样品时测量的光源的光强度。由此:
其中IOD是样品的数字图像的积分光密度,和N是样品图像表面的像素数。在对光强度进行相对比较时,可以适当考虑比例常数。此外,在根据朗伯-比耳定律的定量显微分析中,在样品光密度OD和染料浓度之间的比例关系是保守的。
因此,对于通过数字显微系统检查的制备样品,适当的关系表示为:
lnI0-lnI=lnI0/I=OD=ε·l·C (11)
其中,例如,在所述系统中应用8位RGB照相机时,透射过样品的光强度将表示为0至255之间的28(=256)个值。例如,光源的初始强度I0,其对应100%透光度,其对于每个红、绿和蓝通道将表达为接近255的值(代表最亮可能值)。事实上,操作者调整照相机帧接收器/光源,以使得在缺少样品时对于每个红、绿和蓝通道,对应100%透光度的纯“白”光将具有接近255的强度值,而在没有光时,其对应0%透光度,“黑色图像”在每个红、绿和蓝通道中将具有接近0的强度值。因此,对于每个红、绿和蓝通道,在任何像素上,100%透光度,I0,被表示为,在存在光源条件下由照相机测量的值减去在没有光源条件下由照相机测量的值之差。因为光源强度可以在测量视野在空间上发生改变,并且因为光学系统可以不均匀地吸收光,在测量视野范围内100%透光度可以对应不同的动态范围。样品的OD被表示(11)为在缺少样品时(I0)透光度和存在样品时(I)透光度的比值的对数,因此基本在空间上不受在100%透光度时测量的实时动态范围的微小变化的影响。
因为光源强度随时间基本保持恒定,或者能很容易地重新评价,所以在任何像素中光强度的读值可以转化为在该像素位置上对于每个红、绿和蓝通道的相对透光度的测量值。一旦知道了I0和I,就可以计算对应的OD。
存在独特染料(仅有的吸收物质)的视野上任何位置允许对不同RGB通道测量染料的相对消光系数。因为在方程(1)中,在指定位置上对于每个RGB通道,l·C是相等的,如果在该特定位置上l和C是已知的,准确的消光系数就可以根据OD/(l·C)来计算。因此,对于每个红、绿和蓝通道的吸收系数ε可以依以下各项来获得:
εr=ODr/(1·C)=(ln(Ior/Ir))/(1·C) (12)
εg=ODg/(1·C)=(ln(Iog/Ig))/(1·C) (13)
εb=ODb/(1·C)=(ln(Iob/Ib))/(1·C) (14)可惜地是,(l·C)通常是未知的,因此消光系数ε被任意地计算,作为在所指通道中给定像素处测量的OD与在任一RGB通道中在该位置上所测量最大OD的比值(在事先不知道(l·C)情况下,确定每个红、绿和蓝通道中的吸收系数ε是关于线性方程的计算,以实现将l和C任意地设置为1时的相对解),其中:
εr=ODr/1=ODr=ln(Ior/Ir) (13)
εg=ODg/1=ODg=ln(Iog/Ig) (14)
εb=ODb/1=ODb=ln(Iob/Ib) (15)
因此,如果不知道染料的绝对浓度,仍有可能任意地(或者相对地)计算在任何像素中的染料浓度,其具有等于(l·C)的绝对误差因子。
因为在给定像素位置处l是独特的并且可以任意地设置为1,可以如下改写方程6、7和8,其中C1、C2和C3与l相关。
ODr=ε1r·C1+ε2r·C2+ε3r·C3 (16)
ODg=ε1g·C1+ε2g·C2+ε3g·C3 (17)
ODb=ε1b·C1+ε2b·C2+ε3b·C3 (18)
当已评价了不同染料的所有消光系数时,并且从图像数据的读值中知道了光密度,解这些方程求C1、C2和C3就是解一组线性方程。
解线性代数方程/矩阵
线性代数方程组,例如以下所示: (19)
a11x1+a12x2+a13x3+...+a1NxN=b1
a21x1+a22x2+a23x3+...+a2NxN=b2
a31x1+a32x2+a33x3+...+a3NxN=b3
………………………………………
aM1x1+aM2x2+aM3x3+...+aMNxN=bM
其中,N使xj未知,j=1,2,...,N与M方程相关。系数aij中i=1,2,...,M和j=1,2,...,N是未知数,右手侧的量bi也是如此,i=1,2,...,M。
如果M<N,实际上方程数就小于未知数。那么就可能无解,或者超过一个解向量x。
如果N=M,方程数等于未知数,并且就有很大机会解得xj’s的唯一一组解。
如果M>N,方程数大于未知数,并且对于方程式(1)通常没有解向量x,就可以说方程组是超定的(over determined)。在此情况下,通常将认为最合适的解是所有方程式的最佳解(即,所述解使得还原误差的和(sum of reconstruction errors)最小)。
因此,方程(19)可以写成矩阵形式
A·x=b (20)
其中,(·)表示矩阵乘法运算,A是系数矩阵,和b在右手侧写作列向量。根据约定,对于元素aij的第一指标表示其行;第二指标表示其列。ai或者a[i]表示整行a[i][j],j=1,...,N。
当A是系数的平方矩阵和b是已知的右手侧向量时,矩阵方程A·x=b对于未知向量x的解,通常需要确定A-1,其是矩阵A的逆矩阵。
x=A-1·b (21)
A-1是矩阵A的逆矩阵,即,A·A-1=A-1·A=1,其中1是单位矩阵(identity matrix)。在一个特定情形中,设定试验条件使得比未知数有更多(或者相等数)的方程,M≥N。当M<N时,对于方程式(19)通常没有解向量x,并且可以说该方程组是超定的。然而,最佳“调和解”(compromise solution)是最接近同时满足所有方程式的解。如果以最小二乘方(即,使方程(19)左侧和右侧间差值的平方和最小化)的意思定义接近性(closeness),那么超定线性问题就简化为(通常)可求解的线性问题,也被称为线性最小二乘方问题,其可以使用单值分解(singlular value decomposition,SVD)来求解。SVD涉及数据的参数建模,并且是一种解决大多数线性最小二乘方问题的方法。(NUMERICAL RECIPES INC:THE ARTOF SCIENTIFIC COMPUTING(ISBN 0-521-43108-5)Copyright(C)1988-1992 by Cambridge University Press.Programs Copyright(C)1988-1992 by Numerical Recipes Software)。
在应用这些概念到所述情形中时,针对不同的染料,可以不依赖于样品评价来确定吸收系数ε矩阵,并且可以将其保存以进一步应用于用各种染料中至少一种处理的样品。对所有可能像素值的计算求解基本上允许实施处理。因为,在8位3CCD彩色图像获取装置的所选实例中,测量的样品光强度I的范围对于每个红、绿和蓝通道而言在0和255界限之间,所有可能的灰度值(相对于初始光强度I0)可以预先计算(在8位RGB系统中为2563)并且被储存在例如计算机中。因此,对于用特定染料染色的样品,可以测量每个红、绿和蓝通道在一像素处的透射光强度I(或者光密度OD)并且随后与之前保存的该特定染料的灰度值和吸收系数ε矩阵进行比较,由此确定该像素的染料浓度C(或者其作为l·C乘积的估计值)。在这点上,对于每种染料,有[256(红)×256(绿)×256(蓝)]=2563个解需要计算,产生16兆字节(原始数据)的查找表(LUT)。每个通道超过8位的灰度值分辨率将导致更大的LUT(即,如果每通道10位,将产生>1千兆字节的LUT)。
电子染色
根据本发明的一个方面,可以生成由之前所检验染料的任何组合产生的人工图像的灰阶或者RGB透光值,因为不再有未知的变量。同样地,对于特定的像素和其分辨的染料浓度,单染料图像将对应以下的黑白(BW)或者RGB像素强度:
ODBW=Cand IBW=Exp(ln(Io)-ODBW) (22)
ODr=εr·C and Ir=Exp(ln(Io)-ODr) (23)
ODg=εg·C and Ig=Exp(ln(Io)-ODg) (24)
ODb=εb·C and Ib=Exp(ln(Io)-ODb) (25)
当对所获取数字图像的每个像素应用该方法时,可以只应用任一种染料组分的各自贡献来生成相同视野的人工图像。同样地,如果用来揭示此标志物的染料被更换为第二种染料,如果将一种染料的消光系数与另一种染料的消光系数交换,那么就可能模拟对应指定单一染料的相同人工图像如何通过显微镜来观察。
此外,利用朗伯-比耳定律的加和性,如图1所示,还可以生成人工图像,其中改变每种染料的相对贡献,例如,应用绝对加权系数或者相对加权系数(见方程26-28)用于2种染料的电子染色(“e-染色”)图像,其中在根据加权因子w1和w2改变染料1和染料2的比例后,重建RGB图像。
ODr=w1·ε1r·C1+w2·ε2r·C2 and Ir=Exp(ln(Io)-ODr) (26)
ODg=w1·ε1g·C1+w2·ε2g·C2 and Ig=Exp(ln(Io)-ODg) (27)
ODb=w1·ε1b·C1+w2·ε2b·C2 and Ib=Exp(ln(Io)-ODb) (28)
更具体地说,图1举例说明雌激素受体(ER)的实例,其中相同细胞的一系列图像(测定透光度约为32%的原始图像显示为由红色环绕),其中在色原分离后以电子方式(人工地)改变标志物(Brown DAB)的量,从约22%的透光度至约40%的透光度,并且不改变苏木精的含量。照此,可以从人工图像中确定亚细胞组分之间的最佳对比度,以及为提供与标志物特异性的靶向和非靶向的亚细胞组分之间最佳对比度相对应的透光度值所必须的染料量。
测量策略
根据本发明的另一方面,测量策略可以基于以及可以利用如上许多方面所述的色原分离技术,这是由于其允许特异性地仅测量感兴趣的标志物,以及e-染色的能力,其可以生成分割优化了对比度的图像。
从获取的图像中获得测量结果包括几个步骤:1)选择感兴趣的区域(肿瘤区域);2)分割以鉴定图像中感兴趣的目标;和3)提取特征以计算所鉴定目标的各种测量特征并基于例如它们的标志物定位以及信噪比来影响细胞评分。
1)预选感兴趣区域
为了减轻病理学家的工作负荷,开发了预选方法用于自动描绘视野内的潜在感兴趣区域,其将是用于分析的区域,因此其中被排除的任何部分从分析中被排除掉。这样的预选方法通常需要两个事先已知的因素:
●当察看仅标志物图像时,感兴趣区域与周围区域有正反差。
●癌症靶向不同于基质细胞的上皮细胞,例如,其具有较大的核和较高的细胞密度。
因此,可以将大低通滤波器应用于仅标志物图像,该图像由应用于RGB视野的色原分离技术产生。测量仅标志物直方图(基于亮图像避免背景区域),并随后根据直方图中能够区别两类(正和负区域)的最佳阈值将图像二值化。填充任何小孔以使最终掩蔽层(finalmask)光滑。在原始RGB视野图象之上描绘所述掩蔽层的轮廓,从而让病理学家来接受/拒绝,如图2A和2B中所示。更具体地说,图2A举例说明了PSMB9实施例和图2B举例说明了HER2实施例,它们根据本文公开的预选方法的一个实施方案自动地确定了感兴趣区域。自动地计算或者以其它方式确定感兴趣区域,并且可以提供给病理学家用于最终的精细处理和/或认可。如果病理学家拒绝了所建议的掩蔽层,画图工具允许病理学家手动选择适当的感兴趣区域。
2)分割策略
分割策略包括以下步骤:
●背景确定
●创建细胞组分图像
●膜分割*
●核分割
●细胞质分割
●分割精细处理
●过滤不需要的目标
*在膜标志物比如Her2情况中,实施另外的特异性膜分割步骤。
例如,在图3A1-3A2和3B1-3B2中分别显示了该分割的各种实施例。更具体地说,图3A1显示自动确定感兴趣区域的PSMB9(细胞质标志物)实施例,随后的亚细胞分割显示在图3A2中。在感兴趣区域内,自动确定的细胞已经被分割,于是核掩蔽层显示为蓝色而细胞质边界显示为红色,而背景像素显示为黑色。图3B1举例说明了自动确定感兴趣区域的HER2(膜标志物)实施例,随后的亚细胞分割显示在图3B2中。在自动确定的区域内,细胞已经被分割,于是核掩蔽层显示为蓝色而膜显示为绿色,而背景像素显示为黑色。然而,本领域的技术人员应当知道,在一些情形中,可以需要另外的图像处理步骤或者改进以改进这种通用算法使之适应组织或标志物特异性。
2a)背景确定
第一分割步骤将图像内容分为前景和背景。因为成像平台设计为支持亮视野显微镜,目标将比亮背景显得更暗。为了创建图像的背景掩蔽层,将图像转变成亮度图像并计算背景阈值。认为亮度值在背景阈值水平之上的每一像素属于背景。相反地,亮度小于阈值的任何像素属于前景,在随后的步骤中必须对其进行进一步处理。
确定所述背景阈值包括平滑处理亮度图像并计算平滑处理后图像的直方图。随后,在较高端开始扫描该直方图,以获得用于阈值的局部最小值。当达到任意的90%透射时,限定该搜索,对于8位图像的情形,将其转化为值230。
2b)创建细胞组分图像
在接下来的分割步骤中,应用之前描述的色原分离技术创建关于核和细胞质的细胞组分图像。根据每种染料对特定细胞组分的光密度贡献的具体规格(specification)来起始分离。随后使用那些组分图像作为输入用于随后的核和细胞质分割步骤。所述组分图像是基于e-染色能力并且生成图像,其使所靶向细胞区室与相邻区域形成最佳对比。
2c)膜分割
使用以下步骤来实施膜分割:
●确定对于非背景的整个图像的平均值。
●如果任何局部值较亮的话,用该平均值填充图像中的该位置。
●通过产生大和小的平滑卷积核(convolution kernel)之间的图像差异来发现所述膜。
●基于测量的局部对比度,将获得的对比图像二值化。
●提取候选膜掩蔽层的骨架。
●删除比要求最小长度更小的任何骨架片(skeleton piece)。
●向任意方向将膜掩蔽层的骨架扩展一个像素并且保留仅有膜的掩蔽层在所述骨架之下。
首先实施膜分割以利于进一步的核分割,因为通常认为膜使核之间相互分开。
2d)核分割
在核分割过程开始时,在考虑背景掩蔽层的条件下,计算核组分图像的平均和中位像素值。使用这些值中较大者,通过用该值作为核组分图像的阈值,来创建初始核掩蔽层。将任何具有高于该阈值的值的像素设定为该阈值,使得在该初始核掩蔽层中只有具有较低值的像素保留了它们的原始值。如果膜掩蔽层可以获得,删除任何落入膜掩蔽层的潜在核掩蔽层像素。
随后用1.5倍预期细胞核大小的核心低通处理该初步或者初始核掩蔽层,以制备用于分水岭变换(watershed transformation)或者分割处理的初始核掩蔽层。分水岭分割处理的输出与初始核掩蔽层相组合,使得只有掩蔽层像素被设定,其中分水岭图像具有汇集盆并且初始核掩蔽层具有低于阈值的像素值。随后通过清洁(clean-up)步骤最后确定获得的核掩蔽层,所述清洁步骤包括填充面积小于约五分之一的预期核大小的孔洞,并去除小于约四分之一的预期核大小的目标。
2e)细胞质分割
细胞质分割过程应用双向方法(two-way approach)来建立细胞质掩蔽层。两种方式都采用前步骤中生成的核掩蔽层作为起点。首先,核掩蔽层被逆转并进行距离转换。通过将距离转换的输出结果二值化生成第一潜在细胞质掩蔽层,从而将所有在预期细胞大小内的像素都包括在所得掩蔽层中。为了只掩蔽前景,随后将获得的第一潜在细胞质掩蔽层与背景掩蔽层结合。对于第二潜在细胞质掩蔽层,再次逆转核掩蔽层并且随后进行分水岭转换。随后将第一和第二潜在细胞质掩蔽层组合以生成最终细胞质掩蔽层。
2f)分割精细处理
一旦建立了核和细胞质分割掩蔽层,应用组合掩蔽层的知识对那些掩蔽层进行进一步改进。从细胞质掩蔽层开始时,识别细胞质掩蔽层中每个分割目标并且将其与标记图像相关联,其中由独特像素值来识别每个目标。由于细胞质分割中的分水岭转换,使标记的目标相互分开。同样地,为了重连接标记的目标,将标记的图像扩充一次。
随后应用标记的图像来精细处理核掩蔽层。也就是说,使用个别的阈值将每个标记目标二值化。对于每个标记目标,过程如下:
●计算属于标记目标的每个像素的直方图并且确定平均像素值。
●确定阈值搜索的上界和下界。通过对直方图从上限开始直至累积了20%目标面积为止以进行积分来确定上界。以相似的方式对直方图从下限同样至累积20%预期核大小为止以进行积分来确定下界。
●如果下界小于上界,通过对直方图界限之间的范围值应用Fisher区别分析来计算阈值;否则,阈值是上界和下界的平均值。
●通过应用刚刚确定的阈值将核组分图像二值化来重绘目标的核掩蔽层。
接下来,对核掩蔽层中面积小于约五分之一的预期核大小的孔进行填充。为防止分割不足,对该掩蔽层首先进行距离转换以及随后的分水岭转换从而分开潜在的混合核。
最后,通过消除所有小于约三分之一的预期核大小的目标来消除核掩蔽层的伪像。一旦确定了精细处理的核掩蔽层,重复细胞质分割步骤并得到精细处理的细胞质掩蔽层。
对于Her2neu分割,实施膜清除的附加步骤,其删除任何定位于核掩蔽层之大约3像素内的膜掩蔽层,从而辅助区分细胞膜与核膜。
2g)过滤多余的细胞
在分割过程中最后的处理步骤包括过滤多余的细胞。对此过程,标记已精细处理的细胞质掩蔽层中的每个目标。此外,将获得的FOV图像进行色原分离,得到标志物和复染料的染料图像。对每个所识别的目标,确定边界长方形,并且如果目标位置距任何图像边界的距离小于特定距离,该目标就不再被考虑并且将其抛弃,从而防止对细胞的处理超出图像边界。如果细胞通过了该标准,计算其关键的测量特征,比如密度测定、构造、形状、环境信息。另外的实例(非限定性的)包括:
●面积
●周长
●重心(center of gravity,CoG)
●最小OD
●平均OD
●最大OD
针对核、细胞质和/或整个细胞计算每个特征,以及针对亮度、标志物染料和复染料中的每个。
应用从平均OD确定的平均透光度,对细胞应用另一通过/失败标准。也就是说,如果细胞的平均透光度高于分割步骤中规定的阈值,就不再考虑该细胞并将其抛弃。
3a)细胞评分
基于每个细胞的评估特征,可根据细胞靶向区室中的标志物强度和其信噪比向该细胞指定一个评分。当在标记特异性靶向区室光密度(强度)中该细胞的标志物含量明显高于相邻区室时,就认为该细胞为阳性。例如,如果标志物是核标志物的话,从核中的标志物特异性光密度测量值对比细胞质测量的其它光密度来计算对比度或者信噪比。因为根据定义背景噪音不是特异性的,所以对所选感兴趣区域内细胞的所有细胞质区室来测量总的背景平均光密度。
核标志物:
细胞SNR=核MOD/细胞质MOD (28)
为促进与病理学家技术诀窍的最佳关联性,对指定细胞为阳性所要求的对比度可以从强到弱调整,因为一些病理学家只考虑非常强的核作为阳性,而另一些病理学家考虑任何弱阳性染色作为阳性。基于对比度水平的这种主观阳性判断也可以受到所考虑特定病理状况的影响。
如果
核MOD>细胞质MOD+max[ε,k(1-细胞质MOD)] (29)
细胞对核标志物为阳性。
●对于ER(雌激素受体),确定ε=0.02和k=0.11
●对于PR(孕酮受体),确定ε=0.02和k=0.20
因此,如图4所示,曲线下的任何细胞是阴性的,否则为阳性。也就是说,图4举例说明,针对ER和PR,SNR和核OD曲线定义细胞的阴性和阳性状态。对于这样的核标志物,作为核OD与细胞质标志物OD的比值来计算信噪比(SNR)。如果细胞位于该曲线之上(右上角),就认为该细胞为阳性,否则为阴性。通常,核强度越强,认定细胞为阳性的SNR一定越小(反之亦然)。
3b)总体评分
为建立病理学家的诊断/预后需要信息,反映这种信息的病理可以赋予总体评分。
总体评分=100*阳性细胞数/ROI中细胞数 (30)
在ER和/或PR试验的情形中,病理学家所需要的总体评分是肿瘤区域内阳性细胞的百分率。因此,一旦病理学家确信他对所建议感兴趣区域的诊断/预后(自动建议的或者手工绘出的),就报告阳性评分细胞的百分率。
积分概念
当浓度非常高并且达到照相机的位数(bit-wise)极限时,为进一步研究不同染料的OD贡献,可以实施基于照相机的时间积分(快门速度)的策略。也就是说,用同一照相机对相同视野进行成像,但是应用不同的积分时间。如图5A和5B所示,用积分时间标准化所测量的OD并且保留对应于每一通道中最大积分时间的测量的非饱和值。更具体地说,图5A显示具有高标志物强度的特定细胞,其中应用不同的积分时间(4000s-1至250s-1)获取其图像,从而改善最暗区域中的比特分辨率。根据此方法,当采用适当的比特分辨率时,核(仅苏木精)中色原分离图像的像素化基本消失。图5B显示对于一个代表性像素的RGB透射光强度、以及经时间标准化的OD值,该像素是应用不同的积分时间(4000s-1至250s-1)所获取的,从而改善图5A所示图像最暗区域中的比特分辨率。比特分辨率的改善是源于RGB透射光强度值,其是针对饱和之前的积分时间而在每一RGB通道中来选择的。
应用RGB输入打破3D限制:4D色原分离
通过将4种染料的组合用于改良PAP方法来提供这种方法用于4D色原分离的一个实施例,如图6A-6B所示,即苏木精(图6A)、曙红(图6B)、绿(图6C)和DAB(图6D)。在此情形中,3个通道(R、G和B)包括所述输入通道,具有4种未知因素(染料)。在该情形中,可以应用现有知识。在Maxwell等效平面中代表所述染料,所述等效平面包括EcR+EcG+EcB=1的消光系数平面。在此平面中,由独特的XY位置代表染料。在该平面的各个XY位置中,可以提供显示不同透光度(指定染料的不同强度)的不同RGB三联体,其中在本实施例中,在图7A中显示具有最接近50%透光度的RGB三联体。更具体地说,图7A显示不同的RGB三联体,比如最接近50%透光度的RGB三联体。基于其在图像获取装置(照相机)中红、绿和蓝通道中的消光系数将每种染料投影到Ec平面上,每种染料由其开始字母表示。
关于各种染料的特性,在4种可能的3染料配置中有两种被接受的3染料配置,分别如图7B1和7B2所示,其中这两种3染料配置中每个都由围绕的三角形高亮显示。根据现有知识,已知所有4种染料不可能明显存在于样品的相同地理位置上。因此,在此情形中,色原分离只考虑3种染料的配置,其中3种染料可以在样品中共定位。更具体地说,曙红和绿染料主要是细胞质染料,其染色具有不同细胞质属性的细胞。因此,这些染料不可能存在于样品中同一位置,甚至由于苏木精在此消光系数平面中的位置在曙红和绿染料之间,曙红和绿染料的混合物可能与苏木精相混淆(但是极其不可能错当成DAB)。
因此,为了解决4D问题,通过寻找该FOV的每个RGB三联体来实施色原分离方法,在所述FOV的XY位置,相应的染料将被定位,所述XY位置是在EcR+EcG+EcB=1的消光系数平面中的位置。在此平面中,确定周围的3D配置,或者默认最接近的3D配置,并且用其解有关3种相应染料的光密度的方程,而剩余染料的光密度被设定为0。本领域的技术人员应注意,所研究的RGB三联体的大部分XY位置应当位于2种被接受的3染料配置之一中。图8A举例说明具有所有4种所代表染料的视野(即,代表全部4种染料的典型改良PAP视野,其中暗中心细胞是DAB阳性,如图8C所示)。图8B-8E举例说明关于4种染料每一种的相同区域。超快改造扫描仪以搜寻改良PAP环境中的阳性(DAB)细胞
在一些情形中,所讨论的4D色原分离和e-染色的一些方面可以组合从而形成本发明的另一方面。更具体地说,继续上述有关应用DAB和苏木精的实施例,可以施用扫描仪,其能够读取改良PAP切片(DAB阳性稀有事件解法),如图9A所示(原始视野的RGB图像)。随后,基于4D色原分离和e-染色方法,可以解决4种染料的情形。一旦得到解决,可以应用“e-染色”方法重建仿真图像,而只包括DAB和苏木精的贡献,如图9B所示。此外,仅苏木精和DAB的通道可以用作所述扫描仪的输入,从而可以配置该扫描仪以获取“仅苏木精和DAB”的图像,这将产生基本与图9B相同的图像。此外,可以应用仅苏木精、曙红和绿染料的贡献来重建仿真的仅PAP图像,如图9C所示。
考虑RGB失真
为适应和/或补偿由于图像路径、电子设备和/或染色变化引起的RGB失真,可以考虑对色原分离进行修饰。也就是说,对只用一种染料染色的生物材料进行成像证明,可从源FOV内每个RGB三联体计算的消光系数模型在平均可接受测量值周围有轻微改变。因此,当存在染料混合物时,染料混合物的多重解实际上可以是被接受的或者是可以接受的。不同的噪音源可能造成这样的RGB失真。例如,用CMOS照相机代替3CCD照相机获取图像可能是一种因素。
为补偿这些失真,以些许不同的方式对指定RGB三联体和指定的多重染料模型计算染料各自贡献的解。更具体地说,考虑所研究RGB三联体作为具有指定半径r的RGB空间的球心。对于在该球内的所有三联体,研究它们的染料贡献解,并且针对每种染料针对满足染料组合模型的所有RGB三联体对所述解进行平均化。如果没有RGB三联体属于染料组合模型,保留球内最接近染料组合模型的RGB三联体作为最佳潜在候选解。
动态过程
传统上,执行用于定量显微应用的所有算法或者计算过程,或者由软件工程嵌入该系统中。同样地,每版软件通常包括有限的一组算法,不经软件修正就不能对其进行改变(“软件升级”)。
例如,通过计算具有细胞核中大于阈值的标志物染色的平均光密度(MOD)的细胞数目与玻片上细胞总数的比值,应用程序可以计算玻片上阳性细胞百分率。在常规的应用中,所述阈值是可配置的,但是用来计算比值的公式保持不变;总是将超过特定阈值的细胞数与总细胞数进行比较。即使程序或者算法允许阈值基于其它的提取特征进行改变,但是用来确定阈值的公式仍是固定不变的。
因此,本发明的另一方面包括算法或者程序配置为动态的方法(即,基于使用者输入的公式来生成结果)。也就是说,代替软件中直接编码的算法或者程序,该软件可以评价要在实际分析运行时间应用的公式。更具体地说,执行这种动态算法的定量显微应用程序首先计算或者以其它方式确定几个水平上的通用的特征组合,包括玻片水平、TMA核心水平、视野水平和细胞水平。这些通用特征随后可以赋予别名,由此定义不同的“变量”,其可以应用例如标准的数学运算以不同形式相互组合,从而形成更高水平的特征,或者定义函数。同样地,在分析运行时间,应用程序将上载别名特征列表和可应用的公式。当分析中需要公式时,所述公式被动态评价并且必要时可以应用别名化特征以修改公式。如果公式经常被重新计算,或者是非常复杂的,可以对这样的公式或者其部分预编程以加快执行。
因此,这样的方法允许由所述应用程序执行的算法或者程序组在现场升级、添加或者以其它方式修改,而不需要对软件作任何的外部修改。同样地,所述应用程序给使用者提供了灵活性,因为必要时和/或期望时可以创建新的函数,而不需要作任何复杂的外部软件开发。例如,这样的函数可以生成对玻片、核心、视野或者细胞的数值评分。除此之外或者作为替代,这样的函数可以提供过滤能力。作为这些函数应用的实例,使用者可以定义函数来计算阳性百分率,如上所述,其中动态公式还可以用来定义允许高亮显示“阳性”细胞、视野或者核心的函数。这样的动态公式还可以用来,例如,定义预期正常值的范围,或者命名双态(bins)比如‘0’、‘1+’、‘2+’等。
通过受益于前述说明书以及附图中所提供的教导,本发明所属领域的技术人员将想得到本文所述发明的许多变型和其它实施方案。因此,应当理解本发明并不限于本文所公开的具体实施方案并且这些变型和其它的实施方案应包含在所附权利要求的范围内。尽管本文采用了特定的术语,但是它们只以其普通的和描述性意思使用而没有限制的目的。
Claims (7)
1.一种染色样品用于显微成像的方法,由将染色样品的图像配置为展示亚细胞组分之间的最佳对比以用于病理学家的诊断,所述方法包括:
用染料染色样品;
从样品的显微图像中确定所述染料的透光度值;
从确定的染料透光度值形成所述样品的人工图像;
改变染料的透光度值,从而形成一系列的人工图像;
从所述的系列图像中选择一个图像,其展示出关于所述染料的亚细胞组分之间的最佳对比并且确定在该图像中所述染料的对应透光度值;以及
改变该染料对样品的染色,从而提供具有与亚细胞组分之间最佳对比相对应的染料透光度值的染色样品。
2.根据权利要求1的方法,其中改变透光度值还包括通过对与之对应的光密度应用绝对加权系数和相对加权系数之一来改变所述染料的透光度值。
3.根据权利要求1的方法,其还包括确定染色所述样品所需的染料量,从而提供具有与亚细胞组分之间最佳对比相对应的染料透光度值的染色样品。
4.根据权利要求1的方法,其中确定所述染料的透光度值还包括从所述样品的显微图像确定所述染料在每个红色通道、绿色通道和蓝色通道中的透光度值。
5.一种人工染色样品的方法,所述方法包括:
用第一染料和第二染料染色样品;
从所述样品的显微图像确定所述第一染料和第二染料各自在RGB颜色空间的每个红色通道、绿色通道和蓝色通道中的透光度值和消光系数;
对与所述第一染料和第二染料中至少一种相对应的光密度应用加权系数,对每个加权系数进行选择,以通过改变所述第一染料和第二染料中所述至少一种的相应透光度值来改变染色所述样品的所述第一染料和第二染料中所述至少一种的比例;和
根据在RGB颜色空间的每个红色、绿色和蓝色通道中,已经对其应用了所述加权系数的所述第一染料和第二染料中所述至少一种的所述改变的透光度值、以及所述第一染料和第二染料的任何未改变的透光度值,形成该样品的人工图像。
6.确定样品之组分之间最佳对比的方法,其包括:
根据权利要求5来人工染色所述样品,以提供根据染色所述样品的所述第一染料和第二染料之一的比例而变化的一系列人工图像;和
从该系列人工图像中确定在所述样品组分之间具有最佳对比度的人工图像。
7.根据权利要求6的方法,其还包括:
根据所述具有最佳对比度的人工图像,确定在该系列图像中染色所述样品的具有所述变化比例的第一染料和第二染料之一的透光度值;和
确定为提供具有最佳对比度之人工图像的相应透光度值所必需的所述第一染料和第二染料之一的量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US68099105P | 2005-05-13 | 2005-05-13 | |
US60/680,991 | 2005-05-13 | ||
PCT/US2006/018516 WO2006124651A2 (en) | 2005-05-13 | 2006-05-12 | Methods of chromogen separation-based image analysis |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101176116A CN101176116A (zh) | 2008-05-07 |
CN101176116B true CN101176116B (zh) | 2010-08-25 |
Family
ID=37027048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800165652A Active CN101176116B (zh) | 2005-05-13 | 2006-05-12 | 基于色原分离的图像分析方法 |
Country Status (12)
Country | Link |
---|---|
US (5) | US8492156B2 (zh) |
EP (6) | EP1975876A3 (zh) |
JP (3) | JP5822425B2 (zh) |
KR (1) | KR20080016847A (zh) |
CN (1) | CN101176116B (zh) |
AU (1) | AU2006247575B2 (zh) |
BR (1) | BRPI0610115B8 (zh) |
CA (2) | CA2848233C (zh) |
ES (1) | ES2617882T3 (zh) |
IL (1) | IL187268A0 (zh) |
MX (1) | MX2007014016A (zh) |
WO (1) | WO2006124651A2 (zh) |
Families Citing this family (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101176116B (zh) * | 2005-05-13 | 2010-08-25 | 三路影像公司 | 基于色原分离的图像分析方法 |
US20070249912A1 (en) * | 2006-04-21 | 2007-10-25 | Siemens Corporate Research, Inc. | Method for artery-vein image separation in blood pool contrast agents |
EP2143043A4 (en) * | 2007-05-07 | 2011-01-12 | Ge Healthcare Bio Sciences | SYSTEM AND METHOD FOR THE AUTOMATED ANALYSIS OF CELLULAR ASSAYS AND TISSUE |
JP4920507B2 (ja) * | 2007-06-27 | 2012-04-18 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
JP5365011B2 (ja) * | 2008-01-29 | 2013-12-11 | 日本電気株式会社 | 病理診断支援装置、病理診断支援方法、およびプログラム |
TR201809167T4 (tr) * | 2008-10-23 | 2018-07-23 | Koninklijke Philips Nv | Biyolojik örnekler için renk yönetimi. |
CN102227747B (zh) * | 2008-11-27 | 2014-06-04 | 皇家飞利浦电子股份有限公司 | 产生未染色生物标本的多色图像 |
US8139850B2 (en) * | 2008-12-05 | 2012-03-20 | Tandent Vision Science, Inc. | Constraint generation for use in image segregation |
JP5478084B2 (ja) * | 2009-01-23 | 2014-04-23 | オリンパス株式会社 | 画像処理システム、画像処理装置および画像処理端末 |
JP2011181015A (ja) * | 2010-03-03 | 2011-09-15 | Olympus Corp | 診断情報配信装置および病理診断システム |
US8300938B2 (en) | 2010-04-09 | 2012-10-30 | General Electric Company | Methods for segmenting objects in images |
US8611620B2 (en) * | 2010-07-01 | 2013-12-17 | Ardia Medical Products Ltd. | Advanced digital pathology and provisions for remote diagnostics |
CA3010836C (en) | 2010-07-30 | 2020-09-08 | Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
CN103097889B (zh) * | 2010-09-30 | 2015-03-18 | 日本电气株式会社 | 信息处理设备、信息处理系统、信息处理方法、程序和记录介质 |
JP2014506122A (ja) * | 2010-12-07 | 2014-03-13 | ライフ テクノロジーズ コーポレーション | バーチャル細胞染色システム |
US9292933B2 (en) | 2011-01-10 | 2016-03-22 | Anant Madabhushi | Method and apparatus for shape based deformable segmentation of multiple overlapping objects |
WO2012142111A1 (en) * | 2011-04-12 | 2012-10-18 | Tripath Imaging, Inc. | Method for preparing quantitative video-microscopy and associated system |
US9122904B2 (en) | 2011-04-12 | 2015-09-01 | Tripath Imaging, Inc. | Method for optimization of quantitative video-microscopy and associated system |
US8433132B2 (en) | 2011-04-12 | 2013-04-30 | Sony Corporation | Method for efficient representation and processing of color pixel data in digital pathology images |
US8731278B2 (en) * | 2011-08-15 | 2014-05-20 | Molecular Devices, Inc. | System and method for sectioning a microscopy image for parallel processing |
WO2013071003A1 (en) * | 2011-11-10 | 2013-05-16 | Azar Jimmy C | Color decomposition in histology |
US9390313B2 (en) * | 2012-04-23 | 2016-07-12 | Nec Corporation | Image measurement apparatus and image measurment method measuring the cell neclei count |
AU2013258519B2 (en) * | 2012-05-11 | 2016-03-03 | Agilent Technologies, Inc. | Method and apparatus for image scoring and analysis |
CN102708383B (zh) * | 2012-05-21 | 2014-11-26 | 广州像素数据技术开发有限公司 | 一种多模态比对功能的活体人脸检测系统与方法 |
US9036889B2 (en) * | 2012-07-13 | 2015-05-19 | Sony Corporation | Method and apparatus for stain separation using vector analysis |
US9020221B2 (en) | 2012-07-13 | 2015-04-28 | Sony Corporation | Method and apparatus for automatic cancer diagnosis scoring of tissue samples |
US9881371B2 (en) | 2012-10-24 | 2018-01-30 | Sony Corporation | System for visualization of a cancer diagnosis |
JP5413501B1 (ja) * | 2012-12-07 | 2014-02-12 | 富士ゼロックス株式会社 | 画像処理装置、画像処理システム及びプログラム |
CN103020488B (zh) * | 2012-12-29 | 2016-10-05 | 上海师范大学 | 一种基于荧光显微图像的亚细胞定位方法 |
JP2016541039A (ja) * | 2013-10-07 | 2016-12-28 | ベンタナ メディカル システムズ, インコーポレイテッド | 包括的なマルチアッセイ組織分析のためのシステムおよび方法 |
EP2871461A1 (en) * | 2013-11-06 | 2015-05-13 | F. Hoffmann-La Roche AG | Method for examining a plurality of cultured cells for the presence of periodic structures of at least one target component contained in the cultured cells |
AU2015212758B2 (en) | 2014-01-30 | 2019-11-21 | Bd Kiestra B.V. | A system and method for image acquisition using supervised high quality imaging |
CA2944831C (en) * | 2014-05-30 | 2019-12-31 | Ventana Medical Systems, Inc. | An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains |
TWI690585B (zh) * | 2014-08-11 | 2020-04-11 | 德商漢高股份有限及兩合公司 | 電激發光之經交聯奈米晶體薄膜 |
US10094767B2 (en) | 2014-09-19 | 2018-10-09 | Konica Minolta, Inc. | Image processor, image processing method, and program |
JP6654634B2 (ja) * | 2014-12-03 | 2020-02-26 | ベンタナ メディカル システムズ, インコーポレイテッド | 不均一なバイオマーカー分布を定量的に分析するための方法、システム及び装置 |
CN106296635B (zh) * | 2015-05-29 | 2019-11-22 | 厦门鹭佳生物科技有限公司 | 一种荧光原位杂交(fish)图像并行处理与分析方法 |
JP6930963B2 (ja) * | 2015-08-24 | 2021-09-01 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | デジタル病理学におけるサーバー‐クライアント・アーキテクチャー |
JP6605716B2 (ja) * | 2015-09-16 | 2019-11-13 | ライカ バイオシステムズ イメージング インコーポレイテッド | 病理学的明視野画像における自動染色検出 |
GB2543029A (en) * | 2015-09-23 | 2017-04-12 | Pathxl Ltd | Method and apparatus for tissue recognition |
US10019796B2 (en) * | 2015-10-16 | 2018-07-10 | General Electric Company | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging |
WO2017079387A1 (en) * | 2015-11-05 | 2017-05-11 | Covidien Lp | System and method for detecting subsurface blood |
US10685029B2 (en) | 2015-11-23 | 2020-06-16 | Google Llc | Information ranking based on properties of a computing device |
US10395368B2 (en) * | 2015-12-18 | 2019-08-27 | Abbott Laboratories | Methods and systems for assessing histological stains |
JP6791245B2 (ja) * | 2016-06-23 | 2020-11-25 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
EP3321851A3 (en) * | 2016-11-09 | 2018-08-01 | AmCad BioMed Corporation | Cytological image processing device, and method for quantifying characteristics of cytological image |
FR3060746B1 (fr) * | 2016-12-21 | 2019-05-24 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de numeration de particules dans un echantillon par imagerie sans lentille |
JP6979278B2 (ja) * | 2017-04-07 | 2021-12-08 | 株式会社日立ハイテク | 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法 |
WO2019033098A2 (en) * | 2017-08-11 | 2019-02-14 | Elucid Bioimaging Inc. | QUANTITATIVE MEDICAL IMAGING REPORT |
KR101930644B1 (ko) * | 2017-09-15 | 2018-12-18 | 한국과학기술원 | 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치 |
US11568657B2 (en) | 2017-12-06 | 2023-01-31 | Ventana Medical Systems, Inc. | Method of storing and retrieving digital pathology analysis results |
WO2019110561A1 (en) * | 2017-12-06 | 2019-06-13 | Ventana Medical Systems, Inc. | Method of storing and retrieving digital pathology analysis results |
CN109003248B (zh) * | 2018-07-23 | 2020-12-08 | 中国石油大学(华东) | 一种细粒沉积岩纹层结构的表征方法 |
CN112805559B (zh) * | 2018-11-20 | 2024-03-22 | 株式会社岛津制作所 | 成像数据解析装置 |
WO2020141463A2 (en) * | 2019-01-03 | 2020-07-09 | Pixcell Medical Technologies Ltd. | Systems and methods for analyzing a fluid sample |
WO2021118881A1 (en) * | 2019-12-10 | 2021-06-17 | Siemens Healthcare Diagnostics Inc. | Method and system for generating a chromatically modified image of components in a microscopic slide |
CN111286523A (zh) * | 2020-02-20 | 2020-06-16 | 中国水产科学研究院黄海水产研究所 | 一种细菌的三原色鉴别及计数方法 |
WO2022201691A1 (ja) * | 2021-03-23 | 2022-09-29 | コニカミノルタ株式会社 | 画像診断方法、画像診断装置および画像診断プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1065496A2 (en) * | 1999-06-29 | 2001-01-03 | Tripath Imaging, Inc. | Method and apparatus for deriving separate images from multiple chromogens in a biological specimen |
CN1384949A (zh) * | 1999-04-13 | 2002-12-11 | 色品视觉医学体系股份有限公司 | 组织重现和图像自动分析 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3396237B2 (ja) | 1992-06-08 | 2003-04-14 | セイコーインスツルメンツ株式会社 | 分光測定装置 |
US5978497A (en) * | 1994-09-20 | 1999-11-02 | Neopath, Inc. | Apparatus for the identification of free-lying cells |
US7117098B1 (en) | 1997-02-27 | 2006-10-03 | Cellomics, Inc. | Machine-readable storage medium for analyzing distribution of macromolecules between the cell membrane and the cell cytoplasm |
IL132687A0 (en) | 1999-11-01 | 2001-03-19 | Keren Mechkarim Ichilov Pnimit | System and method for evaluating body fluid samples |
US7065242B2 (en) | 2000-03-28 | 2006-06-20 | Viewpoint Corporation | System and method of three-dimensional image capture and modeling |
JP2005507489A (ja) * | 2001-02-23 | 2005-03-17 | ジェニコン サイエンスィズ コーポレーション | 検体分析において拡張ダイナミックレンジを提供する方法 |
JP4266813B2 (ja) * | 2001-05-29 | 2009-05-20 | アイコリア,インコーポレーテッド | ステイン吸収の物理学的モデルに基づいて組織学的標本におけるステインを検出および定量化する頑強な方法 |
US7065236B2 (en) | 2001-09-19 | 2006-06-20 | Tripath Imaging, Inc. | Method for quantitative video-microscopy and associated system and computer software program product |
US7305144B2 (en) * | 2002-01-15 | 2007-12-04 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | System and method for compressing the dynamic range of an image |
US7133547B2 (en) | 2002-01-24 | 2006-11-07 | Tripath Imaging, Inc. | Method for quantitative video-microscopy and associated system and computer software program product |
US7854705B2 (en) * | 2004-12-16 | 2010-12-21 | Olga Pawluczyk | Ex vivo verification of biopsy tissue samples |
CN101176116B (zh) | 2005-05-13 | 2010-08-25 | 三路影像公司 | 基于色原分离的图像分析方法 |
-
2006
- 2006-05-12 CN CN2006800165652A patent/CN101176116B/zh active Active
- 2006-05-12 US US11/433,114 patent/US8492156B2/en active Active
- 2006-05-12 EP EP08010884A patent/EP1975876A3/en not_active Withdrawn
- 2006-05-12 JP JP2008511426A patent/JP5822425B2/ja active Active
- 2006-05-12 EP EP08010883.0A patent/EP1978486B1/en active Active
- 2006-05-12 AU AU2006247575A patent/AU2006247575B2/en active Active
- 2006-05-12 CA CA2848233A patent/CA2848233C/en active Active
- 2006-05-12 CA CA2607609A patent/CA2607609C/en active Active
- 2006-05-12 EP EP08010862A patent/EP1978485A1/en not_active Withdrawn
- 2006-05-12 MX MX2007014016A patent/MX2007014016A/es not_active Application Discontinuation
- 2006-05-12 KR KR1020077028983A patent/KR20080016847A/ko not_active Application Discontinuation
- 2006-05-12 EP EP08010864A patent/EP1975875A3/en not_active Withdrawn
- 2006-05-12 EP EP06770298A patent/EP1882237A2/en not_active Withdrawn
- 2006-05-12 ES ES08010883.0T patent/ES2617882T3/es active Active
- 2006-05-12 EP EP08010863A patent/EP1975874A3/en not_active Withdrawn
- 2006-05-12 BR BRPI0610115A patent/BRPI0610115B8/pt active IP Right Grant
- 2006-05-12 WO PCT/US2006/018516 patent/WO2006124651A2/en active Application Filing
-
2007
- 2007-11-08 IL IL187268A patent/IL187268A0/en unknown
-
2009
- 2009-11-18 US US12/620,670 patent/US20100067775A1/en not_active Abandoned
- 2009-11-18 US US12/620,701 patent/US8486704B2/en active Active
- 2009-11-18 US US12/620,655 patent/US7989209B2/en active Active
-
2013
- 2013-07-19 US US13/946,723 patent/US9547801B2/en active Active
-
2014
- 2014-01-17 JP JP2014006669A patent/JP2014110797A/ja active Pending
-
2015
- 2015-07-08 JP JP2015136858A patent/JP6086949B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1384949A (zh) * | 1999-04-13 | 2002-12-11 | 色品视觉医学体系股份有限公司 | 组织重现和图像自动分析 |
EP1065496A2 (en) * | 1999-06-29 | 2001-01-03 | Tripath Imaging, Inc. | Method and apparatus for deriving separate images from multiple chromogens in a biological specimen |
Non-Patent Citations (2)
Title |
---|
ZHOU R ET AL.A multiple wavelength algorithm in color image analysis and itsapplications in stain decomposition in microscopy images..MEDICAL PHYSICS, AIP, MELVILLE, NY, US.23 12.1996,23(12),1977-1986. |
ZHOU R ET AL.A multiple wavelength algorithm in color image analysis and itsapplications in stain decomposition in microscopy images..MEDICAL PHYSICS, AIP, MELVILLE, NY, US.23 12.1996,23(12),1977-1986. * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101176116B (zh) | 基于色原分离的图像分析方法 | |
JP5044633B2 (ja) | 定量ビデオ顕微鏡法とそれに関連するシステムおよびコンピュータソフトウェアプログラム製品 | |
US6453060B1 (en) | Method and apparatus for deriving separate images from multiple chromogens in a branched image analysis system | |
AU2002334590A1 (en) | Method quantitative video-microscopy and associated system and computer software program product | |
Mayfield | A simple computer-based video image analysis system and potential applications to microbiology | |
AU2007249081B2 (en) | Method quantitative video-microscopy and associated system and computer software program product |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |