CN105102945B - 多光谱成像系统和方法 - Google Patents
多光谱成像系统和方法 Download PDFInfo
- Publication number
- CN105102945B CN105102945B CN201480012433.7A CN201480012433A CN105102945B CN 105102945 B CN105102945 B CN 105102945B CN 201480012433 A CN201480012433 A CN 201480012433A CN 105102945 B CN105102945 B CN 105102945B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- band
- bands
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000001228 spectrum Methods 0.000 title claims description 64
- 238000003384 imaging method Methods 0.000 title claims description 30
- 239000004615 ingredient Substances 0.000 claims description 27
- 238000002156 mixing Methods 0.000 claims description 24
- 230000003595 spectral effect Effects 0.000 claims description 21
- 238000005286 illumination Methods 0.000 claims description 20
- 239000011521 glass Substances 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 7
- 238000000701 chemical imaging Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 description 109
- 230000003287 optical effect Effects 0.000 description 34
- 230000004044 response Effects 0.000 description 32
- 239000003086 colorant Substances 0.000 description 16
- 238000012937 correction Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 14
- 241000208340 Araliaceae Species 0.000 description 12
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 12
- 235000003140 Panax quinquefolius Nutrition 0.000 description 12
- 235000008434 ginseng Nutrition 0.000 description 12
- 238000005259 measurement Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 8
- 238000003364 immunohistochemistry Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000004043 responsiveness Effects 0.000 description 8
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Natural products C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- WZUVPPKBWHMQCE-XJKSGUPXSA-N (+)-haematoxylin Chemical compound C12=CC(O)=C(O)C=C2C[C@]2(O)[C@H]1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-XJKSGUPXSA-N 0.000 description 5
- 239000012472 biological sample Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000014616 translation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000010183 spectrum analysis Methods 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000002380 cytological effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 238000011532 immunohistochemical staining Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 101150029707 ERBB2 gene Proteins 0.000 description 1
- 241001639867 Exelis Species 0.000 description 1
- 244000131099 Macrotyloma uniflorum Species 0.000 description 1
- 235000012549 Macrotyloma uniflorum Nutrition 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241000283283 Orcinus orca Species 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- HFACYLZERDEVSX-UHFFFAOYSA-N benzidine Chemical compound C1=CC(N)=CC=C1C1=CC=C(N)C=C1 HFACYLZERDEVSX-UHFFFAOYSA-N 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 239000012496 blank sample Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002255 enzymatic effect Effects 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 235000021384 green leafy vegetables Nutrition 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005464 sample preparation method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/32—Investigating bands of a spectrum in sequence by a single detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
在本文中公开的方法和系统包括:获得样本的第一图像,其中第一图像对应于以第一多个有区别的光谱带透射通过样本的光;获得样本的第二图像,其中第二图像对应于以第二多个有区别的光谱带透射通过样本的光,并且第二多个光谱带中的至少一些成员与第一多个光谱带中的成员不同;以及组合第一和第二图像以形成多光谱图像栈,其中图像栈中的每个像素包括对应于至少四个有区别的光谱带的信息,并且其中至少四个有区别的光谱带包括来自第一多个光谱带的至少一个成员以及来自第二多个光谱带的至少一个成员。
Description
相关申请交叉引用
本申请要求享有于2013年1月10日提交的第61/751,194号美国临时专利申请的优先权,通过引用将其全部内容并入本文。
技术领域
本公开涉及对生物学样本进行成像,并且更具体地涉及对细胞和组织进行多光谱明视场成像以及图像分析。
背景技术
生物学细胞和组织样本的色彩图像对于包括诊断、通信、归档和分析的使用是有价值的。一种常用的成像技术是产生所谓的明视场图像,其中通过透射通过样本的光或者从样本反射的光形成图像。明视场影像对于通过苏木素伊红(Hematoxylin and Eosin)、巴氏涂片(Papanicolau)染色剂、诸如DAB这样的免疫组化染色剂以及其他有吸收性和扩散性的试剂制备的样本是有用的。在这样的情况下的图像对应于样本的RGB(色彩)视图,并且可以使用数字色彩(RGB)相机来记录。
数字RGB相机采用多种技术来获得图像。最常用的是将诸如Bayer图案这样的彩色马赛克图案合并到像素化传感器中,使得各个像素以特定色彩记录信号内容,并且组合来自相邻像素的信号以创建对像素邻域中的色彩内容的估计。替代地,在三芯片彩色相机中,使用三色光学元件对进入的光根据其色彩进行分离,并且将不同色彩的光指引到三个不同的成像传感器上,因此,每个传感器接收给定主色彩的光。然后组合来自三个传感器的图像以形成总体色彩图像。
在其他RGB相机中,与单色传感器一起采用色彩滤波轮或电子可调谐滤波器,并且在滤波器在主色彩之间循环的同时取得三个或更多的图像。组合各个色彩平面的结果图像以形成色彩图像。
通过不同的技术,彩色相机产生具有与每个主色彩中的总体信号相对应的R、G和B值的图像,或者等效地,图像可以表示在诸如L*ab、Luv、YIQ、XYZ等其他色彩空间中。
已经开发出可以产生整个显微镜载玻片或其部分的数字明视场图像的全视野载玻片成像系统。它们包括显微镜成像光学元件(optics)和数字相机以及机械装置以清扫对样本的扫描,还包括软件以协调这些动作并且存储结果图像。典型的病理学样品可以在5分钟或更少内成像,往往在2分钟或更少,并且结果图像可以具有1/4微米或更精细的分辨率,其对应于15x15mm样本的36亿个像素。这些系统用在研究和临床病理学领域,以对组织切片、细胞学样本以及进行显微镜成像是有价值的其他样本进行成像。
全视野载玻片明视场成像的一个应用是对免疫组化(IHC)化验的测量和定量。这些是基于抗体的化验,通常使用酶促放大步骤,其中将色原体绑定到包含特定蛋白质的位点,使得能够检测和测量蛋白质表达。
存在能够测量样本的明视场图像中的多于3个色彩的多光谱成像系统。Vectra成像系统(可以从PerkinElmer,Waltham MA得到)是这样的系统的示例。其使用液晶可调谐滤波器在计算机控制下选择可见范围内的各个波长,同时用单色数字相机取得图像。这样获取的数据被称为图像栈或图像立方体,并且包含图像中的很多空间位置中的每一处的光谱。
发明内容
一般地,在第一方面中,本公开涉及的方法的特征在于包括:获得样本的第一图像,其中第一图像对应于以第一多个有区别的光谱带透射通过样本的光;获得样本的第二图像,其中第二图像对应于以第二多个有区别的光谱带透射通过样本的光,并且第二多个光谱带中的至少一些成员与第一多个光谱带中的成员不同;以及使用电子处理器组合第一和第二图像以形成多光谱图像栈,其中图像栈中的每个像素包括对应于至少四个有区别的光谱带的信息,并且其中至少四个有区别的光谱带包括来自第一多个光谱带的至少一个成员以及来自第二多个光谱带的至少一个成员。
所述方法的实施例可以包括以下特征中的任何一个或多个。
图像栈中的每个像素可以包括对应于至少五个有区别的光谱带的信息。图像栈中的每个像素可以包括对应于至少六个有区别的光谱带的信息。
第一多个有区别的光谱带可以包括具有一半最大值为40nm或以下(例如,30nm或以下)的完全宽度的电磁光谱的绿色区域中的光谱带。
所述方法可以包括使用电子处理器对图像栈去混合(unmix)以获得一个或多个成分图像,其中每个成分图像仅充分地对应于来自样本中的一个光谱贡献者(contributor)的贡献。所述方法可以包括使用电子处理器在对图像栈去混合之前将对应于图像栈中的每个像素的光强值转换为光强单位。所述方法可以包括使用电子处理器以基于一个或多个成分图像来分析样本以确定样本内的特征的位置。
所述方法可以包括使用载玻片扫描器来获得第一和第二图像。第一多个光谱带和第二多个光谱带的每个可以包括共享光谱带,所述方法可以包括使用电子处理器在形成图像栈之前基于来自对应于共享光谱带的第一和第二图像的信息来对齐第一和第二图像。
所述方法的实施例还可以适当地以任何组合的形式包括在本文中公开的任何其他特征和/或方面和/或步骤。
在另一方面中,本公开涉及的系统的特征在于包括被配置为照明样本的光源、被配置为获得样本的一个或多个图像的检测器以及电子处理器,所述电子处理器耦接到检测器并且被配置为:获得样本的第一图像,其中第一图像对应于以第一多个有区别的光谱带透射通过样本的光;获得样本的第二图像,其中第二图像对应于以第二多个有区别的光谱带透射通过样本的光,并且其中第二多个光谱带中的至少一些成员与第一多个光谱带中的成员不同;以及组合第一和第二图像以形成多光谱图像栈,其中图像栈中的每个像素包括对应于至少四个有区别的光谱带的信息,并且其中至少四个有区别的光谱带包括来自第一多个光谱带的至少一个成员以及来自第二多个光谱带的至少一个成员。
所述系统的实施例可以包括以下特征中的任何一个或多个。
图像栈中的每个像素可以包括对应于至少五个有区别的光谱带的信息。图像栈中的每个像素可以包括对应于至少六个有区别的光谱带的信息。
第一多个有区别的光谱带可以包括具有一半最大值为40nm或以下(例如,30nm或以下)的完全宽度的电磁光谱的绿色区域中的光谱带。
电子处理器可以被配置为对图像栈去混合以获得一个或多个成分图像,其中每个成分图像仅充分地对应于来自样本中的一个光谱贡献者的贡献。电子处理器可以被配置为在对图像栈去混合之前将对应于图像栈中的每个像素的光强值转换为光强单位。电子处理器可以被配置为基于一个或多个成分图像来分析样本以确定样本内的特征的位置。
所述系统可以包括以光源和检测器为特征的载玻片扫描器。第一多个光谱带和第二多个光谱带的每个可以包括共享光谱带,并且电子处理器可以被配置为在形成图像栈之前基于来自对应于共享光谱带的第一和第二图像的信息来对齐第一和第二图像。
所述系统的实施例还可以适当地以任何组合的形式包括在本文中公开的任何其他特征和/或方面和/或组件。
在另一个方面中,本公开涉及的方法的特征在于包括:(a)使用彩色相机来获得样本的第一图像,其中(i)第一图像包括多个像素,每个像素以三个光强信号为特征,(ii)对于每个像素,每个光强信号对应于入射到样本上的三个有区别的波长带中的一个或多个中的照明光,并且(iii)一个波长带对应于电磁光谱的绿色区域,并且具有一半最大值为40nm或以下的完全宽度;以及(b)使用电子处理器来(i)变换第一图像以生成校正图像,其中变换包括针对每一个像素调整三个光强信号中的每个以减小来自三个有区别的波长带之一以外的全部中的照明光的对其的贡献,以及(ii)将校正图像中的光强值变换成光强单位。
所述方法的实施例可以包括以下特征中的任何一个或多个。
所述方法可以包括使用电子处理器对校正图像去混合以获得一个或多个成分图像。所述方法可以包括使用电子处理器来基于一个或多个成分图像分析样本以确定样本内的特征的位置。
所述方法的实施例还可以适当地以任何组合的形式包括在本文中公开的任何其他特征和/或方面和/或步骤。
在另一方面中,本公开涉及的方法的特征在于包括:(a)使用彩色相机来获得样本的第一图像,其中(i)第一图像包括多个像素,每个像素以三个光强信号为特征,(ii)对于每个像素,每个光强信号对应于三个有区别的波长带中的一个或多个中的样本发送的光,并且(iii)一个波长带对应于电磁光谱的绿色区域,并且具有一半最大值为40nm或以下的完全宽度;以及(b)使用电子处理器来(i)变换第一图像以生成校正图像,其中变换包括针对每一个像素调整三个光强信号中的每个以减小来自三个有区别的波长带之一以外的全部中的样本发射的光的对其的贡献,以及(ii)将校正图像中的光强值变换成光强单位。
所述方法的实施例可以包括以下特征中的任何一个或多个。
所述方法可以包括使用电子处理器对校正图像去混合以获得一个或多个成分图像。所述方法可以包括使用电子处理器来基于一个或多个成分图像分析样本以确定样本内的特征的位置。
所述方法的实施例还可以适当地以任何组合的形式包括在本文中公开的任何其他特征和/或方面和/或步骤。
除非以其他方式定义,在本文中所使用的所有技术和科学术语与本公开所属的技术领域中的普通技术人员通常所理解的具有相同含义。尽管与在本文中所公开的方法和材料类似或等同的方法和材料可以用在本文的主题的实践或测试中,在下面描述适合的方法和材料。通过引用将所有公开、专利申请、专利以及在本文中提及的其他参考文献的全部内容并入本文。在冲突的情况下,本说明书(包括定义)将进行控制。另外,材料、方法和示例仅是示例性的,而不用于进行限制。
下面将结合附图和描述来阐述一个或多个实施例的细节。根据该描述、附图和权利要求,其他特征和优点将是显而易见的。
附图说明
图1是示出作为用于对样本成像的两个光谱滤波器的波长的函数的光透射的图。
图2是示出作为用于对样本成像的三个光谱滤波器的波长的函数的光透射的图。
图3是包括用于获取样本图像并且组合它们以形成多光谱图像栈的一系列步骤的流程图。
图4是包括用于获取对生物学样本的两次扫描并且组合来自扫描的图像以形成多光谱图像栈的一系列步骤的流程图。
图5是包括用于获得样本的多光谱图像栈并且对图像栈去混合的一系列步骤的流程图。
图6是包括用于获得多光谱图像栈并对多光谱图像栈去混合为成分图像以及分析成分图像的一系列步骤的流程图。
图7是示出彩色相机的RGB通道的光谱响应的图。
图8是示出Sony Bayer图案RGB相机中的RGB通道的光谱响应的图。
图9A是示出图1中的第一滤波器和图8的Sony Bayer图案RGB相机的组合光谱响应的图。
图9B是示出图1中的第二滤波器和图8的Sony Bayer图案RGB相机的组合光谱响应的图。
图10是获取样本的光谱图像的系统的示意图。
各个图中的相同的标号指示相同元件。
具体实施方式
不幸地,传统的多光谱明视场成像系统通常非常慢地获取图像,针对每个记录的图像获取大约几秒。以该速率,扫描全视野载玻片需要一个小时以上。这不符合在很多全视野载玻片成像应用中获取的工作流和性能。
在本文中所公开的系统和方法允许快速地获得生物学样本(包括但不限于组织切片、从血液得到的样本和细胞学样本)的多光谱明视场透射光图像。所述方法和系统允许进行全视野载玻片多光谱成像,其中样本中的每个点由包括五个或以上波长带的信号光谱来描述,并且在对应于不同的光谱带的图像之间没有空间不对齐。在一些情况下,多光谱图像可以包括对应于9个光谱带的这么多的图像。
在本文中公开的方法和系统还允许使用光谱去混合的全视野载玻片图像获取和分析以提高信号级别的定量或改进的分类或两者。光谱去混合技术使得能够使用存在于样本中的成分的已知光谱的光谱库将图像栈(例如,图像立方体)的每个位置处的光谱去混合成其不同的成分信号。可以从PerkinElmer(Waltham MA)得到的Nuance软件可以产生这样的光谱库,并且使用它们将图像立方体去混合成成分图像。光谱去混合在进行分类或图像分析时也是有用的。用于光谱去混合以及基于去混合的图像进行分类和/或图像分析的方法和系统例如在美国专利7,321,791和7,953,264中公开,通过引用将其每一个的全部内容并入本文。
在一些实施例中,在本文中公开的系统和方法包括使用诸如马赛克相机或3芯片相机这样的彩色RGB相机对样本中的位置进行成像,以获取对应于第一图像中的3个光谱带以及第二图像中的3个光谱带的图像。在获取第一和第二图像之间重新配置照明或成像光学器件,因此第一和第二图像对应于不同的光谱带。组合两个图像以形成具有对应于4个或以上的光谱带的图像的多光谱图像栈。
在一些实施例中,获得样本区域的第一、第二和第三图像,其中每个图像对应于3个不同的光谱带。对这些图像中的至少2个重新配置照明或成像光学器件,并且组合该组图像以形成具有对应于5个或以上不同的光谱带的光谱图像的总体图像(例如,图像栈)。
在一些实施例中,将第一光学滤波器引入到照明或成像路径中,其在3个有区别的窄的光谱带内透射光,同时获得第一图像。然后,引入第二光学滤波器替代第一滤波器。第二滤波器在3个不同的、有区别的窄的光谱带内透射光。适当地用第二滤波器获得第二图像。如果获得样本的第三图像,则第三光学滤波器替代第二滤波器,同时获得第三图像。
在一些实施例中,通过仅在三个有区别的窄的光谱带内提供光的一组LED进行照明。在获取第一图像、第二图像和第三图像(如果获取第三图像)期间,不同组合的LED是激活的。在第一和第二(并且可选地,第三)图像之中,获得对应于4个或以上有区别的光谱带的图像。
在一些实施例中,在本文中公开的系统和方法用于全视野载玻片多光谱扫描,其中使用彩色RGB相机获取第一扫描以获取对应于3个光谱带的图像,重新配置照明或成像光学器件,并且取得第二扫描以获取对应于3个光谱带的图像。组合第一和第二扫描的图像以形成具有对应于4个或以上的不同光谱带的图像的多光谱图像栈。
虽然对应于在第一扫描期间获取的3个光谱带的图像在它们之间被配准并且对应于在第二扫描期间获取的3个光谱带的图像在它们之间被配准,但是第一扫描中的图像可能相对于第二扫描中的图像不对齐,其由于扫描装置的机械限制,从而扫描台无法恰好返回到与第一次扫描中所使用的相同位置处。因此,每个扫描中的各个像素可能对应于在样本中的稍微不同的位置,使得两次扫描的图像未被完美的配准。
然而,两次扫描中的图像可以使用对应于共享带(例如,为两次扫描所共有的光谱带)的每个扫描中的图像来彼此配准。共享光谱带可以是在两次扫描中的相同的光谱带。替代地,共享光谱带可以是两次扫描中足够相似的,使得在对应于共享光谱带的图像中存在相同的结构,使得可以对图像进行相互配准。通过将第二扫描的图像与第一扫描的图像对齐或者反过来,获得具有对应于有区别的光谱带的4个或以上的图像(它们全部是完全地配准在一起的)的组合的多光谱图像栈。在多光谱图像栈中具有空间配准的图像在各种成像应用中是很重要的。例如,如果图像栈的层是在空间上良好配准的,则可以在没有由于不对齐而引起计算误差的情况下使用光谱去混合方法。
在一些实施例中,获得样本的两个图像或扫描,并且图像对应的一些单独的光谱带覆盖具有一半最大值为40nm或以下、30nm或以下或者甚至20nm或以下的完全宽度的相对窄的光谱范围。因此,结果图像可以包括4个或以上的光谱带,例如6个光谱带,或者结果扫描可以包括4个或以上的光谱图像,例如6个光谱图像,其中每一个对应于不同的、相对窄的光谱带。在一些实施例中,获得样本的三个扫描,并且组合的多光谱图像栈包括多达9个图像,其中每个对应于不同的光谱带。
使用大量的图像(每个对应于不同的光谱带)可以有利于经由光谱去混合来分析图像,因为其使得能够进行比提供较少的带的情况和/或光谱带覆盖诸如40nm或以上的波长的宽范围的情况更精确的测量。这是因为去混合通常使用光密度转换,从而取得使用能够对样本中的各种染色剂成分进行线性去混合的强度(或传送)值的对数。但是如果每个染色剂的吸收性跨越每个带是不均匀的,则针对给定样本成分(例如,染色剂)的对光密度的贡献集中地仅是线性的,这在使用对应于宽光谱带的图像的情况下可能是不真实的(如在RGB色彩成像中那样)。当关系不是线性时,光谱去混合能够产生不精确的结果。在本文中所公开的系统和方法通过获得对应于窄光谱带的图像来克服这些局限性。
在本文中公开的系统和方法的实施例可以提供很多优点。例如,与RGB色彩成像相比,所述方法和系统由于更大的数量、狭窄和/或对图像对应的光谱带的串扰隔离而对诸如光谱去混合这样的光谱分析提供增强的准确性。
作为另外的示例,与具有单色传感器和可调谐滤波器的多光谱成像系统相比,在本文中公开的系统和方法通过获得更少的图像(按照因子3)并且通过执行更少的滤波器配置步骤(按照因子3)来执行多光谱成像。
例如,与对样本的每个位置在多个设置之间循环光谱配置的全视野载玻片扫描系统相比,在机械运动和总体时间方面有显著减少。典型的样本可能获取将被成像的1,000个单个的视场,因此,使用可调谐滤波器和单色成像传感器获取6带多光谱图像涉及改变滤波器6,000次以及取得6,000个单独的图像。即使使用可以以200微秒来改变滤波器的高速机构,除了曝光、相机读出、聚焦、图像存储等所需的时间之外,仅滤波器循环就花费20分钟。
相比之下,在本文中所公开的系统和方法仅在样本成像期间对光学滤波器仅重新配置一次,其通常花费1秒以下。总体扫描时间仅为用于获得单个扫描的时间的两倍,其通常在5分钟以下,并且往往在2分钟以下。因此,在本文中公开的方法和系统在4-10分钟内或者更少的时间内获得样本的多光谱图像栈,就扫描速度和更少的机械操作而言得到提高(从而提高寿命和可靠性)。
在一些实施例中,扫描中的图像对应的三个带与包含在彩色RGB相机的蓝色、绿色和红色通道内的信号有关。在一些实施例中,从对应于4个或以上有区别的光谱带的图像呈现传统的彩色图像。特别是在存在对应于5个或以上(或者甚至更多)的光谱带的图像时,与RGB数字相机信号的输出相比,该彩色图像可以具有提高的色彩精确性。
在一些实施例中,共享带在电磁光谱的视觉部分的红色或绿色区域中。诸如苏木素这样的常见染色剂在这些区域中有吸收性。
在一些实施例中,除了配准不同扫描的图像之外,对应于共享光谱带的图像还可以被用于选取不同扫描中的焦点设置。替代地,或者另外地,可以在随后的扫描中重新使用来自第一扫描的焦点高度设置,因此,在每个扫描中将相同的结构带入焦点。
在一些实施例中,对应于每个扫描内的不同的光谱带的图像具有在它们之间的良好的像素配准。于是,使用从对应于共享光谱带的每个扫描中的图像得到的信息将在两个(或更多的)不同的扫描中的图像对齐。
在一些实施例中,多光谱图像栈被变换成光密度单位,然后去混合成成分图像。到光密度单位的变换提供定量的结果中的提高的数字精确性,因为样本中的多个成分对所测量的光谱图像的贡献被适当地线性组合为光密度单位。在一些实施例中,将得到的多光谱图像栈(例如,图像立方体)去混合成成分图像,然后对去混合的成分图像进行图像分析。
以下示例例示本发明的实施例。将Hamamatsu C7780-10Orca-3CCD相机附接到配备有20x ULSAPO物镜和钨-卤素电灯的Olympus BX53显微镜。在图1中被示为101的具有传送的滤波器(具有主光谱带104a、104b和104c)被放置在可以安装到显微镜的换镜旋座(nosepiece)中的UTAD滤波器固定器中。在图1中被示为102的具有传送的滤波器(具有主光谱带105a、105b和105c)被放置在另一个UTAD滤波器固定器中。使用双IHC染色方案,即使用对Her2可视化的二氨基联苯(DAB)、对Ki-67可视化的液体永固红(可从Dako Denmark,Glostrup,Denmark得到)和苏木素核染剂,来制备作为乳腺活组织检查块的4微米厚度切片的样本。用于该制备的技术在组织学领域中是已知的,并且针对IHC样本制备的有帮助的指南在“Multiple Immunoenzyme Staining:Methods and Visualizations for theObservation with Spectral Imaging”(J.Histochem Cytochem.56(4):313–328(2008))中提供,通过引用将其全部内容并入本文。
在一些实施例中,通过取得没有样本的空白显微镜载玻片的一个或多个图像,或者通过取得不存在组织材料的样本的空白区域的一个或多个图像,来获得白参考。参照图1,然后将具有光谱响应101的第一滤波器放置到显微镜中,并且获得图像。然后用具有光谱响应102的第二滤波器替换第一滤波器,并且获取第二图像。对于这两个图像,将相机的伽马值设置为1,并且禁用白点校正,或者将白点校正设置为手动。
如有可能,则记录来自相机内的传感器的原始信号。在很多RGB相机中,处理来自单个传感器或像素的原始信号级别以产生相机提供的RGB图像。典型地,该处理涉及将来自传感器的红色、绿色和蓝色信号级别乘以色彩校正矩阵(CCM)以获得输出图像色彩值。在可能的情况下禁用该处理并且获得来自单个传感器或像素的原始信号级别可能是有利的。例如,用于给定数字相机的命令集可以提供请求原始信号级别的方式。替代地,可能能够指定CCM,在该情况下,相机的色彩校正可以通过将CCM设置为3x3单位矩阵来有效地禁用。
如果无法获得来自相机的原始信号,则CCM将添加色彩通道之间的串扰。串扰可以通过以下描述的技术来补偿,但是一般优选为消除串扰源而不是然后校正它们的影响。
然后将通过滤波器101和滤波器102取得的图像组合成图像栈(例如,图像立方体)。组合图像可以包括将图像存储在单个计算机文件中、将图像彼此相邻地放置在计算机内的存储器中和/或将图像存储在被已知为彼此相关联的单独的计算机文件中。更一般地,可以使用多种方法来组合图像,假设它们被逻辑地分组在一起并且形成用于总体图像获取的白参考。
在载玻片上的不同位置处获取若干图像并且使用这些图像来产生不受可能存在于载玻片上的灰尘或微粒影响的白参考可能是有利的。考虑给定色彩通道和滤波器(101或102)的所有读取的总数,可以采用中值作为白参考,从而其不太可能对应于灰尘的测量。例如,如果使用滤波器101针对蓝色通道取得在给定像素处分别具有153、117和159的密度值的三个图像,则可以使用值153作为该通道和滤波器组合的在该像素位置处的白参考。
在样本的成像期间,一般将增益、曝光时间和灯亮度调整为产生与饱和度无关的强信号。一些相机针对每个色彩平面提供对这些参数的单独的调整,若如此,则可能能够平衡红色、绿色和蓝色通道中的信号。替代地,可以协调在所有带中产生近似相等的信号的照明光学器件中的色彩平衡滤波器。典型地,传感器的蓝色通道将具有最低的信号,主要是因为相比于蓝色,卤素灯光谱通常包含更多的绿色和红色信号。
如果相机读取在没有光时显著地不同于0,则其可以受益于记录暗参考。在该情况下获得的信号有时被称为暗信号,并且暗参考可以是指示跨越图像中的所有像素的平均暗信号的单个数量,或者其可以是基于逐个像素指示暗信号的图像。暗参考可以通过关闭照明光或者以其他方式防止光到达相机并且取得名义上暗的场景的图像来获得。如果暗信号将是逐个像素参考,则可以保留完整的图像。替代地,给定图像平面中的所有像素可以被平均以产生表示原始蓝色、绿色和红色通道中的每个中的暗信号的值的向量。如果对应于蓝色、绿色和红色通道的向量元素足够相似,则可以将单一值用于所有通道的所有像素。
然后如下那样对样本进行成像:将滤波器101安置在成像系统的换镜旋座中,然后调整物镜位置以将样本带入检测器上的焦点处。系统使用与通过该滤波器在取得白参考时使用的相同的相机设置和曝光来获取样本的图像。然后,移除滤波器101,安置滤波器102以对照明光进行滤波,并且使用与通过该滤波器在取得白参考时使用的相同的相机设置和曝光来获取样本的第二图像。然后组合两个样本图像以形成样本的图像栈。以上公开的步骤在图3的流程中示意性地示出。
优选地,如下那样对图像栈进行预处理。首先,针对样本图像栈的暗信号,如果存在暗参考,则通过从栈内的每个平面(例如,图像)中减去暗信号来校正样本图像栈。然后,将图像栈变换成缩放传送值(scaled transmission value)。这通常通过在白参考信号针对其暗信号对其自身进行校正之后,按照给定像素处的白参考信号来划分在该像素处的信号,然后将结果乘以预定义的实比(full-scale)值来完成。将图像栈转换成缩放传送值根据下式进行:
其中:b表示带(其表示特定的色彩带和滤波器组合);x和y表示图像栈中的像素位置;T、S和White是表示缩放传送图像栈、所测量的相机信号和白参考的图像立方体;Dark是表示暗参考的图像立方体、向量或标度值;以及FS是实比值。
在一些实施例中,T被表示为单一数据字节,在该情况下FS通常被选取为在范围230-250中以平衡对一方面通过量化并且另一方面通过饱和而损失的信息的关系。替代地,T可以被表示为浮点值,在该情况上,FS可以是单位值,或者T可以是16位整数,在该情况下,可应用更大的值的FS。另外,FS可以根据当前任务和诸如图像大小和用于存储图像数据的可用存储器这样的因素而表示为一些其他数据对象。虽然T表示传送空间中的样本的图像,但是优选地,还可以想到其作为亮度测量,其中没有吸收的空白样本在所有通道中的亮度为FS,并且不透明的样本的亮度为0。
得到的图像栈T包含对应于具有相机响应的主带104a、105a、104b、105b、104c和105c的产物的六个光谱带中的样本的测量(例如图像)。因此,其是用于光谱分析和图像分析的丰富数据集,对此将在下面讨论。
在该示例中,RGB相机中的单个色彩通道具有如图7所示的响应,其中蓝色通道响应被标记为701,绿色通道响应被标记为702并且红色通道响应被标记为703。这些是相对良好分隔的,并且它们仅在接近490nm和580nm的过渡区中重叠。换句话说,相机的红色通道针对低于550nm的范围内的波长具有很少或者没有响应,其中绿色和蓝色通道具有它们的主响应;绿色通道在低于490nm或高于580nm的范围之外的波长具有很少响应,其中蓝色和红色通道具有它们的主响应;并且蓝色通道具有高于500nm的很小的响应,其中绿色和红色通道具有它们的主响应。这意味着在存在滤波器101的情况下获得的红色图像S中的信号级别几乎完全对应于带104c中的信号,以此类推。色彩通道之间的这种隔离简化了数据处理,并且降低了噪声。
然而,并非所有相机者具有这种程度的隔离,并且对于使用彩色马赛克图案的相机,相机的色彩通道之间的串扰往往更高。就在通道之间存在串扰而言,优选降低或消除它。
在一些实施例中,使用不同的成像组件。例如,可以将上述的Hamamatsu Orca相机替换为基于Sony ICX-285色彩传感器的Lumenera LW-1160彩色相机。该传感器采用彩色马赛克图案,并且其各个色彩通道具有如图8所示的响应,其中蓝色通道响应被标记为801,绿色通道响应被标记为802并且红色通道响应被标记为803。可以使用不同的预处理技术来校正该RGB相机中的色彩通道之间的串扰。
为了理解预处理技术,分析每个信号图像Sx,y,b中的信号能量的组成是有帮助的。相机通过滤波器101或滤波器102观看样本(或空白载玻片参考)。因此,每个色彩通道中的信号级别通过组合滤波器传送以及该通道中的传感器响应来产生。在数学上,系统响应是每个波长的滤波器传送和相机响应的乘积。
蓝色通道的总体响应在图9A中被示为滤波器101的响应率901,并且在图9B中被示出滤波器102的响应率911。绿色通道的总体响应在图9A中被示为滤波器101的响应率902,并且在图9B中被示出滤波器102的响应率912。红色通道的总体响应在图9A中被示为滤波器101的响应率903,并且在图9B中被示出滤波器102的响应率913。响应率曲线示出通道之间的大量串扰。因此,如果样本吸收了所有的红色光,则在使用滤波器101或102时,在与红色通道相关联的带b的Sx,y,b中将仍然存在大量的信号。
在定量成像系统中能够精确地对所涉及的波长范围分配能量以便获得对透射和光学吸收的精确测量将是价值的。这可以通过确定并校正通道之间的实际串扰来实现。为了做到这一点,需要在存在诸如滤波器101或滤波器102这样的给定滤波器时估计传送带u和信号通道v之间的耦合矩阵CT。
可以通过在沿着仅透射光谱带104a中的光的选择滤波器的光束中放置滤波器102,记录Sx,y,b中的信号强度,然后关于透射仅在光谱带104b中的光的不同的选择滤波器进行重复,并且再次关于透射仅在光谱带104c中的光的不同的选择滤波器进行重复,能够对串扰制表。典型地,使用与在测量样本和白参考中所采用的相同的曝光、增益和其他设置对作为样本的空白载玻片进行该过程。
关于该示例,通过创建3x3矩阵对串扰值制表,其中由滤波器104a引起的信号在第一列中,由滤波器104b引起的信号在第二列中,由滤波器104c引起的信号在第三列中。行分别对应于蓝色、绿色和红色传感器中的集成的信号级别:
然后,对滤波器102执行相同的处理,其中一次选择一个光谱带。具有由105a、105b和105c示出的响应的滤波器的等效的串扰矩阵是:
然后,对每个滤波器的CT矩阵求逆以求解在相机具有完美通道隔离的情况下的所测量的信号:
Scorr x,y,b=CT-1Sx,y,b [4]
等式(4)使用线性代数标记法表示对信号的线性变换,并且其粗略地相似于在将传感器信号Sx,y,b变换成传统RGB成像中的R、G和B色彩值时所应用的变换。然而,其至少在两个重要的方面有所不同。首先,在该情况下的结果Scorr不是被映射到所选取的色彩空间的场景的图像。替代地,其为在光到达相机时由具有响应101或102的滤波器所定义的三个窄带中的每一个中的信号强度。在相机自身内引起的串扰已经被显著降低或者完全去除。
第二,如果带104a、104b和104c相对较窄,具有40nm或以下或者甚至20nm或以下的FWHM,则每个带几乎是单色的。这与在传统的RGB成像中所使用的光谱带相反,并且具有一些优点。首先,因为光谱带很窄,并且在明视场中所使用的多数生物学染色剂的吸收光谱A(λ)并不随着波长而快速地变换,所以所测量的信号跨越任何一个光谱带几乎是相同的。另外,如在图9A和9B中所看到的那样,在任何给定带104a-c或105a-c内的检测器响应的变化与在图8中示出的给定色彩通道的完全宽度上出现的变化相比很小。综上所述,这意味着通过等式(4)所应用的校正通常是有效的,并且串扰校正实际上是样本无关的。对窄的光谱带使用等式(4)使得能够估计带104a-104c和105a-105c中的信号强度的Scorr,其比原始信号S精确得多。反过来,这使得能够更精确地计算吸收,并且更精确地进行光谱去混合。
虽然上述用于串扰降低的技术呈现为涉及如何可以组合多个图像(或扫描)以产生样本的多光谱图像的更大的讨论的一部分,但是获得较窄带图像并且使用串扰校正矩阵产生对明视场成像中的信号强度的估计对于其他应用也是有用的。这些技术在本文中单独地使用以获得改进的定量结要,或者用于与诸如光密度计算、光谱去混合和图像分析这样的其他步骤相组合。
虽然先前的示例不包括使用串扰校正矩阵,但是能够这样做,并且使用Scorr来代替等式(1)中的S。是否这样做的决定可以基于诸如针对给定任务的所期望的精确性、相机的性能、滤波器的传送、正在被分析的样本的属性以及进行另外的测量和执行所涉及的计算步骤的可行性这样的因素来做出。
一般地,使用具有小串扰的相机是可取的,意味着串扰矩阵中的对角线外的项与对角线项相比很小。然而,使用等式(4)提高精确性,特别是当滤波器响应101或102针对各个峰104a-104c和105a-105c产生相对窄的光谱通带时。
在一些实施例中,使用3个滤波器。例如,可以使用具有图2中的传送响应201(具有主光谱带204a、204b和204c)、202(具有主光谱带205a、205b和205c)和203(具有主光谱带206a、206b和206c)的滤波器。在该示例中,取得总共3个样本图像,并且组合图像以形成对应于9个光谱带的光谱立方体。串扰校正(如果执行)使用描述跨越相机的色彩通道的带205a-205c的串扰的3个串扰矩阵。
在一些实施例中,手动地交换滤波器。在一些实施例,可以使用诸如滤光轮这样的机构来改变滤波器。这可以位于相机和样本之间的成像路径中。例如,如果显微镜具有epi滤波器的电动选择的荧光光学器件,则可以将滤波器放置在epi滤波器机构中的由放射(屏障)滤波器正常使用的位置处。不需要存在双色或激励滤波器。
当滤波器位于成像路径中时,使用所谓的“0移位”滤波器是有益的,为此,光学滤波器引入非常小的楔(wedge)或图像移位,确保用一个滤波器适当地取得的图像与用另外的滤波器取得的那些图像之间的良好配准。替代地,或者另外地,通过在本文中所描述的共享带将图像彼此配准。
在一些实施例中,滤波器可以位于光源和样本之间的照明路径中。这有如下益处:由替换滤波器引入的任何图像移位不会引起图像与另一个图像的错配准(mis-register)。另外,在很多显微镜中,用于在照明路径中的机械和光学集成的选项比在成像路径中的更多。例如,滤波器可以在灯壳体中,或者在纤维光学光导(如果存在一个)的任何一个末端处,或者在聚光器透镜的附近。
在一些实施例中,可以使用多组LED来产生具有所期望的光谱属性的照明光,而不是使用光学路径中的各种滤波器。例如,每组LED可以在三个有区别的窄带(与图1或图2中示出的带相似)中产生光。在这样的布置中,首先用具有蓝色、绿色和红色带的一组LED对样本成像,然后用具有蓝色、绿色和红色带的第二组LED对样本成像。具有附加组LED的进一步图像是可能的。可选地,校正被串扰,然后组合信号以形成具有4个或以上(并且更典型地,6个或以上)的带的图像立方体。
在本文中公开的方法和系统的重要的优点是相关联的时间效率和多光谱带的同时获取使得能够使用高速数字载玻片扫描器来产生多光谱图像立方体。对载玻片而不是显微镜使用在本文中描述的技术,可以用光学路径中的第一滤波器101扫描载玻片的整个表面,然后用光学路径中的第二滤波器102对其进行扫描,以获得6个相对窄的光谱带的诸如组织切片、血液相关的样本或者细胞涂片这样的生物学样本的多光谱图像。
虽然每个扫描内的蓝色、绿色和红色带将彼此良好地对齐,但是两个扫描将通常彼此不对齐,因为扫描装置通常不能够完美地重复。如果直接组合扫描,则得到的图像栈中的给定像素的内容将不对应样本中的相同物理位置,导致模糊、关于精细结构的细节的丢失以及在对图像进行诸如光谱去混合这样的分析的情况下的精确性的损失。
为了解决这种不对齐,在本文中描述的系统和方法允许基于每个扫描中的对应于共享光谱带(其中相同的结构将存在于这两个图像中)的图像将两个扫描中的图像彼此配准。通过使用共享带,可以将两个图像带入最佳的配准。然后将产生两个共享带图像(例如在绿色通道中)之间的最佳对齐的相同移位或图像变换应用于所有通道,之后可以将两个扫描中的图像组合成图像栈。得到的图像栈将没有不对齐,因此保留精细的图像细节,并且可以在没有精确性损失的情况下进行光谱分析。
对将用作共享带的光谱带的选取取决于样本以及如何制备它。对于很多明视场样本,使用苏木素作为复染剂。因为其吸收跨越500-650nm的范围,所以苏木素呈现绿色和红色带中的对比。因此,与绿色通道相关联的带(诸如104b和105b)或者红色通道(诸如104c和105c)可以被用作共享带。当存在伊红时,可以优选诸如104b和105b这样的绿色带,因为该染色剂在绿色中具有高对比。更一般地,选取共享带,使得在对应于共享带的两个图像中存在相同的结构,使得获得良好的图像配准。
执行图像配准的一种方法是取得来自第一扫描的共享带图像作为参考,并且找出到其的来自第二扫描的共享带图像的最佳变换,然后在将它们进行变换之后使用来自第二扫描的图像组装图像栈。另一种方法涉及替代地使用第二扫描的共享带图像作为参考,并且变换第一扫描的图像。可以在完成所有扫描之后或者在扫描正在进行的同时执行变换。
在一些实施例中,变换是Cartesian平移,其校正第一扫描和随后的扫描之间的位置的移位。在一些实施例中,变换也可以校正旋转,其在样本和检测器的相对朝向可能在扫描之间变化的情况下是有价值的。更一般地,可以使用包括平移、旋转、放大以及图像扭曲的任何变换来校正扫描之间的仪器变化。关于使用什么变换的决定可以基于样本和成像系统来做出。
在一些实施例中,进行移位以校正X和Y位置的偏移是足够的。该情况下,评估最佳偏移的一种方式是在所获取的不同扫描中的共享带图像之间进行互相关,并且比较相关的程度作为X和Y偏移的函数。如果将共享带图像标记为SB1和SB2,则可以将互相关XC计算为:
其中,i和j是x和y索引,并且共享带图像的维度是w个像素乘以h个像素。使用对应于最大互相关的偏移(dx,dy),并且变换涉及按照(dx,dy)来平移图像SB2。
在一些实施例中,仅在足够大以校正相继的扫描之间的预期的图像移位的δx和δy的范围上估计校正。这可以降低标识(dx,dy)所需的计算负担,并且其防止在互相关中选取远的、假的最大值。
可以为所获取的每个单一图像找到最佳变换,并且可以通过其特定变换来变换每个图像。替代地,可以针对扫描中的一个图像仅一次地找到变换,然后使用相同的变换对整个扫描进行变换。作为另外的替代,可以在图像中的若干位置(诸如针对网格中的所有域)找到变换,并且各个图像可以使用基于它们的位置的变换、确定最佳变换的位置以及那些变换来进行变换。对使用哪种方法的选取可以基于扫描器的属性以及给定的变换是在整个扫描还是区域还是仅一个图像上可用来做出。在图4的流程图中示意性地示出前述步骤。
当相邻的图像按照不同的量移位时,在应用变换之后的相邻的图像之间可能有重叠或空隙。因此,可能有两个值或者没有值可用于分配给变换图像中的一些位置。在有两个值可用的情况下,可以忽略一个值,或者可以使用平均值。在没有值可用时(例如,对于空隙)的情况下,在一些实施例中,相机获取比正常使用的区域稍微更大的区域,以便对相邻的图像的缝合提供小的周界区域。如果周界区域中的额外像素在完成变换时可用,则这些像素可以用于提供空隙中的适当的值。替代地,可以使用插值,因为间隙通常很小。作为另外的替代,可以将空隙标记为不可用于下游的处理步骤。
当根据信号S和白参考(并且可选地,暗参考)参考获得传送T时,可以将光密度(OD)计算为:
ODx,y,b=log10(Tx,y,b) [6a]
或者
ODx,y,b=ln(Tx,y,b) [6b]
虽然传统地使用log10来计算OD,但是替代地,在对基数的选取仅按照常量缩放结果时,也能够使用在等式(6b)中所示的自然对数。
然后,对图像或图像栈进行光谱去混合以产生成分图像,每个成分图像对应于来自于存在于样本中的各种染色剂和色原体中的实际仅一个的贡献。用于执行光谱去混合的软件包括可从PerkinElmer(Waltham,MA)得到的Nuance和inForm包、可从Exelis(Boulder,CO)得到的ENVI包。用于进行光谱去混合的其他方面、特征、方法和系统例如在第8,280,140号美国专利中公开,通过引用将其全部内容并入本文。
在上述示例中,制备三个另外的连续组织切片用于光谱库开发的目的,其(分别)只应用苏木素、只应用DAB以及只应用液体永固红。例示每个染色剂的代表区域使用在本文中描述的方法成像,并且从经OD转换的图像立方体的像素提取每个染色剂的光谱。这些光谱形成光谱库或者端元(end-member)用于进行光谱去混合成为成分图像。
光谱去混合的结果是一组成分图像,其中每个指示存在于样本中的各种染色剂(例如,成分)之一的位置和量。成分图像是用于包括表达测量、协同定位、正性分析以及涉及这些量的生物标志指标的评估(癌症预后、病人分类等)或者对被染色的组织的任何定量测量的各种类型的图像分析的丰富数据集。
成分图像适用于使用各种方法进行图像分析和对象分类。用于进行图像分析和分类的系统和方法是例如在美国专利7,155,555和8,280,140中描述的技术,通过引用将其每一个的全部内容并入本文。因此,在本文中公开的方法可以包括如上所述地获取图像并对它们进行处理,图像预处理并去混合成成分图像,进行对象分类以找到组织结构、细胞或亚细胞小室以及通过评估去混合的成分中的信号级别来测量蛋白质表达。在图5和图6的流程图中示意性地示出前述步骤。
由在本文中公开的系统和方法提供的提高的精确性得到对各个染色剂的更精确的测量。其还意味着空间协同定位的染色剂可以被更可靠地检测或测量。例如,可以组合地使用棕色和红色染色剂,即使在它们表现在重叠或相同的生物结构中也是如此。另外,因为系统和方法可以产生具有4个或以上的带或者5个或以上的带或者6个或以上的带的明视场多光谱图像立方体,所以其能够对样本进行光谱去混合,成为N个种类,其中N>3。因此,在本文中公开的系统和方法在通过单一IHC种类制备的样本进行量化时提供提高的精确性,对用两个IHC种类制备的样本提供更可靠和更精确的测量,并且提供对N>3个种类(诸如三个IHC种类和复染剂)的测量。涉及一个或多个IHC种类与另外的IHC种类或者复染剂的协同定位的测量特别受在本文中公开的方法和系统影响。
所生成的图像栈或图像立方体通常包括若干相对窄的带处的信号。然而,往往想要高逼真度的彩色图像以及(或者替代)上述的定量结果。可以按照如下那样根据窄带信号值产生彩色图像。
总体色彩呈现处理计算样本在被某个光源(其不需要是存在于显微镜中的实际光源)照明时的外观。往往期望用日光匹配灯(D65)来模拟显微镜中的样本的外观,虽然显微镜或扫描器中的灯可能实际上具有另外的(可能未知的)色彩温度。首先,将一些比色值制成表格,即监视器的比色响应MON、色彩原色的枪击强度(gun strength of the colorprimaries)GS、期望光源的光谱响应ILL、以及观看者的响应的比色模型SO。例如可以使用CIE 1931标准观察器作为SO,使用CIE D65发光体作为ILL,使用NTSC原色的染色性作为MON,并且当所有原色具有相同强度时使用所选取的GS矩阵来产生监视器上的D65白点。光谱表全部使用10nm分辨率,列按照B、G、R排序,染色性的行按照z、y、x排序。
作为交叉检查,可以确认每个通道(B、G、R)中的相等强度信号的监视器输出匹配CILL,即发光体的预期色度:
根据这些,计算出各种推导量。QFAWILL,即与每个波长相关联的、将预伽马贡献与监视器处的RGB相关的矩阵计算如下:
QPAWILL=(MON*GS)-1*SO*diag(ILL) [9]
其中,diag(A)指示值沿着对角线为值A并且在其他地方为0的方阵。
由此,构造仅保留最接近于存在于图像立方体中的带的中央波长的那些列。
接下来,计算白点WPACT作为QFAWILLACT的逐行总和:
并且按照所期望的白点对WPACT的比率来缩放QFAWILL以获得WEIGHTS:
WEIGHTS=QFAWILLACT*diag(CILL)*(diag(WPACT))-1 [11]
最后,可以将图像立方体T中的给定像素处的色彩图像值计算为:
BGR=(WEIGHTS*Txy)1/γ [12]
其中,Txy是被表示为列向量的传送空间中的信号值的集合,γ是用于图像渲染的伽马值(诸如1.8);并且BGR是与所渲染的图像中的该像素相关联的蓝色、绿色和红色值。
该技术具有如下益处:获得高质量的彩色图像,不需要获取另外的RGB图像(或扫描),并且对于色度空间,色彩渲染是可预测的并且是可跟踪的,而不依赖于相机的响应率或灯色彩温度的细节。因此,如果白参考是有效的并且带的波长是正确的,则其是可重复的。该技术仅对落入诸如104a-c或105a-c这样的带之一内的总体光谱的一部分进行采样。因此,就好像通过仅存在于这些带中的发光体观看图像一样,并且显色指数因此而降低。然而,对于多数明视场样本和染色剂,总体图像质量仍然很高。
图10是示出获取样本的多个光谱分辨图像的系统100的示意图。光源1020向光调节光学器件1040提供光1220。光1220可以是不相干光,例如诸如从灯丝源生成的光,或者光1220可以是相干光,诸如由激光器生成的光。光1220可以是连续波(CW)或时间选通(即,脉冲)的光。另外,光1220可以以电磁谱的所选择的部分来提供。例如,光1220可以具有中心波长和/或落入在紫外、可见、红外或光谱的其他区域内的波长分布。
光调节光学器件1040可以被配置为以很多方式来变换光1220。例如,光调节光学器件1040可以对光1220进行光谱滤波(例如,使用epi滤波器)以提供光谱的所选择的波长区域中的输出光。替代地,或者另外地,光调节光学器件可以调节光1220的空间分布以及光1220的时间属性。通过光调节光学器件1040的元件的动作从光1220生成入射光1240。
入射光1240被指引成入射到安装在照明台1060上的样本1080上。台1060可以提供保护样本1080的部件,诸如安装夹或其他紧固器件。替代地,台1060可以包括固定有多个样本1080的移动轨道或传送带。驱动器机构可以被配置为移动轨道以便一次一个地接连地平移多个样本通过台1060上的照明区域,使入射光1240射到其上。台1060还可以包括平移轴和用于相对于照明台1060的固定位置平移样本1080的机构。平移机构可以手动地操作(例如,螺杆),或者可以经由电子制动(例如,电动驱动器、压电制动器)自动地移动。
响应于入射光1240,放射光1260从样本1080射出。通常,入射光1240可能被样本1080吸收,并且放射光1260对应于透射通过样本1080的入射光1240的部分(例如,未被样本1080吸收的入射光1240的部分)。
在很多实施例中,样本1080是生物学样本,诸如组织切片(例如,用于病理学的样本或者如在细胞学研究中的细胞悬浮液或涂片)或者组织培养中的活的或固定细胞。样本1080通常放置在由台1060固定的载玻片上。
安置光收集光学器件1100以接收来自样本1080的放射光1260。光收集光学器件1100可以被配置为例如在光1260偏离时校准放射光1260。光收集光学器件1100还可以被配置为对放射光1260进行光谱滤波。滤波操作例如用于将经由上述的机构之一引发的放射光1260的一部分与经由其他处理引发的光分离。光收集光学器件1100将放射光1260变换成入射到检测器1120上的输出光1280。
检测器1120包括被配置为检测输出光1280的诸如CCD和/或CMOS传感器这样的一个或多个元件。检测器1120生成对应于输出光1280的电子信号,并且经由电子通信线1300传送给电子控制系统1140。
电子控制系统1140包括处理器1160、显示设备1180和用户界面1200。除了接收对应于由检测器1120检测到的输出光1280的信号之外,控制系统1140还将电子信号发送给检测器1120以调节检测器1120的各种属性。例如,如果检测器1120包括CCD传感器,则控制系统1140可以将电子信号发送给检测器1120以控制CCD传感器的曝光时间、活动区、增益设置和其他属性。
电子控制系统1140还分别经由电子通信线1320、1340、1360和1380与光源1020、光调节光学器件1040、照明台1060和光收集光学器件1100进行通信。控制系统1140将电子信号提供给系统1000中的这些元件的每一个以调节元件的各种属性。例如,提供给光源1020的电子信号可以被用于调节光1220的强度、波长、重复率或其他属性。提供给光调节光学器件1040和光收集光学器件1100的信号可以包括例如用于配置调节光的空间属性的设备(例如,空间光调制器)的属性以及用于配置光谱滤波设备的信号。提供给照明台1060的信号可以用于例如相对于台1060来定位样本1080和/或将样本移动到台1060上用于照明的位置处。
控制系统1140包括用于显示系统属性和参数以及用于显示样本1080的所捕捉的图像的用户界面1200。提供用户界面200以便于操作者与系统1000进行交互以及控制系统1000。处理器1160包括用于存储使用检测器1120捕捉的图像数据的存储设备,并且还包括对处理器1160实施使处理器1160执行控制功能(例如,诸如上述的那些)的指令的计算机软件。另外,软件指令使处理器1160数学地处理由检测器1120所捕捉的图像以及执行分析样本图像、对样本图像去混合以及对去混合的图像进行分类的步骤。
在很多实施例中,系统1000被配置为获取样本1080的多个光谱图像。光调节光学器件1040和/或光收集光学器件1100中的光谱滤波元件一般用于获得光谱分辨数据。
在一些实施例中,光调节光学器件1040包括滤光轮(filter wheel)这样的可调节的光谱滤波器元件。一般地,光调节光学器件1040和光收集光学器件1100两者包括可配置的光谱滤波器元件。因此,可以在样本1080的照明侧(例如,经由光调节光学器件1040)或者样本1080的成像侧(例如,经由光收集光学器件110)或者两者提供光谱分辨率。
硬件和软件
结合用于收集、处理、分析、解释和显示来自样本的信息的各种方法在上面描述的步骤可以实现为使用标准的编程技术的计算机程序。这样的程序被设计为在可编程的计算机上或者专门设计的集成电路上执行,可编程的计算机和专门设计的集成电路中的每一个都包含电子处理器(例如处理器1160)、数据存储系统(包括存储器和/或存储元件)、至少一个输入设备和至少一个输出设备(诸如显示器或打印机)。对输入数据(例如来自检测器的图像)应用程序代码以执行在本文中所述的功能,并且生成施加给一个或多个输出设备的输出信息(例如,示出样本的分类区域的图像、关于样本成分的统计信息等)。每个这样的计算机程序可以以高级过程式或面向对象的编程语言来实现,或者可以以汇编或机器语言来实现。另外,语言可以是编译型或解释型语言。每个这样的计算机程序可以存储在计算机可读取存储介质(例如,CD ROM或磁盘)上,当由计算机读取时可以使计算机中的处理器执行在本文中所描述的分析和控制功能。一般地,电子处理器1160通过软件指令来配置,以执行在本文中所描述的任何方法步骤、分析功能、控制功能和图像处理步骤。
其他实施例
虽然为了解释的目的提供了示例,但是可以进行组合、替换和变型以适合手头的目标、装置和样本,而不脱离本公开的精神,并且旨在本公开的范围仅由所附的权利要求来限定。
Claims (20)
1.一种多光谱成像方法,包含:
获得样本的第一图像,其中第一图像对应于以第一多个有区别的光谱带透射通过样本的光;
获得样本的第二图像,其中第二图像对应于以第二多个有区别的光谱带透射通过样本的光,并且第二多个光谱带中的至少一些成员与第一多个光谱带中的成员不同;以及
使用电子处理器组合第一和第二图像以形成多光谱图像栈,其中图像栈中的每个像素包括对应于至少四个有区别的光谱带的信息,并且其中至少四个有区别的光谱带包括来自第一多个光谱带的至少一个成员以及来自第二多个光谱带的至少一个成员。
2.根据权利要求1所述的方法,其中图像栈中的每个像素包括对应于至少五个有区别的光谱带的信息。
3.根据权利要求1所述的方法,其中图像栈中的每个像素包括对应于至少六个有区别的光谱带的信息。
4.根据权利要求1所述的方法,其中第一多个有区别的光谱带包括具有一半最大值为40nm或以下的完全宽度的电磁光谱的绿色区域中的光谱带。
5.根据权利要求4所述的方法,其中绿色区域中的光谱带具有一半最大值为30nm或以下的完全宽度。
6.根据权利要求2所述的方法,还包含使用电子处理器对图像栈去混合以获得一个或多个成分图像,其中每个成分图像仅充分地对应于来自样本中的一个光谱贡献者的贡献。
7.根据权利要求6所述的方法,还包含使用电子处理器在对图像栈去混合之前将对应于图像栈中的每个像素的光强值转换为光强单位。
8.根据权利要求6所述的方法,还包含使用电子处理器基于一个或多个成分图像来分析样本以确定样本内的特征的位置。
9.根据权利要求1所述的方法,还包含使用载玻片扫描器来获得第一和第二图像。
10.根据权利要求9所述的方法,其中第一多个光谱带和第二多个光谱带的每个包括共享光谱带,所述方法还包含使用电子处理器在形成图像栈之前基于来自对应于共享光谱带的第一和第二图像的信息来对齐第一和第二图像。
11.一种多光谱成像系统,包含:
光源,被配置为照明样本;
检测器,被配置为获得样本的一个或多个图像;以及
电子处理器,耦接到检测器并且被配置为:
获得样本的第一图像,其中第一图像对应于以第一多个有区别的光谱带透射通过样本的光;
获得样本的第二图像,其中第二图像对应于以第二多个有区别的光谱带透射通过样本的光,并且第二多个光谱带中的至少一些成员与第一多个光谱带中的成员不同;以及
组合第一和第二图像以形成多光谱图像栈,其中图像栈中的每个像素包括对应于至少四个有区别的光谱带的信息,并且其中至少四个有区别的光谱带包括来自第一多个光谱带的至少一个成员以及来自第二多个光谱带的至少一个成员。
12.根据权利要求11所述的系统,其中图像栈中的每个像素包括对应于至少五个有区别的光谱带的信息。
13.根据权利要求11所述的系统,其中图像栈中的每个像素包括对应于至少六个有区别的光谱带的信息。
14.根据权利要求11所述的系统,其中第一多个有区别的光谱带包括具有一半最大值为40nm或以下的完全宽度的电磁光谱的绿色区域中的光谱带。
15.根据权利要求14所述的系统,其中绿色区域中的光谱带具有一半最大值为30nm或以下的完全宽度。
16.根据权利要求12所述的系统,其中电子处理器还被配置为对图像栈去混合以获得一个或多个成分图像,其中每个成分图像仅充分地对应于来自样本中的一个光谱贡献者的贡献。
17.根据权利要求16所述的系统,其中电子处理器还被配置为在对图像栈去混合之前将对应于图像栈中的每个像素的光强值转换为光强单位。
18.根据权利要求16所述的系统,其中电子处理器还被配置为基于一个或多个成分图像来分析样本以确定样本内的特征的位置。
19.根据权利要求11所述的系统,还包含载玻片扫描器,所述载玻片扫描器包含光源和检测器。
20.根据权利要求19所述的系统,其中第一多个光谱带和第二多个光谱带的每个包括共享光谱带,并且电子处理器还被配置为在形成图像栈之前基于来自对应于共享光谱带的第一和第二图像的信息来对齐第一和第二图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361751194P | 2013-01-10 | 2013-01-10 | |
US61/751,194 | 2013-01-10 | ||
PCT/US2014/010483 WO2014110027A1 (en) | 2013-01-10 | 2014-01-07 | Multispectral imaging system and methods |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105102945A CN105102945A (zh) | 2015-11-25 |
CN105102945B true CN105102945B (zh) | 2018-07-10 |
Family
ID=50001314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480012433.7A Active CN105102945B (zh) | 2013-01-10 | 2014-01-07 | 多光谱成像系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10964001B2 (zh) |
EP (1) | EP2943761B1 (zh) |
CN (1) | CN105102945B (zh) |
WO (1) | WO2014110027A1 (zh) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201106254D0 (en) | 2011-04-13 | 2011-05-25 | Frisen Jonas | Method and product |
US11021737B2 (en) | 2011-12-22 | 2021-06-01 | President And Fellows Of Harvard College | Compositions and methods for analyte detection |
EP3901280A1 (en) | 2012-10-17 | 2021-10-27 | Spatial Transcriptomics AB | Methods and product for optimising localised or spatial detection of gene expression in a tissue sample |
CA2896197C (en) | 2013-01-31 | 2019-10-15 | Karl Garsha | Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays |
EP4234716A3 (en) | 2013-06-25 | 2023-12-06 | Prognosys Biosciences, Inc. | Methods for determining spatial patterns of biological targets in a sample |
WO2015124772A1 (en) * | 2014-02-21 | 2015-08-27 | Ventana Medical Systems, Inc. | Group sparsity model for image unmixing |
US11304604B2 (en) | 2014-10-29 | 2022-04-19 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
US9576216B2 (en) | 2014-11-07 | 2017-02-21 | The Boeing Company | Hyperspectral resolution using three-color camera |
CA2982146A1 (en) | 2015-04-10 | 2016-10-13 | Spatial Transcriptomics Ab | Spatially distinguished, multiplex nucleic acid analysis of biological specimens |
DE102015004888B4 (de) * | 2015-04-16 | 2016-11-10 | Diehl Aerospace Gmbh | Verfahren und Vorrichtung zum Erzeugen von Farb-Leuchtdichte-Bildern einer Leuchte |
US10288557B2 (en) * | 2015-12-18 | 2019-05-14 | Abbott Laboratories | Spectral differentiation of histological stains |
US11650197B2 (en) * | 2016-01-28 | 2023-05-16 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus adapted to quantify a specimen from multiple lateral views |
US10928310B2 (en) | 2016-01-28 | 2021-02-23 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for imaging a specimen container and/or specimen using multiple exposures |
CN114419114A (zh) | 2016-04-20 | 2022-04-29 | 徕卡生物系统成像股份有限公司 | 用于数字病理学色彩校准的系统和方法 |
CN116200465A (zh) | 2016-04-25 | 2023-06-02 | 哈佛学院董事及会员团体 | 用于原位分子检测的杂交链反应方法 |
CA3025687C (fr) | 2016-05-30 | 2023-10-03 | Silios Technologies | Procede de limitation de la diaphonie dans un capteur d'imagerie |
WO2017222453A1 (en) | 2016-06-21 | 2017-12-28 | Hauling Thomas | Nucleic acid sequencing |
US10989653B2 (en) * | 2016-06-27 | 2021-04-27 | Omri WARSHAVSKI | Color imaging by discrete narrow-band synchronized illumination |
IL265205B (en) * | 2016-09-06 | 2022-08-01 | B G Negev Technologies And Applications Ltd At Ben Gurion Univ | Extracting hyperspectral information from an image |
DE102016125524A1 (de) | 2016-12-22 | 2018-06-28 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Elektronisches Mikroskop |
CN110573066A (zh) | 2017-03-02 | 2019-12-13 | 光谱Md公司 | 用于多光谱截肢部位分析的机器学习系统和技术 |
WO2018231982A1 (en) * | 2017-06-13 | 2018-12-20 | X-Rite, Incorporated | Hyperspectral imaging spectrophotometer and system |
CA3078158A1 (en) | 2017-10-06 | 2019-04-11 | Cartana Ab | Rna templated ligation |
CN112384787A (zh) | 2018-05-03 | 2021-02-19 | 阿科亚生物科学股份有限公司 | 多光谱样本成像 |
JP7177917B2 (ja) * | 2018-09-20 | 2022-11-24 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 視覚化分析装置および視覚的学習方法 |
US10783632B2 (en) | 2018-12-14 | 2020-09-22 | Spectral Md, Inc. | Machine learning systems and method for assessment, healing prediction, and treatment of wounds |
EP3893733A4 (en) | 2018-12-14 | 2022-10-12 | Spectral MD, Inc. | MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT |
US10740884B2 (en) | 2018-12-14 | 2020-08-11 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
KR20210099126A (ko) | 2018-12-14 | 2021-08-11 | 스펙트랄 엠디, 인크. | 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법 |
CA3139791A1 (en) | 2019-05-31 | 2020-12-03 | 10X Genomics, Inc. | Method of detecting target nucleic acid molecules |
US12071667B2 (en) | 2020-11-04 | 2024-08-27 | 10X Genomics, Inc. | Sequence analysis using meta-stable nucleic acid molecules |
US20220172355A1 (en) * | 2020-12-02 | 2022-06-02 | Mayo Foundation For Medical Education And Research | Cytological analysis of nuclear neat-1 expression for detection of cholangiocarcinoma |
US12060603B2 (en) | 2021-01-19 | 2024-08-13 | 10X Genomics, Inc. | Methods for internally controlled in situ assays using padlock probes |
DE102021118559A1 (de) * | 2021-07-19 | 2023-01-19 | Senorics Gmbh | Verfahren und System zur Analyse einer Probe anhand von Daten |
CN113554578B (zh) * | 2021-07-23 | 2024-05-31 | 奥比中光科技集团股份有限公司 | 一种光谱图像的确定方法、装置、终端和存储介质 |
KR20230053417A (ko) * | 2021-10-14 | 2023-04-21 | 삼성전자주식회사 | 이미지 획득 장치 및 방법, 이를 포함하는 전자 장치 |
US20230152232A1 (en) * | 2021-11-17 | 2023-05-18 | The United States Of America, As Represented By The Secretary Of Agriculture | Active illumination-based multispectral contamination sanitation inspection system |
US12087454B2 (en) | 2022-11-17 | 2024-09-10 | Aignostics GmbH | Systems and methods for the detection and classification of biological structures |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5880473A (en) * | 1997-07-28 | 1999-03-09 | Applied Imaging, Inc. | Multifluor-fluorescence in-situ hybridization (M-FISH) imaging techniques using multiple multiband filters with image registration |
EP2359745A1 (en) * | 2010-02-12 | 2011-08-24 | Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) | Method and device for multi-spectral photonic imaging |
CN102327156A (zh) * | 2010-07-13 | 2012-01-25 | 卡尔斯特里姆保健公司 | 牙齿色度映射 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6142629A (en) * | 1998-08-30 | 2000-11-07 | Applied Spectral Imaging Ltd. | Spectral imaging using illumination of preselected spectral content |
WO2001011343A1 (en) * | 1999-08-06 | 2001-02-15 | Cambridge Research & Instrumentation Inc. | Spectral imaging system |
US7864379B2 (en) * | 2001-03-19 | 2011-01-04 | Dmetrix, Inc. | Multi-spectral whole-slide scanner |
US6978339B2 (en) | 2002-02-22 | 2005-12-20 | Canon Kabushiki Kaisha | Communication system and method of controlling same |
US7519907B2 (en) | 2003-08-04 | 2009-04-14 | Microsoft Corp. | System and method for image editing using an image stack |
US7321791B2 (en) * | 2003-09-23 | 2008-01-22 | Cambridge Research And Instrumentation, Inc. | Spectral imaging of deep tissue |
EP2191774A3 (en) * | 2004-12-06 | 2010-06-23 | Cambridge Research & Instrumentation, Inc. | Systems and methods for in-vivo optical imaging and measurement |
EP1846869B1 (en) | 2005-01-27 | 2011-10-05 | Cambridge Research & Instrumentation, Inc. | Classifying image features |
WO2006119166A2 (en) * | 2005-04-29 | 2006-11-09 | The Regents Of The University Of Colorado | Multi-excitation diagnostic systems and methods for classification of tissue |
US8164622B2 (en) * | 2005-07-01 | 2012-04-24 | Aperio Technologies, Inc. | System and method for single optical axis multi-detector microscope slide scanner |
US8081311B2 (en) * | 2005-11-04 | 2011-12-20 | General Hospital Corporation | System for multispectral imaging |
US7561329B2 (en) * | 2006-12-14 | 2009-07-14 | Cytyc Corporation | Illumination source for stained biological samples |
US20100160791A1 (en) * | 2007-05-21 | 2010-06-24 | Board Of Regents, The University Of Texas System | Porcine biliary tract imaging |
AU2009225547A1 (en) * | 2008-03-19 | 2009-09-24 | Hypermed Imaging, Inc. | Miniaturized multi-spectral imager for real-time tissue oxygenation measurement |
ES2715633T3 (es) * | 2008-05-20 | 2019-06-05 | Univ Health Network | Dispositivo y método para formación de imágenes y supervisión por fluorescencia |
US8155452B2 (en) | 2008-10-08 | 2012-04-10 | Harris Corporation | Image registration using rotation tolerant correlation method |
JP5478084B2 (ja) * | 2009-01-23 | 2014-04-23 | オリンパス株式会社 | 画像処理システム、画像処理装置および画像処理端末 |
US9134243B2 (en) * | 2009-12-18 | 2015-09-15 | University Health Network | System and method for sub-surface fluorescence imaging |
CA2793449A1 (en) * | 2010-03-17 | 2011-09-22 | Haishan Zeng | Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization |
US8662670B2 (en) * | 2010-05-28 | 2014-03-04 | Alcon Research, Ltd. | Spectrally-adjustable ophthalmic illumination with discrete sources |
US9066657B2 (en) * | 2010-11-23 | 2015-06-30 | General Electric Company | Methods and systems of optical imaging for target detection in a scattering medium |
US9329127B2 (en) * | 2011-04-28 | 2016-05-03 | Bio-Rad Laboratories, Inc. | Fluorescence scanning head with multiband detection |
EP2520923A1 (en) * | 2011-05-06 | 2012-11-07 | bioMérieux | Bio-imaging method and system |
US20130038725A1 (en) * | 2011-08-09 | 2013-02-14 | Mark Allen Lanoue | Hyperspectral and multiple imaging controlled enclosure for sample examination |
US20140022381A1 (en) * | 2012-07-17 | 2014-01-23 | Tetracam, Inc. | Radiometric multi-spectral or hyperspectral camera array using matched area sensors and a calibrated ambient light collection device |
-
2014
- 2014-01-07 US US14/149,015 patent/US10964001B2/en active Active
- 2014-01-07 WO PCT/US2014/010483 patent/WO2014110027A1/en active Application Filing
- 2014-01-07 CN CN201480012433.7A patent/CN105102945B/zh active Active
- 2014-01-07 EP EP14701252.0A patent/EP2943761B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5880473A (en) * | 1997-07-28 | 1999-03-09 | Applied Imaging, Inc. | Multifluor-fluorescence in-situ hybridization (M-FISH) imaging techniques using multiple multiband filters with image registration |
EP2359745A1 (en) * | 2010-02-12 | 2011-08-24 | Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) | Method and device for multi-spectral photonic imaging |
CN102327156A (zh) * | 2010-07-13 | 2012-01-25 | 卡尔斯特里姆保健公司 | 牙齿色度映射 |
Also Published As
Publication number | Publication date |
---|---|
CN105102945A (zh) | 2015-11-25 |
US20140193050A1 (en) | 2014-07-10 |
EP2943761A1 (en) | 2015-11-18 |
WO2014110027A1 (en) | 2014-07-17 |
US10964001B2 (en) | 2021-03-30 |
EP2943761B1 (en) | 2023-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105102945B (zh) | 多光谱成像系统和方法 | |
CN105103190B (zh) | 全视野载玻片多光谱成像系统和方法 | |
CN111601536B (zh) | 缺光环境中的超光谱成像 | |
US11971355B2 (en) | Fluorescence observation apparatus and fluorescence observation method | |
US6690817B1 (en) | Spectral bio-imaging data for cell classification using internal reference | |
CN104780830B (zh) | 测量荧光的3d口内扫描器 | |
Ortega et al. | Hyperspectral push-broom microscope development and characterization | |
US9002077B2 (en) | Visualization of stained samples | |
CN102266219B (zh) | 生物样品的光谱成象 | |
IL272907A (en) | Microscopy of a tissue sample using understandable illumination | |
US8315692B2 (en) | Multi-spectral imaging spectrometer for early detection of skin cancer | |
CN102667473A (zh) | 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现 | |
KR20030033177A (ko) | 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법 | |
Melis et al. | Multispectral hypercolorimetry and automatic guided pigment identification: some masterpieces case studies | |
Shor et al. | The leon levy dead sea scrolls digital library: The digitization project of the dead sea scrolls | |
JP2004294337A (ja) | 成分分布可視化方法、蛍光画像撮影装置および成分分布可視化装置 | |
CN109863441A (zh) | 荧光显微镜 | |
WO2023276219A1 (ja) | 情報処理装置、生体試料観察システム及び画像生成方法 | |
WO2018131091A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
Benedetti et al. | Confocal‐line microscopy | |
WO2023234020A1 (ja) | 撮像装置、および撮像装置の作動方法、並びにプログラム | |
US20240085685A1 (en) | Biological specimen detection system, microscope system, fluorescence microscope system, biological specimen detection method, and program | |
WO2023149296A1 (ja) | 情報処理装置、生体試料観察システム及び画像生成方法 | |
Wagner | Applications of UV-visible spectral imaging in forensic science | |
CN202854399U (zh) | 多光谱扫描显微镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20201022 Address after: California, USA Patentee after: Akoya Biosciences Co.,Ltd. Address before: Massachusetts, USA Patentee before: Caliper Life Sciences, Inc. |
|
TR01 | Transfer of patent right |