CN103221974A - 用于将图像换算成不同曝光时间的方法 - Google Patents
用于将图像换算成不同曝光时间的方法 Download PDFInfo
- Publication number
- CN103221974A CN103221974A CN2011800573900A CN201180057390A CN103221974A CN 103221974 A CN103221974 A CN 103221974A CN 2011800573900 A CN2011800573900 A CN 2011800573900A CN 201180057390 A CN201180057390 A CN 201180057390A CN 103221974 A CN103221974 A CN 103221974A
- Authority
- CN
- China
- Prior art keywords
- image
- intensity
- time shutter
- pixel intensity
- biomaterial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 239000012620 biological material Substances 0.000 claims description 30
- 239000000090 biomarker Substances 0.000 claims description 24
- 238000012984 biological imaging Methods 0.000 claims description 6
- 238000002073 fluorescence micrograph Methods 0.000 claims description 2
- 239000000523 sample Substances 0.000 description 12
- 238000004043 dyeing Methods 0.000 description 11
- 239000011049 pearl Substances 0.000 description 11
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 239000007850 fluorescent dye Substances 0.000 description 6
- 238000001215 fluorescent labelling Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000010186 staining Methods 0.000 description 6
- 102000004169 proteins and genes Human genes 0.000 description 5
- 108090000623 proteins and genes Proteins 0.000 description 5
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 4
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- 230000021615 conjugation Effects 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000799 fluorescence microscopy Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 108010075348 Activated-Leukocyte Cell Adhesion Molecule Proteins 0.000 description 2
- 102100024210 CD166 antigen Human genes 0.000 description 2
- 241000283074 Equus asinus Species 0.000 description 2
- 102000001267 GSK3 Human genes 0.000 description 2
- 108010014905 Glycogen Synthase Kinase 3 Proteins 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005754 cellular signaling Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000037311 normal skin Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- CWHJIJJSDGEHNS-MYLFLSLOSA-N Senegenin Chemical compound C1[C@H](O)[C@H](O)[C@@](C)(C(O)=O)[C@@H]2CC[C@@]3(C)C(CC[C@]4(CCC(C[C@H]44)(C)C)C(O)=O)=C4[C@@H](CCl)C[C@@H]3[C@]21C CWHJIJJSDGEHNS-MYLFLSLOSA-N 0.000 description 1
- 102000015098 Tumor Suppressor Protein p53 Human genes 0.000 description 1
- 108010078814 Tumor Suppressor Protein p53 Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 239000009871 tenuigenin Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
用于将在最佳曝光时间拍摄的图像换算成选择的曝光时间的方法一般来说包括：确定成像装置的暗像素强度；在最佳曝光时间采集第一图像；以及对于不同于最佳曝光时间的第二曝光时间，至少部分基于暗像素强度调节第一图像中的一个或多个像素的像素强度。
Description
技术领域
本发明一般来说涉及用于将在给定曝光时间拍摄的图像换算成选择或不同的曝光时间的方法。
背景技术
在用荧光标记染色的生物样本的数字成像的领域中，出现比较用不同曝光时间拍摄的相同视场的图像的需要。在一个情形中，存在对从生物材料的样本去除自发荧光的需要。生物材料的样本典型地包含在与用于对组织样本检查某些生物特征所通常使用的荧光标记的频率范围重叠的频率范围上发荧光的物质。例如，相当常见的是，用与诸如Cy3和Cy5的已确立的荧光染料共轭的感兴趣的蛋白质的抗体将样本染色。例如，人类乳腺癌组织可用与Cy3共轭的p53肿瘤抑制蛋白质的抗体来染色。
从用这样的荧光标记染色的组织的显微图像去除自发荧光的一个方式将在用该荧光标记染色之前拍摄相同视场的图像，并且然后在逐个像素的基础上从染色的图像去除在未染色图像中观察的信号强度。期望的结果是其中在荧光标记的通道中记录的荧光信号正是由于荧光标记的结合引起的校正图像。然而，为了使这样的扣除产生正确的图像，两个图像应该具有大致上相同的曝光时间。
存在其中在相同的曝光时间拍摄自发荧光图像和荧光标记染色图像是不便或不可能的情形。一般而言，每个类型的图像具有它自己的最佳曝光时间，其给出从最大数量的像素获得信号与避免来自使它的记录通道饱和的任何像素的信号之间的最好平衡，以及真实信号和背景信号之间的最好平衡。在一些情况下，与一些荧光标记一起使用长达对于测量自发荧光可期望的曝光时间可是不可能或不实际的，因为在这样的长曝光时间，不可接受的大量像素被饱和，意味它们接收如此多的信号以致另外的信号不可检测。
因此，存在对估计如果曝光时间不同，荧光图像的像素处的信号将会是什么的需要。已经有通过使用式 这样做的尝试，其中It1是曝光时间t1的强度并且It2是曝光时间t2的估计强度。然而，这样估计的结果不是完全令人满意的。已经有通过根据式It2={(It1-在t1的背景)*(t2/t1)}-(在t2的背景)扣除每个曝光时间的背景来对该估计进行改进的尝试，但这些估计仍然没有像期望的那样准确。
发明内容
本发明的方法和系统提供来自在给定曝光时间的显微镜样本的荧光图像的像素的信号的强度的准确估计，其使用用于拍摄实际图像的数字摄像机的暗像素强度来开始于在不同曝光时间的实际信号强度。
用于将在最佳曝光时间拍摄的图像换算成选择的曝光时间的方法的示例一般包括：确定成像装置的暗像素强度；在最佳曝光时间采集第一图像；以及对于不同于该最佳曝光时间的第二曝光时间至少部分基于该暗像素强度调节该第一图像中的一个或多个像素的像素强度。确定该暗像素强度可包括将曝光时间设置成零；采集强度图像；以及计算整个强度图像的平均强度。该最佳曝光时间典型地至少部分基于该成像装置的一个或多个设置。
在一个示例中，第一图像是生物材料的，其中该生物材料可被染色或另外包括第一生物标记。该生物标记可包括荧光生物标记，由此该生物材料的第一图像将展现对应于该生物标记的荧光通道中的信号。该生物材料可用第二生物标记染色，由此该方法可进一步包括在相同或不同的最佳曝光时间拍摄第二图像。该方法可进一步包括对于不同于最佳曝光时间的第二曝光时间，至少部分基于暗像素强度调节第二图像中的一个或多个像素的像素强度。该第一和第二图像可重合来形成合成图像。这些图像可例如通过识别一个或多个形态特征并且使用这些识别的形态特征对齐或共同重合这些图像而重合。这些图像也可使用例如但不限于对齐这些图像的像素的其他方法而重合。
该方法可进一步包括采集生物材料的自发荧光图像，并且在一些示例中从第一图像扣除生物材料的该自发荧光图像。该自发荧光图像也可与第一和/或第二图像重合。这些方法不限于采集第一和第二图像。可拍摄该材料的任何数量的图像并且根据给定使用的需要或期望换算和/或重合。这些图像中的任何两个或多个可重合来形成合成图像。
这些方法还可包括用于对生物材料染色或将一个或多个生物标记另外应用到生物材料的步骤，其中第一图像在该生物标记应用到生物材料后采集。生物标记可适应于一个或多个通道。生物标记可同时或连续应用到材料。图像可使用对应于生物标记通道的滤光器拍摄。
附图说明
当下列详细描述参照附图（其中类似的符号在整个图中表示类似的部件）阅读时，本发明的这些和其他特征、方面和优点将变得更好理解，其中：
图1是与数字成像装置关联的曝光时间和暗帧的平均像素强度之间的相关性的示例的曲线图；
图2A是具有200 msec的曝光时间的图像；
图2B是具有500 msec的曝光时间的图2A的图像；
图2C是图2A和2B的像素强度的散点图；以及
图3是曝光时间对给定感兴趣区的像素强度的影响的示例的曲线图。
具体实施方式
本发明的方法和系统的示例中的一个或多个提供来自在给定曝光时间的显微镜样本的荧光图像的像素的信号的强度的准确估计，其使用用于拍摄实际图像的数字摄像机的暗像素强度开始于在不同曝光时间的实际信号强度。
自发荧光图像和染色图像常常在不同的曝光时间捕捉，但图像扣除要求两个图像使用相同的曝光时间获得。像素强度一般与曝光时间成线性，只要在摄像机的线性范围采集图像，但典型地存在由该摄像机设置的截距。为了该描述的目的，该截距称为暗像素强度。该暗像素强度是在没有光和零曝光时间的条件下的像素强度。暗像素强度由摄像机的读出噪声（电子/像素）、增益和DC偏置确定。通过知晓或另外确定图像采集设置的暗像素强度，在一个曝光时间采集的图像可线性换算成在不同曝光时间的图像。暗像素强度可例如通过在没有光和最小的曝光时间获得图像或通过由在一系列曝光时间捕捉图像间接计算强度而测量。
曝光时间是荧光显微镜图像采集期间的参数，并且一般从若干毫秒变化到几秒，但它不一定限于该范围。正确的曝光时间对于维持荧光信号的线性表现是重要的。然而，存在其他也影响数字图像的采集期间的参数，其包括但不限于模拟增益、数字增益、偏置和重新分级。
用于将在最佳曝光时间拍摄的图像换算成选择的曝光时间的方法的示例一般包括：确定成像装置的暗像素强度；在最佳曝光时间采集第一图像；以及对于不同于该最佳曝光时间的第二曝光时间至少部分基于该暗像素强度调节该第一图像中的一个或多个像素的像素强度。确定该暗像素强度可包括将曝光时间设置成零；采集强度图像；以及计算整个强度图像的平均强度。该最佳曝光时间典型地至少部分基于该成像装置的一个或多个设置。在例如当给定成像装置不能设置在零曝光时间时的情形中，曝光时间可外推到零或可设置在给定成像装置可允许的最低可能的设置。
当计算平均强度时，暗像素强度的单个值可一维地应用。它可扩展到二维矩阵，例如当在零曝光时间采集图像时。图像也可被平均。例如，补偿滤光器可是标量或数组值。
在一个示例中，第一图像是生物材料的，其中该生物材料可被染色或另外包括第一生物标记。该生物标记可包括荧光生物标记，由此该生物材料的第一图像将展现对应于该生物标记的荧光通道中的信号。该生物材料可用第二生物标记染色，由此该方法可进一步包括在相同或不同的最佳曝光时间拍摄第二图像。该方法可进一步包括对于不同于最佳曝光时间的第二曝光时间至少部分基于暗像素强度调节第二图像中的一个或多个像素的像素强度。该第一和第二图像可重合来形成合成图像。最后的图像也可从两个或更多图像计算，例如一个图像可从另一个图像扣除。这些图像可例如通过识别一个或多个形态特征并且使用这些识别的形态特征对齐或共同重合这些图像而重合。这些图像也可使用例如但不限于对齐这些图像的像素的其他方法而重合。
该方法可进一步包括采集生物材料的自发荧光图像，并且在一些示例中从第一图像扣除生物材料的该自发荧光图像。该自发荧光图像也可与第一和/或第二图像重合。这些方法不限于采集第一和第二图像。可拍摄该材料的任何数量的图像并且根据给定使用的需要或期望换算和/或重合。这些图像中的任何两个或多个可重合来形成合成图像。
这些方法还可包括用于对生物材料染色或另外应用一个或多个生物标记的步骤，其中第一图像在该生物标记应用到生物材料后采集。生物标记可适应于一个或多个通道。生物标记可同时或连续应用到材料。图像可使用对应于生物标记通道的滤光器拍摄。
可在这些方法和系统中使用显微镜来收集由荧光团发射的光子并且将它们转送到成像装置，例如电荷耦合装置（CCD）摄像机或检测器。CCD阵列检测器将光子转换成光电流，其进而转换成电压。阵列中的每个检测器电压最终数字化（A/D转换，例如，模拟增益和数字增益）成代表光子强度的像素值。大多数科学级CCD摄像机具有12比特输出，其中像素值从0变化到4095。量子效率（Qe）和噪声都影响CCD检测器灵敏度。没有由CCD捕捉的光子一般视为损耗并且导致降低的灵敏度。噪声常常概况成三个分量：1）对于光电检测器是固有的暗噪声指在没有入射光子下形成的杂散信号（主要是热产生的）；2）光子噪声，其指产生于光子的随机到达的光电流中的统计波动；以及3）读出噪声（也称为读取噪声），其指由将光电流转换成数字字的组件产生的组合噪声。这些噪声分量可共同称为摄像机噪声，并且代表可在量化CCD上的电子信号的过程期间引入的误差。信噪比（SNR）由以下确定：
其中：P是入射在CCD上的光子通量（信号）（光子/像素/秒），B是入射在CCD上的背景光子通量（光子/像素/像素），t是积分时间或曝光时间（秒），D是采用电子/像素/秒的暗电流，并且Nr是读出噪声（均方根电子/像素）。SNR依赖时间/速度，更长的积分时间产生更高的SNR。如此，在速率（帧/秒）和检测极限之间存在权衡。SNR与积分时间的平方根成比例。例如，在使用荧光显微术使不同蛋白质表达水平有关的过程中，对于每个蛋白质使用不同的积分时间可以是可期望的。暗电流、读出噪声和曝光时间对数字图像的像素强度（例如蛋白质的染色强度）的影响影响量化的准确性。
CCD摄像机的输出最终是由光电子转换成电压生成的数字字，其根据需要放大并且由模拟到数字转换器（ADC）处理。接着将是与该过程关联的噪声项的简短考虑。电压信号由包括CCD的单独光电检测器根据下列等式生成：
等式2
其中Npe是产生的光电子的数量，q是电子的电荷，G是放大器级（典型地单一）的电压增益，并且C是检测器的电容。跨阻抗增益
采用μV/电子表达，并且典型地大约0.1至10，取决于检测器的大小。电压然后通过与ADC参考电压的比较转换成数字字。
在这些方法的一个或多个示例中，估计通过以下而获得：从在给定曝光时间测量的信号强度扣除暗像素值、将该差乘以对其期望的估计的曝光时间与实际图像的曝光时间的比率并且从该结果扣除暗像素强度。这些方法的一个示例包括使用算法It2-DarkpixelIntensity= (t2/t1) * (It2-DarkpixelIntensity)。
暗像素强度可采用例如使用在零曝光时间的单个测量并且进行各自在不同曝光时间的若干测量，并且外推到零曝光时间的各种方式确定。适应于与荧光显微镜一起使用的大多数数字摄像机允许在零曝光时间拍摄图像。在一个或多个示例中，这包括用与照明源隔离的摄像机拍摄图像，并且取决于设置还可牵涉拍摄没有样本的图像。可以使用软件来获得横跨视场中的所有像素的平均强度值。在一个示例中，该值可以简单地用作暗像素强度，而在另一个示例中每个曝光时间的平均值可用于外推回到零曝光时间。在进行这样的外推中，平均强度可假定成曝光时间的线性函数。
横跨共同测量通道的暗像素强度可以是相同的。它的值因此一般独立于用于确定它的值的测量通道。
本发明的方法的一个或多个示例还可包括使用暗像素强度来改进自发荧光校正的准确性。这样的校正可包括用对第二图像做出的测量校正第一图像。该第二图像可在与第一图像不同的曝光时间拍摄，从而两个图像中的一个可调节成它在另一个图像的曝光时间拍摄时它将成为的图像。
方法的一个或多个示例包括确定给定摄像机设置的暗像素强度以在采用荧光显微术拍摄图像中允许预测曝光时间对给定像素处的强度的影响。做出适应于通过显微镜拍摄荧光图像的数字摄像机设备的暗像素强度的初始确定。暗像素强度可至少部分取决于给定设备设置并且对于该设置的所有荧光通道是相同的。这样的值然后可在考虑到给定像素处对不同曝光时间的强度的测量值来预测或估计以给定曝光时间的该像素处的强度中使用。该预测可用于从生物样品的图像去除自发荧光的影响。给定摄像机设置的暗像素强度可例如从在零曝光时间的测量或外推到在若干曝光时间做出的测量的零曝光时间来确定。在任一个示例中，适合的软件可用于将来自数字摄像机读取的所有像素的信号的强度加和，并且生成平均值。
在第一示例中，在没有任何照明下从摄像机取得读数。这可通过用快门从摄像机输出取得读数完成，该快门调整到摄像机光拦的光输入。暗像素读数取决于给定曝光时间，例如在其期间从摄像机读取像素信号的时间间隔。可在多个曝光时间取得读数。例如，可在1和500毫秒之间取得多个读数，并且应用线性回归等式来预测在零曝光时间的值。读数也可在例如诸如一毫秒的非常短的时间间隔期间取得。
在后一个示例中，暗像素强度可从在各种曝光时间在给定荧光通道中拍摄的相同视场的一系列图像确定。可对每个曝光时间产生像素信号强度平均，例如通过将来自由摄像机读取的像素中的全部的信号加和并且将该值除以牵涉的像素的数量来产生平均值。然后可应用线性回归分析来确定曝光时间和平均像素信号强度之间的关系。这样的关系可用于预测是暗像素强度的在零曝光时间的信号强度。曝光时间和平均像素信号强度之间的关系在其中像素没有变成入射光饱和的曝光时间的范围上是大致上线性的，由此它们的信号输出不再与它们所暴露的入射光成比例。
在特定曝光时间的像素信号强度的改进预测可用于针对自发荧光影响调节或校正给定图像。在从给定荧光图像确定和去除自发荧光的影响中，可使用对于显示感兴趣特征的图像不是最佳或甚至不实际的曝光时间。例如，当测量样品材料的自发荧光时，为了获得可期望的信噪比，给定荧光通道的曝光时间可需要比在样本用该通道中有效的荧光标记染色后它的图像典型最佳的更长。如果样本因为它包含染色剂针对的大量特征而取用显著数量的染色剂，染色图像的最佳曝光时间可大大短于用于确定自发荧光的最佳时间曝光时间。也很有可能的是，在更长的曝光时间，如果样品图像的像素暴露于的入射光的量进一步增加超过饱和水平，样品图像的像素将变得如此饱和使得它们将不能提供更多信号。
示例
对于摄像机，使用Hamamatsu ORCA-ER-12AG深冷数字摄像机（型号：C4742-80-12AG, Hamamatsu市, 日本）。它的暗电流是0.03电子/像素/秒。读出噪声是6RMS电子/像素。成像器是具有20×平场复消色差物镜（NA=0.8）的Z1正置显微镜（Carl Zeiss MicroImaging Inc. Thornwood, NJ）。灰度图像使用DAPI滤光器组（激发365/40 nm并且发射445/50 nm）、Cy3滤光器棱镜（cube）（激发550/25 nm并且发射605/70 nm）和Cy5滤光器棱镜（激发640/30 nm并且发射690/50 nm）采集。模拟增益、数字增益、模拟偏置和数字偏置都设置为零。
为了制备样品，从Cell Signaling Technology (Beverly, MA)获得嵌入石蜡的LNCaP细胞IHC控制SignalSlideTM (#8101)。乳腺癌载玻片从Thermo Fish Scientific (Fremont, CA)获得。正常皮肤载玻片从Biochain (Hayward, CA)获得。在标准脱蜡和抗原恢复处理后，LNCaP细胞彻夜在4°C用兔单克隆糖原合酶激酶-3（GSK-3）抗体（1:50，Cat# CS9315，Cell Signaling Technology）培养。与Cy3（Jackson ImmunoResearch, West Grove, PA）共轭的二次驴抗兔抗体在室温培养（1:250）1小时。乳腺癌载玻片和皮肤组织载玻片用ALCAM抗体（1:40，产品ID: NCL-CD116, Leica微系统, Bannockburn, IL）染色。与Cy3和Cy5二次抗体共轭的驴抗鼠抗体分别用于乳腺癌载玻片和皮肤组织载玻片。所有载玻片最后用DAPI复染并且用VectaShield（H1000, Vector Laboratory, Burlingame, CA）安装。
为了确定暗像素强度，反射器保持关闭来避免光进入摄像机。使用不同的曝光时间（1、50、100、250、500 msec）来采集三重图像（没有样本）。图像保存为ZVI格式来保留采集设置和原始的TIFF强度值。每个图像随后由ImageJ BioFormat输入器读取并且使用ImageJ（National Institutes of Health，1.42d版本）测量每个图像的平均强度。
为了使在不同的曝光时间在每个像素处获得的两个图像的像素强度相关，SignalSlide用于在20msec和500msec捕捉两个图像。这些图像输出成TIFF格式并且随后由MATLAB图像处理工具箱（MathWork, Natick, MA）读取。像素强度存储在具有1344×1024尺寸的两个矩阵中。为了比较对应位置处的像素强度，2D矩阵被“再成形”为1D矩阵（13756256×1）。MATLAB统计工具箱用于执行两个1D矩阵之间的线性回归。
为了在感兴趣区（ROI）的水平研究像素强度与曝光时间之间的关系，使用用ALCAM、膜蛋白质染色的正常皮肤载玻片和乳腺癌载玻片。未使用光以及利用光和0、1、2、4、8、16、32、64、96、128、160、200、250、300、350、400、450、500、550、600msec的曝光时间对这些载玻片成像。对每个曝光时间获得两个图像。使用ImageJ的绘图功能手动选择背景区（没有组织）。使用ROI管理器功能并且只选择背景区而使DAPI背景和Cy3背景量化。在16msec（最佳曝光时间）曝光的DAPI通道图像被界定为识别的DAPI阳性区域并且用于限定原子核掩模。该掩模应用于所有图像并且仅在掩模区内使DAPI信号量化。在膜区上使用相似的方法使Cy3信号和Cy5信号量化。
为了校准荧光强度，标准荧光珠（F36909, Invitrogen, Carlsbad, CA）用作荧光强度标准。珠的强度列为0.00667、0.03、0.1、0.33和1。首先在75msec的恒定曝光时间对珠成像。然后不同的曝光时间用于这些珠。具体地，300和150msec用于强度0.00667的珠并且150和75msec用于0.03和0.1的珠并且75和30msec用于0.33的珠，并且30msec用于1的珠。
表1示出在没有光发射到摄像机的情况下响应于曝光时间的平均像素强度的变化。平均强度随着曝光时间存在略微增加。平均值是大约200，其占用了12比特摄像机的动态范围的5%。为了使暗噪声贡献（与曝光时间成比例）与读出噪声贡献（恒定）分开，获得线性回归。
表1-暗图像强度的平均和标准偏差
因为噪声在计数系统中展现泊松分布，其中标准偏差是平均值的平方根，在CCD摄像机上观察的信号由以下给出：
在没有光的条件下，DarkSignal由以下给出：
采用电子/像素的单位给出DarkSignal。该信号将经历A/D转换并且最后数字化为PixelIntensity，
其中G是组合增益（数字增益和模拟增益），并且偏置是组合偏置。
比较等式3和等式6，斜率是0.0314（G·D）。因为D是0.03电子/像素/秒（来自制造商数据表），表明G非常接近1。模拟和数字增益都在0处设置。计算的恒定值/截距（
+偏置）可以集中为一个恒定的、暗像素强度。它包括
和偏置的组合。暗像素强度独立于暗电流或曝光时间，并且只要摄像机设置固定（曝光时间除外），它就是恒定值。
从等式3清楚可见，PixelIntensity的大部分来自和偏置（199.21）。暗电流以0.0314的斜率而仅具有可忽略的影响。
图1示出使用Hamamatsu摄像机的暗像素强度和噪声RMS之间相关性的示例。
为了确定在单独像素水平处曝光时间对像素强度的影响，在该示例中，SignalIntensity遵循与等式6相似的等式。
重新布置等式7来获得
其中
+偏置，并且它是图1中的截距（199.21）。对于荧光显微镜的最终用户，暗像素强度可以通过在没有光条件下以及在摄像机所允许的零或最短曝光时间处曝光来采集图像并且然后测量图像的平均强度而近似确定。为了对不同的曝光时间调节图像像素强度，可使用下列简化等式：
该等式可在单个像素水平、ROI水平以及整个图像水平处使用。图2示出在对应的位置来自在200msec（A）和500msec（B）处曝光的两个图像的像素强度。回归分析表明线性关系：
从回归线的误差方差是172并且它跨像素强度的动态范围是均一的。斜率2.5是曝光时间（在该情况下是2.5）的比率。R2=0.976。该回归的截距（301）似乎与截距199不同。然而，等式10的简单变换揭示暗像素强度与我们之前获得的完全相同。
重要地，回归截距200.9非常接近暗像素强度199.12，如在没有光的条件下确定的。
定量荧光显微术的常见任务之一是测量例如原子核或细胞质区的不同ROI处的染色强度。使用ImageJ，整个图像被分成背景（没有组织/细胞）、原子核区域和膜区域，以及标绘针对曝光时间的相应信号（图3）。在不同的ROI处以及使用不同的通道（DAPI、Cy3和Cy5）而在曝光时间和强度之间存在清楚的线性关系。对所有这些线的截距/暗像素强度在199.9至202.6之间变化，实际上与我们之前测量的199相同。在图的底部处，还示出在0曝光时间处暗图像的平均像素强度。每个线的斜率是G[（P+B）·Qe+ D]，其代表归一化的信号强度。在背景区处，斜率变成G[（B）·Qe+ D]。
染色强度是GPQet。它应该通过信号与背景（没有暗像素强度）之间的差来计算。因为信号强度和背景强度都包含相同的暗像素强度，它们抵消。归一化染色强度可以简单地限定为
等式12
为了验证等式12，不同的曝光时间用于捕捉标准荧光强度珠的图像。这些珠的强度几乎变化150倍，因此没有单个曝光时间可以在它们的最佳条件下捕捉所有这些珠。
在方法的示例的一个或多个中，暗像素强度是摄像机偏置以及图像中信号强度的添加。它可由读出噪声、模拟增益、数字增益、模拟偏置、数字偏置和其他设置中的一个或多个来确定。从最终用户的角度来看，暗像素强度是恒定的，只要摄像机采集设置固定即可（曝光时间除外）。暗像素强度可通过在没有光和零（最小）曝光时间的条件下采集图像、接着通过计算图像的平均强度而确定。作为非限制性示例，暗像素强度200可对具有平均强度2000的正常荧光图像贡献至少10%。通过预先确定设置的暗像素强度，在一个曝光时间采集的图像可例如使用等式9而换算到另一个。
暗像素强度和背景强度（或最低像素强度）是可分辨的。例如，背景强度可通过
而确定。因此，背景强度典型地大于暗像素强度并且随着曝光时间而增加。当生物标记的染色变弱并且需要更长的曝光时间时，背景强度可以是，例如高达1000-3000。相比之下，暗像素强度是恒定的（例如，200），只要摄像机采集设置固定即可（曝光时间除外）。
生物标记的染色强度是信号强度与背景强度（在图像内）的差。背景强度的扣除去除了来自玻璃载玻片、暗电流和暗像素强度的散射光的贡献。然而，它可仍然被自发荧光所污染。等式12可用于比较给定的生物标记的染色强度。
温度也可影响暗像素强度。随着温度增加，电子更易于移动，因此，暗电流和读出噪声都是温度的函数。在示例中，在-30℃调整摄像机的温度，只要环境温度在-5至40℃的范围内即可。该冷却温度一般来说与数字摄像机关联。低温将有助于低暗电流以及读出噪声。
可能有益的是，对暗像素强度设置偏置。因此，该值将从最后像素强度中扣除并且像素强度将与曝光时间成比例。使用偏置的一个优点是增加像素强度的动态范围。但是偏置应该与暗像素强度相同来实现最大益处。
尽管本文仅图示和描述本发明的某些特征，本领域内技术人员将想到许多修改和改变。因此，要理解附上的权利要求意在涵盖如落入本发明的真正精神内的所有这样的修改和改变。
Claims (19)
1. 一种用于将在最佳曝光时间拍摄的图像换算成选择的曝光时间的方法，包括，
确定成像装置的暗像素强度；
在最佳曝光时间采集第一图像；以及
对于不同于所述最佳曝光时间的第二曝光时间，至少部分基于所述暗像素强度调节所述第一图像中的一个或多个像素的像素强度。
2. 如权利要求1所述的方法，其中，确定所述暗像素强度包括，
将曝光时间设置成零；
采集强度图像；以及
计算整个强度图像的平均强度。
3. 如权利要求1所述的方法，其中，所述最佳曝光时间至少部分基于所述成像装置的一个或多个设置。
4. 如权利要求1所述的方法，其中，所述第一图像包括生物材料的荧光显微术图像。
5. 如权利要求4所述的方法，其中，所述生物材料包括第一生物标记。
6. 如权利要求5所述的方法，其中，所述生物标记是荧光生物标记。
7. 如权利要求4所述的方法，其中，所述生物材料的所述第一图像展现荧光通道中的信号。
8. 如权利要求5所述的方法，其中，所述生物材料包括第二生物标记，其进一步包括在相同或不同的最佳曝光时间拍摄第二图像。
9. 如权利要求8所述的方法，进一步包括：对于不同于所述最佳曝光时间的第二曝光时间，至少部分基于所述暗像素强度调节所述第二图像中的一个或多个像素的像素强度。
10. 如权利要求9所述的方法，进一步包括使所述第一和第二图像重合来形成合成图像。
11. 如权利要求4所述的方法，进一步包括采集所述生物材料的自发荧光图像。
12. 如权利要求11所述的方法，进一步包括从所述第一图像扣除所述生物材料的所述自发荧光图像。
13. 如权利要求12所述的方法，进一步包括将生物标记应用到所述生物材料，其中在所述生物标记应用到所述生物材料后采集所述第一图像。
14. 如权利要求13所述的方法，进一步包括使所述自发荧光图像和所述第一图像重合。
15. 如权利要求12所述的方法，进一步包括将另一个生物标记应用到所述生物材料，并且采集所述生物材料的第二图像。
16. 如权利要求15所述的方法，进一步包括使所述第一图像和所述第二图像重合。
17. 如权利要求15所述的方法，进一步包括：将一个或多个另外的生物标记应用到所述生物材料，所述一个或多个另外的生物标记各自对应于通道；并且对所述生物标记通道中的每个采集一个或多个另外的图像。
18. 如权利要求17所述的方法，进一步包括使所述第一、第二和另外的图像重合来形成所述通道的合成图像。
19. 如权利要求1所述的方法，其中，调节所述像素强度至少部分使用下面的等式：
其中t1是所述最佳曝光时间，t2是所述第二曝光时间，It1是曝光时间t1的给定像素的信号强度，It2是曝光时间t2的估计信号强度并且DarkpixelIntensity是所述成像装置的所述暗像素强度。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/956,909 US8818069B2 (en) | 2010-11-30 | 2010-11-30 | Methods for scaling images to differing exposure times |
| US12/956,909 | 2010-11-30 | ||
| PCT/EP2011/071242 WO2012072613A1 (en) | 2010-11-30 | 2011-11-29 | Methods for scaling images to differing exposure times |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103221974A true CN103221974A (zh) | 2013-07-24 |
Family
ID=45375285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011800573900A Pending CN103221974A (zh) | 2010-11-30 | 2011-11-29 | 用于将图像换算成不同曝光时间的方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8818069B2 (zh) |
| EP (1) | EP2646976B1 (zh) |
| JP (1) | JP2013546083A (zh) |
| CN (1) | CN103221974A (zh) |
| CA (1) | CA2818204A1 (zh) |
| WO (1) | WO2012072613A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107464337A (zh) * | 2017-07-24 | 2017-12-12 | 深圳怡化电脑股份有限公司 | 图像采集方法、图像采集装置及终端设备 |
| CN112805553A (zh) * | 2018-10-24 | 2021-05-14 | 徕卡生物系统成像股份有限公司 | 获取荧光原位杂交图像时的相机曝光控制 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE532553C2 (sv) * | 2008-01-24 | 2010-02-23 | Mikael Lindstrand | Metod och anordning för erhållande av högdynamisk, spektral-, spatial- och vinkelupplöst radiansinformation |
| EP2973391B1 (en) * | 2013-03-15 | 2018-11-14 | Koninklijke Philips N.V. | Determining a residual mode image from a dual energy image |
| JP6198426B2 (ja) | 2013-03-29 | 2017-09-20 | 浜松ホトニクス株式会社 | 蛍光観察装置及び蛍光観察方法 |
| WO2015114121A1 (en) * | 2014-01-30 | 2015-08-06 | Bd Kiestra B.V | A system and method for image acquisition using supervised high quality imaging |
| US10839509B2 (en) | 2015-07-10 | 2020-11-17 | 3Scan Inc. | Spatial multiplexing of histological stains |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1377026A2 (en) * | 2002-06-21 | 2004-01-02 | Microsoft Corporation | Image Stitching |
| US20080015446A1 (en) * | 2006-07-11 | 2008-01-17 | Umar Mahmood | Systems and methods for generating fluorescent light images |
| WO2009036292A1 (en) * | 2007-09-14 | 2009-03-19 | The Trustees Of The University Of Pensylvania | High linear dynamic range imaging |
| US20090141959A1 (en) * | 2007-11-30 | 2009-06-04 | General Electric Company | Methods and systems for removing autofluorescence from images |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08334466A (ja) * | 1995-06-06 | 1996-12-17 | Nikon Corp | 蛍光測光方法及び装置 |
| US20030086002A1 (en) | 2001-11-05 | 2003-05-08 | Eastman Kodak Company | Method and system for compositing images |
| CA2474509C (en) * | 2002-02-14 | 2012-01-31 | Immunivest Corporation | Methods and algorithms for cell enumeration in a low-cost cytometer |
| US6909459B2 (en) * | 2002-08-21 | 2005-06-21 | Alpha Innotech Corporation | Method of and apparatus for extending signal ranges of digital images |
| US7233393B2 (en) * | 2004-08-05 | 2007-06-19 | Applera Corporation | Signal noise reduction for imaging in biological analysis |
| US20060182430A1 (en) * | 2005-02-15 | 2006-08-17 | Stavely Donald J | Camera exposure program coupled to image stabilization capability |
| JP2007019577A (ja) * | 2005-07-05 | 2007-01-25 | Seiko Epson Corp | 固体撮像装置 |
| JP2007194687A (ja) * | 2006-01-17 | 2007-08-02 | Seiko Epson Corp | 撮像装置 |
| US7800657B2 (en) * | 2006-12-29 | 2010-09-21 | Micron Technology, Inc. | Method, apparatus and system using hierarchical histogram for automatic exposure adjustment of an image |
-
2010
- 2010-11-30 US US12/956,909 patent/US8818069B2/en active Active
-
2011
- 2011-11-29 WO PCT/EP2011/071242 patent/WO2012072613A1/en active Application Filing
- 2011-11-29 CN CN2011800573900A patent/CN103221974A/zh active Pending
- 2011-11-29 JP JP2013541320A patent/JP2013546083A/ja active Pending
- 2011-11-29 CA CA2818204A patent/CA2818204A1/en not_active Abandoned
- 2011-11-29 EP EP11799256.0A patent/EP2646976B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1377026A2 (en) * | 2002-06-21 | 2004-01-02 | Microsoft Corporation | Image Stitching |
| US20080015446A1 (en) * | 2006-07-11 | 2008-01-17 | Umar Mahmood | Systems and methods for generating fluorescent light images |
| WO2009036292A1 (en) * | 2007-09-14 | 2009-03-19 | The Trustees Of The University Of Pensylvania | High linear dynamic range imaging |
| US20090141959A1 (en) * | 2007-11-30 | 2009-06-04 | General Electric Company | Methods and systems for removing autofluorescence from images |
Non-Patent Citations (2)
| Title |
|---|
| JAMES R. MANSFIELD ET AL: "Autofluorescence removal, multiplexing, and automated analysis methods for in-vivo fluorescence imaging", 《JOURNAL OF BIOMEDICAL OPTICS》, vol. 10, no. 4, 31 August 2005 (2005-08-31) * |
| ZHENGYU PANG ET AL: "Doubly stochastic poisson distribution of platelet adhesion on material surfaces and its implication on fluorescence image analysis", 《JOURNAL OF BIOMEDICAL MATERIALS RESEARCH》, 22 April 2008 (2008-04-22), pages 224 - 232 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107464337A (zh) * | 2017-07-24 | 2017-12-12 | 深圳怡化电脑股份有限公司 | 图像采集方法、图像采集装置及终端设备 |
| CN112805553A (zh) * | 2018-10-24 | 2021-05-14 | 徕卡生物系统成像股份有限公司 | 获取荧光原位杂交图像时的相机曝光控制 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2012072613A1 (en) | 2012-06-07 |
| EP2646976A1 (en) | 2013-10-09 |
| JP2013546083A (ja) | 2013-12-26 |
| US8818069B2 (en) | 2014-08-26 |
| US20120134603A1 (en) | 2012-05-31 |
| CA2818204A1 (en) | 2012-06-07 |
| EP2646976B1 (en) | 2015-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103221974A (zh) | 用于将图像换算成不同曝光时间的方法 | |
| CN107209934B (zh) | 用于定量分析异质生物标志物分布的方法、系统和装置 | |
| JP5631999B2 (ja) | 蛍光画像を用いて明視野画像を生成するためのシステム及び方法 | |
| CN102667473B (zh) | 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现 | |
| CN112384787A (zh) | 多光谱样本成像 | |
| JP2019530847A (ja) | 明視野像シミュレーションのためのシステム | |
| Chieco et al. | Image cytometry: protocols for 2D and 3D quantification in microscopic images | |
| JP2013092540A5 (zh) | ||
| CA2706428A1 (en) | Methods and systems for removing autofluorescence from images | |
| US20110026803A1 (en) | Methods and systems for digitally enhancing an image of a stained material | |
| US20090245611A1 (en) | Method and Apparatus for Removing Tissue Autofluorescence | |
| WO2018008309A1 (ja) | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム | |
| KR101559798B1 (ko) | 디지털 병리학의 이미지 표준화 방법 | |
| US11107248B2 (en) | Color unmixing with scatter correction | |
| US20240048685A1 (en) | Automated fluorescence imaging and single cell segmentation | |
| CN115667891A (zh) | 信息处理装置、生物试样分析方法、生物试样检测装置及生物试样检测系统 | |
| Pompey et al. | Quantitative fluorescence co-localization to study protein–receptor complexes | |
| Salsman et al. | Super-resolution radial fluctuations (SRRF) microscopy | |
| WO2021124866A1 (ja) | 画像処理方法、画像処理システム及びプログラム | |
| Holden | Intramolecular FRET efficiency measures for time-lapse fluorescence microscopy images | |
| Bell et al. | Imaging and Image Processing for Early Cancer Diagnosis on Cytopathological Microscopy Images towards Fully Automatic AgNOR Detection | |
| Zhao et al. | MEM-FLIM: all-solid-state camera for fluorescence lifetime imaging | |
| Henning et al. | A new self-made digital slide scanner and microscope for imaging and quantification of fluorescent microspheres | |
| JPWO2019078230A1 (ja) | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130724 |