CN102804205A - 用于生物样本的光学分割的方法和器件 - Google Patents
用于生物样本的光学分割的方法和器件 Download PDFInfo
- Publication number
- CN102804205A CN102804205A CN201180015777XA CN201180015777A CN102804205A CN 102804205 A CN102804205 A CN 102804205A CN 201180015777X A CN201180015777X A CN 201180015777XA CN 201180015777 A CN201180015777 A CN 201180015777A CN 102804205 A CN102804205 A CN 102804205A
- Authority
- CN
- China
- Prior art keywords
- image
- biological specimen
- pattern
- dmd
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003287 optical effect Effects 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 title claims abstract description 13
- 239000012472 biological sample Substances 0.000 title abstract 6
- 238000010191 image analysis Methods 0.000 claims abstract description 4
- 238000005286 illumination Methods 0.000 claims description 36
- 230000009466 transformation Effects 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 239000007787 solid Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 239000000090 biomarker Substances 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 2
- 238000009966 trimming Methods 0.000 claims 2
- 230000013011 mating Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 15
- 102000004169 proteins and genes Human genes 0.000 abstract description 9
- 108090000623 proteins and genes Proteins 0.000 abstract description 9
- 230000000873 masking effect Effects 0.000 abstract 2
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 8
- 210000003743 erythrocyte Anatomy 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 7
- 238000004043 dyeing Methods 0.000 description 7
- 210000000981 epithelium Anatomy 0.000 description 7
- 238000001000 micrograph Methods 0.000 description 7
- 229920006395 saturated elastomer Polymers 0.000 description 7
- 229920000832 Cutin Polymers 0.000 description 6
- 239000000975 dye Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010166 immunofluorescence Methods 0.000 description 3
- 210000002307 prostate Anatomy 0.000 description 3
- 238000002965 ELISA Methods 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000001259 photo etching Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 238000001262 western blot Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 241000283074 Equus asinus Species 0.000 description 1
- 241000206602 Eukaryota Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000270322 Lepidosauria Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 241000282577 Pan troglodytes Species 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000001900 immune effect Effects 0.000 description 1
- 238000003119 immunoblot Methods 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 238000012309 immunohistochemistry technique Methods 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 210000002570 interstitial cell Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000004375 physisorption Methods 0.000 description 1
- 210000002381 plasma Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000001768 subcellular fraction Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000000439 tumor marker Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biochemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
提供一种用于使用光学分割的生物样本内蛋白质表现和位置的成像的方法。步骤包含采集生物样本的荧光图像，分析图像并且生成对应于生物样本内的具体结构的掩蔽图案，将掩蔽图案变换到数字微镜装置（DMD）的空间坐标，其然后可以投影到生物样本上并且获得掩蔽的荧光图像。还提供一种用于使用光学分割的生物样本内的蛋白质表现和位置的成像的图像分析系统。
Description
背景技术
在用于分子病理学的典型的荧光成像场景中，使用染料以标识具体的蛋白质或亚细胞区室。通常最感兴趣的蛋白质在激发用于成像的荧光指示器的过程中以低水平来表现；照明整个生物样本（例如，组织切片），由于内生来源或作为目标的感兴趣的区域外部的非具体的键联（binding）而生成荧光发射。所发射的光的额外来源是噪声信号并且典型地必须通过后处理方法移除或排除以准确地量化低表现蛋白质。
结构照明显微镜（Structured Illumination Microscopy，SIM）是成像技术，其涉及这样的后处理方法的使用，在其中照明图案或掩模用来允许感兴趣的具体的细胞区域的照明和分辨率的空间控制。此方法用于这样的应用作为自体荧光减小、扩展的动态范围成像以及光学深度分段。
然而，存在用于方法的需要，该方法可在图像采集自身期间用于将感兴趣的具体区域作为目标或在本地增加对比度和信噪比。实时SIM过程会改进荧光激发的效率或特异性以及使用以前的信息或组织图像中的具体特征以调整后续照明图案的样本分析。然而，为了完成此情况，过程要求所采集的图像与照明掩模配准以便照明掩模可以在后续图像采集期间精确地重叠在样本上。
发明内容
本发明针对使用光学分割的生物样本内的蛋白质表现和位置的成像。
根据本发明的一个实施例，包含一种用于放置于固体支撑上且装配在荧光显微镜上的生物样本的光学分割的方法，该方法包含将来自光源的处于预定波长的光传送到生物样本上，其中光引起生物样本发荧光；使用图像捕获装置采集生物样本的荧光图像；至少部分利用基于特征的信息或像素强度信息来分析该荧光图像以生成对应于生物样本内的具体结构的掩蔽图案；将掩蔽图案变换为重定格式（reformatted）的掩蔽图案以将图像捕获装置的图像与数字微镜装置（digital
micro-mirror device，DMD）的空间坐标配准；使用数字微镜装置（DMD）将重定格式的掩模图案投影到生物样本上，其中所述DMD放置于光源和生物样本之间，并且其中重定格式的掩蔽的图案与生物样本配准；用图像捕获装置来采集生物样本的掩蔽的荧光图像；以及将掩蔽的荧光图像转换为数字图像。
在另一实施例中，本发明包含一种用于放置于固体支撑上的生物样本的光学分割的图像分析系统。该图像分析系统包含荧光显微镜，该荧光显微镜具有用于装配生物样本的台；光源，用于照明生物样本并且放置该光源以便引导光通过荧光显微镜的孔径以及引导光到生物样本上；数字微镜装置（DMD），其中所述DMD放置于光源和荧光显微镜的孔径之间；图像捕获装置，附着于荧光显微镜并且配置为采集生物样本的荧光图像；以及数字光处理器。该数字光处理器配置为接收来自图像捕获装置的荧光图像；至少部分利用基于特征的信息或像素强度信息来分析荧光图像以生成掩蔽图案，其中掩蔽图案对应于生物样本内的具体结构；以及将掩蔽图案变换为重定格式的掩蔽图案以将图像捕获装置的图像与DMD的空间坐标配准。
附图说明
当参考附图阅读下文的详细描述时，本发明的这些和其它特征、方面以及优势将变得更好理解，其中在通篇附图中类似的标号表示类似的部件。
图1是示出以“开”和“关”的状态在微镜面上的光入射的DMD操作的示意图。
图2是示出使用用于引导光的DMD装置的通过照明系统的照明路径的示意图。
图3是示出可用于求解将照相机坐标映射到DMD坐标的参数的一个校正例程的流程图。
图4是用于校正照相机图像以匹配DLP坐标的目标DMD图像的显微图。
图5是在与汉宁窗口相乘后的照相机和DMD图像的显微图。
图6是DMD（A）和照相机（B）图像的傅里叶变换幅度的对数-极变换的显微图。
图7是在300ms的曝光时间（在该时间血红细胞引起饱和）成像的均匀地照明的前列腺样本的显微图。
图8是在900ms曝光时间使用减小以前饱和区域的激发的照明掩模成像的前列腺样本的显微图。
图9是在DAPI通道（A）成像结肠样本的显微图，示出染色的细胞核、在Cy3带（B）中染色的角质以及在DAPI通道成像的使用角质图像作为照明掩模的上皮细胞核（C）。
具体实施方式
在传统的荧光成像系统中，使用空间均匀的光源来激发感兴趣的荧光标识的生物标记，导致在生物样本中发现的外生的荧光团和内生的荧光化合物的激发。然而，如果已知给定蛋白质主要在具体细胞区域（例如，细胞核或上皮）表现，则可以利用此信息来改进荧光激发的效率或特异性。通过首先在给定通道捕获感兴趣的结构的均匀地照明的图像，并且使用此图像作为照明掩模用于对应于感兴趣的标记的通道，来避免蛋白质表现区域外部的激发。
本发明通常涉及图像采集方法，其使用从均匀地照明的生物样本获得的信息以选择性地照明生物样本内的感兴趣的结构特征。该方法包含建立对应于生物样本内的具体结构的掩蔽图案。具体的结构是高表现形态学信号，包含但不限于隔膜标记、血管标记、细胞核染色、肿瘤标记、上皮标记或间质标记。
所建立的掩蔽图案可以用于假设低丰度标记存在的区域的照明。因此，该方法通过减轻与样本内的高发射来源关联的一些组织（例如，脂褐质和红血细胞）用来扩展样本的动态范围成像。例如，用于所选择的亚细胞组织区域的动态范围成像可以通过在需要的地方送出更多的照明，并避免样本内其它对象（例如，红血细胞）的激发来最佳化。换句话说，可以减少在生物样本中发现的没有作为目标的外生的荧光团和内生的荧光化合物的激发。此外，使用形态学标记所设计的照明掩模可使能在具体细胞和组织结构上的其它生物标记的检测。
在某些实施例中，生物样本可以装配在固体支撑上并且安放在荧光显微镜上用于使用掩蔽图案来分析，该掩蔽图案投影于生物样本上。术语生物样本指的是从生物对象获得的样本，包含在体内或体外获得的生物组织或流体起源（origin）的样本。这样的样本可以是但不限于，身体流体（例如，血液、血浆、血清或尿液）、器官、组织、片段以及从包含人类的哺乳动物隔离的细胞。生物样本也可包含生物样本的切片，其包含组织（例如，器官或组织的切片的部分）。生物样本还可包含来自生物样本（例如，来自生物的流体（例如，血液或尿液）的抗原）的提取物。
生物样本可以是原核生物起源或真核生物起源（例如，昆虫、原生动物、鸟、鱼、爬虫类）。在一些实施例中，生物样本是哺乳动物（例如，老鼠、鼠、牛、狗、驴、豚鼠或兔子）。在某些实施例中，生物样本是灵长类动物起源（例如，示例，黑猩猩或人类）。此外，固体支撑指的是在其上可以使生物样本不移动并且然后由本文所公开的方法来检测的物品。可以通过物理吸附、通过共价键形成或通过其组合使生物样本在固体支撑上不移动。固体支撑可包含聚合物材料、玻璃材料或金属材料。固体支撑的示例包含膜片、微量滴定板、珠、过滤器、测试条、载玻片、盖玻片、以及试管。
在成像之前，生物样本可以首先使用具有荧光染料或荧光团的分子标记（燃料和抗体）来标识。例如，细胞核可以用DAPI（具体地键联DNA的荧光染料）来染色，而组织内的其它区域可以免疫荧光地标识，在那里通过直接地共轭的抗体或通过主要二次放大检测来将感兴趣的分子作为目标。对于一些结构，例如红血细胞（RBC），可能发生自体荧光。
建立掩蔽图案的方法包含将来自光源的处于预定波长的光传送到生物样本上，其中该光引起生物样本发荧光。在某些实施例中，在表面到处均匀地照明生物样本。在其它实施例中，从以前的扫描或类似样本获得的图像信息可用于选择性地照明样本。选择性的照明可增加后续捕获的宽场荧光图像信噪比、保真度、特异性或其组合。
可以使用图像捕获装置来捕获生物样本的宽场荧光图像，并且转移到用于分析的数字光处理器（Digtal Light Processor，DLP）。至少部分利用基于特征的信息或像素强度信息来分析图像以生成对应于生物样本内具体结构的掩蔽图案。
可以使用DLP来重定格式掩蔽图案以将宽场荧光图像与数字微镜装置（DMD）的空间坐标配准，该数字微镜装置（DMD）放置于成像系统的光源和照明光学器件之间并用来将重定格式的掩蔽的图像投影到所装配的生物样本上。将图像重定格式进DMD坐标来移除与宽场图像和DMD装置之间的阵列密度相关的差异的图像分辨率的变化，因此，细化重叠的图像的安放。
DMD可以包含各种像素阵列。在某些实施例中，DMD可以是MEMS镜，其允许引导光进入或离开照明路径，或液晶装置。MEMS镜（微机电系统）是光刻产生的镜，其用通过用类似光刻技术产生的集成电路所施加的电压信号来操作。这些镜典型地具有以毫米或毫米的分数来测量的尺寸。在某些实施例中，包含DMD的微镜以对应于“开”和“关”的状态的两个角度之一来放置。为了在状态间进行切换，每个镜个别地关于其对角线轴转动。如图1所示，引导从每个微镜反射的光以“开”状态进入显微镜的照明光学器件，或以“关”状态从显微镜入口偏离。
图2是本发明的一个实施例的示出通过会附着于显微镜的系统的照明路径的图示。准直透镜40通过成像元件50（例如但不限于非球面透镜）将来自光源（未示出）的光聚焦，其中在成像元件50该光从宽带镜60反射到DMD 70。在DMD微镜面上入射的光，被引导进显微镜物镜80，穿过非球面成像透镜90到视场光阑孔径100上。
通过将图像聚焦到图2中所示的照明路径的视场光阑上，只要样本自身是对准焦点的，则DMD图案严格成像到样本上。视场光阑结合到物镜的焦平面，并且因此，与视场光阑共面的图像将转达到物镜的焦平面。
为了将在照相机上采集的图像用作DMD图案，可以应用仿射变换以匹配由于图像通过显微镜光学器件投影而发生的缩放、变换以及位移。仿射变换指的是维持共线性以便最初位于线上的所有点在转换后仍然位于线上并且线段的中点、距离率在变换后仍是中点的任何转换。
除仿射变换的需要以外，可能在波形因数存在不匹配。例如，DMD可具有测量768x1024镜的镜阵列，然而照相机传感器可具有测量1728x2352像素的像素阵列。因此，重定格式用于在DMD上使用的照相机图像的过程可包含降采样，因为最终格式具有比原始照相机图像更低的像素。
一旦已知变换参数，这些参数可应用于在照相机上采集的图像以产生重定格式的图像，该图像可以上传到DMD。当通过显微镜投影时，将正确地将所重定格式的图像与样本配准。图3是示出可用于求解将照相机坐标映射到DMD坐标的仿射参数的一个校正例程的流程图。配准目标的图像到原始图像以分别求解参数S、x以及y或缩放、转动、x位移以及y位移。
在一个实施例中，如图3所示，上传（1）目标图像到DMD上并且投影到校正样本上（2）。用显微镜照相机采集（3）样本上此目标的图像。然后可向下选择（down select）（4）样本以匹配两个图像之间的波形因数以建立重采样的照相机图像。将重采样的照相机图像与目标DMD图像配准并且用来求解仿射变换参数、转动、缩放以及两个图像之间的x-y变换（5和6）。一旦计算变换参数，可以存储（7）参数，并使用相同的显微镜照相机和DMD应用于生物样本图像的配准（8）。
在一个实施例中，校正例程可使用目标DMD图像用于变换参数，由此DMD图像使用明确定义的特征（例如，角和直线）以有助于目标和其在样本平面的投影之间的牢固配准（robust registration）。用于此类型校正的校正目标图像示出于图4中并且包含压在玻璃载玻片与盖玻片之间的高度集中的Cy3染料的薄层。当用Cy3过滤装置观察时，此目标导致明亮的、均匀的荧光层。最薄的染料层确保了具有高对比度的最佳聚焦的窄范围。图4示出（A）在配准前（B）和配准（C）后的DMD目标图像以及其在样本上的投影。
给定目标DMD在对象上的投影具有768x1024像素并且在照相机上的图像具有1728x2352像素，重采样照相机图像可用于在配准前产生两个图像之间的匹配波形因数。在某些实施例中，双线性插值用来确定在照相机图像的非整数坐标的像素值。
在某些实施例中，可以使用2D锥形或边缘过滤函数，例如，汉宁窗口（Hanning window）。例如，图4中所示出的图像可以与2D汉宁窗口函数相乘以便平滑地锥化图像的外部50个像素下降为零。这样的锥形窗口可用于避免边缘伪影的存在，其可以在配准中误作为图像特征。在窗口操作（windowing）后，可以配准目标DMD图像和重采样的照相机图像以求解仿射变换参数。
给定两个图像之间的转动、缩放以及x-y变换，可以应用适当的变换以系统地隔离和求解每个参数。
在某些实施例中，由于移位图像不改变其傅里叶变换的幅度，所以可以使用傅里叶变换。因此，通过仅考虑每个图像的傅里叶变换的幅度，图像配准可限于转动和缩放因数。图像的转动导致其傅里叶变换幅度的相等的转动。以因数α缩放图像产生以因数1/α缩放的傅里叶变换幅度。然而，这些参数通常难以直接从傅里叶变换中测量。备选方式可以在对数-极空间（log-polar space）表示傅里叶变换幅度。
可以应用对数-极变换，因为其将图像投射为径向和角度坐标，其实质上将缩放和转动转换为ρ和θ轴上的变换。图像的傅里叶变换的幅度是：
以及
其中c和d分别表示与汉宁窗口相乘后的照相机和DMD图像。图像C和D在图5中示出，其中上面的行是完整图像并且下面的行示出放大的区。
如在图5中观察的，图像C是D的缩放的和转动的型式，因此，极变换Cp和Dp具有以下关系：
其中α是缩放因数，以及θ’是以度为单位的转动。因此降低转动到沿着θ轴的变换。为了将缩放因数降低到沿着径向轴的变换，ρ轴可以使用对数标尺来表示。结果是对数-极图像Clp和Dlp，其具有关系：
缩放因数现在可通过在对数-极空间中找出变换
来求解，并且指数化为以下：
类似地，通过求解沿着ρ轴的位移来确定转动。在图6中示出对数-极表示Clp和Dlp。图6是DMD（A）和照相机（B）图像的傅里叶变换幅度的对数-极转换的显微图。这些转换选取傅里叶变换的中心或DC项作为中心，并且因此将在以前的傅里叶变换中观察到的缩放和转动转换为沿着ρ和θ轴的变换。
变换可使用相位相关来确定，相位相关是基于两个图像的相位偏置确定这两个图像的相对位移的频域技术。来自两个图像a和b的相位相关，可以通过首先计算两个信号的归一化互功率频谱来确定，定义为：
其中A和B是图像a和b的傅里叶变换。在此情况下，a和b是对数-极变换Clp和Dlp。函数r然后从R的逆傅里叶变换获得。对应于r的峰值的水平和垂直位置的后续位移：
此技术可用于求解在对数-极坐标中的
和θ位移。类似地，在应用缩放和转动后，两个结果图像仅在x和y上的位移不同。可以应用相位相关以找出两个图像上的x和y变换。
实验
使用DLP®DISCOVERYTM4000（德州仪器公司，德克萨斯，达拉斯）商业可用的DMD开发板来实现所构造的照明。此模块使8位灰度级图像能上传和以XGA分辨率（768x1024像素）来显示。EXFO X-CITE®120Q（EXFO电光工程公司，加拿大，魁北克），宽带汞灯用作系统的照明来源。液体光导用于输送来自灯的输出光到准直透镜。200mm焦距非球面然后聚焦准直的光束以粗略地探明DMD的大小（0.7”对角线长度）。首先，在聚焦到DMD的表面上之前用转向镜引导聚焦的光束的路径到适当的角度。最后，
100mm非球面加倍2’’直径用来中继DLP的图像到奥林巴斯®BX-51显微镜（奥林巴斯美国公司，宾夕法尼亚，中心谷）的视场光阑上。
A. 动态范围扩展
在空间上变化照明强度可用于减小从会以其它方式使检测器饱和的区域所发射的信号的量。此使用包含红血细胞的前列腺样本来演示，其在如图7所示的Cy3通道中来成像。红血细胞用足够大强度来发荧光以超过照相机的动态范围，其结果是使感兴趣的信号处于相对低的信噪比（SNR）。在用减小至红血细胞的激发的掩模照明后，积分时间乘以3而不使检测器饱和。这在图8中示出。平均0.35百万像素面积的信号区域在饱和均匀照明的图像中展示了43.1的平均像素值，相对于在所构造的照明的相同区域中的91.9的平均值。
所构造的照明的使用在平均信号中提供大于2倍的增加并避免饱和。此结果演示了在系统的动态范围中的有效增加以处置强大的自体荧光来源。在饱和的情况下，通过使用均匀照明的图像并且设置饱和的像素为零来形成照明掩模。
B. 光学分割
生物结构的光学分割通过采集感兴趣的形态学特征的染色的样本的图像来进行。通过处理此图像，建立照明掩模，其允许激发仅到达对应于感兴趣的结构的那些区域。在不同的通道使用此掩模使能对应于掩模的生物样本的形态学结构的空间界限内的任何生物标记的分割。此已经以用于上皮相对间质细胞核的分割的各种组织样本来演示。
图9是结肠组织的示例，其对角质和细胞核染色；在DAPI通道（A）成像的染色的细胞核、在Cy3带（B）染色的角质以及在DAPI通道成像的上皮细胞核使用角质图像作为照明掩模（C）。角质、上皮的丰富的蛋白质在Cy3带用在DAPI中染色的细胞核来染色。给定上皮的CY3通道图像，后面有阈值的直方图归一化给出上皮组织的二值图。然后配准此图并输送给DMD。切换到DAPI通道并且应用上皮照明掩模将允许仅激发上皮细胞核。
本发明包含通常涉及使用生物样本用于分析、诊断或预言应用（例如，分析物检测、组织化学、免疫组织化学或免疫荧光法）的实施例。在一些实施例中，本文所公开的方法可以特别地应用于组织化学、免疫染色、免疫组织化学、免疫化验或免疫荧光法。在一些实施例中，本文所公开的方法可以特别地应用于免疫印迹技术（例如，蛋白质印迹（western blots））或免疫化验（例如，酶联免疫吸附化验（enzyme-linked immunosorbent assays，ELISA））。
本发明可以其它具体形式实施而不背离其精神或实质特性。上文的实施例因此从所有方面认为是说明性的而不限于本文所公开的本发明。本发明的范围因此由所附的权利要求而不是由上文的描述来指示，并且因此旨在落入权利要求的等效的范围和意思的所有改变包含于其中。
Claims (17)
1. 一种用于放置于固体支撑上且装配在荧光显微镜上的生物样本的光学分割的方法，包含：
将来自光源的处于预定波长的光传送到所述生物样本上，其中所述光引起所述生物样本发荧光；
使用图像捕获装置采集所述生物样本的荧光图像；
至少部分利用基于特征的信息或像素强度信息来分析所述荧光图像，以生成对应于所述生物样本内的具体结构的掩蔽图案；
将所述掩蔽图案变换为重定格式的掩蔽图案以将所述图像捕获装置的所述图像与数字微镜装置（DMD）的空间坐标配准；
使用所述数字微镜装置（DMD）将所述重定格式的掩模图案投影到所述生物样本上，其中所述DMD放置于所述光源和所述生物样本之间，并且其中所述重定格式的掩蔽的图案与所述生物样本配准；
用所述图像捕获装置来采集所述生物样本的掩蔽的荧光图像；以及
将所述掩蔽的荧光图像转换为数字图像。
2. 如权利要求1所述的方法，其中所述将所述掩蔽图案变换为重定格式的掩蔽图案包含：将仿射变换参数应用于所述掩蔽图案。
3. 如权利要求2所述的方法，其中所述仿射变换参数使用校正过程来计算，其中所述校正过程包含：
将目标图像上传到所述DMD上并且将所述图像投影到校正样本；
采集投影到所述校正样本上的所述目标图像的校正图像；
向下选择所述校正图像以匹配所述图像捕获装置与所述数字微镜装置（DMD）的空间坐标之间波形因数以建立重定格式的图像；以及
将所述重定格式的图像与所述目标图像配准并且求解所述仿射变换参数。
4. 如权利要求3所述的方法，其中所述向下选择包含将双线性插值和2D锥形函数应用于来自所述图像捕获装置的图像。
5. 如权利要求3所述的方法，其中求解所述仿射变换参数包含将傅里叶变换操作应用于图像配准。
6. 如权利要求5所述的方法，其中所述傅里叶变换操作的幅度在对数-极空间中表示。
7. 如权利要求1所述的方法，其中将所述重定格式的掩模图案投影到所述生物样本上导致变化所述生物样本的空间照明。
8. 如权利要求7所述的方法，其中变化所述生物样本的空间照明通过减少所述生物样本中发现的没有作为目标的外生的荧光团或内生的荧光化合物的激发来扩展所述图像捕获装置的动态范围。
9. 如权利要求7所述的方法，其中变化所述生物样本的空间照明允许用所述掩蔽的图像的空间界限的一个或多个生物标记的光学分割。
10. 如权利要求1所述的方法，其中将所述掩蔽的荧光图像转换为数字图像表示所述重定格式的掩模图案的正图像或负图像。
11. 如权利要求1所述的方法，其中采集所述生物样本的荧光图像包含使用来自以前图像的图像信息以选择性地照明所述样本，用于增加所述荧光图像信噪比、保真度、特异性或其组合。
12. 一种用于放置于固体支撑上的生物样本的光学分割的图像分析系统，包含：
荧光显微镜，具有用于装配所述生物样本的台；
光源，用于照明所述生物样本并且放置所述光源以便引导光通过所述荧光显微镜的孔径并且引导到所述生物样本上；
数字微镜装置（DMD），其中所述DMD放置于所述光源和所述荧光显微镜的孔径之间；
图像捕获装置，附着于所述荧光显微镜并且配置为采集所述生物样本的荧光图像；以及
数字光处理器，配置为：
接收来自所述图像捕获装置的荧光图像；
至少部分利用基于特征的信息或像素强度信息来分析所述荧光图像以生成掩蔽图案，其中所述掩蔽图案对应于所述生物样本内的具体结构；以及
将所述掩蔽图案变换为重定格式的掩蔽图案以将所述图像捕获装置的图像与所述DMD的空间坐标配准。
13. 如权利要求12所述的系统，其中所述数字光处理器配置为将仿射变换参数应用于所述掩蔽图案。
14. 如权利要求13所述的系统，其中所述数字光处理器还配置为存储来自一个或多个以前分析的样本的仿射变换参数。
15. 如权利要求14所述的系统，其中所述以前分析的样本来自于校正样本。
16. 如权利要求12所述的系统，其中所述DMD是二维MEMS镜阵列，配置为在个别微镜面入射的光偏离进入或离开所述荧光显微镜的孔径，以便图案图像能投影到所述生物样本上。
17. 如权利要求12所述的系统，其中所述数字光处理器还配置为使用来自以前图像的图像信息以控制所述生物样本的照明并且其中所述照明增加所采集的荧光图像信噪比、保真度、特异性或其组合。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/732272 | 2010-03-26 | ||
| US12/732,272 US8532398B2 (en) | 2010-03-26 | 2010-03-26 | Methods and apparatus for optical segmentation of biological samples |
| PCT/SE2011/050321 WO2011119096A1 (en) | 2010-03-26 | 2011-03-23 | Methods and apparatus for optical segmentation of biological samples |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102804205A true CN102804205A (zh) | 2012-11-28 |
Family
ID=44656541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180015777XA Pending CN102804205A (zh) | 2010-03-26 | 2011-03-23 | 用于生物样本的光学分割的方法和器件 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8532398B2 (zh) |
| EP (1) | EP2553629A4 (zh) |
| JP (1) | JP5726284B2 (zh) |
| CN (1) | CN102804205A (zh) |
| WO (1) | WO2011119096A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105103190A (zh) * | 2013-01-10 | 2015-11-25 | 加利珀生命科学股份有限公司 | 全视野载玻片多光谱成像系统和方法 |
| CN108369734A (zh) * | 2015-12-10 | 2018-08-03 | 凯杰有限公司 | 数字图像中的对象分类 |
| CN110178014A (zh) * | 2016-11-14 | 2019-08-27 | 美国西门子医学诊断股份有限公司 | 用于使用图案照明表征样本的方法和设备 |
| CN112136035A (zh) * | 2018-04-26 | 2020-12-25 | 贝克顿·迪金森公司 | 用于颗粒分选仪的双指数变换 |
| CN112424588A (zh) * | 2018-07-24 | 2021-02-26 | 索尼公司 | 从样本的自体荧光分离出荧光试剂的荧光的信息处理装置及显微镜 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1998165A1 (en) * | 2007-06-01 | 2008-12-03 | The European Community, represented by the European Commission | Method of fluorescence imaging |
| WO2012027358A1 (en) | 2010-08-23 | 2012-03-01 | President And Fellows Of Harvard College | Optogenetic probes for measuring membrane potential |
| US9207237B2 (en) | 2010-08-23 | 2015-12-08 | President And Fellows Of Harvard College | Systems, methods, and workflows for optogenetics analysis |
| US10088658B2 (en) * | 2013-03-18 | 2018-10-02 | General Electric Company | Referencing in multi-acquisition slide imaging |
| JP6211389B2 (ja) * | 2013-10-25 | 2017-10-11 | 株式会社キーエンス | 顕微鏡装置 |
| WO2015164378A1 (en) | 2014-04-22 | 2015-10-29 | Q-State Biosciences, Inc. | Analysis of compounds for pain and sensory disorders |
| US9518103B2 (en) | 2014-06-18 | 2016-12-13 | President And Fellows Of Harvard College | Optogenetic probes for measuring membrane potential |
| WO2016115333A1 (en) | 2015-01-15 | 2016-07-21 | President And Fellows Of Harvard College | Optical selection of cells |
| US10048275B2 (en) | 2015-03-13 | 2018-08-14 | Q-State Biosciences, Inc. | Cardiotoxicity screening methods |
| EP3298448A4 (en) | 2015-05-21 | 2019-03-27 | Q-State Biosciences, Inc. | OPTOGENETIC MICROSCOPE |
| US10839509B2 (en) | 2015-07-10 | 2020-11-17 | 3Scan Inc. | Spatial multiplexing of histological stains |
| KR101865624B1 (ko) | 2016-06-10 | 2018-06-11 | 주식회사 토모큐브 | 파면 제어기를 이용한 초고속 3차원 굴절률 영상 촬영 및 형광 구조화 조도 현미경 시스템 및 이를 이용한 방법 |
| CN108229098A (zh) * | 2016-12-09 | 2018-06-29 | 深圳市瀚海基因生物科技有限公司 | 单分子的识别、计数方法及装置 |
| CN107065159B (zh) * | 2017-03-24 | 2019-10-18 | 南京理工大学 | 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法 |
| EP3987481A1 (en) * | 2019-06-18 | 2022-04-27 | SurgVision GmbH | Luminescence imaging with refining loop based on combination of partial illuminations |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1623085A (zh) * | 2002-01-24 | 2005-06-01 | 通用医疗公司 | 使用光谱带并行检测的低相干干涉测量法(lci)和光学相干层析成像(oct)信号的测距和降噪的装置和方法 |
| US7034983B2 (en) * | 2001-11-08 | 2006-04-25 | Imaginative Optics, Inc. | Spatial light modulator apparatus |
| US7532323B2 (en) * | 2003-10-28 | 2009-05-12 | Cha-Min Tang | Spatial light modulator apparatus and method |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5587832A (en) * | 1993-10-20 | 1996-12-24 | Biophysica Technologies, Inc. | Spatially light modulated confocal microscope and method |
| US20020145610A1 (en) * | 1999-07-16 | 2002-10-10 | Steve Barilovits | Video processing engine overlay filter scaler |
| US7346776B2 (en) * | 2000-09-11 | 2008-03-18 | Digimarc Corporation | Authenticating media signals by adjusting frequency characteristics to reference values |
| GB0106342D0 (en) | 2001-03-15 | 2001-05-02 | Renishaw Plc | Spectroscopy apparatus and method |
| US7355716B2 (en) * | 2002-01-24 | 2008-04-08 | The General Hospital Corporation | Apparatus and method for ranging and noise reduction of low coherence interferometry LCI and optical coherence tomography OCT signals by parallel detection of spectral bands |
| DE10228374A1 (de) * | 2002-06-25 | 2004-01-15 | Leica Microsystems Heidelberg Gmbh | Verfahren zur Mikroskopie und Mikroskop |
| JP4471666B2 (ja) * | 2004-01-05 | 2010-06-02 | 独立行政法人科学技術振興機構 | 光フーリエ変換装置及び方法 |
| DE602005007403D1 (de) * | 2004-03-25 | 2008-07-24 | Olympus Corp | Scannendes konfokales Mikroskop |
| JP2006171024A (ja) * | 2004-12-10 | 2006-06-29 | Olympus Corp | 多点蛍光分光測光顕微鏡および多点蛍光分光測光方法 |
| JP2006292421A (ja) * | 2005-04-06 | 2006-10-26 | Sharp Corp | 蛍光検出装置 |
| US7329860B2 (en) | 2005-11-23 | 2008-02-12 | Illumina, Inc. | Confocal imaging methods and apparatus |
| US8131476B2 (en) * | 2006-08-07 | 2012-03-06 | General Electric Company | System and method for co-registering multi-channel images of a tissue micro array |
| EP1998165A1 (en) * | 2007-06-01 | 2008-12-03 | The European Community, represented by the European Commission | Method of fluorescence imaging |
| US8031924B2 (en) * | 2007-11-30 | 2011-10-04 | General Electric Company | Methods and systems for removing autofluorescence from images |
| JP2009257967A (ja) * | 2008-04-17 | 2009-11-05 | Olympus Corp | 蛍光観察装置および蛍光観察方法 |
-
2010
- 2010-03-26 US US12/732,272 patent/US8532398B2/en active Active
-
2011
- 2011-03-23 WO PCT/SE2011/050321 patent/WO2011119096A1/en active Application Filing
- 2011-03-23 EP EP11759798.9A patent/EP2553629A4/en not_active Withdrawn
- 2011-03-23 CN CN201180015777XA patent/CN102804205A/zh active Pending
- 2011-03-23 JP JP2013501212A patent/JP5726284B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7034983B2 (en) * | 2001-11-08 | 2006-04-25 | Imaginative Optics, Inc. | Spatial light modulator apparatus |
| CN1623085A (zh) * | 2002-01-24 | 2005-06-01 | 通用医疗公司 | 使用光谱带并行检测的低相干干涉测量法(lci)和光学相干层析成像(oct)信号的测距和降噪的装置和方法 |
| US7532323B2 (en) * | 2003-10-28 | 2009-05-12 | Cha-Min Tang | Spatial light modulator apparatus and method |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105103190A (zh) * | 2013-01-10 | 2015-11-25 | 加利珀生命科学股份有限公司 | 全视野载玻片多光谱成像系统和方法 |
| CN105103190B (zh) * | 2013-01-10 | 2018-07-17 | 加利珀生命科学股份有限公司 | 全视野载玻片多光谱成像系统和方法 |
| CN108369734A (zh) * | 2015-12-10 | 2018-08-03 | 凯杰有限公司 | 数字图像中的对象分类 |
| CN110178014A (zh) * | 2016-11-14 | 2019-08-27 | 美国西门子医学诊断股份有限公司 | 用于使用图案照明表征样本的方法和设备 |
| CN112136035A (zh) * | 2018-04-26 | 2020-12-25 | 贝克顿·迪金森公司 | 用于颗粒分选仪的双指数变换 |
| CN112424588A (zh) * | 2018-07-24 | 2021-02-26 | 索尼公司 | 从样本的自体荧光分离出荧光试剂的荧光的信息处理装置及显微镜 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20110235875A1 (en) | 2011-09-29 |
| EP2553629A4 (en) | 2013-08-14 |
| JP5726284B2 (ja) | 2015-05-27 |
| US8532398B2 (en) | 2013-09-10 |
| WO2011119096A1 (en) | 2011-09-29 |
| JP2013524261A (ja) | 2013-06-17 |
| EP2553629A1 (en) | 2013-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102804205A (zh) | 用于生物样本的光学分割的方法和器件 | |
| JP7177073B2 (ja) | アッセイ用の光学系、デバイス、およびシステム | |
| JP2013524261A5 (zh) | ||
| US7761257B2 (en) | Apparatus and method for evaluating optical system | |
| US8063386B2 (en) | Time resolved fluorescent imaging system | |
| JP5112694B2 (ja) | 生体物質の分析 | |
| EP2941663B1 (en) | A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope | |
| US20100201784A1 (en) | Method for the microscopic three-dimensional reproduction of a sample | |
| CN103135220B (zh) | 显微镜照明系统及方法 | |
| CN105203507A (zh) | 远心、宽场荧光扫描成像系统和方法 | |
| JP2017173820A (ja) | 光シート顕微鏡および光シート顕微鏡を作動するための方法 | |
| US20080030850A1 (en) | Arrangement for microscopic observation and/or detection in a light scanning microscope with line scanning and use | |
| US9874736B2 (en) | Apparatus and method for an inclined single plane imaging microscope box (iSPIM box) | |
| US20130087718A1 (en) | Confocal fluorescence lifetime imaging system | |
| CN106066315A (zh) | 用于表征和量化微粒样本的图像细胞仪 | |
| US20140218794A1 (en) | Confocal Fluorescence Microscope | |
| CN107783267B (zh) | 显微放大系统 | |
| CN111239992A (zh) | 基于环形阵列光源照明的超分辨率全内反射显微成像装置及方法 | |
| JP2010271522A (ja) | 非線形光学顕微鏡 | |
| CN112020641B (zh) | 用于增加收集的镜像显微术 | |
| CN107850766A (zh) | 用于光学显微镜中的图像处理的系统和方法 | |
| JP2006284243A (ja) | 高時間分解能画像化方法及び装置並びに全反射型蛍光顕微鏡 | |
| US20170018399A1 (en) | Device for correlative scanning transmission electron microscopy (stem) and light microscopy | |
| Murali et al. | Continuous stacking computational approach based automated microscope slide scanner | |
| JP2004191160A (ja) | バイオチップの測定方法および測定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121128 |