CN109863441A - 荧光显微镜 - Google Patents

荧光显微镜 Download PDF

Info

Publication number
CN109863441A
CN109863441A CN201780062643.0A CN201780062643A CN109863441A CN 109863441 A CN109863441 A CN 109863441A CN 201780062643 A CN201780062643 A CN 201780062643A CN 109863441 A CN109863441 A CN 109863441A
Authority
CN
China
Prior art keywords
fluorescence microscope
lens
optical device
microscope according
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780062643.0A
Other languages
English (en)
Inventor
C·A·斯托克斯
B·W·斯托克斯
C·H·康塔格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leland Stanford Junior University
Original Assignee
Leland Stanford Junior University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leland Stanford Junior University filed Critical Leland Stanford Junior University
Publication of CN109863441A publication Critical patent/CN109863441A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/0048Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor

Abstract

荧光显微镜包括滤色器阵列,用于与成像阵列结合使用以产生全色图像,而无需使用激发滤光片、二向色和发射滤光片。在一些实施例中,光学器件包括反向直立(相机)透镜,以提供显著大于现有技术荧光显微镜的视场。

Description

荧光显微镜
关于联邦政府资助研究的声明
本发明是在National Institutes of Health Grant#:1165058-100-PADGN的政府支持下完成的。政府拥有本发明的某些权利。
相关案件声明
本案件要求于2016年8月11日提交的美国专利申请序列号62/373,603的优先权,其内容通过引入而并入本文。
背景技术
光学荧光是当分子吸收波长在其吸收带内的光,然后在其发射带内发射光(在较长波长处)时发生的过程。该过程可用于研究可发荧光的样本。样本可以在其天然形式下发荧光,或者作为称为荧光团的强荧光分子处理的结果而发荧光。荧光团可以附着在特定的靶上,这些靶通常是生物分子。这提供了用于识别、定量和实时观察这些分子的生物和/或化学活性的手段。通过使用几种在不同波长(颜色)处发荧光的不同荧光团,可以同时检查几种不同的靶分子。因此,荧光检测技术在生物研究显微镜术中的重要性日益增加。
可以使用荧光显微镜检查荧光。这是一种光学显微镜,它使用荧光和/或磷光代替或补充反射和吸收,以研究有机或无机物质的性质。尽管荧光显微镜不能提供低于特定样本特征的衍射极限的空间分辨率,但是容易实现低于这种限制的荧光分子的检测。
荧光显微镜使用宽带光源,其除了提供其他(不需要的)波长的光之外,还将提供激发所使用的一种或多种荧光团的一个或多个波长。为了选择一个或多个激发波长并将发射的荧光与激发光分开,荧光显微镜通常使用至少三个滤光片:激发滤光片(“激发器”),二向色分束器/反射镜(“二向色”)和发射或屏障滤光片(“发射器”)。
激发器是带通滤光片,其仅通过由荧光团吸收的波长,从而基本上防止其他荧光源的激发。另外,激发器阻挡荧光发射带中的激发光。二向色是以倾斜入射角(通常为45度)使用的截止滤光片(edge filter),以高效地反射激发带中的光并透射发射带中的光。并且发射器是带通滤光片,用于仅通过由荧光团发射的波长,阻挡该带以外的所有不需要的光,特别是激发光。通过阻挡不需要的激发能量(包括UV和IR)或样本和系统的自发荧光,这些光学滤光片可确保最暗的背景。
图1描绘了传统的荧光显微镜100。显微镜包括光源102、激发滤光片104、二向色分束器106、发射滤光片108、镜台110和检测器112,如图所示布置。未示出通常存在于显微镜100中的某些其他部件,例如目镜、物镜等。假设具有激发波长λj和发射波长λp的荧光团已附着于样本114中的靶分子上。
光源102(通常是宽带光源)发射包括多个波长的光,包括波长λ1至λn,其包括激发波长λj。激发滤光片104选择性地阻挡具有除激发波长λj之外的波长的光,使得仅具有波长λj的光通过。二向色分束器106接收并反射激发光(由激发滤光片104通过)并将其引导到镜台110上的样本114上。
远离样本114传播的光包括荧光发射(即,波长λp和λsz)以及从中简单散射的激发光(波长λj)。二向色分束器106将荧光发射与散射的激发光分离,使散射的激发光偏离检测路径。
发射滤光片108选择性地透射用于在检测器112处检测来自样本114的具有波长λp的荧光发射,并阻挡具有其他波长(λsz)的荧光发射。
检测器112可以是电荷耦合器件(CCD)或CMOS图像传感器。传统上,互补金属氧化物半导体(CMOS)相机由于其相对于更传统的电荷耦合器件(CCD)图像传感器而较差的灵敏度和高噪声而未被用于科学应用。CCD具有两种架构差异,使其成为科学用途的理想选择。首先,模数转换和信号放大发生在图像传感器之外,从而降低噪声并使CCD基本上成为利用移位寄存器读出图像的模拟器件。其次,CCD不需要晶体管来寻址每个单独的像素,从而实现100%有源像素区域。但随着CMOS处理技术的改进以及“科学”CMOS传感器(“sCMOS”)的发展,这种传感器已经出现在荧光显微镜中。
选择光学滤光片104和108以及二向色分束器106以匹配用于标记样本114的荧光团的光谱激发和发射特性。以这种方式,一次成像单个荧光团(颜色)的分布。为了创建涉及几种类型的荧光团的多色图像,必须组合几个单色图像,例如使用色轮。
光学滤光片在将激发光形成最终图像的荧光发射光子分离时发挥关键作用,激发光更强烈。事实上,检测路径中的激发光强度通常必须减少106-107倍。同时,必须尽可能地最大化捕获的可用荧光光子的量。高捕获效率可以降低整体激发光水平,同时减少染料光漂白和细胞光毒性。
滤光片的选择通常涉及染料和滤光片的光谱关系的复杂分析。在使用单一染料的情况下,激发和发射滤光片应以染料的吸收和发射峰为中心。为了最大化信号,选择具有宽带宽的激发和发射滤光片。但是这可能导致发射信号与激发信号的不可接受的重叠水平,导致分辨率差。为了最小化这种光谱重叠,可以选择具有窄带宽并且光谱良好分离以增加信号隔离的激发和发射滤光片。这种方法降低了光学噪声,但也可能无法接受地降低信号强度。当来自同一样本中的多个荧光团的重叠信号被区分时,在选择滤光片时必须考虑染料的光谱和它们的预期强度。
关于滤光片的进一步考虑是一些染料在特定应用中具有与溶液中染料报道的那些相比显着不同的光谱性质。例如,许多核酸染色的光谱特征取决于染料是在水溶液中还是与DNA或RNA结合。其他染料的发射最大值取决于它们是溶于溶剂还是与膜结合。
所有荧光显微镜使用上述基本技术和布置。参见,例如,Leica、Nikon、Zeiss、Thermofisher及其他人提供的荧光显微镜:
http://www.leica-microsystems.com/applications/life-science/fluorescence/;
https://www.microscopyu.com/techniques/fluorescence/introduction-to-fluorescence-microscopy;
http://zeiss-campus.magnet.fsu.edu/articles/basics/fluorescence.html;
https://www.thermofisher.com/us/en/home/life-science/cell-analysis/cell-analysis-learning-center/m olecular-probes-school-of-fluorescence/fundamentals-of-fluorescence-microscopy/epifluorescence-microscope-basics.html;
https://www.edmundoptics.com/resources/application-notes/optics/fluorophores-and-optical-filters-f or-fluorescence-microscopy/;
andhttps://www.news-medical.net/life-sciences/Advances-in-Fluorescence-Microscopy.aspx.
除了需要解析用于荧光检测的颜色之外,生物科学中的一些显微镜应用需要高分辨率的大视场(FOV)。这提出了光学设计中的基本问题,因为在传统成像系统中,FOV和分辨率的取舍总是负相关。
该问题的常见解决方案是开发高分辨率显微镜,其能够通过使用图像拼接和扫描阶段产生大视场图像。然而,这显著地减慢了图像采集的过程。
因此,本领域将受益于荧光显微镜的改进。
发明内容
本发明提供荧光显微镜和荧光检测方法,该方法避免了现有技术的一些缺点。
根据本教导,并且与现有技术不同,滤色器阵列(“CFA”)与CMOS成像阵列结合使用以提供能够成像多个荧光团和/或生物发光报告器的荧光显微镜。
本发明人认识到,常规荧光显微镜中使用的一组宏观滤光片(即激发、二向色、发射)可以用CFA代替。更具体地,在本发明的实施例中,彩色照相机(CFA和CMOS成像阵列)取代了现有技术荧光显微镜的宏观滤光片。值得注意的是,在sCMOS成像阵列已经用于荧光显微镜的范围上,它们没有包括CFA。
在说明性实施例中,CFA是众所周知的拜耳滤光片(Bayer filter),自1976年以来,其已用于大多数标准彩色图像传感器的多光谱滤光片阵列。滤光片覆盖成像阵列,例如CMOS成像阵列。拜耳滤光片由处于重复模式的一个红色、两个绿色和一个蓝色滤光片组成,每个成像像素一个滤光片。由于每个像素都经过滤光以接收三种颜色中的仅仅一种颜色(对于拜耳CFA),因此必须估算其他两种颜色(即红/绿、红/蓝或蓝/绿)的缺失值以获得全彩色图像。通过去马赛克算法执行估计。该算法通常利用具有相应颜色的周围像素来估计特定像素的值,例如通过插值技术或其他数学处理。基于从每个R、G和B像素获得的电压以及由去马赛克算法提供的估计,使用R:G:B的强度的比率生成彩色图像。利用激发波长的已知R:G:B比率从图像中减去照明光,以确保去除尽可能多的照明噪声。
在没有两个荧光团各自的发射光谱具有显著重叠的情况下,如果每个荧光团的发射落入R、G或B像素的光谱响应内,拜耳滤光片至少能够实现多达三个荧光团的单图像多路复用。这种重叠会引起RGB通道之间的串扰。使用蓝/绿像素和绿/红像素之间的吸收谷,可以多路复用五个荧光团。只要荧光团的发射波长相差至少约25nm,预期可多路复用多达12个荧光团。
在一些其他实施例中,可以使用其他CFA,例如但不限于RGBE滤光片、CYYM滤光片、CYGM滤光片、RGBW Bayer、RGBW#1、RGBW#2、RGBW#3、X-Trans或其他滤光片。
因此,根据本发明,成像阵列的每个像素包括其自身的“内置”滤色器和光谱解混能力。除了比传统荧光显微镜(例如显微镜100)更快且成本更低之外,这使得荧光显微镜的结构简单得多。
根据本教导的荧光显微镜包括检测器、光源、光学器件、镜台和主体。在一些实施例中,主体是高密度聚乙烯,保护内部部件(例如,检测器、光源和光学器件等)并且耐受于使用丙酮、漂白剂或酸清洁。因此,该显微镜非常适合BL2至BL4实验室中的成像应用,其中工作表面的消毒是关键。
在操作中,光从光源发射并照射样本。除了反射一些照明光之外,由于荧光标记的存在或由于其天然组成(即,天然存在的产生荧光的有机/无机结构或产生光的酶),样本产生某些波长的光。所有这些光组成光学信号,由光学器件收集并传送到检测器。根据光学器件的性质和布置,如在各种实施例中所采用的,光学器件除其他功能之外提供放大倍数和/或可调焦距,和/或用于获得非常大(与现有技术的荧光显微镜相比)的视场的方法。构成检测器一部分的滤色器阵列使显微镜能够生成全色图像。
在一些实施例中,检测器体现为消费者相机,其包括光传感元件的彩色CMOS成像阵列。在一些其他实施例中,检测器实施为光敏元件阵列,例如光电检测器、光电二极管、电荷耦合器件等。在一些这样的实施例中,光敏元件阵列是CMOS或sCMOS成像阵列。在一些另外的实施例中,检测器实施为多个光敏元件阵列,例如多个CMOS或sCMOS成像阵列。
在一些实施例中,光源包括多个LED,每个LED以相同的标称波长发射,例如265纳米(nm)。在一些其他实施例中,光包括LED组,每组包括具有不同标称发射波长的LED,例如265nm、其他大于265nm的UV波长、白光等。
在一些实施例中,光学器件包括显微镜物镜,以提供被成像样本的放大倍数。在一些其他实施例中,光学器件包括相机透镜,而不是显微镜透镜。显微镜物镜的孔径以毫米为单位测量;相比之下,相机透镜的孔径以厘米为单位测量。因此,使用相机透镜而不是显微镜物镜显著地增加了本发明实施例的光收集能力。
在一些实施例中,光学器件包括两个相机-透镜组件,其被布置和指定以有效地光学地将样本放置在检测器上,从而最大化相机的视场。也就是说,光学器件产生映射到探测器的整个成像区域的图像。
在一些实施例中,两个透镜组件中的一个是反向直立透镜。在一些实施例中,两个透镜组件中的一个是远摄透镜。在一些实施例中,透镜组件中的一个是反向直立透镜,而另一个透镜组件是远摄透镜。在一些实施例中,最靠近镜台的透镜组件垂直布置,最靠近检测器的透镜组件水平布置,其中第一(前)表面反射镜定位以重定向光信号(即荧光,生物发光等)离开垂直取向的透镜组件,使其可以由水平取向的透镜接收。在所有实施例中,荧光显微镜不包括激发滤光片、二向色和发射滤光片。
在其中检测器是消费者相机的一些实施例中,最靠近消费者相机的透镜组件物理地耦合到其上。在一些实施例中,反向直立透镜具有85毫米(“mm”)的固定焦距和f1.4孔径,并且远摄透镜具有在75mm至300mm范围内可调节的焦距。
在一些实施例中,采用超采样技术,其中除了捕获(对于拜耳CFA)四个图像(1个红色像素、2个绿色像素和1个蓝色像素)之外,还在“桥接”位置(在被检查的四个像素和它们的邻居之间)处获得了另外的四个图像。这减少了有效像素尺寸并提高了分辨率。
在根据本教导的一些实施例中,荧光显微镜测量(壳体的尺寸)约178mm×229mm×229mm。在一些这样的实施例中,检测器是消费者相机,型号为OMD E-M5Mark II,可从Olympus Corporation获得。该相机的分辨率为4608×3456像素,像素尺寸为3.6微米。该相机包括如前所述的超采样协议,其中图像稳定音圈电机物理地移动成像阵列以获得像素的附加样本,从而将有效像素尺寸从3.6微米减小到1.8微米。
在根据本教导的荧光显微镜的一些实施例中的部件的独特组件提供了一种装置,其与具有10x物镜的现有技术荧光显微镜的分辨率相媲美,但远远超过迄今为止报道的所有这种显微镜的视场。事实上,结合反向直立透镜的本发明的实施例产生的图像以4μm的分辨率映射到其整个视场,并通过用HDMI或USB端口连接到任何观察设备提供具有实时显示和易用性的参考系。
本发明的实施例具有广泛的用途。例如,在病理学领域,产生显示宏观和微观特征以及荧光分子标记的单个图像的能力将改善和加速组织病理学的评估。目前病理学范例通常将检查限制为不超过几平方毫米的给定组织切片,这主要是因为病理学家需要在固定的时间段内检查的组织切片的数量。目前,只有切除的活检的选定部分是固定的,并在病理学家检查之前进行组织学包埋、切片和染色。由于这些方法,外科医生和患者在离开医院之前都没有得到病理结果,并且在许多情况下,患者需要返回进行额外的手术以去除癌组织,因为切除的组织的边缘在组织学检查时被发现是恶性的。尽管通常认为再切除对于减少复发的机会是必要的,但是初次切除后的二次手术由于组织标志中的伤口愈合相关的扭曲和纤维化组织的发展而变得复杂。
具有扩展FOV并且能够近乎实时地获取高分辨率图像的本发明的实施例将通过实现新鲜切除的大组织样本的评估而不显著影响生产率,从而允许知情的或引导的组织切片,而极大地帮助病理学家、外科医生和患者。并且当与靶向分子探针结合时,本发明的实施例有助于快速和准确地划界病理边缘,术中可能性。这将使得手术切除的准确性更高并且患者预后更好,同时通过减少再切除和术后放疗的需要来降低医院成本。
除了白光参考图像之外,本发明的实施例还通过实现荧光和生物发光报告器的检测而在活细胞和类器官成像中具有用途。它还具有生物学应用,用于成像相对较小和透明模式生物,如苍蝇、蠕虫和鱼,以及植物。本发明的实施例还可以用于食品安全领域,使得能够有效且准确地评估肉制品的污染。
本发明的实施例可用于细胞和器官培养实验室,其中使用具有多路复用报告器的活细胞和组织成像,因为需要非常少的样本制备。在制备样本时,根据本教导的荧光显微镜的镜台不需要特别考虑;事实上,新鲜染色的组织可以直接放在镜台玻璃上,其也可以很容易地清洁或消毒。
总之,本发明的实施例提供了具有荧光和白光能力的低成本,灵敏的宽视场显微镜,其能够以关联分辨率和相对短的采集时间生成图像以指导病理评估或用于其他研究。
附图说明
图1描绘了现有技术的荧光显微镜。
图2描绘了根据本发明的说明性实施例的荧光显微镜。
图3描绘了与图2的荧光显微镜结合使用的滤色器阵列和成像阵列。
图4A至4I示出了拜耳滤光片的采样和超采样,用于与图2的荧光显微镜的一些实施例结合使用。
图5A至5C描绘了与图2的荧光显微镜的一些实施例结合使用的光学器件的实施例。
图6A至6C描绘了与图2的荧光显微镜的一些实施例结合使用的多个成像模块的布置。
具体实施方式
图2描绘了根据本教导的荧光显微镜200。荧光显微镜200包括光源222、镜台224、光学器件228、检测器230和壳体232。
壳体232保护荧光显微镜200的各种元件(光源222、光学器件228、检测器230)。在一些实施例中,壳体232包括在暴露于清洁流体时抵抗降解的材料。在说明性实施例中,壳体包括高密度聚乙烯。
在一些实施例中,光源222包括两组或更多组高功率LED,每组包括具有不同照射波长的多个LED。例如,旋转开关用于从具有特定所需照射波长的每组中选择LED。在一些其他实施例中,光源222包括具有相同照射波长(例如265纳米(nm))的两个或更多个LED。例如,可以经由与脉冲宽度调制器耦合的电位计来控制LED的亮度。
镜台224支撑样本(未描绘)。镜台224的至少一部分226在感兴趣的波长(例如,激发波长、发射波长等)下是光学透明的,包括例如但不限于石英玻璃。镜台可在Z方向上移动(即,图2中的上/下,如箭头所示)以调节焦点。为了移动,镜台224耦合到剪式千斤顶或能够在Z方向上实现小的,可控制的运动的其他装置上。
光学器件228控制显微镜的放大倍数和视场。稍后在本说明书中结合图5A至5C更详细地讨论光学器件228。
检测器230检测由光学器件228传递的光学信号。如以下更全面地描述的,在各种实施例中,检测器230是:
·包含CMOS成像阵列的消费者相机;
·CMOS成像阵列(即,没有消费者相机的主体等);
·sCMOS成像阵列;或者
·多个CMOS或sCMOS成像阵列。
CMOS成像阵列中的光传感器检测光强度,几乎没有波长特异性,因此无法解析颜色信息。然而,在本发明的所有实施例中,图像传感器能够通过使用滤色器阵列(CFA)来解析颜色。CFA是非常小的滤色器的马赛克,其布置在成像阵列的每个像素(即,光敏元件)上。滤色器按波长范围过滤光。
最常见的CFA是拜耳滤光片,其提供关于红色、绿色和蓝色波长区域中的光强度的信息。在拜耳滤光片中,单个滤色器(红色、绿色或蓝色)与每个像素相关联。因此,在成像阵列的任何给定像素处仅检测三种颜色中的一种。去马赛克算法用于插值缺失的颜色样本。因此,由图像传感器捕获的原始图像数据被转换为全色图像,其中在每个像素处表示所有三种基色的强度。
图3描绘了检测器230的实施例,其中实现为众所周知的拜耳滤光片的CFA 336与CMOS成像阵列332结合使用。
如图所示,拜耳滤光片包括多个2×2滤色器网格340,其覆盖在相机的光敏元件(像素)334上。每个网格340包括两个绿色(“G”)滤光片、一个红色(“R”)滤光片和一个蓝色(“B”)滤光片。在典型的布置中,在2×2网格的第一行中存在红色滤光片和绿色滤光片,在第二行中存在绿色滤光片和蓝色滤光片(“RGGB”)。在所有相机像素上重复该2×2网格。(在图3中,出于教学目的省略了一些滤光片。)如图所示,一个滤光片元件338(红色(R)、绿色(G)或蓝色(B)滤光片)与阵列332的每个像素334相关联。因此,在每个像素处仅感测到一个光谱分量——红色、绿色或蓝色;必须使用各种去马赛克算法从相邻像素估计其他光谱分量,该去马赛克算法使用插值和/或其他数学技术。
在一些实施例中,对像素进行超采样,以减小像素的有效尺寸,从而增加检测器的有效分辨率。超级采样不同于用于估计每个像素处的全色调色板的去马赛克算法。采样和超采样技术在图4A至4J中示出并描述如下。
图4A描绘了检测器230的一部分,示出了CFA 336的一部分,再次实施为拜耳滤光片。参考2×2网格340a讨论采样和超采样,其代表用于所有这种2×2网格的CFA 336的技术。通常,所有网格被同步采样。
图4B描绘了像素3341,1的采样,其与红色滤光片相关联。图4C描绘了像素3341,2的采样,其与绿色滤光片相关联。图4D描绘了像素3342,2的采样,其与蓝色滤光片相关联。以及图4E描绘了像素3341,2的采样,其与绿色滤光片相关联。通过像素3341,2的采样,已经对整个2×2网格340a(以及所有其他2×2网格)进行了采样。
作为全色去马赛克的示例,参见图4J。像素3341,1具有红色滤光片。为了估计像素3341,1处的绿色波长的强度,系统可以例如在相邻像素中的任何两个或更多个像素的绿色强度值之间进行插值。为了估计像素3341,1处的蓝色波长的强度,系统可以例如在该两个相邻像素中的任何两个或更多个像素的值之间进行插值。本领域技术人员将理解,存在许多去马赛克算法,并非所有去马赛算法都涉及插值技术。
超采样在图4F至4I中示出。如图4F所示,阵列在“向上”和至“左”半像素位置处被采样,以将该第一“子像素”数据集添加到图像上。图4G描绘了在从图4F中采样的位置“向上”一个像素的位置处采样的阵列。将该第二子像素数据集添加到图像上。图4H描绘了在从图4G中采样的位置“向右”一个像素的位置处采样的阵列。将该第三子像素数据集添加到图像。并且图4I描绘了在从图4H中采样的位置“向下”一个像素的位置处采样的阵列。将该第四和最后的子像素数据集添加到图像上。
因此,图像捕获具有两个部分。初始的四个样本(图4B到4E)增加了颜色分辨率,而第二个四个样本(图4F-4I)通过在像素之间采样来增加空间分辨率以捕获将在像素之间落下的光子。在使用超采样的实施例中,在获得来自超采样的数据之后进行去马赛克。在一些实施例中,通过物理移动成像阵列来实现超采样。
在说明性实施例中,检测器230是消费者相机,具有4608×3456像素的分辨率和3.6微米的像素尺寸。这种相机可从Olympus Corporation商购获得,型号为OMD E-M5MarkII。该相机中的检测器使用图像稳定音圈电机来物理地移动传感器阵列,以便能够以图4F至图4I的方式对像素进行超采样。在参考相机的情况下,超采样将有效像素尺寸从3.6微米减小到1.8微米。
现在参考图5A至5C,光学器件228控制显微镜200的放大倍数和视场。在一些实施例中,例如图5A中所示,光学器件228是物镜542,如在传统显微镜中所使用的,并且其提供所需的放大倍数。如本领域技术人员将理解的,显微镜“物镜”可包括单个透镜或透镜组,其共同提供所需的一个或多个功能(例如,聚光、放大、聚焦等)。
在一些其他实施例中,光学器件228包括至少两个透镜组件542A和542B,如图5B所示。这两个透镜组件可以彼此物理地耦合或物理地分离(但光学地耦合)。在一些实施例中,两个透镜组件共同起作用以使其看起来好像被研究的样本在检测器230上,从而最大化视场。在一些这样的实施例中,两个透镜组件在特性上彼此相似并且“面对面”布置。在一些实施例中,两个透镜组件都是相机透镜。在这些实施例的一些中,透镜542A是反向直立透镜。反向直立透镜限定为具有固定或可变焦距的相机透镜,其中最大焦距等于透镜542B的最大焦距的80%,以及制造商指定安装方向。
在这些实施例的一些中,透镜542B是远摄透镜。这使得用户能够调整视场和分辨率而无需重新聚焦或更换透镜。此外,它使用户能够放大样本的中心以消除晕影。然而,在一些其他实施例中,透镜542B可以是固定焦距透镜。在任一情况下,当透镜542A是反向直立透镜时,透镜542B必须可调节或固定在比透镜542A的焦距至少大20%的焦距处。
图5C描绘了一个实施例,其中光学器件228包括反向直立透镜组件542A和透镜组件542B(远摄或固定焦距)和反射镜544。在所示的实施例中,透镜组件542A和542B彼此正交布置,其中反射镜544优选地是第一表面反射镜,其定向为45度以将光学信号重新引导离开透镜组件542A到透镜组件542B,然后到达检测器230。第一表面反射镜用于避免伴随第二表面反射镜发生的鬼影效应,其中观察到来自玻璃前表面的微弱二次反射。
在一些实施例中,检测器230是消费者相机,并且远摄透镜542B物理地附接到相机的主体上。
在其中检测器230是消费者相机的说明性实施例中,例如Olympus Corporation的型号OMD E-M5Mark II,并且其中透镜组件542A是反向直立透镜,显微镜200的视场如标准显微镜10倍物镜所提供的,是1.7厘米(“cm”)×1.5厘米,比标准荧光显微镜大约25倍。在这样的实施例中,显微镜具有4微米的光学分辨率、63,700,9921像素的数字分辨率、以及约1秒的数据采集时间。显微镜可以在单个图像中多路复用最少三个不同的荧光团,并且可以在光谱上解混图像并确定光的波长至+/-15纳米的光谱差异内。
在一些实施例中,检测器230包括多个成像阵列,每个成像阵列具有相关联的滤色器阵列,以X行和Y列排列。在一些这样的实施例中,CMOS成像阵列或成像“模块”(即,限定为在一个封装中具有传感器光学器件和控制器)类似于在手机中发现的那些。这些模块设计得尽可能小巧紧凑——远小于消费者相机中发现的模块。用于生产此类模块的制造技术可降低成像噪声,提高灵敏度,并利用性能更高的板载传感器控制器(图像信号处理器或传感器控制器),在全分辨率下实现更高的帧速率,高达24fps 5344×4016。随着光学器件的尺寸减少,它变得更便宜并且更容易产生更清晰的透镜。这些模块的像素大小约为大型相机的1/3(1微米对3.6微米)。如前所述,成像分辨率受像素大小的限制。
每个成像模块具有第二透镜,该第二透镜反向并放置在成像模块的顶部。模块和透镜组件安装到镜台上,然后镜台根据图像传感器布局在x方向或x和y方向上扫描。
镜台可以是能够以比传感器的视场更小的增量在x和y方向上移动的任何一个或多个机电装置。该镜台由线性移动装置提供动力,例如音圈电机、类似于3d打印机、伺服机构、线性致动器等中使用的步进电动机。镜台的较小移动是优选的,因为这减少了图像拼接的计算负担,并且所得到的图像将具有显著提高的质量。
图6A-6C描绘了包括多个成像模块630的三个布置600、600’和600”。成像模块被排列以最大化视场重叠并最小化扫描镜台的复杂性。内接在每个相机模块内的虚线圆圈代表近似视场。每个布置被描绘为阵列的最小可能配置,并且可以扩展以适应另外的成像模块。
对于图6A中的布置600,交替列中的成像模块630垂直偏移模块高度的一半,以便在x方向上扫描布置时产生重叠的视场。成像和传感器行进的第一个1cm(成像模块630的近似宽度)是不可用的,因为它没有来自第二列传感器的重叠视场。最后1厘米的行进也是如此。照射源(LED)622布置在成像模块的最外侧列的边缘处。
图6C中的布置600”类似于布置600,除了成像模块630以这样的方式偏移,使得照射源可以散布在其之间以产生更均匀的样本照射。仅在x方向上扫描布置600”。
在图6B的布置600’中,扫描发生在x和y方向上,因为该布置在一个方向上不具有重叠的视场。这种布置的一个优点是它能够完全控制对象采样。它可能导致更高质量的最终图像,但这可能是以时间为代价的。
在扫描时,图像被铺在一起以创建马赛克图像。这与前面讨论的超采样类似,引起空间和颜色分辨率增加,但代价是获得更多数量的样本。
应当理解,本公开仅教导了说明性实施例的一个示例,并且本领域技术人员在阅读本公开之后可以容易地设想出本发明的许多变型,并且本发明的范围是由以下权利要求确定的。

Claims (18)

1.一种荧光显微镜,包括:
支撑被研究样本的镜台;
照射样本的照射源;
光学器件,其中所述光学器件从样本接收光学信号,其中所述光学信号包括反射光和发射光;以及
检测器,其中所述检测器接收来自所述光学器件的所述光学信号,并且其中所述检测器包括滤色器阵列和成像阵列,所述成像阵列包括多个光敏元件。
2.根据权利要求1所述的荧光显微镜,其中所述照射源包括多个发光二极管。
3.根据权利要求1或2所述的荧光显微镜,其中所述光学器件包括显微镜物镜。
4.根据权利要求1或2所述的荧光显微镜,其中所述光学器件包括相机透镜。
5.根据权利要求1、2或4所述的荧光显微镜,其中所述光学器件包括反向直立透镜。
6.根据权利要求1、2、4或5所述的荧光显微镜,其中所述光学器件包括远摄透镜。
7.根据权利要求1或2所述的荧光显微镜,其中所述光学器件包括两个相机透镜组件。
8.根据权利要求7所述的荧光显微镜,其中所述两个透镜组件物理地彼此耦合。
9.根据权利要求7所述的荧光显微镜,其中所述两个相机透镜组件器不是共线的,所述光学器件进一步包括第一表面反射镜,所述第一表面反射镜布置成光学地耦合所述两个相机透镜组件。
10.根据权利要求9所述的荧光显微镜,其中所述两个透镜组件彼此正交地设置。
11.根据权利要求1、2或4所述的荧光显微镜,其中所述光学器件包括产生的图像映射到所述检测器的整个成像区域的相机透镜。
12.根据权利要求1至11中任一项所述的荧光显微镜,其中所述检测器是消费者相机。
13.根据权利要求12所述的荧光显微镜,其中所述光学器件包括物理地附接到所述消费者相机的相机透镜。
14.根据权利要求1至13中任一项所述的荧光显微镜,其中所述检测器包括多个成像阵列。
15.根据权利要求1至14中任一项所述的荧光显微镜,其中所述检测器包括CMOS成像阵列。
16.根据权利要求1至15中任一项所述的荧光显微镜,其中所述滤色器阵列包括拜耳滤光片。
17.根据权利要求1至16中任一项所述的荧光显微镜,其中超采样所述滤色器阵列以减小所述成像阵列的有效像素尺寸。
18.根据权利要求1至17中任一项所述的荧光显微镜,其中所述镜台是可移动的。
CN201780062643.0A 2016-08-11 2017-08-11 荧光显微镜 Pending CN109863441A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662373603P 2016-08-11 2016-08-11
US62/373,603 2016-08-11
PCT/US2017/046491 WO2018031881A1 (en) 2016-08-11 2017-08-11 Fluorescence microscope

Publications (1)

Publication Number Publication Date
CN109863441A true CN109863441A (zh) 2019-06-07

Family

ID=59677425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780062643.0A Pending CN109863441A (zh) 2016-08-11 2017-08-11 荧光显微镜

Country Status (3)

Country Link
US (1) US20190227291A1 (zh)
CN (1) CN109863441A (zh)
WO (1) WO2018031881A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111122527A (zh) * 2019-12-18 2020-05-08 中国科学院南海海洋研究所 一种水环境中细菌原位显微成像检测装置及检测方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190049197A (ko) * 2017-11-01 2019-05-09 한국전자통신연구원 고해상도 영상을 이용한 업샘플링 및 rgb 합성 방법, 및 이를 수행하는 장치
US11154188B2 (en) 2019-06-20 2021-10-26 Cilag Gmbh International Laser mapping imaging and videostroboscopy of vocal cords
EP3907497B1 (en) * 2020-05-08 2023-08-02 Leica Microsystems CMS GmbH Apparatus and method for displaying and/or printing images of a specimen including a fluorophore

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080487A1 (en) * 2008-05-20 2011-04-07 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2012083438A1 (en) * 2010-12-24 2012-06-28 Huron Technologies International Inc. Pathology slide scanner
CN103033922A (zh) * 2008-01-02 2013-04-10 加利福尼亚大学董事会 高数值孔径远程显微镜设备
CN103501416A (zh) * 2008-05-20 2014-01-08 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103033922A (zh) * 2008-01-02 2013-04-10 加利福尼亚大学董事会 高数值孔径远程显微镜设备
US20110080487A1 (en) * 2008-05-20 2011-04-07 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN103501416A (zh) * 2008-05-20 2014-01-08 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
WO2012083438A1 (en) * 2010-12-24 2012-06-28 Huron Technologies International Inc. Pathology slide scanner

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111122527A (zh) * 2019-12-18 2020-05-08 中国科学院南海海洋研究所 一种水环境中细菌原位显微成像检测装置及检测方法

Also Published As

Publication number Publication date
WO2018031881A1 (en) 2018-02-15
US20190227291A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
US10393725B2 (en) Automated imaging of chromophore labeled samples
JP6190096B2 (ja) インターリーブされた画像によるマルチイメージングシステム
CN105765690B (zh) 可变照明傅立叶重叠关联成像设备、系统以及方法
EP2997353B1 (en) Microscopy of a tissue sample using structured illumination
JP5540102B2 (ja) 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
CN110178069A (zh) 显微镜设备、方法和系统
CN107407597A (zh) 具有高分辨率的高吞吐量高光谱成像和光学分割
CN109863441A (zh) 荧光显微镜
US20120223214A1 (en) Light Guided Pixel
CN105103190A (zh) 全视野载玻片多光谱成像系统和方法
US8964183B2 (en) Systems and methods for screening of biological samples
WO2021177446A1 (en) Signal acquisition apparatus, signal acquisition system, and signal acquisition method
Brydegaard et al. Broad-band multispectral microscope for imaging transmission spectroscopy employing an array of light-emitting diodes
US20230092749A1 (en) High throughput snapshot spectral encoding device for fluorescence spectral microscopy
Constantinou et al. A high-resolution MACROscope with differential phase contrast, transmitted light, confocal fluorescence, and hyperspectral capabilities for large-area tissue imaging
JP2022530113A (ja) ハイブリッド撮像製品およびハイブリッド内視鏡システム
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2022209262A1 (ja) 生体試料観察装置用照明装置、生体試料観察装置、観察装置用照明装置及び観察システム
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023161375A1 (en) Device for measuring intrinsic autofluorescence of a biological sample and method using thereof
Paul Development and Evaluation of Whole Slide Hyperspectral Confocal Fluorescence and Brightfield Macroscopy
Gao Development of Image Mapping Spectrometer (IMS) for hyperspectral microscopy
Bogdanov et al. Parallel, confocal, and complete spectrum imager for fluorescent detection of high-density microarray

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190607