CN110045493A - 多臂结构照明成像 - Google Patents

多臂结构照明成像 Download PDF

Info

Publication number
CN110045493A
CN110045493A CN201910032692.0A CN201910032692A CN110045493A CN 110045493 A CN110045493 A CN 110045493A CN 201910032692 A CN201910032692 A CN 201910032692A CN 110045493 A CN110045493 A CN 110045493A
Authority
CN
China
Prior art keywords
optical
sample
light
grating
diffraction grating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910032692.0A
Other languages
English (en)
Inventor
斯坦利·S·洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Illumina Inc
Original Assignee
Illumina Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Illumina Inc filed Critical Illumina Inc
Publication of CN110045493A publication Critical patent/CN110045493A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1814—Diffraction gratings structurally combined with one or more further optical elements, e.g. lenses, mirrors, prisms or other diffraction gratings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1086—Beam splitting or combining systems operating by diffraction only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/143—Beam splitting or combining systems operating by reflection only using macroscopically faceted or segmented reflective surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4272—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having plural diffractive elements positioned sequentially along the optical path

Abstract

本公开涉及多臂结构照明成像。本公开提供了结构照明显微术(SIM)成像系统。在一组实现方式中，SIM成像系统可以被实现为多臂SIM成像系统，由此，系统的每个臂包括光发射器和具有相对于系统的光轴的特定的固定取向的分束器(例如透射式衍射光栅)。在第二组实现方式中，SIM成像系统可以被实现为多分束器滑动SIM成像系统，其中一个线性运动台安装有具有相对于系统的光轴的相应的固定取向的多个分束器。在第三组实现方式中，SIM成像系统可以被实现为图样角度空间选择SIM成像系统，由此，固定的二维衍射光栅与空间滤波器轮结合来使用，以在样品上投射一维条纹图样。

Description

多臂结构照明成像
相关申请的交叉引用
本申请要求2018年1月16日提交的且标题为“Multi-Arm StructuredIllumination Imaging”的美国临时专利申请号62/618,068的优先权。上面提到的申请的全部内容通过引用被并入本文。
背景
结构照明显微术(SIM)描述了一种技术，通过该技术，空间结构化 (即，图样化)的光可用于对样品成像，以将显微镜的横向分辨率提高两倍或更多倍。在某些情况下，在样品的成像期间，在各个图样相位(例如 0°、120°和240°)下采集样品的条纹图样的三个图像，使得样品上的每个位置暴露于一定范围的照明强度，该过程通过绕光轴将图样取向旋转到3 个单独的角度(例如0°、60°和120°)来重复。所捕获的图像(例如，九个图像)可以被组合成具有扩展的空间频率带宽的单个图像，该图像可以被再转换到真实空间中以生成具有比由传统显微镜捕获的图像更高分辨率的图像。
在当前SIM系统的一些实现方式中，线偏振光束被引导通过将光束分成两个或更多个单独的级的光学分束器，这些级可以被组合并作为具有正弦强度变化的干涉条纹图样投射在被成像的样品上。衍射光栅是可以产生具有高程度的相干性和稳定传播角的光束的分束器的例子。当两个这样的光束组合时，在它们之间的干涉可以产生均匀的、有规则地重复的条纹图样，其中间距由包括在干涉光束之间的角度在内的因素确定。如果多于两个光束被组合，则因而得到的图样通常包含条纹间距的混合物，结果是在最大强度和最小强度之间的差异(也被称为“调制深度”)减小了，使它变得较不适合于SIM目的。
在当前SIM系统的一些实现方式中，通过围绕光轴旋转分束元件来控制所投射的图样的取向，并且通过跨轴横向地移动元件来调整图样的相位。在这样的系统中，衍射光栅通常安装在平移台上，平移台又安装在旋转台上。此外，这种系统常常利用线偏振器来在由光源发射的光在光栅处被接收之前使其偏振。
概述
本文公开的实现方式涉及结构照明系统和方法。
在第一组实现方式中，SIM成像系统可以被实现为多臂SIM成像系统，其中系统的每个臂包括光发射器和具有相对于系统的光轴的特定的固定取向的分束器(例如透射式衍射光栅)。
在多臂SIM成像系统的一个实现方式中，该系统包括：第一光学臂，该第一光学臂包括发射光的第一光发射器以及第一分束器，该第一分束器分离由第一光发射器发射的光以将第一多个条纹投射在样品的平面上；以及第二光学臂，该第二光学臂包括发射光的第二光发射器以及第二分束器，该第二分束器分离由第二光发射器发射的光以将第二多个条纹投射在样品的平面上。在该实现方式中，该系统还可以包括组合第一臂和第二臂的光路的光学元件。此外，该系统可以包括图像传感器以收集由样品发射的光。在一些实现方式中，样品可以包括以矩形阵列或六边形阵列有规则地图样化的多个特征。
在一些实现方式中，第一分束器包括第一透射式衍射光栅，以及第二分束器包括第二透射式衍射光栅。在一些实现方式中，第一分束器包括第一反射式衍射光栅，以及第二分束器包括第二反射式衍射光栅。在一些实现方式中，第一分束器和第二分束器各自包括分束器立方体(cube)或板。
在一些实现方式中，第一光发射器和第二光发射器发射非偏振光，并且第一透射式衍射光栅和第二透射式衍射光栅使由第一光发射器和第二光发射器中的相应光发射器发射的非偏振光衍射。
在一些实现方式中，组合第一多个条纹和第二多个条纹的光路的光学元件包括具有孔的反射镜，其中该反射镜被布置成反射由第一衍射光栅衍射的光，并且孔被布置成使由第二衍射光栅衍射的至少第一级光穿过。在一些实现方式中，组合第一臂和第二臂的光路的光学元件包括偏振分束器，其中第一衍射光栅使垂直偏振光衍射，并且其中第二衍射光栅使水平偏振光衍射。
在一些实现方式中，多臂SIM成像系统包括使第一多个条纹和第二多个条纹相移的一个或更多个光学元件。
在一些实现方式中，使第一多个条纹和第二多个条纹相移的一个或更多个光学元件包括使第一多个条纹相移的第一旋转光学窗口和使第二多个光学条纹相移的第二旋转光学窗口。在一些实现方式中，使第一多个条纹和第二多个条纹相移的一个或更多个光学元件包括平移第一衍射光栅的第一线性运动台和平移第二衍射光栅的第二线性运动台。在一些实现方式中，使第一多个条纹和第二多个条纹相移的一个或更多个光学元件包括单个旋转光学窗口，其中该单个旋转光学窗口在到样品的光路中定位在具有孔的反射镜之后。
在一些实现方式中，单个旋转光学窗口的旋转轴从每个光栅的光轴偏移约45度。
在一些实现方式中，第一多个条纹在样品平面上从第二多个条纹成角度地偏移(angularly offset)约90度。
在一些实现方式中，该系统还包括：将第一多个条纹和第二多个条纹中的每一个投射在样品上的物镜。
在一些实现方式中，该系统还包括：用于阻挡由第一衍射光栅和第二衍射光栅中的每一个发射的零级光的一个或更多个光束阻挡器。在特定实现方式中，一个或更多个光束阻挡器包括布拉格光栅(Bragg grating)。
在多臂SIM成像系统的一个实现方式中，一种方法包括：开启结构照明系统的第一光学臂，该第一光学臂包括发射光的第一光发射器和使由第一光发射器发射的光衍射以将被定向在特定方向上的第一多个条纹投射在样品的平面上的第一衍射光栅；捕获样品的第一多个相位图像，其中在第一多个图像的捕获期间，第一多个条纹的位置在样品的平面上移动；开启结构照明系统的第二光学臂，第二光学臂包括发射光的第二光发射器和使由第二光发射器发射的光衍射以将第二多个条纹投射在样品的平面上的第二衍射光栅，其中第二多个条纹在样品的平面上从第一多个条纹成角度地偏移；以及捕获用第二多个条纹照亮的样品的第二多个相位图像，其中在第二多个条纹的捕获期间，第二多个条纹的位置在样品的平面上移动。在该方法的实现方式中，第一衍射光栅和第二衍射光栅是透射式衍射光栅，其中结构照明系统包括具有孔的反射镜，以反射由第一衍射光栅衍射的光并使由第二衍射光栅衍射的至少第一级光穿过。
在实现方式中，该方法还包括：使用至少第一多个所捕获的相位图像和第二多个所捕获的相位图像来以计算方式重建具有比第一多个所捕获的相位图像和第二多个所捕获的相位图像中的每一个更高的分辨率的一个或更多个图像。在实现方式中，第一多个条纹在样品平面上从第二多个条纹成角度地偏移约90度。
在实现方式中，通过旋转定位在样品与第一光栅和第二光栅中的每个之间的光路中的单个光学窗口来使第一多个条纹和第二多个条纹相移，其中单个旋转光学窗口的旋转轴从每个光栅的光轴偏移。
在该方法的实现方式中，在捕获第一多个相位图像之后，关闭结构照明系统的第一光学臂并且开启该结构照明系统的第二光学臂。
在该方法的实现方式中，第一衍射光栅和第二衍射光栅在图像捕获期间是机械地固定的。
在第二组实现方式中，SIM成像系统可以被实现为多分束器滑动SIM 成像系统(multiple beam splitter slide SIM imaging system)，其中一个线性运动台安装有具有相对于系统的光轴的相应固定取向的多个分束器。
在多分束器滑动SIM成像系统的一个实现方式中，该系统包括：发射光的光发射器；安装有第一分束器和第二分束器的线性运动台，其中第一分束器分离由光发射器发射的光以将第一多个条纹投射在样品的平面上，并且其中第二分束器分离由光发射器发射的光以将第二多个条纹投射在样品的平面上；以及收集由样品发射的光的图像传感器。在实现方式中，线性运动台是一维线性运动台，其中线性运动台沿着一个维度平移以将第一分束器和第二分束器中的每一个光学地耦合到光发射器，其中第一分束器沿着一个维度与第二分束器相邻。在实现方式中，第一多个条纹在样品平面上从第二多个条纹成角度地偏移约90度。
在实现方式中，第一分束器包括第一透射式衍射光栅，以及第二分束器包括第二透射式衍射光栅。第一衍射光栅和第二衍射光栅可以从一个维度成角度地偏移(即，围绕光的传播方向旋转)。在特定实现方式中，第一衍射光栅和第二衍射光栅从一个维度成角度地偏移大约±45度。
在一些实现方式中，第一衍射光栅和第二衍射光栅可以集成到安装在线性运动台上的单个光学元件中。在衍射光栅被集成到单个光学元件中的实现方式中，单个光学元件可以包括被图样化有第一衍射光栅的第一侧和与第一侧相邻的被图样化有第二衍射光栅的第二侧。
在一些实现方式中，该系统还可以包括：用于阻挡由第一衍射光栅和第二衍射光栅中的每一个发射的零级光的一个或更多个光束阻挡器。
在一些实现方式中，该系统还可以包括：在线性运动台和物镜之间的光路中的投影透镜。投影透镜可以将第一衍射光栅和第二衍射中的每一个的傅立叶变换投射到物镜的入射光瞳中。
在一些实现方式中，该系统还可以包括在安装在线性运动台上的部件上形成的对准图样(alignment pattern)，其中该对准图样分离由光发射器发射的光以将图样投射在样品的平面上以用于成像对准。对准图样可以形成在包括第一衍射光栅和第二衍射光栅中的至少一个的基板上。所投射的图样可以包括具有比所投射的第一多个条纹和第二多个条纹低的频率的线。
在一些实现方式中，该系统还可以包括：使投射在样品的平面上的第一多个条纹和第二多个条纹相移的光学相位调制器。在这样的实现方式中，光学相位调制器可以是与线性运动台分离的部件。
在多分束器滑动SIM成像系统的一个实现方式中，一种方法包括：开启结构照明成像系统的光发射器，该结构照明成像系统包括安装有第一衍射光栅和第二衍射光栅的一维线性运动台，其中该线性运动台沿着一个维度平移；沿着一个维度平移线性运动台以使由第一衍射光栅投射在样品上的第一多个条纹相移；平移线性运动台以将第二衍射光栅光学地耦合到光发射器；以及在将第二衍射光栅光学地耦合到光发射器之后，沿着一个维度平移线性运动台以使由第二衍射光栅投射在样品上的第二多个条纹相移。第一衍射光栅和第二衍射光栅可以是透射式衍射光栅，并且可以从平移的一个维度成角度地偏移。例如，第一衍射光栅和第二衍射光栅可以从一个维度成角度地偏移大约±45度。
在实现方式中，该方法还可以包括：将线性运动台沿一个维度平移多次以使由第一衍射光栅投射在样品上的第一多个条纹相移多次；以及在将第二衍射光栅光学地耦合到光发射器之后，将线性运动台沿一个维度平移多次以使由第二衍射光栅投射在样品上的第二多个条纹相移多次。
在实现方式中，该方法还可以包括：每当线性运动台被平移以使第一多个条纹相移之后捕获样品的图像；以及每当线性运动台被平移以使第二多个条纹相移之后捕获样品的图像。所捕获的图像可用于以计算方式重建具有比每个所捕获的图像更高的分辨率的图像。
在该方法的实现方式中，每当第一多个条纹或第二多个条纹在样品上被相移时，线性运动台沿着一个维度平移几乎相同的距离。
在特定实现方式中，当第二衍射光栅光学地耦合到光发射器时，线性运动台被平移大约10mm和15mm之间。
在第三组实现方式中，SIM成像系统可以被实现为图样角度空间选择 SIM成像系统(pattern angle spatial selection SIM imaging system)，由此，固定的二维衍射光栅与空间滤波器轮(spatial filter wheel)结合来使用，以将一维条纹图样投射在样品上。
在图样角度空间选择SIM成像系统的一个实现方式中，该系统包括：发射光的光发射器；二维衍射光栅，其使由光发射器发射的光衍射，以将被定向在第一方向上的第一多个条纹投射在样品平面上，并将被定向在垂直于第一方向的第二方向上的第二多个条纹投射在样品平面上；以及空间滤波器轮，其使在第一或第二方向中的相应方向上从二维衍射光栅接收的衍射光穿过，并阻挡在第一或第二方向中的相应方向上的光，该空间滤波器轮包括第一多个孔和与第一多个孔正交的第二多个孔。第一多个孔可以使在第一方向上由二维衍射而衍射的光穿过，以及第二多个孔可以使在第二方向上由二维衍射而衍射的光穿过。
在一些实现方式中，该系统还包括：阻挡由二维衍射光栅透射的0级光的光束阻挡元件。在特定实现方式中，光束阻挡元件包括衍射光学元件，该衍射光学元件被图样化以反射垂直于该元件的光并使其它角度的光穿过。
在一些实现方式中，空间滤波器轮反射从二维衍射光栅接收的未穿过的光的衍射级。
在一些实现方式中，二维衍射光栅是透射式衍射光栅。透射式衍射光栅可以设置在接收来自光发射器的光的固体光学器件的表面上或者形成在该表面上。透射式衍射光栅的色散角可以被布置成使得0级光在固体光学器件的远侧上被阻挡。在一些实现方式中，固体光学器件包括斜面，以衍射和输出由二维透射式衍射光栅衍射的第一级光。在特定实现方式中，斜面包括聚焦透镜。在一些实现方式中，投影透镜接收由固体光学器件输出的光。
在一些实现方式中，二维衍射光栅是二维反射式衍射光栅。二维反射式衍射光栅可以设置在固体光学器件的与接收来自光发射器的光的固体光学器件的孔相对的表面上或形成在该表面上。固体光学器件可以包括反射内表面，以反射由二维反射式衍射光栅衍射的第一级光并通过固体光学器件的出口面将该第一级光输出。在特定实现方式中，出口面包括衍射聚焦透镜。在一些实现方式中，投影透镜接收由固体光学器件输出的光。
在一些实现方式中，该系统还包括：使第一多个条纹和第二多个条纹相移的一个或更多个光学元件。在特定实现方式中，使第一多个条纹和第二多个条纹相移的一个或更多个光学元件包括沿垂直的两个方向倾斜的平行板光学器件。
在图样角度空间选择SIM成像系统的一个实现方式中，一种方法包括：开启结构照明成像系统的光发射器，该结构照明成像系统包括二维衍射光栅；在二维衍射光栅处接收由光发射器发射的光，以输出被定向在第一方向上的第一衍射光和被定向在垂直于第一方向的第二方向上的第二衍射光；使第一衍射光穿过空间滤波器轮的第一多个孔，并在空间滤波器轮处阻挡第二衍射光；将穿过第一多个孔的第一衍射光作为第一多个条纹投射在样品平面上；以及捕获由样品发射的光的第一多个相位图像，其中在第一多个图像的捕获期间，第一多个条纹在样品平面上相移。第一多个条纹可以通过(例如，使用运动台)移动样品、通过移动所投射的条纹或者通过移动样品和所投射的条纹二者来相移。
在实现方式中，该方法还包括：旋转空间滤波器轮，使得它使第二衍射光穿过空间滤波器轮的第二多个孔，并在空间滤波器轮处阻挡第一衍射光；将穿过第二多个孔的第二衍射光作为与第一多个条纹正交的第二多个条纹投射在样品平面上；以及捕获由样品发射的光的第二多个相位图像，其中在第二多个图像的捕获期间，第二多个条纹在样品平面上相移。
在该方法的特定实现方式中，二维衍射光栅是在固体光学器件的表面上形成或设置在固体光学器件的表面上的二维透射式衍射光栅，并且该方法还包括：在固体光学器件的与透射式衍射光栅相对的一侧处阻挡由透射式衍射光栅输出的0级光；以及从固体光学器件的斜面衍射和输出由二维透射式衍射光栅衍射的第一级光。
在该方法的特定实现方式中，二维衍射光栅是在固体光学器件的与接收来自光发射器的光的固体光学器件的孔相对的表面上形成或设置在该表面上的二维反射式衍射光栅，并且该方法还包括：在固体光学器件的表面处反射由二维反射式衍射光栅衍射的第一级光。
根据结合附图理解的下面的详细描述，所公开的技术的其他特征和方面将变得明显，附图通过例子的方式示出了根据所公开的技术的在本文所述的一些实现方式的特征。该概述不旨在限制由权利要求和等同物限定的本文所述的任何发明的范围。
应该认识到，前述概念的所有组合(假设这些概念不相互矛盾)被认为是本文公开的发明主题的一部分。特别地，出现在本公开结尾处的要求保护的主题的所有组合被认为是本文公开的发明主题的一部分。
附图说明
参考以下附图详细描述了根据一个或更多个实现方式的本公开。这些图仅出于说明的目的而被提供，并且仅描绘示例实现方式。此外，应当注意，为了说明的简单和清楚，图中的元素不一定按比例绘制。
本文包括的一些图从不同视角示出了公开的技术的各种实现方式。尽管附随的描述性文本可以将这样的视图称为“顶”、“底”或“侧”视图，但这样的提及仅仅是描述性的，并且不暗示或要求所公开的技术在特定的空间取向上被实现或使用，除非另外明确地说明。
图1示出了根据本文描述的一些实现方式的用空间结构化光照亮样品的结构照明成像系统。
图2是示出根据本文描述的一些实现方式的双臂结构照明显微术 (SIM)成像系统的一个示例光学配置的光学图。
图3是示出根据本文描述的一些实现方式的双臂SIM成像系统的另一示例光学配置的光学图。
图4是示出根据本文描述的一些实现方式的双臂SIM成像系统的另一示例光学配置的光学图。
图5是示出根据本文描述的一些实现方式的、可以由多臂SIM成像系统在一个成像周期期间执行以使用结构化光来创建高分辨率图像的示例方法的操作流程图。
图6示出了根据本文描述的一些实现方式的、可以在图像捕获期间由双臂SIM成像系统的垂直光栅和水平光栅投射到样品的平面上的简化照明条纹图样。
图7示出了根据本文描述的一些实现方式的、使用偏振分束器以用垂直偏振光照亮垂直光栅并用水平偏振光照亮水平光栅的双臂SIM成像系统的示例实验设计。
图8A示出了利用20x/0.75NA显微镜、使用图7的示例SIM成像系统捕获的无焦镜像(afocal mirror image)和荧光幻灯片。
图8B示出了使用带有珠状流动池(beaded flowcell)的图7的系统获取的条纹调制测量结果。该曲线图示出在该示例中当图7的平行板W2的角度改变时在相位调整周期期间的典型的特征图像强度变化。
图9示出了根据本文描述的一些实现方式的双臂SIM成像系统的另一示例光学配置。
图10A是示出根据本文描述的一些实现方式的在第一衍射光栅位置上的双光栅滑动SIM成像系统的示例光学配置的示意图。
图10B是示出根据本文描述的一些实现方式的、图10A的双光栅滑动SIM成像系统在第二衍射光栅位置上的示例光学配置的示意图。
图11是示出根据本文描述的一些实现方式的、可以由多光栅滑动SIM 成像系统在一个成像周期期间执行以使用结构化光来创建高分辨率图像的示例方法的操作流程图。
图12示出了根据本文描述的一些实现方式的、可以在图像捕获期间由双光栅滑动SIM成像系统的第一衍射光栅和第二衍射光栅投射到样品的平面上的简化照明条纹图样。
图13是示出根据本文描述的一些实现方式的示例双光栅滑动SIM成像配置的图。
图14是示出根据本文描述的一些实现方式的图样角度空间选择SIM 成像系统的示例光学配置的示意图。
图15是示出根据本文描述的一些实现方式的图样角度空间选择SIM 成像系统的另一示例光学配置的示意图。
图16是示出根据本文描述的一些实现方式的图样角度空间选择SIM 成像系统的另一示例光学配置的示意图。
图17示出可以在多光栅滑动SIM成像系统的一些实现方式中使用的对准图样的一个例子。
图18示出了根据本文描述的一些实现方式的、可以在SIM成像系统的图像传感器组件上形成的样品。
图19示出了根据本文描述的一些实现方式的示例双光栅滑动SIM成像系统的一些部件。
附图不是详尽的且不将本公开限于所公开的精确形式。
详细描述
如在本文用于指由衍射光栅衍射的光的，术语“级(order)”或“级数”意欲意指整数波长的数量，其表示来自相邻的衍射光栅狭缝或结构的相长干涉的光的路径长度差。在重复的一系列光栅结构或其他分束结构上的入射光束的相互作用可以将光束的部分重定向或衍射到偏离原始光束的可预测的角方向中。术语“零级”或“零级最大值”意欲指由衍射光栅发射的中央亮条纹，其中没有衍射。术语“第一级”意欲指衍射到零级条纹的两侧的两个亮条纹，其中路径长度差为±1个波长。更高级的光被衍射到偏离原始光束的更大的角度中。光栅的特性可以被操纵以控制多少光束强度被引导到不同级内。例如，可以制造相位光栅以使±1级光束的透射最大化，并使0级光束的透射最小化。
如在本文用于指样品的，术语“特征”意欲意指图样中的可以根据相对位置与其他的点或区域区分开的点或区域。单独的特征可以包括特定类型的一个或更多个分子。例如，特征可以包括具有特定序列的单个靶核酸分子，或特征可以包括具有相同序列(和/或其互补序列)的几个核酸分子。
如本文所使用的，术语“xy平面”意欲意指由在笛卡尔坐标系中的直线轴x和y所定义的2维区域。当参考检测器和由检测器观察的对象被使用时，该区域可以被进一步指定为与光束轴或在检测器和被检测对象之间的观察方向正交。
如本文中所使用的，术语“z坐标”意欲意指指定沿着与xy平面正交的轴的点、线或区域的位置的信息。在特定实现方式中，z轴正交于由检测器所观察到的对象的区域。例如，可以沿着z轴指定光学系统的聚焦方向。
如本文所使用的，术语“光学耦合”旨在指代一个元件适用于将光直接或间接地传到另一元件。
如上面所提到的，SIM系统的已存在的实现方式将衍射光栅安装在平移台上，平移台又安装在旋转台上。此外，这种系统常常在光在光栅处被接收之前利用线偏振器来使光源偏振。这种已存在的设计对于在高吞吐量显微镜系统中使用遭受许多缺点。首先，因为旋转台在图像集的采集期间必须旋转光栅几次(例如，三次)，这减慢仪器的速度并影响它的稳定性。通常，最快的光栅台可以旋转大约几十毫秒(ms)，这对成像速度强加机械吞吐量限制。其次，已存在的设计具有较差的可重复性，因为旋转台的机械公差限制了结构照明图样从一个图像采集组到下一个图像采集组的可重复性。这也对SIM系统强加更高的成本，因为它需要非常精确的旋转台。
第三，由于为了旋转光栅而进行的致动的次数，已存在的SIM设计对于在高吞吐量显微镜系统中使用不是最可靠的。例如，如果每秒采集一个 SIM图像集，则旋转台每年可能需要数百万到数千万次致动。第四，已存在的SIM设计具有低的光学效率，因为线偏振器阻挡在光栅处接收的光的至少50％。
为此，在本文公开的技术的实现方式针对改进的SIM系统和方法。
根据本文公开的技术的第一组实现方式，SIM成像系统可以被实现为多臂SIM成像系统，由此，系统的每个臂包括光发射器和具有相对于系统的光轴的特定的固定取向的分束器(例如透射式衍射光栅)。根据这些实现方式，在SIM成像系统中的分束器是可旋转地固定的(即，不需要机械旋转)，这可以提供改进的系统速度、可靠性和可重复性。对于被成像的对象主要沿着2个垂直轴(即垂直和水平)被定向的系统，可能使用2个图样角度而不是通常用于随机定向的对象的3个角度来实现增强的空间分辨率。在特定实现方式中，该系统可以被实现为双臂SIM成像系统，其包括固定垂直光栅和固定水平光栅以将相应的条纹图样投射在被成像的样品上。可以使用其他对的正交光栅和图样角度，假定它们与样品对象的取向对准。此外，该系统可以包括具有孔的反射镜，以用无损方式将两个臂组合到光路中。
根据本文公开的技术的第二组实现方式，SIM成像系统可以被实现为多分束器滑动SIM成像系统，其中一个线性运动台安装有具有相对于系统的光轴的相应的固定取向的多个分束器(例如衍射光栅)。在特定实现方式中，SIM成像系统可以被实现为双光栅滑动SIM成像系统，由此，投射在被成像的样品上的光栅图样的所有相移或旋转可以通过沿着单个运动轴线性地平移运动台来进行，以选择两个光栅中的一个或者实现由所选择的光栅产生的图样的相移。在这样的实现方式中，仅需要具有单个发射器和单个线性运动台的单个光学臂来照亮样品，这可以提供系统优势，例如减少移动系统部件的数量以改善速度、复杂性和成本。另外，在这样的实现方式中，偏振器的缺乏可以提供高光学效率的优点。
根据本文公开的技术的第三组实现方式，SIM成像系统可以被实现为图样角度空间选择SIM成像系统，由此，固定的二维衍射光栅与空间滤波器轮结合来使用，以在样品上投射一维衍射图样。在这样的实现方式中，成像系统的主要光学部件可以保持静止，这可以提高光学系统(和照明图样)的稳定性，并最小化系统的移动元件的重量、振动输出和成本。
在描述本文中所公开的系统和方法的各种实现方式之前，描述可以利用其实现本文中所公开的技术的示例环境是有用的。一个这样的示例环境是用空间结构化光照亮样品的在图1中所示的结构照明成像系统100的环境。例如，系统100可以是利用空间结构化激发光来对生物样品成像的结构照明荧光显微镜系统。
在图1的例子中，光发射器150被配置为输出由准直透镜151准直的光束。准直光由光结构化光学组件155结构化(图样化)，并由二向色镜 160引导通过物镜142到达位于运动台170上的样品容器110的样品上。在荧光样品的情况下，样品响应于结构化激发光而发荧光，并且所产生的光由物镜142收集并将被引导到照相机系统140的图像传感器以检测荧光。
在以下进一步描述的各种实现方式中的光结构化光学组件155包括一个或更多个光学衍射光栅或其他分束元件(例如分束器立方体或板)，以产生投射到样品容器110的样品上的光的图样(例如条纹，通常为正弦的)。衍射光栅可以是一维或二维透射或反射光栅。衍射光栅可以是正弦振幅光栅或正弦相位光栅。
如下面参考具体实现方式进一步描述的，在系统100中，衍射光栅不像上面讨论的已存在的系统的典型的结构照明显微镜系统一样需要旋转台。在一些实现方式中，衍射光栅可以在成像系统的操作期间是固定的(即，不需要旋转或线性运动)。例如，在下面进一步描述的特定实现方式中，衍射光栅可以包括垂直于彼此定向的两个固定的一维透射式衍射光栅(例如水平衍射光栅和垂直衍射光栅)。
如图1的例子所示的，光结构化光学组件155输出衍射光束的第一级 (例如，m＝±1级)，同时阻挡或最小化所有其它级，包括零级。然而，在替代的实现方式中，可以将额外级的光投射到样品上。
在每个成像周期期间，成像系统100利用光结构化光学组件155来获取在不同相位处的多个图像，其中条纹图样在(例如，在x-y平面中并垂直于条纹的)调制方向上横向移位，该过程通过围绕光轴(即，相对于样品的x-y平面)旋转图样取向而重复一次或更多次。所捕获的图像然后可以用计算方式被重建以生成更高分辨率的图像(例如，具有大约是单独图像的横向空间分辨率的两倍的分辨率的图像)。
在系统100中，光发射器150可以是非相干光发射器(例如，发射由一个或更多个激发二极管输出的光束)或者相干光发射器，例如由一个或更多个激光器或激光二极管输出的光的发射器。如系统100的例子所示的，光发射器150包括用于引导要输出的光束的光纤152。然而，可以使用光发射器150的其它配置。在多通道成像系统(例如，利用多个波长的光的多通道荧光显微镜)中利用结构照明的实现方式中，光纤152可以光学地耦合到多个不同的光源(未示出)，每个光源发射不同波长的光。尽管系统100被示为具有单个光发射器150，但是在一些实现方式中，可以包括多个光发射器150。例如，在下面进一步讨论的利用多个臂的结构照明成像系统的情况下，可以包括多个光发射器。
在一些实现方式中，系统100可以包括投影透镜156，投影透镜156 可以包括透镜元件，该透镜元件沿着z轴铰接(articulate)以调整结构化光束形状和路径。例如，投影透镜的部件可以被铰接以考虑在容器110中的样品的样品厚度的范围(例如，不同的盖玻片厚度)。
在系统100的例子中，流体输送模块或设备190可将试剂(例如荧光标记核苷酸、缓冲液、酶、裂解试剂等)的流引导至(并且穿过)样品容器110和废液阀120。样品容器110可以包括在其上设置样品的一个或更多个基板。例如，在系统分析大量不同核酸序列的情况下，样品容器110 可以包括待测序的核酸被键合、附着或结合在其上的一个或更多个基板。基板可以包括核酸可附着到其的任何惰性基板或基质，诸如例如玻璃表面、塑料表面、乳胶、葡聚糖、聚苯乙烯表面、聚丙烯表面、聚丙烯酰胺凝胶、金表面和硅晶片。在一些应用中，基板在通道内或在处于形成在样品容器 110上的矩阵或阵列中的多个位置处的其他区域内。系统100还可包括温度站致动器130和加热器/冷却器135，其可以可选地调节在样品容器110 内的流体的温度状况。
在特定实现方式中，样品容器110可以被实现为包括半透明盖板、基板和包含在其间的液体的图样化流动池，并且生物样品可以位于半透明盖板的内表面或基板的内表面处。流动池可以包括被图样化成在基板中的所定义的阵列(例如，六边形阵列、矩形阵列等)的大量(例如，数千、数百万或数十亿)的阱或区域。每个区域可以形成诸如DNA、RNA或可以例如使用合成测序而被测序的另一种基因组材料的生物样品的簇(例如，单克隆簇)。流动池还可以被划分成多个间隔开的流道(例如，八个流道)，每个流道包括簇的六边形阵列。在美国专利第8,778,848号中描述了可以被用于本文中所公开的实现方式中的示例流动池。
样品容器110可以安装在样品台170上，以提供样品容器110相对于物镜142的移动和对准。样品台可以具有一个或更多个致动器，以允许其在三个维度中的任何一个维度中移动。例如，就笛卡尔坐标系而言，可以提供致动器以允许台相对于物镜在X、Y和Z方向上移动。这可以允许样品容器110上的一个或更多个样品位置被定位成与物镜142光学对准。样品台170相对于物镜142的移动可以通过移动样品台本身、物镜、成像系统的某个其他部件或前述项的任何组合来实现。在一些实现方式中，样品台170的移动可以在结构照明成像期间实现，以相对于样品移动结构照明条纹来改变相位。其他实现方式还可以包括遍及(over)静止样品地移动整个成像系统。可替代地，样品容器110可以在成像期间是固定的。
在一些实现方式中，可包括聚焦(z轴)部件175以控制在聚焦方向 (通常被称为z轴或z方向)上光学部件相对于样品容器110的定位。聚焦部件175可包括物理耦合到光学台或样品台或两者的一个或更多个致动器，以使样品台170上的样品容器110相对于光学部件(例如，物镜142) 移动，以对成像操作提供适当的聚焦。例如，致动器可以例如通过直接或间接地机械、磁性、流体或其他方式附接到台或接触台而物理耦合到相应的台。一个或更多个致动器可以被配置为在保持样品台在同一平面内(例如，保持垂直于光轴的水平或水平姿态)的同时在z方向上移动该台。一个或更多个致动器也可以被配置为使台倾斜。例如，这可以被完成，使得样品容器110可以被动态变水平以考虑其表面的任何坡度。
应当认识到，尽管图1示出了用于将两个光束级组合并投射到被成像的样品上作为干涉条纹图样的物镜142的使用，但是也可以使用其它合适的装置来组合两个光束和/或将干涉图样投射在样品上。重定向光束的任何装置可能就足够了(例如，使用反射镜)，假定光束所穿过的路径长度在光束的时间相干长度内。此外，在一些实现方式中，两个光束级对于超过分束器(例如衍射光栅)的一定距离可以自动重叠。在这样的实现方式中，干涉图样可能出现在光栅附近，去除了额外的投影系统的需要——如果衍射光栅被放置得足够靠近样品。因此，应该认识到，这里描述的SIM的实现可以应用于不依赖物镜系统来投射干涉图样的系统。
从在样品位置处被成像的测试样品发出的结构化光可以通过二向色镜160被引导至照相机系统140的一个或更多个检测器。在一些实现方式中，可以包括具有一个或更多个发射滤波器的滤波器切换组件165，其中一个或更多个发射滤波器可以用于使特定发射波长穿过并阻挡(或反射) 其他发射波长。例如，一个或更多个发射滤波器可用于在成像系统的不同通道之间切换。在特定实现方式中，发射滤波器可以被实现为二向色镜，其将不同波长的发射光引导到照相机系统140的不同图像传感器。
照相机系统140可以包括一个或更多个图像传感器以监测和跟踪样品容器110的成像(例如测序)。照相机系统140可以被实现为例如电荷耦合设备(CCD)图像传感器照相机，但是也可以使用其他图像传感器技术，例如有源像素传感器(例如互补金属氧化物半导体(CMOS)图像传感器)。在一些实现方式中，结构照明成像系统100可以利用在样品的有源平面 (active plane)中的图像传感器(例如有源像素传感器)。在这样的实现方式中，被成像的样品可以被图样化和/或排列在图像传感器上。
来自照相机系统140的输出数据(例如图像)可以被传送到可以被实现为软件应用的实时分析模块(未示出)，如下文进一步描述的，该软件应用可以重建在每个成像周期期间捕获的图像，以创建具有更高空间分辨率的图像。可替代地，输出数据可以被存储用于在稍后时间的重建。
尽管未示出，但是控制器可以被提供来控制结构照明成像系统100的操作，包括使系统100的各种光学部件同步。控制器可以被实现为控制系统操作的各方面，诸如例如，光结构化光学组件155的配置(例如，衍射光栅的选择和/或线性平移)、投影透镜156的移动、聚焦、台移动和成像操作。在各种实现方式中，可以使用硬件、算法(例如机器可执行指令)或前述的组合来实现控制器。例如，在一些实现方式中，控制器可以包括具有相关联的存储器的一个或更多个CPU或处理器。作为另一个例子，控制器可以包括用于控制操作的硬件或其他电路，诸如计算机处理器和其上存储有机器可读指令的非临时性计算机可读介质。例如，该电路可以包括以下中的一个或更多个：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、可编程逻辑器件(PLD)、复杂可编程逻辑器件(CPLD)、可编程逻辑阵列(PLA)、可编程阵列逻辑(PAL)或其他类似的处理设备或电路。作为又一个例子，控制器可以包括该电路与一个或更多个处理器的组合。
多臂结构照明显微术成像系统
根据在本文公开的技术的一些实现方式，SIM成像系统可以被实现为多臂SIM成像系统，其中系统的每个臂包括光发射器和具有相对于系统的光轴的特定的固定取向的光栅。
图2是示出根据本文描述的一些实现方式的双臂SIM成像系统200的一个示例光学配置的光学图。系统200的第一臂包括光发射器210A、用于准直由光发射器210A输出的光的光准直器220A、在相对于光轴的第一取向上的衍射光栅230A、旋转窗口240A和投影透镜250A。系统200的第二臂包括光发射器210B、用于准直由光发射器210B输出的光的光准直器220B、在相对于光轴的第二取向上的衍射光栅230B、旋转窗口240B和投影透镜250B。尽管衍射光栅在这个例子中被示出，但是在其它实现方式中，诸如分束器立方体或板的其它分束元件可以用于分离在SIM成像系统200 的每个臂处接收的光。
每个光发射器210A-210B可以是非相干光发射器(例如，发射由一个或更多个发光二极管(LED)输出的光束)或者相干光发射器，例如由一个或更多个激光器或激光二极管输出的光的发射器。在系统200的例子中，每个光发射器210A-210B是输出由相应准直器220A-220B准直的光束的光纤。
在一些实现方式中，每个光纤可以光学地耦合到相应的光源(未示出)，例如激光器。在成像期间，可以使用位于在光纤和光源之间的光路中的高速快门(未示出)或者通过在成像期间以预定频率向光纤的相应光源加以脉冲来接通或断开每个光纤。在一些实现方式中，每个光纤可以光学地耦合到同一光源。在这样的实现方式中，分束器或其它合适的光学元件可用于将光从光源引导到每个光纤中。在这样的例子中，可以使用位于在光纤和分束器之间的光路中的高速快门(未示出)来接通或断开每个光纤。
在示例SIM成像系统200中，第一臂包括固定垂直光栅230A以将在第一取向上的光栅图样(例如垂直条纹图样)投射到样品上，以及第二臂包括固定水平光栅230B以将在第二取向上的光栅图样(例如水平条纹图样)投射到样品271上。与已存在的SIM成像系统不同，SIM成像系统 200的光栅不需要被机械旋转或平移，这可以提供改进的系统速度、可靠性和可重复性。
如图2的例子所示的，光栅230A-230B可以是透射式衍射光栅，包括形成到玻璃基板或其它合适表面中的多个衍射元件(例如平行狭缝或凹槽)。光栅可以被实现为相位光栅，其提供光栅材料的折射率的周期性变化。凹槽或特征间距可以被选择成以合适的角度衍射光，并被调整到被成像的样品的最小可分辨特征尺寸，以用于SIM成像系统200的操作。在其它实现方式中，光栅可以是反射式衍射光栅。
在SIM成像系统200的例子中，垂直和水平图样偏移大约90度。在其它实现方式中，光栅的其它取向可用于产生大约90度的偏移。例如，光栅可以被定向成使得它们投射从样品271的x或y平面偏移±45度的图像。示例SIM成像系统200的配置在具有在矩形网格上的特征的有规则地图样化的样品271的情况下可能是特别有利的，因为结构化分辨率增强可以仅使用两个垂直光栅(例如垂直光栅和水平光栅)来实现。
在系统200的例子中，光栅230A-230B被配置成将输入光束衍射成多个级(例如，0级、±1级、±2级等)，其中±1级可以投射在样品271上。如该例子所示的，垂直光栅230A将准直光束衍射成第一级衍射光束(±1 级)，在页的平面上传播第一级，以及水平光栅230B将准直光束衍射成第一级衍射光束，在页的平面上方和下方(即，在垂直于页的平面中)传播该级。为了提高系统的效率，零级光束和所有其他更高级光束(即，±2 级或更高级)可被阻挡(即，从投射在样品271上的照明图样中滤出)。例如，光束阻挡元件(未示出)例如级滤波器(order filter)可以被插入到在每个衍射光栅之后的光路中，以阻挡0级光束和更高级光束。在一些实现方式中，衍射光栅230A-230B可以被配置成仅将光束衍射到第一级内，并且0级(非衍射光束)可以被某个光束阻挡元件阻挡。
每个臂包括光学相位调制器或移相器240A-240B，以使由每个光栅230 输出的衍射光相移。例如，在结构化成像期间，每个衍射光束的光学相位可以被移动结构化图样的每个条纹的间距(λ)的某个分数(例如，1/2、 1/3、1/4等)。在图2的例子中，相位调制器240A和240B被实现为旋转窗口，其可以使用检流计或其他旋转致动器来旋转和调制每个衍射光束的光路长度。例如，窗口240A可以围绕垂直轴旋转以向左或向右移动由垂直光栅230A投射在样品271上的图像，并且窗口240B可以围绕水平轴旋转以向上或向下移动由水平光栅230B投射在样品271上的图像。
在下文进一步描述的其他实现方式中，改变衍射光的光路长度的其他相位调制器(例如线性平移台、楔形物等)可以被使用。此外，尽管光学相位调制器240A-240B被示为放置在光栅230A-230B之后，但是在其他实现方式中，它们可以放置在照明系统中的其他位置处。在一些实现方式中，单个相位调制器可以针对不同的条纹图样在两个不同的方向上操作，或者单个相位调制器可以使用单个运动来调节两个路径长度，如下所述。
在示例系统200中，具有孔261的反射镜260以无损方式(例如，除了在反射涂层中的小吸收之外，没有光功率的显著损失)将两个臂组合到光路中。反射镜260可以定位成使得来自每个光栅的衍射级在空间上被分辨，并且不需要的级可以被阻挡。反射镜260通过孔261使由第一臂输出的第一级光通过。反射镜260反射由第二臂输出的第一级光。因此，通过开启或关闭每个发射器或者通过打开和关闭引导光源的光通过光纤电缆的光学快门，结构照明图样可以从垂直取向(例如光栅230A)切换到水平取向(例如光栅230B)。在其他实现方式中，可以通过使用光学开关以改变照亮样品的臂来切换结构照明图样。
在示例成像系统200中还示出了投影透镜265、半反射镜280、物镜 270和照相机290。投影透镜265可以与透镜250A结合来使用，以将光栅 230A的傅立叶变换投射到物镜270的入射光瞳中。类似地，投影透镜265 可以与透镜250B结合来使用，以将光栅230B的傅立叶变换投射到物镜 270的入射光瞳中。投影透镜265也可以被实现为沿着z轴铰接，以调节在样品平面上的光栅焦点。半反射镜280可以是二向色镜，以将从每个臂接收到的结构照明光向下反射到物镜270中，用于投射到样品271上，并使由样品271发射的光(例如，在不同于激发的波长处发射的荧光)穿过到照相机290上。
值得注意的是，由于偏振器的缺乏，系统200的例子可以提供高光学效率。此外，根据物镜270的数值孔径设置，非偏振光的使用可能对图样对比度没有显著影响。
应当注意，为了简单起见，SIM成像系统200的光学部件可以从前面的讨论中省略。此外，尽管系统200在此例子中被示为单通道系统，但是在其他实现方式中，它可以被实现为多通道系统(例如，通过使用两个不同的照相机和以两个不同波长发射的光源)。
图3是示出根据本文描述的一些实现方式的双臂SIM成像系统300的另一示例光学配置的光学图。在系统300中，大的旋转光学窗口310可以放置在具有孔261的反射镜260之后。在这种情况下，可以使用窗口310 来代替窗口240A和240B，以调制由垂直和水平衍射光栅输出的两组衍射光束的相位。代替相对于光栅之一的光轴平行，旋转窗口310的旋转轴可以从垂直和水平光栅中的每一个的光轴偏移45度(或某个其它角度偏移)，以允许沿着窗口310的一个公共旋转轴的两个方向相移。在一些实现方式中，旋转窗口310可以由围绕标称光束轴旋转的楔形光学器件代替。
图4是示出根据本文描述的一些实现方式的双臂SIM成像系统400的另一示例光学配置的光学图。在系统400中，光栅230A和230B安装在各自的线性运动台410A和410B上，线性运动台410A和410B可以被平移以改变由光栅230A和230B发射的光的光路长度(以及因而改变相位)。线性运动台410A-410B的运动轴可以是垂直的或以其他方式从它们各自光栅的取向偏移，以实现光栅图样沿着样品271的平移。在实现方式中，台 410A和410B可以各自利用交叉滚子轴承、线性电机、高准确度线性编码器和/或其他技术来提供光栅的精确线性平移，以使所投射的图像相移。
图5是示出根据本文描述的一些实现方式的、可以由多臂SIM成像系统在一个成像周期期间执行以使用结构化光来创建高分辨率图像的示例方法500的操作流程图。在实现方式中，可以执行方法500来对整个样品或较大样品的位置进行成像。将结合图6描述方法500，图6示出了可以在图像捕获期间由双臂SIM成像系统的垂直光栅和水平光栅投射到样品 271的平面上的简化照明条纹图样。例如，SIM成像系统200可以使用垂直光栅230A和水平光栅230B来产生图6所示的水平和垂直照明图样，而相位调制器230A和230B可以被设置到三个不同的位置以产生所示的三个相移。
在操作510，开启对应于第一光栅取向的第一臂，以开始使用第一臂来生成照明图样。例如，在成像系统200的实现方式中，位于在光纤210A 和光源之间的路径中的高速快门可以被打开或以其他方式被启动，使得光源不被阻挡。可替代地，一个或更多个光源可以被开启或关闭(例如，加以脉冲)，或者光学开关可以用于引导光源通过第一臂的光路(例如，通过第一或第二发射器之一)。在某些情况下，操作510还可以包括(例如，在第一成像周期的情况下)开启光源。
一旦第一臂被开启，在操作520第一光栅图样就可以被投射在样品上，并且图像可以被捕获。例如，如图6所示，垂直光栅230A可以在样品271 上投射第一级照明条纹。由样品发射的任何光可以被照相机290捕获，并且第一图样(例如垂直图样)的第一相位图像可以被捕获。例如，位于样品271的不同特征处的荧光染料可以发荧光，并且所产生的光可以被物镜 270收集并且被引导至照相机290的图像传感器以检测荧光。
如果需要捕获额外的相移图像(判决530)，则在操作540由光栅投射的图样可以被相移以捕获图样的下一个相位图像。例如，在系统200的实现方式中，由垂直光栅230A投射的图样的相位可以通过旋转光学窗口 240A来相移。可替代地，可以使用其它光学相位调制器——诸如平移台或旋转光学楔形物——来移动相位。例如，如在图6的例子中所示的，相位可以被移动条纹图样的间距(λ)的1/3，使得投射在样品上的图样从所捕获的先前图像偏移1/3λ。在一些实现方式中，由光栅投射的图样可以通过 (例如使用运动台)移动样品而所投射的条纹保持静止来相移。在一些实现方式中，由光栅投射的图样可以通过移动样品和所投射的条纹二者来相移。操作520-540可以重复，直到第一图样的所有相位图像(例如，在图 6的情况下的垂直图样的三个相移图像)被捕获为止。
一旦捕获了图样的所有相位图像，就可以在操作560开启对应于SIM 成像系统的第二光栅取向的第二臂。例如，在成像系统200的实现方式中，位于在光纤210B和光源之间的路径中的高速快门可以被打开或以其他方式被启动，使得光源不被阻挡。可替代地，一个或更多个光源可以被开启或关闭(例如，加以脉冲)，或者光学开关可以用于引导光源通过第二臂的光路。此外，另一个臂可以被关闭。然后通过重复操作520-540，可以针对下一臂捕获一系列相位图像。例如，如图6所示，水平光栅230B可以在样品271上投射第一级照明条纹，并且投射条纹可以在位置上移动 1/3λ，以捕获水平图样的三个相位图像。作为另一个例子，由光栅投射的图样可以通过(例如使用运动台)移动样品而所投射的条纹保持静止或者通过移动样品和所投射的条纹二者来相移。
一旦在成像周期中捕获了所有图像，就可以在操作570从所捕获的图像构建高分辨率图像。例如，可以从图6中所示的六个图像重建高分辨率图像。可以使用合适的算法来组合这些不同的图像，以合成具有比任何单独分量图像明显更好的空间分辨率的样品的单个图像。
应当注意，尽管方法500主要在单通道成像(例如，使用具有单一波长的光源对样品成像)的上下文中被描述，但是在一些实现方式中，方法 500可以适合于多通道成像(例如，使用具有不同波长的光源对样品成像)。在这样的实现方式中，方法500可以针对成像系统的每个通道(例如，顺序地或并行地)重复，以针对每个通道生成高分辨率图像。
尽管在本文描述的双臂SIM成像系统200的实现方式迄今为止在利用具有孔261的反射镜260来无损地组合双臂的光路的系统200的上下文中被描述，但是在替代的实现方式中，水平和垂直光栅230A-230B的两个图像可以通过使用偏振分束器代替具有孔的反射镜来无损地被组合并且用垂直偏振光照亮垂直光栅以及用水平偏振光照亮水平光栅。在这样的实现方式中，可以通过开启和关闭相应的偏振照明源来将结构照明图样从水平切换到垂直。
作为例子，图7示出了双臂SIM成像系统700的示例实验设计，该双臂SIM成像系统700使用偏振分束器来组合臂的光路，并且用垂直偏振光照亮垂直光栅以及用水平偏振光照亮水平光栅。在图7的实现方式中，水平和垂直光栅是G1和G2，水平和垂直旋转窗口是W1和W2，以及用于组合水平和垂直光栅图像的偏振分束器是PBS2。光纤耦合模加扰多模激光器的输出是Fiber1。
图8A示出了利用20x/0.75NA显微镜、使用示例SIM成像系统700 捕获的无焦镜像和荧光幻灯片。无焦镜像具有84％的条纹可见度。荧光幻灯片图像具有6.6％的条纹可见度。
图8B示出了使用具有珠状流动池的系统700获取的条纹调制测量结果。该曲线图示出了当图7的平行板W2的角度改变时在相位调整周期期间典型特征图像强度的变化。
图9示出了根据本文描述的一些实现方式的双臂SIM成像系统900的另一示例光学配置。系统900的第一臂包括光发射器910A(例如光纤)、用于准直由光发射器910A输出的光的光准直器920A、在相对于光轴的第一取向上的衍射光栅930A以及中继透镜940A。系统900的第二臂包括光发射器910B、用于准直由光发射器910B输出的光的光准直器920B、在相对于光轴的第二取向上的衍射光栅930B以及中继透镜940B。
系统900还包括用于组合光学系统的两个臂的光束组合元件950。如所示，光束组合元件950包括具有孔以使来自系统的第二臂的结构化光穿过的45°棱镜以及用于反射从第一臂接收的结构化光的镜面。在进入光束组合元件950之前，每个结构化光束穿过具有一对孔的空间滤波器，以使±1级通过并阻挡其它级。从第一平面中的第一臂发出的结构化光可以由反射光学器件945引导到光束组合元件950中。在系统900中，平行板光学元件960用作相位调节器，并且可以旋转以在光束组合元件950之后在每个取向上移动结构化光。
尽管在本文描述的实现方式迄今为止在包括被定向在两个不同角度下的两个光栅的双臂结构照明成像系统的上下文中被描述，但应注意在其他实现方式中，可以实现具有多于两个臂的系统。在具有在矩形网格上的特征的有规则地图样化的样品的情况下，如上所述，分辨率增强可以仅以两个垂直角度(例如，垂直光栅和水平光栅)来实现。另一方面，对于在其他样品(例如，六边形图样化样品)的所有方向上的图像分辨率增强，可以使用三个光栅角度。例如，三臂系统可以包括三个光发射器和三个固定衍射光栅(每个臂一个)，其中每个衍射光栅围绕系统的光轴被定向，以在样品上投射相应的图样取向(例如，0°图样、120°图样或240°图样)。在这样的系统中，可以使用带有孔的附加反射镜来以无损方式将附加光栅的附加图像组合到系统中。可替代地，这样的系统可以利用一个或更多个偏振分束器来组合每个光栅的图像。
多光栅滑动结构照明显微术成像系统
根据本文公开的技术的一些实现方式，SIM成像系统可以被实现为多光栅滑动SIM成像系统，其中一个线性运动台安装有具有相对于系统的光轴的相应的固定取向的多个衍射光栅(或其他分束光学元件)。
图10A-10B是示出根据本文描述的一些实现方式的双光栅滑动SIM 成像系统1000的示例光学配置的示意图。如下文进一步描述的，在系统 1000的配置中，投射在样品1070上的光栅图样的所有改变(例如，图样相移或旋转)可以通过沿着单个运动轴线性地平移运动台1030以选择光栅1031或1032(即，选择光栅取向)或使光栅1031-1032之一相移来做出。
系统1000包括光发射器1010(例如光学地耦合到光源的光纤)、用于准直由光发射器1010输出的光的第一光准直器1020(例如准直透镜)、安装有第一衍射光栅1031(例如水平光栅)和第二衍射光栅1032(例如垂直光栅)的线性运动台1030、投影透镜1040、半反射镜1050(例如二向色镜)、物镜1060、样品1070和照相机1080。为了简单起见，SIM成像系统1000的光学部件可以从图10A中省略。此外，尽管系统1000在此例子中被示为单通道系统，但是在其他实现方式中，它可以被实现为多通道系统(例如，通过使用两个不同的照相机和以两个不同波长发射的光源)。
如图10A所示，光栅1031(例如水平衍射光栅)可以将准直光束衍射成第一级衍射光束(在页的平面上)。如图10B所示，衍射光栅1032(例如垂直衍射光栅)可以将光束衍射到第一级内(在页的平面的上方和下方)。在该配置中，仅需要具有单个发射器1010(例如光纤)和单个线性运动台的单个光学臂来对样品1070成像，这可以提供系统优势，例如减少移动系统部件的数量以改善速度、复杂性和成本。另外，在系统1000中，偏振器的缺乏可以提供前面提到的高光学效率的优点。示例SIM成像系统 200的配置在具有在矩形网格上的特征的有规则地图样化的样品1070的情况下可能是特别有利的，因为结构化分辨率增强可以仅使用两个垂直光栅 (例如垂直光栅和水平光栅)来实现。
为了提高系统的效率，由每个光栅输出的零级光束和所有其他更高级衍射光束(即，±2级或更高级)可以被阻挡(即，从投射在样品1070上的照明图样中滤出)。例如，光束阻挡元件(未示出)(诸如级滤波器) 可以被插入到在运动台1030之后的光路中。在一些实现方式中，衍射光栅1031-1032可以被配置成将光束仅衍射到第一级内，并且0级(非衍射光束)可以由某个光束阻挡元件阻挡。
在系统1000的例子中，这两个光栅可以被布置成离运动轴大约±45° (或者从运动轴偏移某个其它角度，例如大约+40°/-50°、大约+30°/-60°等)，以便可以沿着线性运动的单个轴为每个光栅1031-1032实现相移。在一些实现方式中，两个光栅可以组合成一个物理光学元件。例如，物理光学元件的一侧可以具有在第一取向上的光栅图样，并且物理光学元件的相邻侧可以具有在与第一取向正交的第二取向上的光栅图样。
单轴线性运动台1030可以包括一个或更多个致动器，以允许它相对于样品平面沿着X轴或者相对于样品平面沿着Y轴移动。在操作期间，线性运动台1030可以提供足够的行程(例如大约12-15mm)和准确度(例如大约小于0.5微米可重复性)，以使得准确的照明图样被投射用于有效的图像重建。在自动成像系统例如荧光显微镜中利用运动台1030的实现方式中，运动台1030可被配置为提供高速操作、最小振动产生和长工作寿命。在实现方式中，线性运动台1030可以包括交叉滚子轴承、线性电机、高准确度线性编码器和/或其他部件。例如，运动台1030可以被实现为可以使用控制器而平移的高精度步进器或压电运动台。
图11是示出根据本文描述的一些实现方式的、可以由多光栅滑动SIM 成像系统在一个成像周期期间执行以使用结构化光来创建高分辨率图像的示例方法1100的操作流程图。根据实现方式，可以执行方法1100以对整个样品或较大样品的位置进行成像。将结合图12描述方法1100，图12 示出了可以在图像捕获期间由双光栅滑动SIM成像系统的第一衍射光栅和第二衍射光栅投射到样品1070的平面上的简化照明条纹图样。例如， SIM成像系统1000可以使用第一衍射光栅1031和第二衍射光栅1032来生成图12中所示的照明图样。如在图12的例子中所示的，两个光栅在样品1070的表面上投射垂直条纹图样，并且布置成偏离线性运动台1030的运动轴大约±45°。
在操作1110，光源被开启。例如，可以启动光学快门以将光发射器 1010的光纤光学地耦合到光源。作为另一例子，光源可被加以脉冲，或者光学开关可以用于引导光源通过光发射器的光路。在操作1120，可以将第一光栅图样投射在样品上，并且可以捕获图像。例如，如图12所示，第一光栅(例如光栅1031)可以在样品1070上投射第一级照明条纹。由样品发射的任何光可以被照相机1080捕获，并且第一图样(例如+45°图样) 的第一相位图像可以被捕获。例如，位于样品1070的不同特征处的荧光染料可以发荧光，并且所产生的光可以被物镜1060收集并且被引导至照相机1080的图像传感器以检测荧光。
为了捕获额外的相移图像，在操作1140可以通过平移线性运动台来使由光栅投射的图样相移。在图12的例子中，这些相移运动被示为步骤1 和2。相移运动可以提供光栅的小(例如，大约3至5微米或更小)的移动，以稍微移动投射在光栅上的条纹图样。
作为特定例子，考虑在图11的样品处的条纹的间距λ为2100nm的情况。在这种情况下，在样品中捕获三个相移图像，需要λ/3或700nm的所投射的条纹的相移。假设有10X的物镜照明放大率，单轴线性运动台的所需相移步长(线性平移)可被计算为700nm*10*sqrt(2)或大约9.9μm。在这种情况下，sqrt(2)因子解释在光栅的取向和运动台的运动轴之间的45度偏移。更一般地，在该示例配置中，在每个相移步骤期间的线性运动台的平移距离可以通过来描述，其中MAG是照明放大率。
在捕获衍射光栅的所有相移图像(判决1130)之后，在操作1160，系统可以通过平移线性运动台来切换衍射光栅，以将另一衍射光栅光学地耦合到成像系统的光源(例如，从图10A到图10B的转换)。在图12的例子中，该运动被示为步骤3。在衍射光栅改变的情况下，线性运动台可以提供相对大的平移(例如大约12-15mm)。
然后，通过重复操作1120-1140，可以针对下一光栅捕获一系列相位图像。例如，如图12所示，第二衍射光栅可以在样品271上投射第一级照明条纹，并且所投射的条纹可以通过平移线性运动台来在位置上移动λ/3 以捕获光栅图样的三个相位图像(例如，图12的步骤4和5)。
一旦在成像周期中捕获了所有图像，就可以在操作1170从所捕获的图像构建高分辨率图像。例如，可以从在图12中示意性示出的六个图像重建高分辨率图像。如前述例子所示的，多光栅滑动SIM成像系统有利地可以利用单个线性致动器在条纹角度和相位之间切换，从而节省结构照明成像系统的成本和减小复杂性。
图13是示出示例双光栅滑动SIM成像配置1300的图。如所示，配置 1300可以包括发射光的光纤1310、准直器1320、安装有第一和第二衍射光栅1331-1332的线性运动台1330、投影透镜1340和转向镜1350。在这个例子中，光栅1331-1332嵌入同一对象中，沿着台1330的运动轴相邻于彼此。未示出的其它部件可以类似于图10A中的部件，例如二向色镜1050、物镜1060和样品1070。
在一些实现方式中，双光栅滑动SIM成像系统的线性运动台或滑动装置(slide)可以安装有一个或更多个附加的较低频率图样，以帮助由成像光栅(例如，布置在偏离线性运动台的运动轴大约±45°处的两个光栅)投射在样品上的条纹图样的对准。例如，图10A-10B的线性运动台1030可以安装有附加对准图样，或者图13的线性运动台1330可以安装有附加对准图样。在两个成像光栅如图13所示的嵌入在同一基板中的情况下，对准光栅也可以嵌入在该基板中，或者它可以被并入在单独的基板中。对准图样可以放置在两个成像光栅之间或者在运动台上的某个其他合适的位置上。
当被照亮时，对准图样可以被配置成将具有较低频率和/或较大间距的图样投射到样品上。由于这些特性，光栅相对于样品的粗略对准可能变得容易。对准图样可以被实现为平行线、正交线和/或相比其它光栅具有更低频率的狭缝的光栅。在一些实现方式中，可以使用多个对准图样。图17 示出了可以在本公开的实现方式中使用的对准图样的一个例子。如该例子所示的，对准图样标记1605被实现在与光栅1615相同的基板上的透明通光孔(clear aperture)1625之外。在这个例子中，对准图样被实现为两组正交线。依靠这个实现方式，可以检查光栅倾斜。在一些实现方式中，所示的对准图样可以在多个区域(例如，基板的四个角)中实现。
在使用期间，对准图样可以被照亮以投射图样。可以在SIM成像系统制造期间、在现场安装之后或在现场服务工程师检查期间利用对准图样。在一些实现方式中，可以在双光栅滑动SIM成像系统的操作期间利用对准图样。例如，在样品的成像开始之前，对准图样可以被照亮以投射对准图样。
在双光栅滑动SIM成像系统的一些实现方式中，光学相位调制器(例如旋转窗口)可以用于相位调谐，该光学相位调制器是与线性运动台不同的单独部件。在这样的实现方式中，光学相位调制器可以代替线性运动台用于相位调谐(例如，线性运动台可能仅用于在两个光栅之间切换)。依靠这样的实现方式，可以通过显著减少运动台随着时间的过去所需的平移的数量以及通过消除使用运动台进行精细平移(例如，μm的数量级)以选择相位的需要来潜在地提高系统的速度、准确度和/或可靠性。
光学相位调制器可以放置在光源和样品之间的光路中的光栅之后(例如，直接在运动台之后)。图19示出了根据这样的实现方式的一个示例双光栅滑动SIM成像系统1900的一些部件。如所示，系统1900包括光发射器1910(例如，光学地耦合到光源的光纤)、用于准直由光发射器1910 输出的光的第一光准直器1920(例如准直透镜)、安装有第一衍射光栅1931(例如水平光栅)和第二衍射光栅1932(例如，垂直光栅)的线性运动台1930以及使由每个光栅输出的衍射光相移的光学相位调制器1940。
图样角度空间选择结构照明显微术成像系统
根据本文公开的技术的一些实现方式，SIM成像系统可以被实现为图样角度空间选择SIM成像系统，由此，固定的二维衍射光栅与空间滤波器轮结合来使用，以在样品上投射一维衍射图样。
图14是示出根据本文描述的一些实现方式的图样角度空间选择SIM 成像系统1400的示例光学配置的示意图。为了简单起见，SIM成像系统 1400的光学部件可以从图14中省略。此外，尽管系统1400在此例子中被示为单通道系统，但是在其他实现方式中，它可以被实现为多通道系统(例如，通过使用两个不同的照相机和以两个不同波长发射的光源)。
如所示，系统1400包括光发射器1410(例如光纤)、用于准直由发射器1410发射的光的准直器1420、二维光栅1430、零级光束阻挡器1440、光学相位调制器1450、投影透镜1460、空间滤波器轮1470、二向色镜1480、物镜1490、样品1491和照相机1495。
在该示例配置中，光栅1430是被配置成在垂直的两个方向上将输入光束衍射到多个级(例如，0级、±1级、±2级等)内的二维透射式衍射光栅。为了提高系统的效率和性能，零级光束和所有其他更高级光束(即，±2级或更高级)可被阻挡(即，从投射在样品1491上的照明图样中滤出)。在更高的级可能以宽的角度被衍射出时，在这些角度处它们可以使用各种滤波元件被滤出，0级分量朝着样品直接穿过在光束路径中的光栅。为了阻挡0级分量，可以将光束阻挡元件1440插入在光路中的二维衍射光栅 1430之后。例如，光束阻挡元件1440可以是体积布拉格光栅(VBG)——一种可以被图样化以反射垂直于该元件的光(例如，0级光)并使其他角度的光(诸如+1和-1级)穿过的衍射光学元件。在0级被去除的情况下，可以使用更小和更紧凑的光学器件来将+1和-1级向下聚焦到物镜上。
光学相位调制器1450(例如旋转窗口)可用于改变入射光的相位，以调整在样品1491上的图样相位位置。例如，光学相位调制器1450可以包括各种移动光学元件，包括以与光轴的可变角度倾斜的平行板光学器件、绕光轴旋转的楔形光学器件、被倾斜以平移光束的反射镜、电光元件或声光元件。在一个特定的实现方式中，光学相位调制器1450可以被实现为沿垂直的两个方向倾斜的平行板光学器件，以调节两个不同光栅角度图样的相位。可替代地，在一些实现方式中，可以通过(例如使用运动台)移动样品而所投射的图样保持静止或者通过移动样品和所投射的图样两者来调整图样相位位置。
在系统1400的例子中，可旋转的空间滤波器轮1470可以包括定向在垂直的两个方向上的多个孔(例如，垂直的一组孔1471和水平的一组孔 1472)，用于选择用于投射在样品1491上的垂直光栅图像或水平光栅图像。例如，通过旋转空间滤波器轮，光栅图样之一的+/-1级可以穿过一组孔中的一个孔，以在样品1491上产生水平或垂直条纹图样。在实现方式中，空间滤波器轮1470可被实现为轻量掩模或空间滤波器(例如，包括多个端口或孔的旋转盘)。
在系统1400的配置中，系统1400的主要光学部件可以保持静止，这可以提高光学系统(和照明图样)的稳定性，并最小化移动元件的重量、振动输出和成本。因为一些光束强度(例如，高达50％)可能需要在空间滤波器轮1470的每个取向上被滤出，在一些实现方式中，空间滤波器可以被配置成将不需要的光束(例如，未通过的衍射光栅图样的级)反射到光束收集器(beam dump)中，以用于适当的热管理。
图15是示出根据本文描述的一些实现方式的图样角度空间选择SIM 成像系统1500的另一示例光学配置的示意图。在示例成像系统1500中，二维透射光栅和光束阻挡元件的功能可以集成到固体光学器件1510中。另外，投影透镜的功能可以集成到固体光学器件1510中。在该示例实现方式中，二维透射光栅1511被制造在接收来自发射器1410的准直光的光学器件1510的表面(光学器件1510的输入端)上或以其他方式设置在该表面上。光栅1511的色散角可以被布置成使得0级光可以在光学器件的远侧上被阻挡。在两个方向上，期望的+1和-1级可以通过斜面1512(光学器件1510的输出端)从光学器件1510射出，斜面1512在光学期望的方向上使+1和-1级衍射。这些输出面可以包括衍射聚焦透镜。可替代地，可以使用单独的光学器件作为投影透镜，以将光束聚焦到物镜1490上。在系统1500中，如上所述，可以使用移相器1450和旋转空间滤波器掩模 1470。
图16是示出根据本文描述的一些实现方式的图样角度空间选择SIM 成像系统1600的另一示例光学配置的示意图。在示例成像系统1600中，固体光学器件1610可以再次用于集成二维光栅和光束阻挡元件的功能。此外，它可以集成投影透镜的功能。与示例成像系统1600相比，固体光学器件1610的输入端是将接收到的光引导到二维反射光栅1611的入口窗口或孔1614。因为光栅1611在这个例子中是反射性的，所以0级光可以通过入口窗口1614反射回外面。在每个垂直方向上，期望的+1和-1级衍射光可以从光学器件1610的相应反射涂层内表面1613反射，并通过出口面1612射出。在实现方式中，这些出口面可以包括衍射聚焦透镜。可替代地，可以使用单独的投影透镜光学器件1615来将光束聚焦到物镜1490上。在系统1600中，如上所述，可以使用移相器1450和旋转空间滤波器掩模1470。
尽管本公开的一些实现方式已经在使用一个或更多个光学器件来将所收集的激发光(例如，被物镜重新收集的光)重新成像到图像传感器(例如CCD照相机传感器)上的SIM成像系统的上下文中在附图中示出，但是应当认识到，这里描述的各种实现方式可以应用于利用在被成像的样品的有源平面中的图像传感器(例如CMOS传感器)的SIM成像系统。作为说明性例子，图18示出了根据本文描述的一些实现方式的可以在SIM 成像系统的图像传感器组件1740上形成的样品1710。例如，样品的特征可以与图像传感器的像素用光刻法对准。由图样化样品1710响应于结构照明而发射的任何光由图像传感器组件1740收集，图像传感器组件1740 在该例子中位于样品1710的正下方。在图像传感器组件1740上形成样品1710可以提供确保样品1710的图样化特征1711在成像期间相对于图像传感器组件1740的特定感光点(photosite)(例如像素)保持对准的优点。
样品1710可以被图样化并与图像传感器组件1740对准，使得图像传感器1740的每个光传感器(例如像素)具有在它之上形成和/或安装的一个或更多个特征1711。如图18的例子所示的，样品1710在图像传感器组件1740上被图样化，使得一个特征1711在图像传感器组件1740的像素阵列的每个像素上形成。在其他实现方式中，可以在每个像素上形成多于一个特征。
例如，在荧光样品的情况下，样品的被照亮的特征1711可以响应于结构化激发光1760而发荧光，并且由特征1711发射的所产生的光1761 可以由图像传感器组件1740的感光点(例如像素)收集以检测荧光。例如，如图18所示，图像传感器组件1740的像素(1,1)和(1,3)可以收集由在它之上定位或图样化的样品的特征1711发射的光1761。在一些实现方式中，层(未示出)可以提供在样品1710和图像传感器组件1740之间的隔离(例如，以将图像传感器组件从样品的流体环境屏蔽)。在其他实现方式中，样品1710可以安装和排列在图像传感器组件1740上。
应该注意，尽管图18示出了SIM成像系统的示例表示，其中SIM条纹在正确的取向上与样品的特征对齐，但实际上，这并不一定或一般是对 SIM成像的情况。例如，随着时间和/或空间，可能存在相邻条纹之间的间距、结构照明图样的相位或角度和/或条纹图样相对于被照亮的样品的取向的漂移。由于SIM参数的这些变化，在一些情况下，一些被照亮的特征可能是80％被照射“在其上(on)”，而其他特征可能是60％被照射“在其上”，以及还有其他特征可能是20％被照射“在其上”。因此，应该认识到，在这样的系统中，SIM成像算法可以用于在图像重建期间考虑这些过程变化。例如，可以估计和/或预测结构照明参数随时间的过去的变化，以考虑这些变化。
如本文中所使用的，术语模块可以描述可以根据本申请的一个或更多个实现方式执行的给定的功能单元。如本文中所使用的，可以利用任何形式的硬件、软件或其组合来实现模块。例如，可以实现一个或更多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑部件、软件例程或其他机构以组成模块。在实现方式中，本文中所描述的各种模块可以被实现为离散模块或者所描述的功能和特征可以部分地或全部地在一个或更多个模块之间共享。换句话说，如对于本领域的普通技术人员在阅读本说明书之后将明显的是，本文中所描述的各种特征和功能可以在任何给定的应用中实现并且可以以各种组合和排列在一个或更多个单独的或共享的模块中实现。尽管各种特征或功能性元件可以被单独描述或声明为单独的模块，但本领域的普通技术人员将理解的是，这些特征和功能可以在一个或更多个公共软件和硬件元件之间共享，并且这种描述并非要求或暗示使用单独的硬件或软件部件来实现这样的特征或功能。
在本文档中，术语“计算机可读介质”、“计算机可用介质”和“计算机程序介质”通常用于指非临时性介质、易失性或非易失性介质，诸如例如存储器、存储单元和介质。这些和其他各种形式的计算机程序介质或计算机可用介质可涉及将一个或更多个指令的一个或更多个序列携带到处理设备以用于执行。体现在介质上的这些指令通常被称为“计算机程序代码”或“计算机程序产品”(其可以以计算机程序或其他分组的形式进行分组)。
尽管上面从各种示例实现和实现方式方面进行描述，但是应当理解，在一个或更多个单独的实现方式中描述的各种特征、方面和功能在它们的应用性中不限于它们被描述所使用的特定实现方式，而是替代地可以单独地或在各种组合中应用于本申请的一个或更多个其他实现方式，而不管这样的实现方式是否被描述以及这样的特征是否被呈现为所描述的实现方式的一部分。因此，本申请的广度和范围不应受任何上述示例实现方式的限制。
应该认识到，前述概念的所有组合(假设这些概念不相互矛盾)被认为是本文公开的发明主题的一部分。特别地，出现在本公开结尾处的要求保护的主题的所有组合被认为是本文公开的发明主题的一部分。
在整个本公开(包括权利要求)中使用的术语“大体上”和“大约”用于描述并考虑到诸如由于处理中的变化而引起的小波动。例如，它们可以指小于或等于±5％，诸如小于或等于±2％，诸如小于或等于±1％，诸如小于或等于±0.5％，诸如小于或等于±0.2％，诸如小于或等于±0.1％，诸如小于或等于±0.05％。
在可应用的范围内，本文的术语“第一”、“第二”、“第三”等仅仅被用来示出由这些术语描述的相应的对象作为单独的实体，并且不意味着暗示时间顺序的意义，除非本文另外明确指出。
除非另有明确说明，否则本文档中使用的术语和短语及其变体应解释为开放式而不是与此相对的限制性的。作为前述例子：术语“包括 (including)”应理解为意指“包括但不限于”等；术语“例子”用于提供讨论中的项目的一些实例，而不是其穷尽的或限制列表；术语“一(a)”或“一(an)”应理解为意指“至少一个”、“一个或更多个”等；并且例如“常规”、“传统”、“正常”、“标准”、“已知”和类似含义的术语的形容词不应被解释为将所描述的项目限制为给定时间段或者作为给定的时间的可用项，而是应该被理解为涵盖现在或将来任何时候可用或已知的常规、传统、正常或标准技术。同样地，在本文档涉及本领域普通技术人员明显的或已知的技术的情况下，这样的技术涵盖现在或将来任何时间对技术人员明显的或已知的那些技术。
在某些情况下，扩展词和短语如“一个或更多个”、“至少”、“但不限于”或其他类似短语的存在不应被解读为意指在这样的扩展短语可能不存在的情况下想要或需要较窄的情况。术语“模块”的使用并不暗示被描述或要求保护作为模块的一部分的部件或功能都被配置在共同的封装中。实际上，模块的各种部件中的任一个或所有——无论是控制逻辑还是其他部件——可以被组合在单个封装中或单独地被维护，并且可以进一步分布在多个分组或封装中或者跨多个位置分布。
另外，本文阐述的各种实现方式是从示例框图、流程图和其他图示方面来描述的。如在阅读本文档后对本领域中的普通技术人员将变得明显的，所示出的实现方式及其各种替代方案可以在没有对所示例子的限制的情况下实现。例如，框图及其伴随的描述不应被解释为强制特定的架构或配置。
虽然在上面描述了本公开的各种实现方式，但是应该理解，它们仅作为示例而非限制的方式被呈现。同样地，各个图可以描绘本公开的示例架构或其他配置，其被实现以用于帮助理解可以包括在本公开中的特征和功能。本公开不限于所示的示例架构或配置，而是可以使用各种替代架构和配置来实施期望特征。实际上，对于本领域技术人员而言将明显的是，可以如何实施替代的功能、逻辑或物理划分和配置来实施本公开的期望特征。另外，除了在本文描绘的那些之外的许多不同的组成模块名称可以被应用于各种分块。另外，关于流程图、操作描述和方法权利要求，步骤在本文被呈现的顺序不应要求各种实现方式以相同的顺序被实现来执行所述功能，除非上下文另有规定。

Claims (25)

1.一种结构照明成像系统，包括：
第一光学臂，其包括：
第一光发射器，其发射光；以及
第一分束器，其分离由所述第一光发射器发射的光以将第一多个条纹投射在样品的平面上；
第二光学臂，其包括：
第二光发射器，其发射光；以及
第二分束器，其分离由所述第二光发射器发射的光以将第二多个条纹投射在所述样品的平面上；以及
光学元件，其组合所述第一臂和所述第二臂的光路。
2.根据权利要求1所述的结构照明成像系统，其中所述第一分束器包括第一透射式衍射光栅，以及所述第二分束器包括第二透射式衍射光栅。
3.根据权利要求2所述的结构照明成像系统，其中所述第一光发射器和所述第二光发射器发射非偏振光，并且其中所述第一透射式衍射光栅和所述第二透射式衍射光栅使由所述第一光发射器和所述第二光发射器中的相应光发射器发射的非偏振光衍射。
4.根据权利要求2所述的结构照明成像系统，其中组合所述第一多个条纹和所述第二多个条纹的光路的所述光学元件包括具有孔的反射镜，其中所述反射镜被布置成反射由所述第一衍射光栅衍射的光，并且所述孔被布置成使由所述第二衍射光栅衍射的至少第一级光穿过。
5.根据权利要求4所述的结构照明成像系统，还包括使所述第一多个条纹和所述第二多个条纹相移的一个或更多个光学元件。
6.根据权利要求5所述的结构照明成像系统，其中使所述第一多个条纹和所述第二多个条纹相移的所述一个或更多个光学元件包括使所述第一多个条纹相移的第一旋转光学窗口和使所述第二多个光学条纹相移的第二旋转光学窗口。
7.根据权利要求5所述的结构照明成像系统，其中使所述第一多个条纹和所述第二多个条纹相移的所述一个或更多个光学元件包括平移所述第一衍射光栅的第一线性运动台和平移所述第二衍射光栅的第二线性运动台。
8.根据权利要求5所述的结构照明成像系统，其中使所述第一多个条纹和所述第二多个条纹相移的所述一个或更多个光学元件包括单个旋转光学窗口，其中所述单个旋转光学窗口在到所述样品的光路中位于具有孔的所述反射镜之后。
9.根据权利要求8所述的结构照明系统，其中所述单个旋转光学窗口的旋转轴从每个所述光栅的光轴偏移约45度。
10.根据权利要求5所述的结构照明成像系统，其中所述第一多个条纹在所述样品平面上从所述第二多个条纹成角度地偏移约90度。
11.根据权利要求10所述的结构照明系统，其中所述样品包括以矩形阵列或六边形阵列有规则地图样化的多个特征。
12.根据权利要求5所述的结构照明系统，还包括：将所述第一多个条纹和所述第二多个条纹中的每一个投射在所述样品上的物镜。
13.根据权利要求5所述的结构照明系统，还包括：用于阻挡由所述第一衍射光栅和所述第二衍射光栅中的每一个发射的零级光的一个或更多个光束阻挡器。
14.根据权利要求13所述的结构照明系统，其中所述一个或更多个光束阻挡器包括布拉格光栅。
15.根据权利要求2所述的结构照明系统，其中组合所述第一臂和所述第二臂的光路的所述光学元件包括偏振分束器，其中所述第一衍射光栅使垂直偏振光衍射，并且其中所述第二衍射光栅使水平偏振光衍射。
16.根据权利要求1所述的结构照明成像系统，其中所述第一分束器和所述第二分束器各自包括分束器立方体或板。
17.根据权利要求1所述的结构照明成像系统，其中所述第一分束器包括第一反射式衍射光栅，并且所述第二分束器包括第二反射式衍射光栅。
18.一种方法，包括：
开启结构照明系统的第一光学臂，所述第一光学臂包括第一衍射光栅和发射光的第一光发射器，所述第一衍射光栅使由所述第一光发射器发射的光衍射以将被定向在特定方向上的第一多个条纹投射在样品的平面上；
捕获所述样品的第一多个相位图像，其中在所述第一多个图像的捕获期间，所述第一多个条纹的位置在所述样品的平面上移动；
开启所述结构照明系统的第二光学臂，所述第二光学臂包括第二衍射光栅和发射光的第二光发射器，所述第二衍射光栅使由所述第二光发射器发射的光衍射以将第二多个条纹投射在所述样品的平面上，其中所述第二多个条纹在所述样品的平面上从所述第一多个条纹成角度地偏移；以及
捕获用所述第二多个条纹照亮的所述样品的第二多个相位图像，其中在所述第二多个条纹的捕获期间，所述第二多个条纹的位置在所述样品的平面上移动。
19.根据权利要求18所述的方法，其中所述第一衍射光栅和所述第二衍射光栅是透射式衍射光栅，其中所述结构照明系统包括具有孔的反射镜，以反射由所述第一衍射光栅衍射的光并使由所述第二衍射光栅衍射的至少第一级光穿过。
20.根据权利要求19所述的方法，还包括：使用至少第一多个所捕获的相位图像和第二多个所捕获的相位图像来以计算方式重建具有比所述第一多个所捕获的相位图像和所述第二多个所捕获的相位图像中的每一个更高的分辨率的一个或更多个图像。
21.根据权利要求20所述的方法，其中所述第一多个条纹在所述样品平面上从所述第二多个条纹成角度地偏移约90度。
22.根据权利要求21所述的方法，其中所述样品包括以矩形阵列或六边形阵列有规则地图样化的多个特征。
23.根据权利要求18所述的方法，其中通过旋转位于在所述样品与所述第一光栅和所述第二光栅中的每个光栅之间的光路中的单个光学窗口来使所述第一多个条纹和所述第二多个条纹相移，其中所述单个旋转光学窗口的旋转轴从每个所述光栅的光轴偏移。
24.根据权利要求18所述的方法，其中在捕获所述第一多个相位图像之后，关闭所述结构照明系统的所述第一光学臂并且开启所述第二光学臂。
25.根据权利要求19所述的方法，其中所述第一衍射光栅和所述第二衍射光栅在图像捕获期间是机械地固定的。
CN201910032692.0A 2018-01-16 2019-01-14 多臂结构照明成像 Pending CN110045493A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862618068P 2018-01-16 2018-01-16
US62/618,068 2018-01-16

Publications (1)

Publication Number Publication Date
CN110045493A true CN110045493A (zh) 2019-07-23

Family

ID=67274105

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201920056399.3U Active CN209841688U (zh) 2018-01-16 2019-01-14 结构照明成像系统
CN201910032692.0A Pending CN110045493A (zh) 2018-01-16 2019-01-14 多臂结构照明成像

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201920056399.3U Active CN209841688U (zh) 2018-01-16 2019-01-14 结构照明成像系统

Country Status (16)

Country Link
US (1) US11675175B2 (zh)
EP (1) EP3740804A4 (zh)
JP (1) JP6983916B2 (zh)
KR (1) KR102303506B1 (zh)
CN (2) CN209841688U (zh)
AU (1) AU2019209199C1 (zh)
BR (1) BR112020005414A2 (zh)
CA (1) CA3066732C (zh)
IL (1) IL271125A (zh)
MX (1) MX2019014570A (zh)
NZ (1) NZ759863A (zh)
RU (1) RU2747380C1 (zh)
SA (1) SA519410828B1 (zh)
SG (1) SG11201911655VA (zh)
TW (2) TWI699559B (zh)
WO (1) WO2019143556A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113334567A (zh) * 2021-05-31 2021-09-03 山东建筑大学 一种预制构件用钢筋绑扎定位装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018115001A1 (de) * 2018-06-21 2019-12-24 Carl Zeiss Microscopy Gmbh Verfahren zum Kalibrieren einer Phasenmaske und Mikroskop
EP4038434A1 (en) * 2019-09-30 2022-08-10 Université d'Aix Marseille Devices and methods for the characterization of the 3d orientation of light emitting dipoles
DE102019129932B4 (de) * 2019-11-06 2023-12-21 Technische Universität Braunschweig Optische Detektionseinrichtung und Verfahren zum Betreiben einer optischen Detektionseinrichtung
US11053540B1 (en) 2020-01-17 2021-07-06 Element Biosciences, Inc. High performance fluorescence imaging module for genomic testing assay
CN111369464B (zh) * 2020-03-04 2021-11-09 深圳市商汤科技有限公司 去除图像中的反光的方法及装置、电子设备和存储介质
CN112485899B (zh) * 2020-12-04 2023-03-28 上海交通大学医学院附属第九人民医院 一种设置紧凑型结构光光路的方法
TWI799265B (zh) * 2022-05-12 2023-04-11 瑞昱半導體股份有限公司 超解析度裝置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030086067A1 (en) * 2000-08-08 2003-05-08 Volker Gerstner Assembly for increasing the depth discrimination of an optical imaging system
CN103534629A (zh) * 2011-05-18 2014-01-22 株式会社尼康 显微镜系统
US20140192365A1 (en) * 2013-01-07 2014-07-10 Si-Ware Systems Spatial splitting-based optical mems interferometers
US20150253559A1 (en) * 2012-09-11 2015-09-10 Carl Zeiss Microscopy Gmbh Optical arrangement and light microscope
US20160124208A1 (en) * 2013-05-10 2016-05-05 Forschungszentrum Mikroskopie (FZM), LuciaOptics gemeinnützige UG Method and apparatus for combination of localization microscopy and structured illumination microscopy
JP5915748B2 (ja) * 2012-07-27 2016-05-11 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3856986A (en) 1968-12-06 1974-12-24 American Express Invest Scanned holography systems using temporal modulation
JPS5915748B2 (ja) 1973-06-02 1984-04-11 株式会社ダイヘン 不活性ガス消耗電極ア−ク溶接方法
US4213706A (en) 1977-08-19 1980-07-22 The University Of Arizona Foundation Background compensating interferometer
KR900003521B1 (ko) * 1986-02-28 1990-05-21 삼성전자 주식회사 광테이프 기록재생용 레이저 드럼
JPH0315002A (ja) * 1989-03-06 1991-01-23 Toshihiro Kubota 光分割器
US5231432A (en) * 1991-12-03 1993-07-27 Florida Atlantic University Projector utilizing liquid crystal light-valve and color selection by diffraction
US5761085A (en) 1996-11-12 1998-06-02 The United States Of America As Represented By The Secretary Of The Navy Method for monitoring environmental parameters at network sites
US6188478B1 (en) 1998-10-21 2001-02-13 Philips Electronics North America Corporation Method and apparatus for film-thickness measurements
US7274446B2 (en) 2001-04-07 2007-09-25 Carl Zeiss Jena Gmbh Method and arrangement for the deep resolved optical recording of a sample
JP5048899B2 (ja) 2001-09-28 2012-10-17 オリンパス株式会社 顕微鏡
US6947127B2 (en) 2001-12-10 2005-09-20 Carl Zeiss Jena Gmbh Arrangement for the optical capture of excited and/or back scattered light beam in a sample
KR100489431B1 (ko) 2002-06-28 2005-05-12 학교법인연세대학교 스캔식 위상천이 3차원 형상측정 장치 및 측정 방법
JP2005080181A (ja) 2003-09-03 2005-03-24 Nikon Corp 画像読み取り装置および画像読み取りプログラム
US7532323B2 (en) 2003-10-28 2009-05-12 Cha-Min Tang Spatial light modulator apparatus and method
JP5214883B2 (ja) * 2003-11-28 2013-06-19 ザ ジェネラル ホスピタル コーポレイション 三次元分光的符号化撮像のための方法と装置
US20050221351A1 (en) 2004-04-06 2005-10-06 Affymetrix, Inc. Methods and devices for microarray image analysis
CN1292227C (zh) 2005-07-12 2006-12-27 中国科学院上海光学精密机械研究所 高分辨数字干涉仪空间分辨率的标定方法
DE502006004676D1 (de) * 2005-07-22 2009-10-08 Zeiss Carl Microimaging Gmbh Auflösungsgesteigerte lumineszenz-mikroskopie
EP1924877A2 (en) * 2005-08-18 2008-05-28 TAT Investments II, C.V. System and method for improved holographic imaging
US7362446B2 (en) * 2005-09-15 2008-04-22 Asml Netherlands B.V. Position measurement unit, measurement system and lithographic apparatus comprising such position measurement unit
WO2007044612A2 (en) 2005-10-07 2007-04-19 Bioptigen, Inc. Imaging systems using unpolarized light and related methods and controllers
CN101466998B (zh) 2005-11-09 2015-09-16 几何信息学股份有限公司 三维绝对坐标表面成像的方法和装置
JP4844137B2 (ja) 2006-01-30 2011-12-28 株式会社ニコン 顕微鏡装置
US7803609B2 (en) 2006-07-21 2010-09-28 Affymetrix, Inc. System, method, and product for generating patterned illumination
DE102006044229B4 (de) 2006-09-20 2023-09-28 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Bildverarbeitung mit höheren Harmonischen eines Beleuchtungsgitters
DE102006047912A1 (de) 2006-10-06 2008-04-10 Carl Zeiss Microimaging Gmbh Verfahren und Anordnung zur parallelisierten mikroskopischen Bildgebung
JP5136422B2 (ja) 2006-12-12 2013-02-06 株式会社ニコン 顕微鏡装置及び画像処理方法
DE102007018048A1 (de) 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
US8848199B2 (en) 2007-07-10 2014-09-30 Massachusetts Institute Of Technology Tomographic phase microscopy
KR101614666B1 (ko) * 2007-07-18 2016-04-21 가부시키가이샤 니콘 계측 방법, 스테이지 장치, 및 노광 장치
WO2009028494A1 (ja) * 2007-08-28 2009-03-05 Nikon Corporation 位置検出装置、位置検出方法、露光装置、およびデバイス製造方法
US8759077B2 (en) 2007-08-28 2014-06-24 Lightspeed Genomics, Inc. Apparatus for selective excitation of microparticles
US8222040B2 (en) 2007-08-28 2012-07-17 Lightspeed Genomics, Inc. Nucleic acid sequencing by selective excitation of microparticles
US8509879B2 (en) 2007-11-06 2013-08-13 The Regents Of The University Of California Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging
US8537461B2 (en) 2007-11-26 2013-09-17 Carl Zeiss Microimaging Gmbh Method and configuration for the optical detection of an illuminated specimen
US20090219607A1 (en) * 2008-01-17 2009-09-03 Baylor College Of Medicine Method and apparatus for enhanced resolution microscopy of living biological nanostructures
DE102008009216A1 (de) 2008-02-13 2009-08-20 Carl Zeiss Microimaging Gmbh Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8261212B2 (en) * 2009-10-20 2012-09-04 Microsoft Corporation Displaying GUI elements on natural user interfaces
KR101117501B1 (ko) * 2010-02-12 2012-03-07 한국과학기술원 십자형 구조 조명 선형 패턴을 이용한 구조 조명 공초점 현미경
US8502867B2 (en) 2010-03-19 2013-08-06 Lightspeed Genomics, Inc. Synthetic aperture optics imaging method using minimum selective excitation patterns
US9465228B2 (en) 2010-03-19 2016-10-11 Optical Biosystems, Inc. Illumination apparatus optimized for synthetic aperture optics imaging using minimum selective excitation patterns
US8600123B2 (en) * 2010-09-24 2013-12-03 General Electric Company System and method for contactless multi-fingerprint collection
US8796185B2 (en) 2011-03-08 2014-08-05 Lightspeed Genomics, Inc. Self-assembling high density ordered patterned biomolecule array and method for making and using the same
US8817362B2 (en) 2011-04-29 2014-08-26 Lightspeed Genomics, Inc. Modular pattern illumination and light beam multiplexing for selective excitation of microparticles
US8778848B2 (en) 2011-06-09 2014-07-15 Illumina, Inc. Patterned flow-cells useful for nucleic acid analysis
JP5751328B2 (ja) * 2011-06-29 2015-07-22 株式会社ニコン 構造化照明光学系および構造化照明顕微鏡装置
US20130086067A1 (en) 2011-09-30 2013-04-04 University Of Washington Through Its Center For Commercialization Context-aware suggestions for structured queries
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
TWI546518B (zh) 2012-04-20 2016-08-21 德律科技股份有限公司 三維量測系統與三維量測方法
US9075013B2 (en) * 2012-04-29 2015-07-07 Periodic Structures, Inc. Apparatus and methods for microscopy having resolution beyond the Abbe limit
EP2852932A1 (en) * 2012-05-22 2015-04-01 Telefónica, S.A. A method and a system for generating a realistic 3d reconstruction model for an object or being
WO2014013720A1 (ja) * 2012-07-19 2014-01-23 株式会社ニコン 構造化照明顕微鏡装置
DE102012017920B4 (de) 2012-09-11 2023-11-30 Carl Zeiss Microscopy Gmbh Optikanordnung und Lichtmikroskop
DE102012020877A1 (de) 2012-10-17 2014-04-17 Carl Zeiss Microscopy Gmbh Optikanordnung und Lichtmikroskop
EP2905575B1 (en) 2014-02-06 2018-10-31 Mitutoyo Corporation Image sequence and evaluation method, system and computer program for structured illumination microscopy for measuring a 3D height map
EP3107429B1 (en) * 2014-02-20 2023-11-15 MBL Limited Methods and systems for food preparation in a robotic cooking kitchen
EP3155361A2 (en) * 2014-06-10 2017-04-19 Carl Zeiss Meditec, Inc. Improved frequency-domain interferometric based imaging systems and methods
US20150377777A1 (en) * 2014-06-29 2015-12-31 OPTICS 3D Ltd. Dual structured illumination modulated in phase and intensity
CN104102017B (zh) 2014-07-07 2017-09-29 西安电子科技大学 基于结构光照的随机散射光学超衍射极限成像系统及方法
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
US10247672B2 (en) * 2014-09-29 2019-04-02 Howard Hughes Medical Institute Non-linear structured illumination microscopy
CN107615121B (zh) 2015-03-16 2021-04-16 加利福尼亚太平洋生物科学股份有限公司 用于自由空间光耦合的集成装置及系统
US10932667B2 (en) 2016-07-01 2021-03-02 Cylite Pty Ltd Apparatus and method for confocal microscopy using dispersed structured illumination
JP7305611B2 (ja) 2017-03-17 2023-07-10 アプトン バイオシステムズ インコーポレイテッド 配列決定および高分解能画像化の方法
CN107014795B (zh) 2017-05-10 2020-04-10 中国科学院苏州生物医学工程技术研究所 一种基于均匀结构光照明的共聚焦并行显微成像系统
CA3071332A1 (en) * 2017-07-25 2019-01-31 Mbl Limited Systems and methods for operations a robotic system and executing robotic interactions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030086067A1 (en) * 2000-08-08 2003-05-08 Volker Gerstner Assembly for increasing the depth discrimination of an optical imaging system
CN103534629A (zh) * 2011-05-18 2014-01-22 株式会社尼康 显微镜系统
JP5915748B2 (ja) * 2012-07-27 2016-05-11 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡
US20150253559A1 (en) * 2012-09-11 2015-09-10 Carl Zeiss Microscopy Gmbh Optical arrangement and light microscope
US20140192365A1 (en) * 2013-01-07 2014-07-10 Si-Ware Systems Spatial splitting-based optical mems interferometers
US20160124208A1 (en) * 2013-05-10 2016-05-05 Forschungszentrum Mikroskopie (FZM), LuciaOptics gemeinnützige UG Method and apparatus for combination of localization microscopy and structured illumination microscopy

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113334567A (zh) * 2021-05-31 2021-09-03 山东建筑大学 一种预制构件用钢筋绑扎定位装置

Also Published As

Publication number Publication date
TW201932923A (zh) 2019-08-16
RU2747380C1 (ru) 2021-05-04
JP6983916B2 (ja) 2021-12-17
AU2019209199A1 (en) 2020-01-02
CA3066732C (en) 2022-06-21
CA3066732A1 (en) 2019-07-25
US11675175B2 (en) 2023-06-13
SA519410828B1 (ar) 2023-02-21
KR102303506B1 (ko) 2021-09-17
IL271125A (en) 2020-01-30
TW202043852A (zh) 2020-12-01
CN209841688U (zh) 2019-12-24
SG11201911655VA (en) 2020-01-30
NZ759863A (en) 2022-07-01
TWI725875B (zh) 2021-04-21
JP2021502582A (ja) 2021-01-28
AU2019209199B2 (en) 2021-06-24
US20200218052A1 (en) 2020-07-09
EP3740804A4 (en) 2021-05-19
AU2019209199C1 (en) 2023-05-04
EP3740804A1 (en) 2020-11-25
WO2019143556A1 (en) 2019-07-25
TWI699559B (zh) 2020-07-21
BR112020005414A2 (pt) 2020-09-29
KR20200019147A (ko) 2020-02-21
MX2019014570A (es) 2020-09-09

Similar Documents

Publication Publication Date Title
CN209656566U (zh) 结构照明成像系统
CN110045493A (zh) 多臂结构照明成像
KR102312777B1 (ko) 패턴 각도 공간 선택 구조화 조명 이미징
CN110044854A (zh) 图样角度空间选择结构照明成像

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40011527

Country of ref document: HK