CN108700460A - 用于原位细胞标记的光谱和空间复用荧光探针 - Google Patents

用于原位细胞标记的光谱和空间复用荧光探针 Download PDF

Info

Publication number
CN108700460A
CN108700460A CN201680073614.XA CN201680073614A CN108700460A CN 108700460 A CN108700460 A CN 108700460A CN 201680073614 A CN201680073614 A CN 201680073614A CN 108700460 A CN108700460 A CN 108700460A
Authority
CN
China
Prior art keywords
light
target
optical sensor
optical
slm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680073614.XA
Other languages
English (en)
Other versions
CN108700460B (zh
Inventor
C-H.吴
V.M.阿科斯塔
I.佩孔
P.莱贝尔
J.J.施瓦兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verily Life Sciences LLC
Original Assignee
Verily Life Sciences LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verily Life Sciences LLC filed Critical Verily Life Sciences LLC
Publication of CN108700460A publication Critical patent/CN108700460A/zh
Application granted granted Critical
Publication of CN108700460B publication Critical patent/CN108700460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0237—Adjustable, e.g. focussing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/08—Beam switching arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/14—Generating the spectrum; Monochromators using refracting elements, e.g. prisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/18—Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406—Fluorescence spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1828—Diffraction gratings having means for producing variable diffraction
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6421—Measuring at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0633—Directed, collimated illumination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/067—Electro-optic, magneto-optic, acousto-optic elements
    • G01N2201/0675—SLM
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/34—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 reflector
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/12—Function characteristic spatial light modulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

提供了标识生物环境中的空间和光谱复用探针的方法。这样的探针通过探针的荧光团的排序和颜色来标识。所提供的设备和方法便于确定这样的荧光团的位置和颜色，使得探针可以被标识。在一些实施例中，通过将来自目标环境的光施加到空间光调制器来标识探针，空间光调制器可以用来控制检测到的光的色散的方向和量值；与多个不同的空间光调制器设置对应的目标的多个图像可以被去卷积并用于确定荧光团的颜色和位置。在一些实施例中，来自目标的区域的光可以同时空间和光谱地成像。空间和光谱图像之间随着时间的相关性可以用于确定目标中的荧光团的颜色。

Description

用于原位细胞标记的光谱和空间复用荧光探针
相关申请的交叉引用
本申请主张下述申请的优先权：2015年12月21日提交的美国临时专利申请No.62/270,530；2016年5月27日提交的美国临时专利申请No.62/342,270；2016年4月11日提交的美国临时专利申请No.62/320,681；2016年5月27日提交的美国临时专利申请No.62/342,268；2016年5月27日提交的美国临时专利申请No.62/342,252；以及2016年5月27日提交的美国临时专利申请No.62/342,256，通过引用将上述申请整体并入本文。
背景技术
除非在本文中另有指示，否则在该部分中描述的材料不是本申请中权利要求的现有技术，并且不因为包含在该部分中而承认其为现有技术。
存在各种方法来以微米尺度(即，以等于或小于几微米的尺度)对生物组织或其他材料成像。这样的方法可以包括根据各种不同照明方案并使用以各种不同的方式配置的光学系统的光学显微镜。待被成像的样品可以(例如，在明场显微镜中)被广泛地照明，暴露于某种结构化照明(例如，光片显微镜)，暴露于偏振照明(例如，相衬显微镜)，在一个或多个指定点处暴露于照明(例如，共焦显微镜)，或根据某个其他方案被照明。相反，可以以各种方式从待被成像的样品接收和/或聚焦光；可以从样品的宽视场接收光并且聚焦在成像器上，光在由成像器或光传感器成像之前经历孔径(例如，与如同在例如共焦显微镜中用于照明样品的孔径对应的孔径)或通过一些其他手段接收光。此外，不同波长的光可以用于照明样品(例如，以激发样品中的荧光团)和/或可以从样品中检测不同波长的光，以确定关于样品的光谱信息(例如，发射光谱、激发光谱、吸收率光谱)或根据某个其他应用来从样品中检测不同波长的光。
发明内容
提供了各种系统和方法来以可以确定样品中存在的探针的标识的方式对样品(例如，生物组织的样品)进行显微成像。这样的探针包括具有相应的光谱性质(例如，颜色、发射光谱、吸收光谱)和探针内的相应的相对位置的两个或更多个荧光团，使得探针的标识可以基于样品中的荧光团的、检测到的光谱性质(例如，颜色)和相对位置来确定。可以使用大量不同的探针来标记样品的相应的不同内容(例如，标记不同的蛋白质、不同的DNA或RNA序列，标记不同的蛋白质同种型)。通过创建探针以包括多个不同的荧光团和/或包括根据指定形状、相对位置和/排序排列的两个、三个或更多个荧光团，唯一可标识的探针的数量可能是非常大的，例如与所用的不同荧光团的数量或每个探针中存在的荧光团的最大数量指数地和/或组合地相关。
本公开的一些实施例提供了一种系统，该系统包括：(i)光传感器，其包括布置在光传感器的焦面上的多个光敏元件；(ii)空间光调制器，其包括布置在折射层下方的反射层，并且可操作来具有根据可控梯度而跨空间光调制器空间地变化的折射率，其中可控梯度的至少方向和量值是电子可控的，并且其中折射层是色散性的；(iii)光学系统；以及(iv)控制器，其可操作地耦合到光传感器和空间光调制器并可操作来执行控制器操作。光学系统(1)将从目标发射的光引导向空间光调制器，以及(2)将从目标发射并从空间光调制器反射的光引导向光传感器，使得光传感器的焦面与穿过目标的焦面共轭。控制器操作包括：(i)控制空间光调制器，使得在多个时间段的每个时间段期间，可控梯度的方向或量值中的至少一个不同；(ii)使用光传感器来生成目标的多个图像，其中每个图像与多个时间段中的相应的一个时间段对应；(iii)基于多个图像确定目标中的两个或更多个荧光团的位置和颜色；和(iv)基于两个或更多个荧光团的所确定的颜色和位置，确定位于目标中并包括两个或更多个荧光团的探针的标识。
本公开的一些实施例提供了一种系统，包括：(i)第一光传感器，其包括布置在第一光传感器的焦面上的多个光敏元件；(ii)第二光传感器，其包括多个光敏元件；(iii)色散元件；(iv)光学系统；以及(v)控制器，其可操作地耦合到第一光传感器和第二光传感器并且可操作来执行控制器操作。光学系统(1)将从目标的特定区域发射的光引导向第一光传感器使得第一光传感器的焦面与穿过目标的特定区域的焦面共轭，(2)将从目标的特定区域发射的光引导向色散元件，以及(3)将已经与色散元件相互作用的从目标的特定区域发射的光引导向第二光传感器，使得从目标的特定区域发射的不同波长的光被第二光传感器的对应的不同光敏元件接收。控制器操作包括：(i)使用第一光传感器的多个光敏元件来生成从目标的特定区域的相应的不同位置发射的光的第一多个相应的时变波形；(ii)使用第二光传感器的多个光敏元件来生成以相应的不同波长从目标的特定区域发射的光的第二多个相应的时变波形；(iii)确定第一多个时变波形中的时变波形与第二多个时变波形中的时变波形之间的相关性；(iv)基于所确定的相关性确定目标中的两个或更多个荧光团的位置和颜色；和(v)基于两个或更多个荧光团的所确定的颜色和位置，确定位于目标中并包括两个或更多个荧光团的探针的标识。
本公开的一些实施例提供了一种方法，该方法包括：(i)控制空间光调制器，使得空间光调制器的折射层的折射率的可控梯度的方向或量值中的至少一个在多个时间段中的每一个时间段期间不同，其中空间光调制器包括布置在折射层下方的反射层，并且空间光调制器可操作来具有根据可控梯度而跨空间光调制器空间地变化的折射率，其中可控梯度的至少方向和量值是电子可控的，并且其中折射层是色散性的；(ii)使用包括布置在光传感器的焦面上的多个光敏元件的光传感器来生成目标的多个图像，其中每个图像与多个时间段中的相应的一个时间段对应，其中从目标发射的光经由光学系统透射到光传感器，其中光学系统(1)将从目标发射的光引导向空间光调制器，并且(2)将从目标发射并从空间光调制器反射的光引导向光传感器，使得光传感器的焦面与穿过目标的焦面共轭；(iii)基于多个图像确定目标中的两个或更多个荧光团的位置和颜色；和(iv)基于两个或更多个荧光团的所确定的颜色和位置，确定位于目标中并包括两个或更多个荧光团的探针的标识。
本公开的一些实施例提供了一种方法，该方法包括：(i)使用布置在第一光传感器的焦面上的第一光传感器的多个光敏元件来生成从目标的特定区域的相应的不同位置发射并且经由光学系统透射到光传感器的光的第一多个相应的时变波形，其中光学系统将来自目标的发射的光提供给第一光传感器，使得第一光传感器的焦面与穿过目标的特定区域的焦面共轭；(ii)使用第二光传感器的多个光敏元件来生成从目标的特定区域发射并经由光学系统透射到光传感器的不同的相应波长的光的第二多个相应的时变波形，其中光学系统将来自目标的发射的光提供给色散元件，其中光学系统将已经与色散元件相互作用的来自目标的发射的光提供给第二光传感器，使得从目标的特定区域发射的不同波长的光被第二光传感器的对应的不同光敏元件接收；(iii)确定第一多个时变波形中的时变波形与第二多个时变波形中的时变波形之间的相关性；(iv)基于所确定的相关性确定目标中的两个或更多个荧光团的位置和颜色；和(v)基于两个或更多个荧光团的所确定的颜色和位置，确定位于目标中并包括两个或更多个荧光团的探针的标识。
通过阅读以下详细描述并在适当时参考附图，这些以及其他方面、优点和替代物对于本领域普通技术人员将变得显而易见。
附图说明
图1示意了示例探针。
图2A示意了能够被成像的示例探针。
图2B示意了图2A的探针的示例图像。
图2C示意了图2A的探针的示例图像。
图2D示意了图2A的探针的示例图像。
图3A示意了示例空间光调制器的元件的横截面视图。
图3B示意了通过图3A的空间光调制器的光的反射。
图3C示意了折射率对能够被合并到图3A的空间光调制器中的材料的光的波长的相依性。
图4示意了示例成像装置。
图5A示意了能够被成像的示例探针。
图5B示意了图5A的探针的示例空间图像。
图5C示意了光的示例时变波形。
图5D示意了包括图5A的探针的目标的特定区域的示例光谱图像。
图5E示意了光的示例时变波形。
图6示意了示例成像设备。
图7示意了示例成像设备。
图8是示例成像系统的功能框图。
图9是示例方法的流程图。
图10是示例方法的流程图。
图11是用于获取高光谱成像数据集的示例方案的图形示意。
图12是用于获取高光谱成像数据集的另一示例方案的图形示意。
图13是示例高光谱成像系统的示意图。
图14是另一示例高光谱成像系统的示意图。
图15是另一示例高光谱成像系统的示意图。
图16是另一示例高光谱成像系统的示意图。
图17是另一示例高光谱成像系统的示意图。
图18是另一示例高光谱成像系统的示意图。
图19是另一示例高光谱成像系统的示意图。
图20是另一示例高光谱成像系统的示意图。
图21是另一示例高光谱成像系统的示意图。
图22是示例衍射元件的示意图。
图23是另一示例衍射元件的示意图。
图24是用于高光谱成像的示例方法的流程图。
图25是示例共焦成像系统的示意图。
图26是用于执行高光谱共焦成像的示例方案的图形示意。
图27是用于获得共焦图像的示例方法的流程图。
图28是示例光学系统的示意性透视图。
图29是示例无偏色散元件的示意性横截面图。
图30是穿过图28的示例光学系统的示例光束的图形横截面示意。
图31是穿过图28的示例光学系统的另一示例光束的图形横截面示意。
图32是由图28的示例光学系统生成的色散的光学模拟结果的示图。
图33是由图28的示例光学系统生成的色散的另一光学模拟结果的示图。
图34是用于使光束色散的示例方法的流程图。
图35是示例显微镜系统的示意图。
图36是示例色差物镜的示意图。
图37是用于利用轴向色差透镜在多个平面中同时获得图像的示例方法的流程图。
图38是用于对光束进行滤波的示例系统的示意图。
图39是用于对光束进行滤波的示例光谱分割模块的示意图。
图40A是两个示例光谱分割模块的两个示例通带的图形示意。
图40B是两个示例光谱分割模块的另两个示例通带的图形示意。
图40C是两个示例光谱分割模块的再另两个示例通带的图形示意。
图41是进入图38的示例系统的输入光束的示例光谱的图形示意。
图42A是离开图38的示例系统的输出光束的示例光谱的图形示意。
图42B是离开图38的示例系统的输出光束的另一示例光谱的图形示意。
图43是用于对光束进行滤波的示例方法的流程图。
具体实施方式
在以下详细描述中，将参考形成详细描述的一部分的附图。在附图中，除非上下文另有指示，否则类似的符号一般标识类似的组件。在详细描述、附图和权利要求中描述的说明性实施例不意味着是限制性的。在不脱离本文呈现的主题的范围的情况下可以利用其他实施例，并且可以进行其他改变。将容易理解，可以以多种多样的不同配置来对如一般地在本文中描述并且在附图中示意的本公开的方面进行排列、替换、组合、分开和设计，所有这些都在本文明确地设想到。
此外，尽管本文公开的实施例参考在从人体提取的组织的样品上或与其结合的使用，但是设想所公开的方法、系统和设备可以用于期望对其他组织或其他物体或环境的元素进行光谱成像和/或光学断层的任何环境中。环境可以是任何活体或非活体或其一部分、工件、可植入设备、矿物、集成电路、微机电设备等等。
I.概述
将造影剂或其他探针引入感兴趣的目标(例如，生物样品)以促进对该目标的特定元素的成像(例如，以促进定位特定化学物质、蛋白质、RNA或DNA片段或目标环境中的其他分析物和/或确定其浓度)可能会是有利的。这样的探针可以在光学上不同，例如，可以关于光学激发光谱、光学发射光谱、吸收光谱、能量吸收和重新发射/反射的荧光寿命或其他时间动态、声学吸收光谱或一些其他性质而彼此不同，使得可以在环境中独立地检测多个不同的探针，从而促进对环境中的对应的不同分析物的同时检测。
可用于标记环境和对环境成像的不同探针的数量可以限制能够被同时成像的分析物的数量。这样的限制可能与可用并且能够与感兴趣的环境相容的荧光标记的数量、成像装置的光谱或时间分辨能力和/或噪声水平、成像光源的线宽和/或可维持性或与可用于对环境成像的探针集合和/或被提供来对环境成像的成像装置有关的一些其他因素有关。
为了增加可用于促进对环境中相应的不同分析物的成像的不同探针的数量，可以制造各自包括以指定图案和/或顺序排列的多个不同的荧光团(例如，多个不同的量子点、拉曼染料、荧光蛋白、荧光小分子或其他荧光团)的探针。通过增加每个探针上存在的荧光团的数量和/或通过增加荧光团的可区分类型的数量(例如，所使用的荧光团的不同颜色的数量)，可以增加可区分地不同探针的数量。这样的不同探针可以被功能化以(例如，通过包括相应的不同抗体、适体、互补DNA或RNA序列、蛋白质、受体、或其他结合剂)结合到相应的不同分析物或以其他方式与其相互作用，从而促进对这样的不同分析物同时成像。
对这样的空间和光谱复用探针的标识可以包括检测探针的荧光团的颜色和相对位置。检测荧光团的颜色可以包括检测从荧光团发射的光的光谱、从荧光团发射的光的波长、在一个或多个波长范围内从荧光团发射的光的强度，或者检测从荧光团发射的光的波长相依性的一些其他特性。额外地或替代地，响应于由不同波长的光的照明而从荧光团发射的光的强度、相位、颜色、光谱或其他性质可以被检测并用于确定关于荧光团的颜色、激发光谱、拉曼光谱或一些其他标识光谱信息。该检测可包括检测关于根据探针的尺寸和配置而被分开很小距离(例如，小于约50纳米)的荧光团的光谱信息。
在一些示例中，对光谱信息的这样的检测(例如，以确定探针的荧光团的颜色)可以包括将从包括探针的环境接收的光(例如，响应于环境的照明而从环境发射的光)施加到具有一个或多个波长相依性光学性质的光学元件。在一些示例中，这可以包括将发射的光施加到一个或多个二向色镜、衍射光栅或其他波长选择性反射元件，并且对发射的光的、已经被这样的元件分开的多个不同部分成像(例如，产生在相应的波长范围内的、从环境发射的光的图像)。额外地或替代地，可以将从环境接收的光施加到色散元件(例如，棱镜、衍射光栅、阿米西(Amici)棱镜)，从而以波长选择性的方式折射、反射或以其他方式操纵光，例如以光谱地分开所接收的光。然后可以(例如，通过光敏元件的一维或二维阵列)对这样的所分开的光成像。
这样的色散光学元件可以是可控的，例如以控制所接收的光的不同波长的波长相依性分开的方向和/或量值。色散元件可以随时间而被控制，以改变所接收的光的波长相依性分开的方向和/或量值，并且所分开的光的多个图像可以与分开的不同的方向和/或量值对应地来摄取。这样的多个图像然后可以用于(例如，经由基于方向、量值的信息或关于在每个图像中表示的光的波长特定的分开的其他信息而对图像的去卷积)确定环境中的荧光团的位置和颜色。多个荧光团的所确定的颜色和位置可以用于标识环境中的探针，确定探针的位置和/或取向，确定环境中分析物的位置和/或浓度，或确定关于探针、探针被配置成与其相互作用的分析物和/或光从其被接收的环境的一些其他信息。
在一些示例中，这样的色散元件可以是包括布置在反射层上的折射层的空间光调制器(Spatial Light Modulator，SLM)。折射层可以是可控的(例如，电子可控)以具有根据可控的梯度(例如，基本上线性的梯度)跨SLM的表面而空间地变化的折射率。此外，折射层的可控折射率可以是色散性的，即，依赖于由折射层折射的光的波长。可以根据例如控制入射到SLM上的光的反射角度、控制从SLM反射的光的光谱色散的程度(例如，控制接收色散的光的成像器可以在其处确定从SLM反射的光的光谱图信息的光谱分辨率)的应用，或根据某个其他应用来控制SLM的折射率中的可控梯度的量值、方向或其他性质。
在一些示例中，检测探针的荧光团的颜色和相对位置可以包括分离从环境的特定区域(例如，正被共焦显微镜照明或以其他方式共焦成像的区域)接收的光，使得光可以由第一光传感器空间地成像并且由第二光传感器光谱地成像。这可以包括将所接收的光施加到半涂银镜、偏振镜或一些其他(一个或多个)光学元件以分离光。
对所接收的光的一部分空间地成像可以包括使用第一光传感器的多个光敏元件(例如，像素)来检测从环境的特定区域的相应的不同位置接收的光的相应的多个时变波形(例如，光的强度的波形)。这样的时变波形可以用于例如通过确定不同时变波形之间的相关性来确定环境的区域中的不同荧光团的位置。这样的位置可以被确定到超过用于对所接收的光成像的光学系统的衍射极限的分辨率。从特定荧光团(例如，从特定量子点)接收的光可以随时间而展现类似的强度图案，使得在从接近特定荧光团的位置的位置接收的光的时变波形之间可以存在更高的相关性。
对所接收的光的一部分光谱地成像可以包括使用第二光传感器的多个光敏元件(例如，像素)检测相应的不同波长的、从环境的特定区域接收的光的相应的多个时变波形。这可以包括将所接收的光的该一部分施加到色散元件(例如，如上所述的棱镜、衍射光栅、SLM)，使得第二光传感器的不同的光敏元件接收具有相应的不同波长和/或在相应的不同波长范围内的光。这样的时变波形可以用于例如通过确定由第一光传感器产生的时变波形和由第二光传感器产生的时变波形之间的相关性来确定环境的区域中的不同荧光团的颜色。从特定荧光团(例如，从特定量子点)接收的光可以随时间展现类似的强度图案，使得在从接近特定荧光团的位置的位置接收的光的时变波形与由特定荧光团发射的波长(例如，荧光团的一个或多个发射波长)的光的时变波形之间可以存在更高的相关性。
可以预期其他配置、操作的模式和方法以及其他实施例。例如，根据本文描述的方法，当被不同波长(例如，与一个或多个探针的相应的不同荧光团的不同激发波长对应的波长)的光照明时，可以对目标环境成像。本文描述的系统和/或方法可以包括额外的显微镜或其他成像模态和/或光学系统或元件，以根据应用来改善对如本文描述的探针或目标环境的部分的其他内容的标识。本文描述的系统可以包括多个光源、多个空间光调制器、多个色散元件(例如，SLM、棱镜、衍射光栅)、多个光传感器(例如，相机、分光计)、(例如，根据共焦成像配置的)可控孔径、多个微镜器件和/或根据应用的额外组件。本文描述的系统和方法可以用于在各种不同环境(例如，体外(in intro)环境，体内(in vivo)环境或离体(exvivo)环境)中标识和定位空间和光谱复用探针。此外，本文描述的系统和方法可以根据和/或结合各种不同的显微镜或其他成像技术(例如，受激发射损耗、基态损耗、饱和结构化照明显微镜、4pi成像、光漂白或其他方法或技术)来进行配置或操作。
应该理解的是，提供上述实施例以及本文描述的其他实施例是为了解释的目的，而不旨在进行限制。
II.空间和光谱复用探针
如上所述，可以将多个不同的可区分荧光团组装到探针中，使得荧光团的排序、相对位置、颜色或其他性质可以被检测并用于标识不同的探针。通过使用多个荧光团(例如，量子点、荧光蛋白或拉曼染料、或可以吸收和重新发射光的其他材料)并且控制每个探针内的荧光团的数量、排序和/或相对间距，可标识探针的数量可以比用于产生探针的可区分荧光团的数量多得多。荧光团可以通过关于激发光谱、激发波长、发射光谱、发射波长、拉曼光谱、荧光寿命或在不同类型的荧光团之间可能不同的一些其它性质不同而可区分。
这样的探针可以包括以线性排列、圆形或椭圆形排列(例如，环形)、三角排列或根据某个其他几何结构排列的荧光团。在一些示例中，荧光团可以根据三维几何结构(例如，在四面体或其他形状的顶点处)排列，并且检测荧光团的相对位置以标识探针可以包括(例如，通过三维共焦成像、通过从多个不同方向对探针成像)确定荧光团在三维中的相对位置。
图1示出了多个示例性探针100a、100b、100c。示例探针包括具有相应的不同颜色(例如，相应的不同发射波长、相应的不同发射光谱)并布置在相应的骨架(backbone)结构120a、120b、120c上的不同类型的荧光团110a、110b、110c。每个探针100a、100b、100c还包括相应的结合剂130a、130b、130c，该结合剂被配置为(例如，通过可逆地或不可逆地结合到分析物和/或分析物的元素)选择性地与相应的分析物相互作用。第一探针100a和第二探针100b包括以基本线性排列而排列的荧光团，而第三探针100c包括处于基本圆形排列的荧光团。
如图1所示，第一探针100a和第二探针100b包括相同数量的荧光团和相同数量的每个类型的荧光团(具体地，每个都包括每个类型的荧光团中的一个)。然而，每个探针上各类型的荧光团的排序是不同的，使得检测探针的荧光团的颜色(或其他标识信息，例如，激发光谱、闪烁动态)和位置可以促进标识探针。探针可以包括特定类型的荧光团的多个实例(例如，蓝色量子点的两个实例和红色量子点的一个实例)，可以包括单个类型的荧光团的多个实例，和/或可以不包括用于创建不同探针的集合的一个或多个类型的荧光团的实例。
能够使用特定数量的不同类型的荧光团创建的可标识探针的数量可以与每个类型的探针上的荧光团的数量、每个探针上的荧光团的排列(例如，线性排列、环形排列)、不同类型的探针是否具有相应的不同数量的荧光团或其他因素有关。请注意，可标识地不同的探针的数量可以通过不同但是在被成像时可能看起来类似的探针之间的对称性来减少。例如，第三探针100c可能不能与以相同顺序包括相同荧光团但是在骨架120c上相对于结合剂130c和/或相对于探针100c的某个其他元件或一些其他元件以不同角取向的另一探针区分开。
荧光团110a、110b、110c可以包括被配置为非弹性地散射、吸收和荧光重新发射、或以其他方式吸收和重新发射光的各种物质和/或结构。荧光团可以包括量子点、荧光蛋白、荧光小分子、拉曼染料、胞质基因组杆(plasmonic rod)或其他胞质基因组(plasmonic)结构，或被配置为以可检测并且在不同类型的荧光团之间可区分的方式(例如，通过荧光吸收和重新发射，通过非弹性散射，通过细胞基质组激发和光子发射)吸收光并响应地发射光的其他物质或元素或元素的组合。由于对光漂白的抵抗性和宽激发光谱，量子点可以是优选的，使得多个不同的量子点(例如，响应于激发而发射相应的不同波长的光的量子点)可以通过单波长的照明来激发。不同类型的荧光团可以关于由荧光团发射的光的波长而不同；例如，不同类型的荧光团可以是不同类型的量子点，每个量子点(例如，通过具有相应的直径、层厚度或成分)被配置为发射在一波长范围内的相应波长的光，例如，发射波长在大约500纳米和大约800纳米之间的光。此外，不同类型的荧光团可以经由不同的机制进行操作；例如，探针的第一荧光团可以是量子点，并且探针的第二荧光团可以是荧光蛋白。
如本文描述的探针的骨架(例如120a、120b、120c)可以由各种材料或物质组成。例如，这样的骨架可以由单链或双链DNA组成。骨架可以由在自身上回叠的单个长度的DNA和/或连接在一起以增加骨架的刚性的多个长度的DNA(例如，通过形成DNA折纸结构)组成，。这可以包括使用互补的DNA短链(staple strand)将一个或多个DNA链的指定部分连接在一起。荧光团可以连接到这样的短链和/或连接到短链被配置为(例如，经由共价键或某个其他机制)结合到其上的DNA。短链和/或短链被配置为结合到其上的DNA链的序列可以被指定成控制骨架的形状、尺寸、刚性或几何结构和/或控制这样的形成的骨架上的荧光团的位置。可以通过使用不同的短链和/或这样的短链被配置为结合到其上的碱基DNA的不同序列来形成不同的探针(例如，具有不同的数量、类型、间距和/或排序的荧光团的探针)。
可以指定骨架的刚性、探针的总体尺寸、荧光团的间距和/或探针的一些其他性质，以促进探针的标识，探针在感兴趣的环境内的移动，或促进与探针和/或感兴趣的环境有关的某个其他过程。例如，可以将探针形成为具有小于约1微米的长度、直径或某个其他最大尺寸，例如，以促进探针在细胞或其他感兴趣的环境内的移动，和/或使这些探针对细胞或感兴趣的其他环境内的生物或化学过程的影响最小化。相应地，这样的探针的荧光团可以(例如，沿着线性骨架的长度，或沿着环形骨架的圆周)在空间中分开使相邻荧光团的颜色可以被分辨的足够大的距离，例如，大于约20纳米的距离。此外，荧光团可以在空间中分开足够小的距离，使得期望数量的荧光团可以位于骨架上，例如，分开小于约50纳米的距离。此外，骨架可以具有使骨架跨大于骨架上的荧光团之间的距离的距离而是基本上刚性的足够大的刚性，例如，使得当骨架由于热过程或预期存在于感兴趣的环境中的其他力而变形时，仍可以确定沿探针骨架的荧光团的顺序。
如上所述，每个类型的探针(例如，100a、100b、100c)可以被配置成选择性地与感兴趣的分析物结合或以其他方式选择性地与感兴趣的分析物相互作用，或者以其他方式选择性地与感兴趣的环境相互作用(例如，经由感兴趣的细胞类型的内吞作用而被选择性占据)以促进检测感兴趣的环境的一些性质(例如，检测蛋白质、DNA片段、细胞骨架元素或某个其他感兴趣的分析物的位置或浓度)。这可以包括这样的探针，该探针包括被配置为选择性结合到感兴趣的分析物或以其他方式选择性地与感兴趣的分析物相互作用的相应的不同结合剂130a、130b、130c。这样的结合剂可以包括蛋白质、抗体、受体、标识蛋白质、DNA片段、适体、RNA片段、小分子或被配置为选择性地与感兴趣的分析物相互作用和/或与感兴趣的分析物相互作用的某个其他元素。
III.通过使用空间光调制器的重复成像来标识探针
可以使用各种方法以便在感兴趣的环境中定位和标识空间和光谱复用探针，如本文其他地方所述。这样的方法可以包括检测环境中的荧光团的位置和颜色，并使用这种所确定的信息来通过将环境内的检测到的荧光团类型的图案(例如，线性地、圆形地或以其他方式排列的图案荧光团的颜色顺序)与对应于环境中的潜在探针的标识的已知的荧光团图案进行匹配来确定环境中探针的标识或其他信息(例如，位置、取向)。检测荧光团的颜色可以包括确定从荧光团发射的光的光谱含量的发射光谱、特征波长或某个其他特性或一些其他特性。
对荧光团的位置和颜色的检测可以包括将从感兴趣的环境接收的光(例如，响应于照明而从环境中的荧光团发射的光)施加到色散元件(例如，棱镜、衍射光栅或者被配置为以波长特定的方式反射、折射和/或衍射光的某个其他元件或一些其他元件)并且对由于与色散元件的相互作用而光谱地色散的光成像。光谱地色散的光可以展现光的传播角度、光的偏振方向的改变或光的与光的波长有关的一些其他性质的改变。这可以包括以波长相依性的方式改变从环境接收的光的传播角度，使得这样的光谱地色散的光的较红的波长相对于光传感器(例如，相机)的光敏元件(例如，像素)在第一方向上移位第一量，而较蓝的波长在第一方向上移位较小的量和/或与第一方向相反地移位。由这样的光谱地色散的光生成的图像将会相对于环境的非光谱地色散的图像以与由色散元件引起的光谱色散的方向、量值或其他性质有关的方式失真。通过在不同时间段期间控制光的光谱色散的这样的方向、量值和/或其他性质，并在不同的时间段期间对如此色散的光成像，可以确定环境中的荧光团的颜色和位置。
在一些示例中，可以使用光传感器的光敏元件的二维阵列(例如，相机的二维像素阵列)来对这样的光谱地色散的光成像。在这样的示例中，其中光从目标的多个区域接收(例如，如在明场显微镜中那样)，这样的二维阵列的每个光敏元件可以从目标的各种相应的不同位置接收各种不同波长的光。可以(例如，通过对这样的成像系统的元件进行建模或模拟，通过使用具有相应的已知的光谱图性质图案的一个或多个校准目标对这样的系统进行经验测试)确定这样的阵列的单个光敏元件与对应波长的范围的目标的一系列位置的光之间的对应关系，并且可以使用这样的对应关系(例如，经由去卷积的过程)基于根据接收的光的光谱色散的相应的多个不同方向和/或量值操作色散元件时所摄取的目标的多个图像，来确定被成像的目标的一个或多个位置的光谱信息(例如，颜色)。这样的信息可以用于确定目标中的荧光团的位置和颜色。
在示例中，色散元件可以包括棱镜、衍射光栅或机械致动的(一个或多个)其他元件，例如，以控制施加到棱镜的光的光谱色散的方向。在另一示例中，色散元件可以包括由布置在反射层上的色散折射层组成的空间光调制器(SLM)。控制跨SLM的折射层的折射率的梯度的方向和量值可以提供对从目标接收的被成像的光的光谱色散的方向、量值或其他性质的控制。
图2A示出了目标200a。在目标200a内的是探针205，探针205依次包括布置在基本线性的骨架上的绿色荧光团Ga、红色荧光团Ra、和蓝色荧光团Ba。因此，目标200a的各个位置的光谱图性质(例如，颜色)是这样的：响应于照明从Ra的位置发射红光，响应于照明从Ga的位置发射绿光，并且响应于照明从Ba的位置发射蓝光。目标200a可以由本文其他地方所述的成像系统成像。
图2B示出了目标200a的第一图像200b的一部分。该第一图像200b摄取自在第一时间段期间已经被色散元件光谱地色散的从目标接收的光。在该示例中，色散元件包括SLM，该SLM包括布置在反射层上的色散折射层，其中跨SLM的折射层的折射率的梯度的方向和量值是可控的。第一图像200b包括由于来自探针205的红色、绿色和蓝色荧光团(Ra，Ga和Ba)的光谱地色散的光分别对光传感器的对应区域照明而产生的被照明区域Rb、Gb和Bb。在第一时间段期间操作SLM使得其折射层具有根据在第一方向(由箭头210b指示)上的梯度跨SLM空间地变化的折射率，以使得当由光传感器成像时，不同波长的光在第一方向210b上色散(例如，如在第一图像200b中那样)。这样的色散通过在第一图像200b内将较长波长的光在箭头的方向上移位更远而在第一时间段期间影响色散的光的成像；结果，目标200a的第一图像200b包括如图所示排列的被照明的区域Rb、Gb和Bb。
如本文其他地方所描述的成像系统可以在多个另外的时间段期间以这种方式被操作，以生成从目标接收并且被SLM(或者被某个其他可控的色散元件或一些其他可控的色散元件)色散的光的另外的多个相应图像。可以在这样的另外的时间段期间操作SLM，使得其折射层具有根据在相应的另外的方向上和/或具有相应的另外的量值的相应梯度或根据某个其它的相应图案集合而跨SLM空间地变化的折射率。图2C和2D分别示出了目标200a的第二图像200c和第三图像200d的部分。第二图像200c和第三图像200d摄取自在相应的第二时间段和第三时间段期间已经被SLM光谱地色散的从目标接收的光。第二图像200c和第三图像200d包括由于来自探针205的红色、绿色和蓝色荧光团(Ra、Ga和Ba)的散色的光分别对光传感器的对应区域照明而产生的相应的、被照明的区域的集合Rc、Gc和Bc以及Rd、Gd和Bd。
在第二时间段和第三时间段期间操作SLM，使得其折射层具有根据分别在第二方向和第三方向(分别由箭头210c和210d指示)上的梯度而跨SLM空间地变化的折射率，使得当在第二时间段和第三时间段期间由光传感器成像时，不同波长的光在第二方向210c和第三方向210d上色散(例如，如在第二图像200c和第三图像200d中那样)。这样的色散通过在第二200c和第三200d图像内将较长波长的光在相应的箭头的方向上移位更远而在第二时间段和第三时间段期间影响色散的光的成像。结果，目标200a的第二图像200c包括被照明的区域Rc、Gc和Bc，并且目标200a的第三图像200d包括如图所示排列的被照明的区域Rd，Gd和Bd。
摄取自由根据相应的多个折射率配置(例如，根据具有相应的不同方向和/或量值的梯度)而操作的SLM以相应的多种方式色散的光的目标200a的这样的多个图像可以用于确定目标200a的一个或多个位置(例如，特定区域Pa)的光谱图信息(例如，颜色)和/或确定荧光团(例如，Ra、Ga、Ba)或目标200a的其他光射内容的位置。在一些示例中，可以针对跨目标200a的多个区域确定这样的信息，从而允许例如对目标200a的高光谱成像。多个这样的图像结合模型或其他算法描述了SLM的折射率的多个图案对于在与多个图像对应的时间段期间从目标200a接收的散色光的效应和/或这样的配置对于在与多个图像对应的时间段期间从目标200a接收的散色光的效应。这样的确定可以包括去卷积过程或某个其他计算过程。
在示意性示例中，可以基于关于根据特定区域Pa的位置以及在与多个图像对应的多个时间段期间SLM的色散效应而在光传感器的区域处(例如，由光传感器的一个或多个光敏元件或像素)检测到的光的振幅或其他检测到的信息来确定关于与红色荧光团Ra的位置对应的目标200a的特定区域Pa的光谱图信息。
例如，可以基于在目标的第一图像200a、第二图像200b和第三图像200c中的点Prb、Prc和Prd处检测到的光的线性组合或其他函数来确定响应于成像系统的照明而从红色荧光团所在的Pa发射的红光的振幅。类似地，可以基于在目标的第一图像200a、第二图像200b和第三图像200c中的点Pgb、Pgc和Pgd处检测到的光的线性组合或其他函数来确定响应于成像系统的照明而从Pa发射的绿光的振幅，并且可以基于在目标的第一图像200a、第二图像200b和第三图像200c中的点Pbb、Pbc和Pbd处检测到的光的线性组合或其他函数来确定响应于成像系统的照明而从Pa发射的蓝光的振幅。从Pa发射的绿光和蓝光的量将小于从Pa发射的红光的量，这是因为红色荧光团响应于被照明在红色波长处比在蓝色或绿色波长处发射更多的光。从Pa发射的各种不同波长的光的强度可以基于在相应的不同图像中的相应的不同点处检测到的光来确定，并用于确定环境200a中的荧光团的颜色。
这样的对应位置(例如，Prb、Prc、Prd、Pgb、Pgc、Pgd、Pbb、Pbc、Pbd)的位置可以基于成像系统的模型(例如，基于跨SLM的折射层的折射率的梯度的量值和方向)来确定和/或基于成像系统的性质的经验测量(例如，基于具有已知光谱图信息/内容的校准目标的图像的集合或一些其他校准信息/或程序)。请注意，颜色(红色、绿色和蓝色)和SLM在所示的不同方向上对色散光的操作旨在作为非限制性示例；可以针对目标的位置(例如，目标中的荧光团的位置)确定光谱图信息的不同波长和/或波长范围。此外，SLM可以被操作来具有根据具有相应不同的方向、量值的梯度，或根据某个其他的折射率图案集合的折射率的图案。
如本文描述并且用于提供目标的一个或多个位置(例如，目标中探针的荧光团的位置)的高光谱成像和/或光谱图数据(例如，颜色)的确定的SLM具有电子(或以其他方式)可控并且允许SLM光谱地色散呈现给SLM的光的一个或多个色散性质。物体或材料的色散特性是对与物体或材料相互作用的光的波长具有相依性的光学特性。例如，某些玻璃具有色散折射率，因为这些玻璃的折射率对于光的不同波长是不同的。在另一示例中，某些衍射光栅对于光的不同波长具有不同的有效吸收率和/或反射角。因此，可以使用具有色散特性的这样的物体或材料光谱地色散光，即，以波长相依的方式与施加到物体或材料的光相互作用，使得从物体或材料发射的光(例如，从其反射，被其吸收，从其透射过，被其光学旋转)具有原来在所施加的光中基本上不是波长相依性的波长相依性的一个或多个性质(例如，角度、振幅、偏振取向)。作为示例，由具有色散折射率的玻璃组成的棱镜(例如，三角棱镜)可以与白光束(例如，包含跨可见光谱的各种振幅的光的光束)相互作用，使得以各种可见波长从棱镜发射的光以相应的不同角度发射(例如，作为“彩虹”)。
这样的电子受控的色散元件的示例在图3A中以横截面示出。图3A示出了空间光调制器(SLM)300的配置，该SLM 300包括布置在折射层310下方的反射层320(例如，由铝、银或反射在感兴趣的波长范围内的光的某个其他材料组成)。基本上透明的第一电极340(例如，由铟锡氧化物(Indium-Tin-Oxide，ITO)或导电且对感兴趣的波长范围内的光基本上透明的某个其他材料组成)与反射层320相对地位于折射层310上。指向SLM 300的光可以透射过第一电极340，被折射层310折射，被反射层320反射，再次被折射层310折射，并且通过第一电极340从SLM 300透射出。SLM 300额外地包括布置在反射层320下方的介电层350和多个另外的电极330(包括第二电极335a，第三电极335b和第四电极335c)。控制器360被配置为控制第一电极340和另外的电极330中的每一个之间的电压。请注意，反射层320和介电层350被图示为SLM 300的不同结构，但实际上可以是相同的结构(例如，介电层350可以由反射材料组成使得反射层320简单地是介电层350的表面，反射层320可以包括介电层350的抛光表面或以其他方式形成或处理的表面，使得反射层320是反射性的)。
折射层310由关于其折射率而言为色散性的材料(例如，液晶)组成。也就是说，折射层310的折射率取决于被折射层折射的光的波长。在一些示例中，折射层310的折射率可以随指定波长范围内的波长(例如，可见波长，包括两个或更多个荧光团的发射波长的波长范围)基本线性地变化。此外，通过向折射层310施加受控电场(例如，通过在第一电极340和另外的电极330中的一个或多个之间施加电压)可以电子控制折射层310的折射率。折射层310的折射率可以与DC电压、振幅、频率、占空比、脉冲宽度或AC电压的其它性质或者施加在第一电极340和另外的电极330中的一个或者多个电极330之间的电压的某个其它性质的线性函数或非线性函数有关。此外，折射层310的各个区域或单元(cell)的折射率可以通过在第一电极340和与折射层310的各个区域或单元对应的另外的电极330中的一个或多个之间施加不同的电压、电压波形或其他不同的电子信号而独立地或者半独立地被控制。例如，可以通过分别控制施加在第一电极340与第一另外的电极335a、第二另外的电极335b和第三另外的电极335c之间的电压或电压波形来控制折射层310的第一区域315a、第二区域315b和第三区域315c的折射率。
请注意，SLM 300在图3A中以横截面示出，因此仅示出SLM 300的单行区域(例如，315a-c)和对应电极(例如，335a-c)。SLM 300 300可以包括这样的区域的规则的二维阵列。这样的阵列可以包括这样的区域和电极的矩形、正方形、六边形或其他重复或非重复阵列。替代地，SLM可以被配置为具有根据某个其他图案或应用(例如，线性电极的重复图案(例如，跨SLM表面的区域的一维阵列))的电极以及折射层的对应单元或其他区域。施加到电极的电压、电压波形或其他电子信号可以被控制，使得折射层的折射率根据指定图案(例如，根据局部或全局基本上线性或非线性的梯度)而跨SLM的表面变化。这样的局部或全局梯度可以具有指定的量值、指定的方向或一些其他指定的性质。此外，可以根据某个应用随时间改变这样的指定图案(例如，梯度)。例如，光可以是从目标接收，从这样的SLM反射，并且由光传感器、相机或其他成像元件成像，以允许在根据相应的不同图案(例如，具有相应的指定的量值和方向的梯度)操作SLM的多个时间段期间对从目标接收的光的图像捕获，以多种相应方式光谱地色散被成像的光，允许例如经由去卷积过程基于多个图像确定目标的区域的光谱图信息。
图3B示出描述当由不同的材料组成和/或当暴露于不同的电场时(例如，当在第一电极340和与SLM 300的区域对应的另外的电极330中的一个之间施加指定的电压或电压波形时)折射层310的区域的折射率(垂直轴，“RI”)对于折射的光的波长(水平轴，“波长(WAVELENGTH)”)的相依性的各种函数。“B”、“G”和“R”分别表示蓝光、绿光和红光的波长。
函数X、Y和Z示出了第一折射层材料成分的波长相依性折射率。第一折射层材料成分具有跨所示波长范围基本上线性变化的折射率。函数X、Y和Z示出当使施加的电子信号变化时第一折射层材料成分的区域的折射率(例如，X、Y和Z是在与单元相对的电极之间的电压增加时该区域的折射率)。X、Y和Z显示增加的总体折射率以及折射率和波长之间的相依性的减小的斜率。类似地，函数V和W示出第二折射层材料成分的波长相依性的折射率；V和W示出当使所施加的电子信号变化时第二折射层材料成分的区域的折射率。
请注意，所示函数旨在图示本文描述的实施例的配置和操作，而不是限制本文描述的实施例或描述任何特定的折射层材料成分或其光学特性对于电子信号的相依性。在一个或多个波长处的折射率、折射率跨一波长范围的斜率和/或偏移、折射率和波长之间的关系的非线性或被包括在本文所述的SLM的折射层中的材料的折射率的某个其他性质可以随所施加的电信号的一个或多个性质(例如，电场量值、电场方向、施加的电流量值、施加的电流方向、频率、占空比、脉冲宽度或施加的电信号的其他性质)线性地或非线性地改变。
图3C示出了与SLM 300类似地被配置并且具有由第一材料成分组成的折射层的SLM 301的使用。SLM 301被操作，使得折射层在由“X”和“Y”指示的位置之间具有基本线性的折射率梯度并且使得由“X”和“Y”指示的位置(例如，通过根据对应的电压或电压波形控制接近“X”和“Y”的区域的电极并根据一些中间电压控制位于“X”和“Y”之间的一个或多个区域)具有分别与函数“X”和“Y”对应的波长相依性的折射率。到来的光380c包括与图3B中的“R”、“G”和“B”指示对应的波长的光。到来的光380c被SLM301反射和折射并作为反射光390c被发射。由于SLM 301的折射层的折射率的波长相依性，反射光390c是光谱地色散的(被示为分开的“R”、“G”和“B”光线)。反射光390c的每条光线的角度可以与SLM 301的折射层的厚度以及折射层的折射率对于跨折射层的每条光线的变化图案有关。例如，“B”光线的角度可以与对于在接近SLM 301与到来的光380c的交会处的区域中跨SLM 301的波长“B”的光的折射层的折射率梯度的量值和/或角度有关。
由SLM反射的光的光谱色散的量可以通过增加折射层的折射率的图案的梯度的量值或其他变化率来增加。光谱色散的这样的增加可以允许(例如，通过增加两个不同波长的散色的光的光线之间的角度，使两个不同波长的光被光传感器的分离得较远的光敏元件(例如，像素)检测)以更高的光谱分辨率来确定接收的光的光谱图信息。
请注意，允许对SLM的折射层的相应单元或其他指定区域(或(一个或多个)其他折射元件)的折射率进行电子控制的布置为SLM的一部分的所描述的规则电极阵列，旨在作为具有下述折射层的SLM的一个示例实施例：该折射层具有可以被电子控制以根据具有指定方向或量值中的至少一个的可控梯度而跨折射层变化的折射率。替代实施例可以电子控制一个或多个激光器或其他光源来光学地控制SLM的折射元件的折射率。可以预期本文描述的SLM的其他配置和操作。此外，可以以透射模式操作SLM，即，可以缺少折射层。在这样的示例中，光束(例如，从被照明的目标接收的光束)可以通过使其透射过SLM的具有能够被电子控制的折射率图案的折射层而被SLM光谱地色散。在一些示例中，SLM可以用于通过控制SLM的表面上或体积内的反射和吸收元件的图案提供对光束的电子受控的光谱色散，以提供具有能够被电子控制的一个或多个性质(例如，光栅间距、光栅宽度、光栅取向)的衍射光栅，以控制响应于从目标接收光而从SLM反射和/或透射过SLM的光谱地色散的光的一个或多个性质。
为了产生用于通过确定目标中的探针的荧光团的位置和颜色来标识目标中的探针的上述目标的图像，SLM(例如200)或本文其他地方所述的其他色散元件可以被合并到成像系统中，该成像系统包括额外元件，例如，照明源、光学系统、孔径、光传感器或被配置来照明目标的其他元件，以将响应地从目标(例如，从目标的探针的荧光团)发射的光施加到SLM，然后将已经与SLM相互作用(例如，被SLM光谱地色散)的这样的光施加到光传感器以被成像。光的这样的照明和/或接收可以对于/来自目标的广阔区域(例如，明场显微镜)或者对于/来自目标的某个特定区域(例如，目标的多个指定的小体积，如在共焦显微镜中那样)。通过用具有多个相应的光谱图性质的多个光(例如，包含多个相应波长的光)照明目标和/或通过检测接收的光的振幅的波长相依性或其他性质(例如，通过检测多个波长范围内的所接收的光的振幅)可以针对目标的一个或多个区域检测/确定光谱图信息。
图4以横截面示出了被配置成对目标405成像的示例成像系统400的元件。系统400包括光源420(例如，激光器)、光传感器430(图示为位于光传感器430的焦平面437上的光敏元件的平面)、微镜器件(Micromirror Device，MD)450(其包括位于焦平面457上的多个电子致动的微镜)、空间光调制器(SLM)410和被配置为将光引导到目标405和从目标405引导光以及在系统400的元件之间引导光的光学系统(包括物镜441、第一中继透镜443和第二中继透镜444、二向色镜445和光壑(optical sink)425)。系统400额外地包括目标405安装到其的载物台460。请注意，MD 450和光传感器430分别包括微镜的二维阵列和光敏元件的二维阵列。此外，注意光学系统(例如，441、443、444、445)和SLM 410被配置为在目标405、MD450和光传感器430之间引导光，使得MD 450的焦面457和光传感器430的焦面437上的位置与焦面407上的穿过目标405的相应位置对应。
系统400通过从光源420发射第一照明421并使第一照明421从二向色镜445向MD450反射来照明目标405中的焦面407上的指定区域409。控制具有MD 450的焦面457上的与指定区域409对应的位置的MD 450的至少一个镜451的选定的集合(在图4中示为单个镜)来经由物镜441将第一照明421向目标405反射作为聚焦(in-focus)照明。控制MD 450的其他镜453来将第一照明421的其余部分作为废弃照明423向光壑425反射以被吸收。如图所示，控制单个镜(451)来照明目标405的对应区域409(并从其接收光)；然而，可以同时地、顺序地或根据某个其他方案来操作(例如，从其他镜453选择的)额外的镜以照明目标405的对应的额外区域(并从其接收光)。
系统400接收响应于经由物镜441的照明而从指定区域409发射的(包括共轭光432的)光。共轭光432聚焦地到达选定的镜451并且(通过二向色镜445)被反射向SLM 410。第一中继透镜443(和/或系统400的一些其它光学元件)使所接收的光准直，并将基本准直的光呈现给SLM 410。SLM400将共轭光432作为光谱地色散的光433向第二中继透镜444反射，该第二中继透镜444被配置为将光谱地色散的光433聚焦地呈现到光传感器430的焦面437上的与指定区域409对应的指定区域431(例如，呈现到光传感器的具有光传感器430的一个或多个光敏元件和/或像素的区域)。SLM 410被配置和/或操作，使得光谱地色散的光433以受控的方式相对于共轭光432光谱地色散，使得特定区域409和/或共轭光432的光谱图信息(例如，位于特定区域409的一个或多个探针的一个或多个荧光团的颜色和/或位置)可以被检测或确定。在一些示例中，光谱地色散的光433以与SLM 400的层的折射率的空间梯度的电子受控的方向、量值和/或某个其他性质有关的方式空间地色散。
请注意，图4中所示的系统400及其元件旨在作为本文其他地方所描述的用于产生目标(例如，405)的高光谱或其他光谱图图像以便例如通过确定目标中的探针的荧光团的位置和颜色来标识目标内的探针的系统和方法的非限制性示例。成像系统可以包括更多或更少的元件，并且可以根据类似或不同的方法对目标成像。如图所示，系统400可以被操作来共焦地对目标405成像；即，聚焦地照明目标409的指定区域，并且使用微镜器件450聚焦地接收从指定区域409响应地发射的光(例如，以控制向目标405发射并从目标405接收的光的空间图案405)。可以以不同的方式并且使用不同地被配置的元件(例如，不同的光学器件)将照明传递到目标405和从目标405接收光。目标405可以沿着与用于接收从目标405响应地发射的光的光学路径分开的光学路径被照明。例如，照明可以在被接收之前透射过目标以对目标成像。通过使用一个或多个可控反射镜、透镜、衍射光栅或其他致动的光学元件使照明的光束转向，目标405的特定区域可以被照明，并且从这样的区域接收光。
本文描述的SLM(例如，410)可以被配置和操作为各种不同成像系统(例如，明场显微镜、4-pi显微镜、共焦显微镜、荧光显微镜、结构化照明显微镜、暗场显微镜、相衬显微镜)的一部分，以提供光的受控光谱色散以用于各种应用(例如，以允许目标的高光谱或其他方式的光谱图成像以便标识目标内的空间和光谱复用探针)。例如，本文描述的SLM可以被插入到由某个其他种类的显微镜或成像器(例如，明场显微镜)接收的光的路径中。SLM可以被操作为在相应的多个时间段期间具有跨SLM的折射率梯度多个不同的指定量值和/或方向，并且这样的成像器可以被配置成产生在多个时间段期间从SLM反射的接收的光的多个图像。在这样的示例中，可以(例如，经由对于多个图像执行的去卷积过程并基于为成像器确定的波长相依性的点扩散函数)基于跨根据取决于SLM的配置的目标的区域(例如，包括一个或多个探针的一个或多个荧光团的区域)的检测到的振幅和光谱图特性(例如，颜色)之间的关系的模型(例如，拟合到成像器的准直数据的黑盒模型)或者其他描述的多个图像的像素的多个检测的振幅(或光的其他性质)来确定关于目标(例如，所接收的光从其被接收的目标)的特定部分的光谱图信息。此外，本文描述的SLM可以用于控制照明光束的方向和/或光谱内容，例如，以与宽光谱光源和例如孔径相结合来实现可调谐光源。
光源420可以包括配置成产生具有一个或多个指定性质(例如，(一个或多个)指定波长)的照明421的各种发光元件。其可以包括激光器、发光二极管(LED)、或其他基本上单色的光源。额外地或替代地，光源420可以包括跨较宽范围的波长发射光的发光元件(例如，弧光灯)。在一些示例中，可以通过被配置为仅允许在窄波长范围内的光透射的一个或多个滤波器(例如，包括一个或多个布拉格反射器、棱镜、衍射光栅、狭缝孔径、单色仪的滤波器)发射该非单色光。在一些示例中，光源420可以被配置为发射特定波长或具有某种其他指定性质的光以激发目标405中的荧光团(例如，激发荧光蛋白、激发一个或多个类型的量子点)，或者另外以其他方式选择性地与目标420的一个或多个元素相互作用(例如，激发、猝灭、光漂白)。例如，照明421可以包括与目标405中的荧光团(例如，绿色荧光蛋白、dsRED蛋白)的激发波长对应的基本上一个波长的光(即，可以包含光在特定的窄波长范围内的波长的光)。
在一些示例中，光源420可以包括可调谐激光器或可控制成发射多个不同波长(例如，范围在大约400纳米到大约2.5微米之间的波长)中的任一个波长的光的某个其他发光元件或一些其他发光元件。这样的可调谐激光器可以包括准分子激光器、染料激光器、CO2激光器、自由电子激光器或被配置为发射多个不同的可控波长的光的某个其他激光器元件。在一些示例中，可以通过控制可调谐激光器的一个或多个元件(例如，反射器、谐振腔)的几何结构或尺寸来控制由这样的可调谐激光器发射的光的波长。在一些示例中，光源420的(例如，可调谐激光器的)布拉格反射器或其他元件可以被旋转或以其他方式被致动以控制由光源420发射的光的波长。在一些实施例中，光源420可以包括被配置为发射与相应的不同波长(例如，目标405中的相应荧光团的激发波长)对应的波长的光的多个激光器或基本单色的光的其他源，并且光源420发射特定波长的光的操作可以包括操作光源420的对应激光器以发射受控的波长光。可以预期光源420的其他配置和操作。
光传感器430可以包括布置在焦面437上的多个光敏元件。光敏元件可以被配置为检测跨宽波长范围(例如，跨由目标405的元素发射的光的波长范围(例如，包括目标405中的一个或多个量子点、荧光蛋白或其他荧光团的发射波长的范围))的由光传感器430接收的光的强度或其他性质。也就是说，光传感器430可以被配置为充当宽带单色光传感器，在多个时间段期间(经由例如SLM 410、MD 450和光学系统)从目标405接收光，并且在相应的多个时间段输出与目标405对由光源420发射的光(例如，对应的多个波长的光)的吸收、荧光重新发射或其他相互作用有关的相应的多个图像。这可以包括光传感器430，该光传感器430包含布置在焦面437上的光敏元件(例如，光电二极管、光电晶体管、电荷耦合器件(Charge-Coupled Device，CCD)像素、有源像素传感器)的二维(或以其他方式排列的)阵列，其被配置成使得单个光敏元件的输出与光传感器430从特定方向接收并且是特定波长(与目标的特定部分和SLM 410和/或MD 450的配置对应)的光的强度有关。
请注意，用于照明目标405的焦面407上的指定区域409和接收来自于其的光的系统400的配置和/或操作旨在作为非限制性示例。替代地，通过根据与图示的受控角度不同的受控角度集合来操作MD 450的反射镜451、453，可以照明目标的更大和/或不同形状的区域(例如，目标内的线；基本上整个目标和/或成像系统的视场内的整个目标)。例如，可以通过控制MD 450的对应的多个空间地分开的反射镜以向目标405的多个区域反射第一照明421来同时照明接近目标405的焦面407的多个空间的分开的区域并对其成像。MD 450的反射镜451、453可以根据某个其他图案来控制，例如以接近MD450的焦面457上的某个其他编码的孔径。此外，光源420可以发射可控的波长的照明(例如，基本上单色但具有能够通过操作光源而更改的波长的照明)，并且可以基于当目标405被不同波长的光照明时生成的目标405的图像来确定目标405的区域的光谱图信息(例如，以生成区域的与不同的照明波长对应的对应的多个发射光谱)。
此外，请注意，目标405内焦面407的位置可被控制(例如，以允许在目标405内不同深度处对目标405的元素进行成像)。在一些示例中，载物台460可以相对于系统400的其他元件(例如，相对于物镜441)被致动，使得可以控制目标405在一个或多个维度上的位置。例如，可以在平行于共轭照明432的方向的方向上(即，在图4的垂直方向上)致动载物台460，使得可以控制目标405内的焦面407的位置(例如，深度)。在这样的示例中，可以在焦面407被控制为处于目标405内的各个相应位置(例如，深度)时检测/确定目标405的多个图像和/或光谱图信息，从而允许从多个图像和/或光谱图信息生成目标405的三维图像。在一些示例中，目标405内焦面407上的特定区域409的位置可以通过致动载物台460以控制目标405相对于系统的位置来进行控制。对载物台460的致动可以包括一个或多个压电元件、伺服电机、线性致动器、电流计或被配置为控制载物台460(和安装在载物台460上的目标405)相对于系统400的(一个或多个)元件(例如，441)的位置的其他致动器。
成像系统400(或本文描述的其他示例成像和/或显微镜系统)可以包括额外元件或组件(未示出)。成像系统400可以包括一个或多个控制器，其被配置为操作SLM 410、光源420、光传感器430、MD 450、被配置为控制载物台460的位置的(一个或多个)致动器和/或成像系统400的其他元件。成像系统400可以包括被配置成将信息发送到其他系统/从其他系统接收信息以使能成像系统400的功能和应用的通信设备(无线电台(wireless radio)、有线接口)，该其他系统例如为服务器、其他成像设备、实验系统、样品灌流泵、光遗传或其它刺激器。例如，成像系统400可以包括被配置成呈现由成像系统400生成的目标405的图像和/或目标405内所标识的探针的位置、分布、集中度或关于其的其他信息的图像的接口。成像系统400可以包括被配置为向用户呈现关于成像系统400的信息和/或允许用户操作成像系统400的接口(例如，以设置光谱图分辨率，设置时间分辨率/成像采样率，设置操作模式(例如，共轭或非共轭共焦成像、明场成像、受激发射损耗(Stimulated EmissionDepletion，STED)成像)，设置最大发射照明功率，设置感兴趣的波长范围)。
额外地或替代地，成像系统400(或本文描述的其他示例成像系统)可以被配置为与另一系统(例如，蜂窝电话、平板、计算机、远程服务器)通信并且使用远程系统呈现用户接口。在一些示例中，成像系统400可以是另一系统的一部分。例如，成像系统400可以被实现为被配置为将光学、电学、化学或其他刺激施加到生物样品(例如，培养的或提取的神经元的样品)的电生理学实验系统的一部分。成像系统400可以(例如，通过确定关于组织的与探针在样品的细胞中的存在和/或位置有关的信息)提供关于响应于刺激生物样品的配置的变化的信息和/或可以提供信息以通知对刺激的传递。在一些示例中，成像系统400可以包括多个SLM 410、光源420、光传感器430、MD 450或其他额外组件。成像系统400可以包括传感器和/或与被配置成对目标环境(例如，405)的其他性质成像的传感器通信。可以预期本文描述的成像系统的其他配置、操作和应用。
可以预期配置和/或操作成像系统的光源、光传感器、SLM、MD和/或其他元件(例如，以标识和/或定位目标中的空间和光谱复用探针)的其他方法。
IV.通过空间图像和光谱图像之间的相关性标识探针
如上所述，感兴趣的环境内的荧光团(例如，空间和光谱复用探针的荧光团)的颜色和位置可以通过确定该环境内多个位置的光谱图信息(例如，颜色)来确定。额外地或替代地，从感兴趣的环境的特定区域(例如，具有与用于对环境成像的光学系统的衍射极限对应的尺寸的小区域)发射的光可以被分离并同时用于对特定区域光谱和空间地成像。由于各种因素，例如由于量子点或分子荧光团的闪烁，从特定区域内的特定荧光团发射的光的强度可能会随时间变化。
强度的这样的改变的随时间的图案在环境内的不同荧光团之间可能基本上是独立的。结果，从特定区域的空间图像中的特定荧光团的位置检测到的光的时变波形可以与从与特定区域的光谱图像中的特定荧光团的颜色对应的光的波长检测到的光的时变波形相关。可以在从环境的特定区域的不同位置接收的光的这样的检测到的时变波形与以不同波长从环境的特定区域接收的光的这样的检测到的时变波形之间确定相关性，并且这样的相关性可以用于确定环境内的荧光团(例如，探针的荧光团)的颜色和/或位置。
为了生成从目标(例如，生物样品)的特定区域的不同位置和从其以不同波长接收的光的这样的时变波形，从环境的特定区域发射的光可以(例如，通过部分镀银的反射镜，通过起偏滤波器)被分离成两个部分，并且可以将每个部分施加到相应的光传感器。第一光传感器可以接收所发射的光的第一部分，使得光通过第一光传感器的光敏元件的阵列被聚焦地成像。第一传感器的每个光敏元件可以用于生成从目标的特定区域的相应位置发射的光的时变波形。
第二光传感器可以接收已经与色散元件(例如，如本文其他地方所述的棱镜、衍射光栅、一个或多个阿米西棱镜、空间光调制器(SLM))相互作用的所发射的光的第二部分。该光可以被第二传感器接收，其已经通过与色散元件的相互作用(例如，从色散元件反射，折射过色散元件)而被光谱地色散，使得光被第二光传感器的光敏元件阵列检测。这样的阵列可以是二维阵列(例如，使得光可以在通过SLM在不同方向上和/或不同的量地被光谱地色散后在不同时间被检测)或一维阵列(例如，色散元件可以被配置为在元件的一维阵列的方向上光谱地色散光的第二部分)。第二传感器的每个光敏元件可以用于示出以相应波长从目标的特定区域(例如，从基本上整个特定区域)发射的光的时变波形。
图5A示出了目标的特定区域500。探针505在目标的特定区域500内，探针依次包括布置在基本线性的骨架上的绿色荧光团Ga、红色荧光团Ra、和蓝色荧光团Ba。因此，特定区域500的位置的光谱图性质(例如，颜色)是这样的：响应于照明从Ra的位置发射红光，响应于照明从Ga的位置发射绿光，并且响应于照明从Ba的位置发射蓝光。特定区域500可以由本文其他地方描述的成像系统成像。
图5B示出了特定区域500的第一图像510a的一部分。该第一图像510a摄取自已经由第一光传感器(例如，相机)的光敏元件成像的从目标接收的光。第一光传感器的光敏元件排列在第一光传感器的焦面上，并且所接收的光(例如，通过成像系统的光学器件)被呈现给第一光传感器，使得第一光传感器的焦面与穿过特定区域500的焦面共轭。因此，第一图像510a包括由从探针505的红色、绿色和蓝色荧光团(Ra、Ga和Ba)发射的光照明的被照明区域(在图5B中由三个圆指示)。与被照明区域对应的第一光传感器的光敏元件(在图5B中示出为示例光敏元件512a、514a、516a)可以用于随着时间检测从红色、绿色和蓝色荧光团(Ra、Ga和Ba)发射的光的时变波形。
图5C示出分别使用第一示例光敏元件512a、第二示例光敏元件514a和第三示例光敏元件516a示出的示例时变波形522a、524a和526a。当示例光敏元件512a、514a，516a从相应的不同荧光团的接收光时，时变波形522a、524a，526a可以是不同的并且可以对应于从荧光团中的每一个(例如，根据荧光团的基本上随机且独立的闪烁或其他过程)发射的光的量的随时间的基本上独立的变化。这在图5C中通过示例时变波形522a、524a、526a不同而示出。
请注意，可以针对光传感器的每个光敏元件生成时变波形。在其中光传感器的光敏元件中的每一个从目标的相应位置接收光的示例中(例如，如图5A和5B所示)，这样的时变波形之间的相关性可用于确定目标内荧光团的位置。这可以包括执行主成分分析、独立成分分析、聚类、确定时变波形之间的成对相关性并使用所确定的相关性来确定类似时变波形的集合，或用于确定时变波形的集合之间的类似性然后使用这样确定的类似性来确定目标内荧光团的位置的某个其它方法或一些其他方法。额外地或替代地，可以使用图案匹配或其他技术来确定目标的一个或多个图像(例如，510a)的被照明区域的中心。请注意，光传感器的与目标中的探针的相应的不同荧光团对应的被照明区域可以显著地重叠。在这样的示例中，使用光传感器的特定光敏元件生成的光的时变波形可以包括与从多个不同荧光团发射的光的随时间的变化对应的波形的组合。
图5D示出了特定区域500的第二图像510b的一部分。该第二图像510b摄取自从已经被色散元件光谱地色散的特定区域500接收的光。对于示例第二图像510b，色散元件被配置成将从特定区域500接收的光在水平方向上光谱地色散，使得较长波长的光被光传感器的图5D中左侧的光敏元件接收，而使得较短波长的光被光传感器的图5D中右侧的光敏元件接收。因此，第二图像510b包括由于分别来自探针505的红色、绿色和蓝色荧光团(Ra、Ga和Ba)的空间地色散的光对光传感器的对应区域的照明而产生的被照明区域(在图5D中由三个垂直条指示，其波长由沿图像510b的水平轴的R、G和B指示)。第二光传感器的与被照明区域对应的光敏元件(在图5D中示出为示例光敏元件512b、514b、516b)可以用于随时间检测从红色、绿色和蓝色荧光团(Ra、Ga和Ba)发射的光的时变波形。
图5E分别示出使用第一示例光敏元件512b、第二示例光敏元件514b和第三示例光敏元件516b生成的示例时变波形522b、524b和526b。当示例光敏元件512b、514b、516b从相应的不同荧光团接收光时，时变波形522b、524b、526b可以是不同的并且可以对应于(例如，根据荧光团的基本上随机且独立的闪烁或其他过程)从每个荧光团发射的光的量的随时间的基本上独立的变化。这在图5C中通过示例时变波形522b、524b、526b不同而示出。请注意，由于时变波形522b、524b、526b与从探针505的荧光团发射的光的量的随时间的改变对应，所以它们可以类似于从探针505的对应的荧光团由第一光传感器的光敏元件所接收的光的时变波形。
这在图5C和5E中以举例的方式通过时变波形522a和524b类似而示出。时变波形522a与由第一光传感器的光敏元件512a从探针505的绿色荧光团Ga接收的光的量的随时间的变化对应。绿色荧光团发射绿光；因此，时变波形524b与第二光传感器的光敏元件524b从绿色荧光团接收的光的量的随时间的变化对应。结果，时变波形522a和524b是类似的并且可能具有高度的相关性或某个其他类似性度量。类似地，时变波形524a和522b(由于与从红色荧光团Ra发射的光的量的随时间的变化的对应关系)类似并且时变波形526a和526b(由于与从蓝色荧光团Ba发射的光的量的随时间的变化的对应关系)类似。
使用第一光传感器和第二光传感器的光敏元件生成的时变波形之间的相关性可以被确定并且用于确定目标内的荧光团的颜色和/或位置。这可以包括执行主成分分析、独立成分分析、聚类、确定时变波形之间的成对相关性并使用所确定的相关性来确定类似时变波形的集合，或用于确定时变波形的集合之间的类似性然后使用这样确定的类似性来确定目标内荧光团的位置的某个其它方法或多个方法。这可以包括确定使用第一光传感器的光敏元件生成的光的特定时变波形(例如，与从包括荧光团的目标的特定位置发射的光对应的光的时变波形)与使用第二光传感器的光敏元件生成的光的特定时变波形(例如，与从目标中的荧光团发射的光的波长对应的光的时变波形)之间的确定的相关性大于阈值。如果由第一光传感器生成的特定时变波形与荧光团的被确定的位置对应，则可以使用大于阈值的相关性来确定荧光团的颜色包括与由第二光传感器生成的特定时变波形对应的光的波长。
请注意，目标的正在被成像的特定区域中的不同荧光团位置(例如，如图5A所示)可以发射相同波长的光。这可能是由于不同荧光团具有相同的颜色和/或者是相同类型的荧光团。额外地或替代地，荧光团中的一个或多个可以发射多种不同波长的光(例如，第一量子点可以发射红色波长和蓝色波长的光，而第二量子点可以发射红色波长和绿色波长的光)。在这样的示例中，使用光传感器(例如，第二光传感器)的特定光敏元件生成的光的时变波形可以包括与从多个不同的荧光团发射的光的随时间的改变对应的波形的组合。
此外，请注意，尽管结合图5A-图5E讨论的第二光传感器包括光敏元件的二维阵列，但是第二光传感器可以替代地被配置为具有光敏元件的一维阵列，其被配置为通过光敏元件生成以相应的不同波长从目标的特定区域接收的光的相应时变波形。在其中第二光传感器包括光敏元件的二维阵列的示例中，可以在不同的时间段期间操作被用于光谱地色散由第二光传感器接收的光的色散元件，以在不同的方向上、不同的量地或根据一些其他考量来是光色散。可以使用在这样的示例中由第二光传感器生成的二维图像(例如，经由去卷积过程)以提供目标的特定区域的位置的光谱图信息。
可以以各种方式使用光传感器的每个光敏元件来生成时变波形。在一些示例中，每个光敏元件可以连接到相应的放大器、数字化器、滤波器或被配置为使用光敏元件生成时变波形的其他组件。替代地，可以操作光传感器的光敏元件以重复地对目标成像。例如，光传感器可以包括电荷耦合器件(CCD)，并且使用光传感器对目标成像可以包括操作CCD以顺序地将由CCD的光敏元件(例如，像素)累积的电荷转移到一个或多个数字化器以被采样。在这样的示例中，生成光传感器的特定光敏元件的时变波形包括使用多个这样的图像来确定在与生成多个图像的时序对应的多个时间点由特定光敏元件接收的光的随时间的强度。此外，第一和第二光传感器可以是相同器件(例如，相同的CCD)的一部分。也就是说，第一和第二光传感器的光敏元件可以包括同一光感测器件的光敏元件的相应的第一集合和第二集合。在这样的示例中，可以配置用于使用第一和第二光传感器对目标成像的成像系统的光学元件以将从目标接收的光分离成第一部分和第二部分、光谱地色散第二部分并且将第一部分和第二部分呈现给单个光感测器件的光敏元件的相应集合(例如，相应不同区域)。
为了产生从目标的特定区域的不同位置接收的光的时变波形并生成以不同波长从目标的特定区域接收的光的时变波形(如上所述，该时变波形可用于通过确定目标中探针的荧光团的位置和颜色来标识目标中探针)，各种不同的光学元件可以合并到成像系统中。这样的成像系统可以包括各种照明源、光学系统、孔径、光传感器或被配置为照明目标的特定区域、接收从目标的特定区域(例如，从特定区域中的荧光团)响应地发射的光、将接收的光分离成第一和第二部分、施加第一部分以由第一光传感器空间地成像并施加第二部分以由色散元件(例如，棱镜、SLM)光谱的色散并由第二光传感器光谱地成像的其他元件。这样的成像系统可以包括孔径、光学器件、微镜器件、尼普科夫盘或被配置为选择性地从目标的特定区域接收光和/或选择性地照明目标的特定区域的其他元件。这可以包括使用用于对目标的特定区域进行共焦成像的技术和/或装置。
图6以横截面示出被配置为对目标605成像的示例成像系统600的元件。系统600包括光源620(例如，激光器)、第一光传感器630(图示为位于第一光传感器630的焦平面637上的光敏元件的平面)、第二光传感器670(图示为光敏元件的平面)、微镜器件(MD)650、色散元件610(例如，棱镜、一个或多个阿米西棱镜、SLM、衍射光栅)以及光学系统(包括物镜641，第一中继透镜675、第二676和第三中继透镜644，二向色镜645，分束器643，和光壑625)，该光学系统被配置为将光引导至目标605并且从目标605引导光以及在系统600的元件之间引导光。系统600额外地包括目标605被安装到其上的载物台660。请注意，MD 650和第一光传感器630分别包括微镜的二维阵列和光敏元件的二维阵列。第二光传感器670可以包括光敏元件的二维或一维阵列。此外，请注意，光学系统(例如，641、643，644、645、675、676)和色散元件610被配置为在目标605、MD 650和第一光传感器630之间引导光，使得MD 650和第一光传感器630的焦面657、637上的位置与穿过目标605中的特定区域609的焦面607上的相应位置对应。
系统600通过从光源620发射第一照明621并且将第一照明621从二向色镜645反射向MD 650来照明目标605中的特定区域609。MD 650的在MD 650的焦面657上具有与指定区域609对应的位置的选定反射镜651被控制为具有第一角度以将第一照明621经由物镜641反射向目标605作为共焦照明622。MD 650的其它反射镜653被控制为具有第二角度以将第一照明621的其余部分作为废弃照明623反射向光壑625以被吸收。如图所示，控制单个反射镜(651)以照明目标605的对应区域609(并从目标605的对应区域609接收光)；然而，(例如，从其他反射镜653选择的)额外的反射镜可以同时地、顺序地或者根据某个其他方案来操作以照明目标605的对应的额外区域(并从目标605的对应的额外区域接收光)。
系统600经由物镜641接收响应于照明而从目标605(例如，从特定区域609)发射的光(包括共轭光672)。共轭光672被分束器643分离成照明的第一和第二部分。共轭光的第一部分被聚焦地呈现给第一光传感器630的焦面637上的与特定区域609对应的指定区域631(例如，呈现给第一光传感器的具有第一光传感器630的一个或多个光敏元件和/或像素的区域)。共轭光的第二部分被施加到色散元件610以光谱地色散光的第二部分。然后将光的光谱的色散的部分呈现给第二光传感器670。对共轭光672的这样的操纵(例如，反射、分离、光谱色散)由中继光学器件675、676、644，分束器643，色散元件610或由某个其他光学元件或一些其他光学元件提供。
请注意，尽管在图6中将色散元件610示出为透射元件(即，对透射过色散分离元件610的光光谱地色散的元件)，但是本文描述的成像系统可以包括反射的、折射的、衍射的或某个其他种类的色散元件和/或色散元件的组合。在一些示例中，色散元件610可以包括本文其他地方所述的SLM，其可以被操作来控制施加到呈现给第二光传感器670的光的光谱色散的方向、量值或一些其他性质。
目标605内的特定区域609的位置可以被控制(例如，以允许在目标605内的不同深度处对目标605的元素进行成像)。在一些示例中，可以相对于系统600的其他元件致动载物台660，使得可以在一个或多个维度上控制目标605的位置。例如，可以在平行于照明的方向的方向上(即，在图6中的垂直方向上)致动载物台660，使得可以控制目标605内的特定区域609的位置(例如，深度)。对载物台660的致动可以包括一个或多个压电元件、伺服电机、线性致动器、电流计或被配置为控制载物台660(和安装在载物台660上的目标605)相对于系统600的(一个或多个)元件(例如，641)的位置的其他致动器。
请注意，用于照明目标605的特定区域609和从目标605的特定区域609接收共轭光的系统600的配置和/或操作旨在作为非限制性示例。替代地，通过根据与图示的受控角度受控角度的不同集合来操作MD 650的反射镜651、653，可以照明目标的更大和/或不同形状的区域。例如，可以通过控制MD 650的对应的多个空间地分开的反射镜以向目标605的多个区域反射第一照明621来同时照明接近目标605的多个空间地分开的区域并对其成像。这样的空间地分开的区域之间的分开距离可以大于特定距离，使得来自每个区域的光不干扰分别使用第一光传感器630和/或第二光传感器670对其他区域的光谱和/或空间信息的检测(例如，使得在由色散元件610光谱地色散之后从空间地分离的区域中的每一个投射到第二光传感器670上的光的点不重叠)。
此外，被照明区域的尺寸可以足够大(例如，可以被MD 650的足够多的反射镜照明)，使得第一相机630和/或第二相机670的足够多的像素被照明以允许执行统计分析(例如，以允许足够多的相关性被确定以确定目标605中的荧光团的颜色和位置)。被照明区域的尺寸也可以足够小，使得跨第二光传感器670的像素，不同荧光团的光谱信息弥散(smear)足够小的量达到每个被照明区域中的不同荧光团之间的空间距离，使得能够确定每个被照明区域中的所有荧光团的光谱信息(例如，颜色)。
MD 650的反射镜651、653可以根据一些其他图案进行控制，例如以接近MD 650的焦面657上的某个其他编码孔径。此外，光源620可以发射可控的波长的照明(例如，基本上单色但具有能够通过操作光源而改变的波长的照明)，并且可以基于当目标605被不同波长的光照明时生成的目标605的图像来确定目标605的区域的光谱图信息(例如，以生成目标中的探针的荧光团的与不同的照明波长对应的对应的多个发射光谱)。
可以以各种方式操作系统600以提供目标605的共焦、高光谱或其他类型的图像。例如，可以(例如，通过控制DM的反射镜的相应的指定集合以具有第一或第二角度)在多个时间段期间操作系统以照明目标的相应特定区域，分别使用第二光传感器670和第一光传感器630对从目标605接收的光成像，或者随时间操作某个其他元件或一些其他元件来标识和/或定位目标中的探针或根据某个其他应用来操作所述系统。
请注意，从目标接收的非共轭光(例如，来自目标605的由MD 650的反射镜653的第二集合反射的光)可用于确定关于目标中的荧光团和/或探针的空间或光谱信息(例如，以生成从目标的特定区域的不同位置接收的光的时变波形和/或生成以不同波长从目标的特定区域接收的光的时变波形)。例如，可以使用MD来分隔从目标的特定区域接收的光，使得第一部分被聚焦地呈现给第一光传感器(例如，以对特定区域空间地成像)，并且使得第二部分被光谱地色散并且被呈现给第二光传感器(例如，以对特定区域光谱地成像)。
这样的情景通过图7中的示例示出。图7以横截面示出了示例成像系统700的元件，该示例成像系统700被配置为对目标705成像以便例如标识和/或定位目标705中的空间和光谱复用探针。系统700包括光源720(例如，激光器)、第二光传感器730(图示为位于第二光传感器730的焦平面737上的光敏元件的平面)、第一光传感器770(图示为位于第一光传感器770的焦平面777上的光敏元件的平面)、微镜器件(MD)750、空间光调制器(SLM)710和光学系统(包括物镜741，第一镜776743、第二中继透镜744、第三中继透镜775和第四中继透镜776，二向色镜745和光壑725)，该光学系统被配置为将光引导至目标705并且引导来自目标705的光以及在系统700的元件之间引导光。系统700额外地包括目标705被安装到其上的载物台760。请注意，MD 750以及第二光传感器730和第一光传感器770分别包括微镜的二维阵列和光敏元件的二维阵列。此外，请注意，光学系统(例如，741、743、744、745、775、776)和SLM 710被配置为在目标705、MD 550以及第二光传感器730和第一光传感器770之间引导光，使得MD 750和光传感器730、770的焦面757、737、777上的位置与穿过目标705中的特定区域709的焦面707上的相应位置对应。
系统700通过从光源720发射第一照明721并且将第一照明721从二向色镜745反射向MD 750来照明目标705中的特定区域709。MD 750的在MD 750的焦面757上具有与指定区域709对应的位置的选定反射镜751被控制为具有第一角度以将第一照明721经由物镜741反射向目标705作为共焦照明722。MD 750的其它反射镜753被控制为具有第二角度以将第一照明721的其余部分作为废弃照明723反射向光壑725以被吸收。如图所示，控制单个反射镜(751)以照明目标705的对应特定区域709(并从目标605的对应特定区域709接收光)；然而，(例如，从其他反射镜753选择的)额外的反射镜可以同时地、顺序地或者根据某个其他方案来操作以照明目标705的对应的另外区域(并从目标705的对应的另外区域接收光)。
系统700经由物镜741接收响应于照明而从目标705(例如，从特定区域709)发射的光(包括共轭光772)。共轭光772聚焦地被引导到第一光传感器770的焦面777上的与特定区域709对应的指定区域771(例如，引导到第一光传感器的具有第一光传感器770的一个或多个光敏元件和/或像素的区域)。这样的光从MD 750经由中继光学器件775、776或经由某个其它光学元件或一些其他光学元件而被引导到第一光传感器770。
系统700还经由物镜741接收从目标发射的非共轭光732。非共轭光732到达MD 750并被MD 750的被控制为具有第二角度的反射镜(例如，753)反射向SLM 710。第一中继透镜743(和/或系统700的一些其他光学元件)使所接收的光准直并将基本准直的光呈现给SLM710。SLM 700将非共轭光732作为光谱地色散的光733反射向第二中继透镜744，第二中继透镜744被配置成将光谱地色散的光733呈现给第二光传感器730的焦面737。SLM 710被配置和/或操作成使得光谱地色散的光733以受控方式相对于非共轭光732被光谱地色散，从而使得可以(例如，基于由第二光传感器730的相应的不同光敏元件以相应的不同波长从特定区域709接收的光的多个时变波形)检测或确定目标705的一个或多个特定区域和/或非共轭光732的光谱图信息。在一些示例中，光谱地色散的光733以与SLM 710的层的折射率中的空间梯度的电子控制的方向、量值和/或某个其他性质有关的方式光谱地色散。
请注意，用于照明目标705的特定区域709和接收来自于其的共轭光的系统700的配置和/或操作旨在作为非限制性示例。替代地，通过根据与图示的受控角度不同的受控角度集合来操作MD 750的反射镜751、753，可以照明目标的更大和/或不同形状的区域。例如，可以通过控制MD 750的对应的多个空间地分开的反射镜以向目标705的多个区域反射第一照明721来同时照明目标705的多个空间地分开的区域并对其成像。MD 750的反射镜751、753可以根据某个其他图案来控制，例如以接近MD 750的焦面757上的某个其他编码的孔径。此外，光源720可以发射可控的波长的照明(例如，基本上单色但具有能够通过操作光源而改变的波长的照明)，并且可以基于当目标705被不同波长的光照明时生成的目标705的图像和/或从目标705接收的光的时变波形来确定目标705的区域的光谱图信息(例如，以产生探针的一个或多个荧光团的与不同的照明波长对应的对应的多个发射光谱)。
目标705内的特定区域709的位置可以被控制(例如，以允许在目标705内的不同深度处对目标705的元素进行成像)。在一些示例中，可以相对于系统700的其他元件致动载物台760，使得可以在一个或多个维度上控制目标705的位置。例如，可以在平行于照明的方向的方向上(即，在图7中的垂直方向上)致动载物台760，使得可以控制目标705内的特定区域709的位置(例如，深度)。对载物台760的致动可以包括一个或多个压电元件、伺服电机、线性致动器、电流计或被配置为控制载物台760(和安装在载物台760上的目标705)相对于系统700的(一个或多个)元件(例如，741)的位置的其他致动器。
可以以各种方式操作系统700以提供目标705的共焦、高光谱或其他类型的图像。例如，可以(例如，通过控制MD的反射镜的相应的指定集合以具有第一或第二角度，通过控制致动的载物台760)在多个指定时间段期间操作系统以照明目标的不同区域，以电子控制跨SLM的折射层的折射率的梯度以具有相应的不同的(一个或多个)指定量值或方向或根据一些其他图案控制SLM的(一个或多个)元件的折射率，分别使用第一光传感器770和第二光传感器730对从目标705接收的共轭或非共轭光成像，或者根据某个应用随时间操作系统700的某个其他元件或一些其他元件。
可以预期配置和/或操作成像系统的光源、(一个或多个)光传感器，一个或多个孔径、SLM、MD和/或其它元件(例如，以标识和/或定位目标中的空间和光谱复用探针)的其他方法。
V.成像装置的示例电子设备
图8是示出根据示例实施例的成像系统800的组件的简化框图。成像系统800和/或其元件可采取图3、图4、图6和图7中所示的示例系统或元件300、400、600、700或一些其他系统中的一个的形式或者可以与其相似。例如，成像系统800和/或其元件可以采取图13、图14、图15、图16、图17、图18、图19、图20、图21、图25、图28、图29、图30、图31、图35、图36、图38和图39中所示的示例系统或元件中的一个的形式或者可以与其相似。成像系统800可采取各种形式，诸如壁、桌、天花板或地面安装的设备。成像系统800可以采取台式(bench-top)或桌面(table-top)设备(例如，台式显微镜)的形式。成像系统800和/或其元件也可以采取被配置成是另一设备、装置或系统的一部分的系统、设备或设备的组合的形式。例如，成像系统800或其(一个或多个)元件(例如，空间光调制器803)可以采取被配置为安装到或以其他方式布置为某一其他成像系统的一部分的系统或元件的形式(例如，成像系统800和/或空间光调制器803或其的其他元件可以被配置为共焦显微镜或其他成像系统的一部分，例如以电子可控的方式光谱地色散成像系统的光的一个或多个光束或光场)。成像系统800可以采取被配置成工业环境、医疗环境、科学环境或某个其他环境的内容的系统的形式。成像系统800也可以采取其他形式。
特别地，图8示出了成像系统800的示例，该成像系统800具有光源801、第一光传感器802、空间光调制器(SLM)803、微镜器件(MD)806、第二光传感器807、光学系统805、载物台致动器808、用户接口820、用于将数据传输到远程系统的(一个或多个)通信系统830以及控制器810。成像系统800的组件可以布置在底座或壳体上或其中或可以布置在用于安装系统以相对于感兴趣的目标(例如，安装到载物台(例如，具有由载物台致动器808在至少一个维度上致动的相对于成像系统800的其他元件的位置的载物台)的生物样品)使能稳定成像或其他功能的一些其他结构上。成像系统800可以包括额外组件，例如被配置为向细胞培养物或包括成像系统800的目标的其他生物样品提供充气或以其他方式化学指定的灌流液的灌流泵，一个或多个电生理或光遗传刺激器和/或传感器，集成电路测试装备(test rig)或根据某个应用的某个其他仪器或一些其他仪器或其他(一个或多个)组件。
光源801，光传感器802、807，光学系统805，SLM 803，MD 806和/或载物台致动器808可以被配置和/或布置为针对类似元件在本文其他地方所述的成像设备800的一部分。光学系统805被配置为(例如，经由从MD 806的一个或多个反射镜的反射)引导由光源801发射的光以照明目标的一个或多个区域。光学系统805进一步被配置为接收从目标响应地发射的光并且将这样的光和/或这样的光的分量(例如，所接收的光的共轭分量，所接收的光的非共轭分量，所接收的光的以其他方式被分隔的部分)(例如，经由从MD806的一个或多个反射镜的反射，经由从SLM 803和/或成像系统800的某个其他色散元件或一些其他色散元件的反射、透射过SLM 803或该色散元件或者与SLM 803或该色散元件的某个其他色散相互作用)引导到光传感器801、807中的一个或两个。光学系统805被配置为在成像系统800的元件(例如，802、806、807)之间引导这样的光，使得一个或多个这样的元件的焦面(例如，光传感器的光敏元件被布置在其上的第一光传感器801的焦面，MD 806的反射镜被布置在其上的MD 806的焦面)彼此光学地共轭和/或与成像系统800的目标上或内的焦面光学地共轭。
控制器810可以被提供为包括一个或多个处理器811的计算设备。一个或多个处理器811可以被配置为执行计算机可读程序指令814，其存储在计算机可读数据存储装置812中并且可执行来提供本文描述的成像系统800的功能。
计算机可读数据存储装置812可以包括或采取可以由至少一个处理器811读取或访问的一个或多个非暂时性计算机可读存储介质的形式。一个或多个计算机可读存储介质可以包括能够被整体地或部分地与一个或多个处理器811中的至少一个集成的易失性和/或非易失性存储组件，例如光学、磁，有机或其他存储器或盘存储装置。在一些实施例中，可以使用单个物理设备(例如，一个光学、磁性、有机或其他存储器或盘存储单元)来实现计算机可读数据存储装置812，而在其他实施例中，可以使用两个或更多个物理设备来实现计算机可读数据存储装置812。
存储在计算机可读数据存储装置812上的程序指令814可以包括用于执行本文描述的任何方法的指令。例如，在所示实施例中，程序指令814包括照明和获取模块815以及探针检测模块816。
照明和获取模块815可以包括用于操作光源801、第一光传感器802、SLM803、MD806、第二光传感器807和/或载物台致动器808以使得成像系统能够标识目标中的空间和光谱复用探针、确定目标中的空间和光谱复用探针的取向、定位目标中的空间和光谱复用探针和/或如本文描述的对目标高光谱成像、共焦成像或以其他方式对目标成像或光学地相互作用的指令。一般地，照明和获取模块815中的指令提供操作光源801和/或MD 806以在一个或多个相应时间段期间以一个或多个指定波长的光照明目标的一个或多个区域的方法。照明和获取模块815中的指令进一步提供操作SLM 803和/或某个其它色散元件或多个其他色散元件以在一个或多个相应时间段(例如，与操作MD806和/或光源801的时间段同步和/或重叠的时间段)期间根据光的色散的一个或多个指定方向、量值或其他性质对被引导向SLM 803的光进行光谱地色散的方法。
照明和获取模块815中的指令进一步描述操作(一个或多个)光传感器801、807以生成在一个或多个时间段(例如，操作MD 806、SLM 803、光源801或成像系统800的其他部件的时间段)期间经由光学系统805、微镜器件806和/或SLM 803从目标的被照明区域接收的光的图像、时变波形或关于该光的其他信息的方法。在一些示例中，使用(一个或多个)光传感器801、807生成所接收的光的图像和/或一个或多个时变波形可以包括读出信息(例如，描述与由(一个或多个)光传感器801、807的光敏元件检测的光的强度或其他性质有关的值或信号)。在这样的示例中，在被读出时，光传感器的特定光敏元件或光敏元件集合可能基本上不能检测光。例如，(一个或多个)光传感器中的一个或两个可以是被配置为具有全局快门(即，一次从光传感器读出整个图像数据帧)和/或具有卷帘快门(即，一次从光传感器读出一行图像数据)的CMOS相机。在这样的实施例中，照明和获取模块815可以描述MD 806或其他元件不照明目标的与(一个或多个)光传感器的不能从这样的区域(例如，正在被读出的光敏元件)检测光的位置(例如，光敏元件)对应的区域的操作。光源801、第一光传感器802、SLM 803、MD 806、第二光传感器807、载物台致动器808和/或本文描述的成像系统800的其他组件的其他操作、功能和应用可以被实现为照明和检测模块815中的程序指令。
探针检测模块816可以包括用于标识布置在目标内的探针、定位布置在目标内的探针、确定布置在目标内的探针的取向或确定关于布置在目标内的探针的一些其他信息的指令。这可以包括确定这样的探针的荧光团的颜色和位置并且使用这样确定的颜色和位置以例如通过将荧光团位置的图案和/或荧光团颜色的顺序与对应于特定类型的探针的模板图案或顺序匹配来标识和/或定位目标中的探针。这样的确定可以基于由(一个或多个)光传感器801、807生成的信号的一个或多个图像、光的时变波形或其它信息。
例如，探针检测模块816可以包括用于基于从目标接收的光谱地色散的光的一个或多个图像来确定关于目标中的荧光团的颜色和位置的信息的指令。这样的确定可以包括本文描述的过程(例如，去卷积过程、与关于图2A-图D通过示例所描述的过程类似的过程、某个其他过程或一些其他过程)。这样的过程可以基于对(一个或多个)光传感器801、807的光敏感元件的位置与目标上或目标内的对应位置之间的对应关系的描述。这样的对应关系可以是波长相依性的并且可以基于成像系统800的模型(例如，基于在与由(一个或多个)光传感器801、807生成的图像对应的一个或多个时间段期间跨SLM 903的折射层的折射率的梯度的量值和方向)和/或基于对系统800的性质的经验测量(例如，基于具有已知光谱图信息/内容的校准目标的图像的集合或一些其他校准信息或程序)来确定。
在另一示例中，探针检测模块816可以包括用于基于从目标接收的光的并使用光传感器801、807生成的多个时变波形中的一个或多个来确定关于目标中的荧光团的颜色和位置的信息的指令。在特定示例中，光学系统805可以被配置为接收从目标的特定区域(例如，从经由光学系统805的孔径和/或经由由MD 806的一个或多个反射镜形成的合成孔径而被照明的区域)发射的光，并将这样的光的部分呈现给第一光传感器801和第二光传感器807。光学系统805可以将所接收的光的第一部分呈现给第一光传感器801，使得第一光传感器801的每个光敏元件从特定区域的相应位置接收光(例如，使得光敏元件位于第一光传感器801的与穿过目标的特定区域的焦面共轭的焦面上)。光学系统可以将所接收的光的第二部分经由色散元件(例如，经由从SLM 803的反射)呈现给第二光传感器807，使得第二光传感器807的每个光敏元件以相应的波长从特定区域接收光。
可以由探针检测模块816生成由光传感器801、807的光敏元件接收的光的时变波形并用于确定目标中的探针的荧光团的颜色和位置。这样的确定可以包括本文所述的过程(例如，通过执行主成分分析、独立成分分析、通过执行聚类分析或通过执行某个其他过程或一些其他过程来确定光的时变波形之间的成对相关性的过程)。
在一些示例中，照明和获取模块815和/或探针检测模块816的一些程序指令可以存储在计算机可读介质中并由位于成像系统800外部的处理器执行。例如，成像系统800可以被配置成照明目标(例如，生物样品)和从目标(例如，生物样品)接收光，并且然后将相关数据发送到远程服务器，该远程服务器可以包括移动设备、个人计算机、云或任何其他远程系统，用于进一步处理(例如，用于确定目标的一个或多个区域的光谱图信息，用于基于所确定的光谱图内容来标识目标的区域和/或其内容，以标识和/或确定探针在目标中的位置)。
用户接口820可以包括指示器、显示器、按钮、触摸屏、头戴式显示器和/或被配置为向用户呈现关于成像系统800的信息和/或允许用户操作成像系统800的其他元件。额外地或替代地，成像系统800可以被配置为与另一系统(例如，蜂窝电话、平板、计算机、远程服务器)通信并且使用远程系统呈现用户接口的元素。用户接口820可以接近光源801、第一光传感器802、SLM 803、MD 806、第二光传感器807、载物台致动器808、控制器810或成像系统800的其它元件布置，或者可以远离成像系统800的其他元件布置并且可以进一步与成像系统800的其他元件进行有线或无线通信。用户接口820可以被配置为允许用户指定某个操作、功能或者成像系统800的操作的性质。用户接口820可以被配置成向用户呈现由成像系统800生成的目标的图像(例如，目标内的一个或多个类型的探针的位置或分布的图像)或呈现一些其他信息。可以预期用户接口820的其他配置和操作方法。
(一个或多个)通信系统830还可以通过程序指令814内的指令(例如用于经由无线天线发送和/或接收信息的指令，该无线天线可以布置在成像系统800上或成像系统800中)操作。(一个或多个)通信系统830可以可选地包括一个或多个振荡器、混频器、频率注入器(frequency injector)等以调制和/或解调要由天线发送和/或接收的载波频率上的信息。在一些示例中，成像系统800被配置为通过根据一个或多个无线通信标准(例如，蓝牙、WiFi、IrDA、ZigBee、WiMAX、LTE)发送电磁或其他无线信号来指示来自控制器810的输出(例如，目标的一个或多个图像)。在一些示例中，(一个或多个)通信系统830可以包括一个或多个有线通信接口，并且成像系统800可以被配置为通过根据一个或多个有线通信标准(例如，USB、火线(FireWire)、以太网、RS-232)操作一个或多个有线通信接口来指示来自控制器810的输出。
计算机可读数据存储装置812可以进一步包含其他数据或信息，诸如包含与成像系统800的配置、校准目标或一些其他信息对应的校准数据。校准、成像和/或其他数据也可以由远程服务器生成并经由(一个或多个)通信系统830发送到成像系统800。
VI.示例方法
图9是用于操作成像系统的元件以标识目标环境中的空间和光谱复用探针和/或提供成像系统的一些其他功能和/或应用的示例方法900的流程图。方法900包括使用第一光传感器的多个光敏元件生成从目标(902)的特定区域的相应的不同位置发射的光的第一多个相应的时变波形。这可以包括在相应的多个时间段期间生成目标的多个图像，并基于在所生成的图像中的每一个中的由第一光传感器的相应光敏元件接收的光的强度确定每个时变波形。替代地，生成由第一光传感器的特定光敏元件接收的光的时变波形可以包括操作放大器、一个或多个滤波器、数字化器或一些其他元件以使用特定光敏元件生成时变波形。从目标的特定区域发射的光可以经由光学系统提供给第一光传感器，例如使得第一光传感器的焦面与穿过目标的特定区域的焦面共轭。这可以包括使发射的光穿过光学系统的孔径(例如，尼普科夫盘的孔径)和/或由微镜器件的致动的反射镜的集合形成的虚拟孔隙反射发射的光。
方法900额外地包括使用第二光传感器的多个光敏元件生成从目标的特定区域发射的相应不同波长的光的第二多个相应的时变波形(904)。这可以包括在相应的多个时间段期间生成目标的多个一维或二维图像，并且基于在所生成的图像中的每一个中的由第二光传感器的相应光敏元件接收的光的强度确定时变波形中的每一个。替代地，生成由第二光传感器的特定光敏元件接收的光的时变波形可以包括操作放大器、一个或多个滤波器、数字化器或一些其他元件以使用特定的光敏元件生成时变波形。从目标的特定区域发射的光可以经由包括一个或多个色散元件(例如，棱镜、SLM)的光学系统提供给第二光传感器。这样的光学系统可以被配置为使得从特定区域发射的不同波长的光跨第二光传感器的多个光敏元件而根据光的波长被扩散。
方法900额外地包括确定第一多个时变波形中的时变波形与第二多个时变波形中的时变波形之间的相关性(906)。这可以包括针对第一多个时变波形和第二多个时变波形中的时变波形的每个组合或者针对这样的组合的子集确定相关系数或某个其他类似性度量(例如，内积)。这(906)可以包括执行主成分分析、独立成分分析、聚类分析或某个其他方法，以确定第一和第二多个时变波形内或之间的时变波形的集合是类似的。
方法900额外地包括基于所确定的相关性确定目标中的两个或更多个荧光团的位置和颜色(908)。这可以包括比较确定的成对相关系数、独立和/或主要成分负荷或其他类似性度量的集合，以便确定第一多个时变波形中的类似且可能与单个荧光团关联的时变波形的集合。可以基于之前被用于生成这样的确定的时变波形集合的第一光传感器的光敏元件的位置(例如，通过确定这样的光敏元件的位置的质心)来确定这样的单个荧光团的位置。这样的单个荧光团的颜色可以通过比较由第一光传感器的光敏元件从单个荧光团的位置检测到的光的时变波形与由第二光传感器的光敏元件所接收的光的时变波形之间的所确定的相关性(例如，通过基于与光的生成的时变波形对应的光的波长来确定单个荧光团的颜色，该生成的时变波形具有大于阈值的与对应于荧光团的位置的光的(一个或多个)时变波形的相关性)来确定。可以预期本文所述的基于光的时变波形来确定目标中荧光团的位置和/或颜色的其它方法。
方法900额外地包括基于两个或更多个荧光团的所确定的颜色和位置来确定位于目标中并且包括该两个或更多个荧光团的探针的标识(910)。这可以包括将环境内检测到的荧光团颜色的图案(例如，线性地、圆形地或以其他方式排列的图案的荧光团的颜色的顺序)和与环境中的潜在探针的标识对应的荧光团的已知图案进行匹配。这(910)可以包括使用荧光团的所确定的颜色和位置来标识和/或定位目标内的探针，例如，通过将荧光团位置的图案和/或荧光团颜色的顺序与对应于特定类型的探针的模板图案或顺序进行匹配。在一些示例中，标识探针可以包括确定检测到的荧光团(例如，其位置和/或颜色已经被确定的荧光团)的集合与单个探针对应的概率和/或确定这样的探针属于一种或多种类型的概率。这可以包括基于目标中荧光团的检测到的图案中的一个或多个缺失的荧光团来确定多个可能的探针标识。可以预期用于基于目标中的荧光团的确定的位置和颜色来标识探针的其他方法。
方法900可以包括其他额外步骤或元素。该方法可以包括电子控制空间光调制器(SLM)以控制施加到由第二光传感器接收的光的光谱色散的方向、量值或其他性质。方法900可以包括操作微镜器件以控制微镜器件的致动的反射镜的角度，例如以将来自目标的特定区域的光引导向第一光传感器和第二光传感器中的一个或两个。方法900可以包括(例如，通过控制微镜器件的一个或多个致动的反射镜以将照明反射向特定区域，而将由激光器或其他光源生成的照明反射向目标的特定区域)照明目标的特定区域。方法900可以包括任何额外步骤，或者可以包括本文关于成像系统的操作所描述的所列步骤902、904、906、908、910或其他额外步骤的实施细节。可以预期方法900的额外和替代步骤。
图10是用于操作成像系统的元件以标识目标环境中的空间和光谱复用探针和/或提供成像系统的一些其他功能和/或应用的示例方法1000的流程图。方法1000包括控制空间光调制器(SLM)，使得SLM的折射层的折射率的可控梯度的方向或符值中至少一个在多个时间段中的每个时间期间不同(1002)。在一些示例中，受控折射率可以是色散折射层的折射率，使得被引导向SLM、从SLM反射、透射过SLM或以其他方式已经与SLM相互作用的光被光谱地色散。在一些示例中，SLM可以进一步包括布置在折射层下面的反射层。在一些示例中，SLM可以包括具有相应的电子方可控的折射率的区域的阵列，并且电子控制SLM(1002)可以包括电子控制各个单元(cell)的折射率，使得单元的折射率在与可控梯度的指定方向对应的方向上以与可控梯度的指定量值对应的空间改变率变化。
方法1000额外地包括使用光传感器生成目标的多个图像，其中每个图像与多个时间段中的相应的一个时间段对应(1004)。这可以包括操作电荷耦合器件(CCD)、CMOS相机、有源像素传感器阵列或其他成像设备以在多个时间段期间生成图像。
方法1000还包括基于多个图像确定目标中的两个或更多个荧光团的位置和颜色(1006)。这可以包括使用去卷积过程。这样的去卷积可以基于关于在多个时间段期间SLM的操作的信息(例如，关于在时间段中的每一个期间SLM的折射层的折射率的可控梯度的方向和量值的信息)并且基于关于用于从目标接收光、将光施加到SLM并将来自SLM的光提供给光传感器的成像系统的信息。可以使用其他方法(例如，结合图2A-图D描述的方法)来确定目标中的两个或更多个荧光团的位置和颜色。
方法1000额外地包括基于两个或更多个荧光团的确定的颜色和位置来确定位于目标中并且包含该两个或更多个荧光团的探针的标识(1008)。这可以包括将环境内的检测到的荧光团颜色的图案(例如，线性地、圆形地或以其他方式排列的图案的荧光团的颜色的顺序)和与环境中的潜在探针的标识对应的荧光团的已知图案进行匹配。这(1008)可以包括使用荧光团的所确定的颜色和位置来标识和/或定位目标内的探针，例如，通过将荧光团位置的图案和/或荧光团颜色的顺序与对应于特定类型的探针的模板图案或顺序进行匹配。在一些示例中，标识探针可以包括确定检测到的荧光团(例如，其位置和/或颜色已经被确定的荧光团)的集合与单个探针对应的概率和/或确定这样的探针属于一种或多种类型的概率。这可以包括基于目标中荧光团的检测到的图案中的一个或多个缺失的荧光团来确定多个可能的探针标识。可以预期用于基于目标中的荧光团的确定的位置和颜色来标识探针的其他方法。
方法1000可以包括其他额外步骤或元素。方法1000可以包括操作微镜器件以控制微镜器件的致动的反射镜的角度，例如以将来自目标的光引导向SLM。方法1000可以包括(例如通过控制微镜器件的一个或多个致动的反射镜以将照明反射向目标的一个或多个区域，而将由激光器或其他光源生成的照明反射向目标的一个或多个指定区域)照明目标。方法1000可以包括任何额外步骤，或者可以包括本文关于成像系统的操作所描述的所列步骤1002、1004、1006、1008或其他额外步骤的实施细节。可以预期方法1000的额外和替代步骤。
VII.使用光谱地色散的照明进行成像
用于对样品(例如，生物样品)成像以便标识样品中的探针，检测样品中的荧光团(例如，这样的探针的荧光团)的位置、颜色或其他性质或提供某个其他益处的以上方法和系统旨在作为非限制性示例实施方式。在一些示例中，以荧光团(例如，探针的荧光团)的激发和发射光谱或样品的其他内容可以被高效地检测或确定的这样的方式对样品成像可能是有利的。这可以包括将照明施加到相对于波长被空间地编码的样品；即，照明样品，使得样品的不同区域接收不同波长的照明。本公开的实施例可以使用显微镜来实现，该显微镜例如为具有一个或多个2-D成像设备(例如，CCD或CMOS传感器或相机)的荧光显微镜、共焦显微镜(沿着至少一个维度具有共焦性)、透射显微镜或反射显微镜。替代地，可使用合适的光学元件根据本公开的实施例构建光学系统。
不是针对每个感兴趣的激发波长获取样品的高光谱图像，本公开的实施例允许针对样品上的区域的子集获取与多于一个激发波长对应的发射光谱的2-D图像。多个2-D维图像可以被获取并且在计算上重建，以获得样品的4-D高光谱成像数据集。
根据本公开的一方面，可以使用具有一个或多个波长的激发光来激发样品中的荧光团。激发光可以由发射具有一个或多个波长的光的多色光源生成。在一些实施例中，多色光源可以具有连续光谱。例如，多色光源可以是诸如超连续谱激光器、白光源(例如，高压汞灯、氙灯、卤素灯或金属卤化物灯)或一个或多个LED的宽带光源。在其他实施例中，多色光源可以具有离散光谱。例如，多色光源可以是发射具有非常窄光谱的光的脉冲或连续“单波长”激光器的组合。
根据本公开的一方面，由光源发射的激发光可以使用空间光调制器(SLM)被结构化为用于激发图案来激发样品上的区域的子集。为了结构化激发光，SLM可以通过选择性地致动或切换其像素来调制激发光的相位或振幅。在一些实施例中，SLM可以选自包括数字微镜器件(Digital Micromirror Device，DMD)、衍射光学元件、液晶器件(Liquid CrystalDevice，LCD)和硅基液晶(Liquid Crystal-On-Silicon，LCOS)器件的一组SLM。
根据本公开的一方面，结构化激发光可以在第一侧向方向(例如，垂直方向y或水平方向x)上光谱地色散。激发光的光谱色散可以在第一侧向上分开或分离激发光的光谱的一个或多个波长。在一些实施例中，在激发光以激发图案照明样品之前，可以使用至少一个色散元件来光谱地色散激发光。至少一个色散元件可以是衍射光栅或棱镜，或者是一个或多个棱镜的组合。因此，可以示出光谱地色散的激发图案以照明样品上各种空间位置处的区域。
样品中的荧光团或其他类型的光学标记可以通过照明样品的激发光来激发。当它们弛豫到基态时，荧光团或光学标记可以发射称为发射光谱的一波长范围的光。荧光团或光学标记可以具有与激发光的不同波长对应的不同发射光谱。
如本文所述，荧光团在本公开中用作示例性光学标记。涉及荧光团的描述同样适用于与本公开的实施例一致的其他类型的光学标记。例如，从光源发射的激发光还可以激发其他类型的光学标记，其在激发时可以发射具有发射光谱的光。因此，本公开的描述中使用的荧光和荧光发射光谱也可以用于表示其他光学标记的发射光和发射光谱。
根据本公开的一方面，由样品的给定区域中被激发光激发的荧光团发射的荧光可以在第二侧向方向(例如，水平方向x或垂直方向y)上光谱地色散。可以采用至少一个色散元件来将荧光光谱地色散成与该给定区域处的激发波长对应的荧光发射光谱。样品上的区域的子集的荧光发射光谱可以作为2-D图像在二维成像设备的一次曝光中被获取。
根据本公开的一方面，可以通过在第一和第二侧向方向上扫描光谱地色散的激发图案并且获取在激发图案的每个空间位置处的荧光发射光谱的2-D图像来获取跨样品上或跨视场的所有区域的荧光激发和发射光谱。
在一些实施例中，可以通过调制SLM的像素来跨样品或视场扫描激发图案。在其它实施例中，可以使用x-y平移载物台通过在第一和第二侧向方向上移动样品或衍射光栅来跨样品或视场侧向扫描激发图案。该载物台可以是电机驱动的平移载物台、压电平移载物台或允许侧向线性移动的任何合适的载物台。
有利地，可以从发射光谱的2-D图像计算地重建4-D高光谱成像数据集，每个2-D图像与样品上不同空间位置处的激发图案对应。
在一些方面，根据本公开的系统和方法允许共焦光学切片(sectioning)。这可以允许沿着样品的轴向方向获取用于多个焦平面的高光谱成像数据集。根据本公开的一方面，通过在与所选焦平面共轭的平面处实现一个或多个光学针孔(pinhole)，可以获取焦平面的高光谱成像数据集。光学针孔可以是一个或多个空间针孔，或者可以是由第二SLM的像素形成的可编程人工针孔。
有利地，可以根据需要通过改变由SLM形成的人工针孔的尺寸和/或分开来调节共焦性的程度。额外地，可以通过选择性地调节或切换其像素来匹配激发光的激发图案来由SLM形成针孔图案。针孔图案可以有利地允许对样品上的同时被激发图案照明的多个区域共焦成像。与使用顺序的逐点扫描的传统共焦显微镜相比，这可以提高焦平面处获取跨样品的高光谱成像数据集的速度和/或吞吐量。
现在将详细参考本公开的实施例和方面，本公开的示例在附图中示出。在可能的情况下，将在整个附图中使用相同的附图标记来指代相同或相似的部分。
如本文所述，为了示出光的不同波长或频率，在附图中使用不同的虚线纹理密度。较高密度对应于较长波长或较低频率的光。此外，垂直和水平方向用作用于示出第一和第二侧向方向的示例。替代地，水平方向可以是第一侧向方向，而垂直方向可以是第二侧向方向。如本文所述，任何两个适当的不同方向或一对不平行(例如，正交)的方向可以用作第一和第二侧向方向。
用于获取高光谱成像数据集的示例方案
图11图示了用于获取由本公开的方法和系统使用的高光谱成像数据集的示例性方案。如图11所示，具有离散光谱的激发光以激发图案1100照明到样品上。激发图案1100可以包括激发光斑的2-D阵列。例如，图11示出了圆形激发光斑的示例性2-D阵列的一部分。阵列的额外光斑可以位于示例性阵列的上方、下方、左侧和/或右侧(未示出)。如本文所述，可以根据应用预先确定阵列的合适尺寸以及光斑的合适形状、尺寸和/或分开。
激发光的离散光谱包括多个离散波长或多个窄光谱带。因此，当激发光沿着给定侧向方向被色散元件光谱地色散时，激发图案1100可以被光谱地色散成使得不同波长的光被引导到给定侧向方向上的不同位置。例如，如图11所示，激发图案1100可以包括多个扫描单元1110，例如，扫描单元1110的2-D阵列。当激发光沿着垂直方向光谱地色散时，每个扫描单元1110可以包括彼此垂直偏移并对应于激发光的由光谱色散生成的不同激发波长的多个激发光斑1112a、1112b、1112c、1112d、1112e和1112f。
激发光斑之间的垂直分开可以是均匀的或者可以不是均匀的，并且可以由诸如激发波长、光斑的尺寸和激发光的色散量的各种因素来预先确定。扫描单元1110中被垂直色散的激发光斑的总数可以取决于激发光的离散波长或窄光谱带的数量。
为了生成样品上给定空间位置的激发光谱，可以在垂直方向上扫描如图11中所示的光谱地色散的激发图案1100，使得与不同激发波长对应的激发光斑可以移位到该给定空间位置。例如，当激发图案1100在垂直方向上移位时，先前由激发光斑1112a、1112b、1112c、1112d、1112e和1112f照明的每个扫描单元1110中的区域可以被这些激发光斑中的不同的激发光斑照明。例如，通过使激发图案1100移位过一个激发光斑，先前由激发光斑1112b照明的区域会被激发光斑1112a照明，先前由激发光斑1112c照明的区域会被激发光斑1112b照明，先前由激发光斑1112d照明的区域会被激发光斑1112c照明，先前由激发光斑1112e照明的区域会被激发光斑1112d照明，先前由激发光斑1112f照明的区域会被激发光斑1112e照明，并且先前由激发光斑1112a照明的区域会被从位于上方的扫描单元(未示出)移位的激发光斑1112f照明。
每个扫描单元1110内的区域可以通过在垂直方向和水平方向上移位光谱地色散的激发图案1100来扫描。例如，通过使激发图案1100在垂直方向上移位过扫描单元1110的长度，扫描单元1110中的给定区域可以被与光源的不同激发波长对应的不同激发光斑照明。通过(例如，基于期望的垂直和/或水平分辨率)以连续方式或以预定分开使激发图案1100垂直和/或水平地移位过扫描单元1110的长度，扫描单元1110中的每个给定区域可以被不同的激发光斑照明。
如图11所示，激发图案1100的激发光斑在水平方向上以给定周期分开。有利地，激发光斑在水平方向上的周期性分开允许测量样品上的被激发区域的荧光发射光谱。例如，来自由激发光斑照明的给定区域的发射的荧光可以在水平方向上光谱地色散而不与另一区域的荧光重叠。因此，被激发光斑同时照明的多个区域的荧光发射光谱可以通过2-D成像传感器或设备生成和获取。
图11示出了荧光发射光谱的2-D图像1200，其中在垂直方向上表示激发波长(λa)并且在水平方向上表示的发射波长(λb)。图11图示了在2-D图像1200中，被与不同激发波长对应的激发光斑1112a、1112b、1112c、1112d、1112e和1112f激发的区域可以生成沿水平方向延伸的不同荧光发射光谱1212a、1212b、1212c、1212d、1212e和1212f并且在垂直方向上对应地彼此偏移。因此，可以在2-D图像1200中获取多个荧光发射光谱，其中每个发射光谱与样品上不同空间位置处的激发图案1100的被激发光斑对应。
如上所述，可以通过在垂直和水平方向上侧向地空间移位激发图案1100来照明每个扫描单元1110中的不同区域。在激发图案1100的每个空间位置处，可以在2-D图像1200上获取被照明区域的荧光发射光谱。因此，可以获取与彼此侧向移位的一系列激发图案1100对应的荧光发射光谱的多个2-D图像1200。
通过组合所获取的2-D图像1200的数据集，可以针对2-D图像1200中的每个像素或空间位置获取荧光激发-发射矩阵(Excitation-Emission Matrix，EEM)。荧光EEM可以记录或显示作为多个激发波长和发射波长范围的函数的荧光强度。因此，可以从所获取的2-D图像1200收集并重建样品的具有激发和发射光谱的4-D高光谱成像数据集。
图12图示了用于通过本公开的方法和系统获取高光谱成像数据集的另一个示例性方案。如图12所示，当激发光具有连续光谱并且通过色散元件沿着垂直方向光谱地色散时，激发光的聚焦光斑可以沿垂直方向光谱地色散成连续的激发线。在这样的实例中，如图12所示，激发图案1100可以光谱地色散成激发线的2-D阵列1114，每个激发线表示激发光的以连续方式垂直偏移的波长范围。
图12示出了激发线的示例性2-D阵列1114的一部分，其示出了3×3的2-D阵列。阵列的其他激发线可位于示例性阵列的上方、下方，左侧和/或右侧(未示出)。如本文所述，可以根据给定的应用选择阵列的合适尺寸，激发线的合适的形状、尺寸和/或分开。
通过在垂直和水平方向上移位光谱地色散的激发图案1100，可以如上所述类似地扫描每个扫描单元1110内的区域。与激发图案1100的激发线的阵列1114对应的荧光发射光谱的阵列1214可以在2-D图像1200上被类似地获取。2-D图像1200中的每个荧光发射光谱1214与样品上的由激发图案1100的激发线1114照明的连续条纹对应。
在图12所示的方案中，在一些实施例中，当在垂直方向上移位光谱地色散的激发图案1100时，随后可以以在垂直移位之后比第一波长长或短的第二波长来激发沿着激发线1114以第一波长被激发的区域。因此，通过(例如，基于期望的垂直分辨率)以连续方式或通过预定分开垂直地移位激发图案1100，由每个扫描单元1110中被激发线1114照明的区域可以以光源的不同激发波长被照明。类似于图11所示的方案，通过在水平方向上移位激发图案1100，可以由不同的激发线照明样品上每个扫描单元1110中的其他区域。
如本文所述，样品上由激发图案1100照明的区域可以基本上由激发图案1100的激发光斑或激发线的尺寸和形状确定。激发光斑或激发线的尺寸和形状可以由光学系统的许多因素确定，包括SLM的像素的尺寸和形状、光学系统的放大率以及激发光的光谱色散程度。
可以基于各种因素(诸如激发波长、样品的尺寸、光学系统的视场、期望的测量吞吐量、空间分辨率和/或速度、以及激发光和/或发射的荧光的光谱色散的量)来预先确定激发图案1100的激发光斑或激发线之间的(水平和/或垂直)空间分开。
例如，可以基于激发光的光谱色散的量来预先确定激发光斑或线之间在垂直方向上的空间分开，使得激发光斑或线在垂直方向上不重叠。可以基于荧光发射光谱在水平方向上的范围来预先确定激发光斑或线之间在水平方向上的空间分开，使得荧光发射光谱在水平方向上不彼此重叠。
在一些实施例中，激发光斑阵列的水平和/或垂直周期对于不同波长可以是相同的。在其它实施例中，激发光斑阵列的水平和/或垂直周期对于不同波长可以是不同的。在一些情况下，如下面进一步描述在例如将SLM放置在样品的傅立叶平面处以生成激发图案1100的一些情况下，不同空间周期对于计算地重建4-D高光谱成像数据集可能是方便的。
以下参考光学系统和/或组件的示意图的实施例涉及用于实现上述用于获取4-D高光谱成像数据集的方案的系统和方法。示意图应被理解为没有按比例绘制。
示例性光学系统和组件
图13是示例性高光谱成像系统1300的示意图。在一些实施例中，系统1300可以是荧光显微镜、透射显微镜、或反射显微镜、或共焦荧光显微镜(沿着至少一个维度具有共焦性)。本公开的实施例适用于用于执行高光谱成像的其他合适的显微镜技术。
如图13所示，系统1300可以包括照明系统和检测系统，照明系统和检测系统均具有多个组件。照明系统可以包括光源1310、第一SLM 1320a、至少一个透镜(例如，透镜1330a)、以及至少一个色散元件(例如，色散元件1340a)。检测系统可以包括2-D成像设备1380、至少一个透镜(例如，透镜1330b)以及至少一个色散元件(例如，色散元件1340b)。根据其布局、几何结构和/或应用，系统1300还可以包括分束器1350、物镜1360、偏振器1390a和/或放置待成像样品的样品保持器1370。系统1300可以还包括其他光学元件，例如反射镜、束流收集器(beam dump)等。
如本文所述，系统1300的光轴可以限定激发光和来自样品的发射的荧光沿其传播通过系统1300的路径。
在照明系统中，如图13所示，光源1310发射激发光1402，激发光1402被引导至SLM1320a。激发光1402可以使用一个或两个透镜(未示出)被准直和/或扩展。SLM 1320a可以通过选择性地致动或切换其像素来调制激发光1402的相位或振幅来结构化激发光1402。SLM1320a的像素的至少一部分反射激发光1402并沿着系统1300的光轴引导激发光1402。
如图13所示，反射的激发光1404透射过透镜1330a和色散元件1340a。透镜1330a可以沿着光轴准直反射的激发光1404。色散元件1340a沿第一侧向方向光谱地色散反射的激发光1404。例如，色散元件1340a可以对反射的激发光1404造成小的波长相依性的角偏转。光谱地色散的激发光1406可以被分束器1350反射并且被引导向物镜1360。物镜1360然后将光谱地色散的激发光1406聚焦到放置在样品保持器1370上的样品。
在检测系统中，如图13所示，由样品中被激发荧光团发射的荧光被物镜1360收集和/或准直。荧光1408沿着系统1300的光轴透射过分束器1350和色散元件1340b。如上所述，色散元件1340b沿着第二侧向方向光谱地色散荧光1408。光谱地色散的荧光1410透射过透镜1330b并且由2D成像设备1380获取。成像设备1380可以放置在远离透镜1330b大约一个焦距处，使得透镜1330b可以对光谱地色散的荧光1410成像并将其聚焦到成像设备1380的2-D传感器上。
如下面进一步描述的，系统1300的其他配置可以使用额外的光学元件，诸如反射镜，透镜等。
下面详细描述系统1300的各种组件的功能和工作原理。
光源
如上所述，光源1310可以具有连续光谱或离散光谱。光源1310可以是白光源，例如超连续谱激光器，或者具有离散窄光谱带的“单波长”激光器的组合。在一些实施例中，由光源1310发射的激发光1402可以被直接引导向SLM 1320a。在其它实施例中，在入射到SLM1320a上之前激发光1402可以被透镜准直和/或扩展。额外地或替代地，可以使用漫射器或去斑元件使激发光1402漫射以减少相干照明的散斑效应。
在一些实施例中，光源1310可以可操作地连接到具有处理器和存储指令或操作步骤的计算机可读介质的控制器(未示出)。当由处理器执行时，这些指令或步骤调制光源的操作状态。例如，处理器可以启用或停用光源1310，当光源1310是脉冲光源时调制脉冲的持续时间，和/或切换或调谐光源1310的发射波长。
用于调制激发光的空间光调制器
如上所述，为了结构化用于激发图案1100照明样品的激发光1402，SLM1320a可以通过在操作状态之间选择性地调制其像素来调制激发光1402的振幅或相位。
振幅调制
在一些实施例中，激发光1402的振幅可以由SLM 1320a调制。例如，SLM 1320a可以是具有多个微镜的阵列(未示出)的数字微镜器件(DMD)。这些反射镜可以被单独地致动以在两个操作位置(即“开”位置和“关”位置)之间切换。当微镜被配置为处于“开”位置时，激发光1402被反射以沿着光轴传播作为被引导向样品的反射的激发光1404。当微镜被配置为处于“关”位置时，激发光1402被反射向偏离光轴的方向并且不被引导至样品(未示出)。在一些实施例中，被“关”微镜反射的激发光1402可以被引导至其他光学元件，诸如反射镜或束流收集器(未示出)。
在一些实施例中，微镜是正方形形状，其边长的范围从约几微米到约10μm。微镜的其它形状和尺寸也是可能的并且可以适当地使用。DMD通常能够非常快速地改变或交替微镜的“开”和“关”位置。
在一些实施例中，DMD的单个微镜可以被称为单个像素。在其它实施例中，多个微镜可以被称为单个像素。例如，一组紧邻的微镜可以被称为单个像素并且可以被调制或致动到相同的位置。
振幅调制图案可以由DMD的处于“开”位置的微镜或像素形成。振幅调制图案可以通过透镜1330a和物镜1360作为激发图案1100被成像到样品上。例如，透镜1330a被用作管透镜并且与物镜1360结合以形成成像配置。DMD被放置在样品的共轭平面处或者在透镜1330a之前的大约一个焦距处。取决于透镜1330a和物镜1360的焦距，激发图案1100可以是振幅调制图案的放大或缩小图像。
在其它实施例中，为了调制激发光1402的振幅，SLM 1320a可以是液晶器件(LCD)或硅基液晶(LCOS)器件。通过操纵入射在像素上的光的偏振，SLM 1320a的像素可以创建振幅调制图案。类似于DMD、LCD或LCOS器件可以放置在样品的共轭平面处。LCD或LCOS器件的像素可以以逐像素方式在“开”状态和的“关”状态之间电学调制。“开”像素可以使线偏振光的取向旋转约90°，而“关”像素不执行旋转。在这样的实例中，第一线偏振器(未示出)可以用于使激发光1402线偏振。可以使用第二线偏振器或偏振分束器(PBS)(未示出)来透射由“开”像素反射的激发光1404并阻挡由“关”像素反射的激发光1402。
使用SLM 1320a调制激发光1402的振幅的缺点是在调制期间损失光。这是因为SLM1320a的大部分像素通常处于“关”状态。因此，大部分激发光1402被转向离开光轴并且不会到达样品，并因此损失。激发光再循环系统可以用于通过将偏离光轴的激发光重新引导回到光轴来减少这种损失，如下面进一步所述。
相位调制
在一些实施例中，激发光1402的相位可以由SLM 1320a调制。SLM 1320a可以是反射型LCD或LCOS器件。图14是使用LCD或LCOS器件作为SLM1320a的示例性系统1300的示意图。如图14所示，LCD或LCOS器件可以靠近样品的共轭平面1322放置。可以由LCD或LCOS器件的像素形成自定义相位调制图案。相位调制图案可以创建离轴透镜相位剖面(profile)的阵列。然后可以通过相位调制图案来调制激发光1402的波前，并且在共轭平面1322处形成初步激发图案(例如，衍射图案)。该初步激发图案可以是激发图案1100的放大或缩小图像并且可以包括聚焦光斑的阵列。
共轭平面1322可以位于SLM 1320a之外的较短距离处。初步激发图案的聚焦光斑的焦平面可以是波长相依性的。因此，不同波长的激发光1402可以不全都聚焦在共轭平面1322上。在一些实施例中，对于激发光1402的中心波长的焦平面大致在共轭平面1322处。在共轭平面1322处或附近形成的初步激发图案随后通过透镜1330a和物镜1360作为激发图案1100被成像到样品上。尽管在这种配置中不同波长的激发图案1100可能具有稍微不同的焦平面，但是与幅度调制相比，调制激发光1402的相位提高了使用激发光1402的效率。
在其他实施例中，LCD或LCOS器件可以放置在孔径平面处，该孔径平面可以是物镜1360的后孔径的共轭平面或样品的傅立叶平面。例如，系统1300的一个示例性配置可以具有放置在SLM 1320a和物镜1360之间的两个管透镜(未示出)。第一管透镜可以位于SLM1320a后面大约一个焦距处。第二管透镜可以位于第一管透镜后面大约两个焦距处。物镜1360可位于第二管透镜后面大约一个焦距处。
LCD或LCOS器件的像素可以形成自定义相位调制图案以调制激发光1402的波前。在LCD或LCOS器件反射激发光1402时，可以根据相位调制图案选择性地改变在反射的激发光1404的波前不同位置处的相位。在一些实施例中，LCD或LCOS器件的像素可以以逐像素方式在“开”状态和“关”状态之间电学调制。如果LCD或LCOS器件的像素处于“开”状态，则它们可以通过改变在液晶中行进的光的光学路径长度来改变反射光的相位；并且如果它们处于“关”状态，则它们不会改变反射光的相位。这允许由像素形成的相位调制图案根据需要而被数字地自定义。在其他实施例中，LCD或LCOS器件的像素可以具有多个状态或调节级别(例如，256个级别)，并且可以被单独地调制到期望的状态或级别。有利地，提高像素的调节的状态或级别提高了调节相位调制图案的连续性并且因此提高了调节激发光1402的相位的连续性。
相位调制可以使反射的激发光1404的小波具有不同方向和/或相位。当反射的激发光1404沿着光轴传播时，管透镜和物镜1360中的每一个都可以对反射的激发光1404的波前执行傅里叶变换。然后可以在物镜1360的焦平面处形成衍射图案。当被照明在样品上时，该衍射图案在本文中被称为激发图案1100。
在上述配置中，因为相位调制图案处于或近似处于样品的傅立叶平面处，所以相位调制图案是照明在样品上的期望激发图案1100的逆傅立叶变换。由于傅立叶变换包括与光的波长成比例的缩放因子，所以激发图案1100中激发光斑的阵列的空间周期对于不同波长可以不同。例如，较长波长将以较大角度衍射，这可以被转换为较大的空间周期。这可以使得在2-D图像1200中获取的对应的荧光发射光谱阵列具有不同的空间周期。可以使用自定义计算机算法来生成时变相位调制图案，用于跨视场进行扫描和/或用于从这样的2-D图像的数据集计算地重建4-D高光谱成像数据集。
有利地，调制激发光1402的相位可以允许其在LCD或LCOS器件的近场中以基本均匀的强度传播并且因此减少光的损失。然后经调制的激发光可以在远场中在样品上形成可自定义或可编程的激发图案1100。因此，与如上所述调制激发光1402的振幅相比，调制激发光1402的相位以创建激发图案1100可以通过减少激发光1402的损失来大幅提高系统1300的照明效率。额外地，提高激发光1402的相位调制的连续性可以进一步提高LCD或LCOS器件的衍射效率并因此提高系统1300的照明效率。
用于调制激发光1402的振幅或相位的LCD或LCOS器件可以替代地可以是沿着光轴实现的透射型器件。照明系统的几何结构可以被适当地设计，使得由器件的像素形成的振幅或相位调制图案可以类似于如上所述调制激发光1402的振幅或相位。
无论SLM 1320a是调制激发光1402的振幅还是相位，都可以根据需要通过以逐像素的方式在两个或多个操作状态或级别之间调制SLM 1320a的像素来编程和自定义激发图案1100。另外，通过扫描或移位SLM 1320a的像素的调制，激发图案1100可以在给定的空间方向(诸如水平或垂直方向)上平移或移位。这有利地允许跨系统1300的视场扫描激发图案1100，而无需使用x-y平移载物台来移动样品和/或样品保持器1370。
在一些实施例中，取决于SLM 1320a的像素的类型和调制特征，激发光1402可以相对于SLM 1320a的平面以预定角度被引导向SLM 1320a。所述预定角度可以取决于SLM1320a的类型和/或系统1300的几何结构。在一些实例中，当SLM 1320a是调制激发光1402的相位的反射型SLM时，激发光1402可以以使得反射的激发光1404沿着系统1300的光轴传播的角度被引导向SLM 1320a。在其他实例中，当SLM 320a是DMD时，激发光1402可以以使得由“开”微镜反射的激发光404沿着光轴传播的角度被引导向DMD。
在一些实施例中，SLM 1320a可以可操作地连接到具有处理器和存储指令或操作步骤的计算机可读介质的控制器(未示出)。当由处理器执行时，这些指令或步骤调制SLM1320a的像素的操作状态以形成期望的激发图案1100和/或使激发图案1100在期望的空间方向上平移过跨视场的预定距离。
透镜和物镜
系统1300的各种透镜(诸如透镜1330a和1330b)可以是消色差的(诸如消色差双合透镜或三合透镜)以限制或减小系统的色差和/或球差的影响。另外，系统1300的物镜1360可以是消色差的。替代地或额外地，物镜1360可以是无限校正物镜，使得物镜1360可以形成从其后孔径进入的准直光束的期望焦点(例如，聚焦光斑或聚焦图案)。使用消色差透镜和/或消色差或无限校正物镜可以允许不同波长的激发光1402在样品中具有至少近似相同的焦点。此外，使用消色差透镜和/或消色差物镜可以允许来自样品中的焦平面的不同波长的荧光类似地在成像设备1380处形成聚焦图像。因此，使用消色差透镜和/或消色差物镜可以改善荧光发射光谱的2-D图像1200的质量，并且因此改善重建的高光谱成像数据集的质量。
色散元件
色散元件1340a和1340b可以是衍射光栅或棱镜，诸如无偏棱镜(例如，阿米奇棱镜或双阿米奇棱镜)。色散元件1340a和1340b的类型可以相同或可以不同。由色散元件1340a和1340b引起的色散程度可以相同或不同，并且可以基于各种因素(诸如激发光和荧光的光谱范围、样品或视场的尺寸、成像设备1380的尺寸、期望的光谱分辨率以及系统1300的应用)来预先确定。
在一些实施例中，由色散元件1340a和1340b引起的色散程度可以是可调的。例如，色散元件1340a可以是沿着系统1300的光轴放置的一对双阿米西棱镜。该一对双阿米西棱镜中的至少一个可绕光轴相对于另一个旋转。双阿米西棱镜相对于彼此的旋转可以允许连续控制激发光1402的光谱色散的量和/或角取向。类似地，色散元件1340b可以是一对双阿米西棱镜，允许连续控制荧光1408的光谱色散(例如，色散角)的量和/或角取向。
激发光阻挡
因为激发光1402的强度可能比荧光1408强几个数量级，所以由样品和/或样品保持器1370反射和/或散射的激发光1402可以进入检测系统并影响成像设备1380对荧光发射光谱的检测或获取。因此，如下所述，本公开的实施例可以减少或阻挡激发光1402传播到检测系统中。
在一些实施例中，分束器1350可用于排斥或阻挡激发光1402传播到检测系统中。例如，系统1300的分束器1350可以是二向色分束器、偏正分束器(PBS)或其它合适类型的分束器。
当光源1310或激发光1402具有包含一个或多个离散波长或窄光谱带的离散光谱时，分束器1350可以是根据其波长而选择性地反射和透射光的二向色分束器。例如，分束器1350可以是具有多个截止波长和通带的多频带二向色性的。可以选择多频带二向色性来基本上反射激发光1402的波长并且基本上透射荧光1408的波长。在这样实例中，荧光1408的与激发光1402的波长相同或接近的一些波长可以基本上被阻挡，并且因此在成像设备1380获取的2-D图像1200中可以具有大幅减小的强度。
替代地或额外地，当光源1310或激发光1402具有离散光谱时，可以沿着光轴将对应的陷波滤波器(notch filter)的集合或单个多重陷波滤波器(未示出)添加到检测系统。陷波滤波器或多重陷波滤波器可以选择性地反射激发光1402的离散波长或窄光谱带，从而阻挡激发光1402到达成像设备1380。同样，荧光1408的与激发光1402的波长相同或接近的一些波长可以基本上被阻挡，并且因此在成像设备1380获取的2-D图像1200中可以具有大幅减小的强度。
当光源1310或激发光1402具有连续光谱时，分束器1350可以是反射激发光1402的波长的至少一部分并且透射荧光1408的波长的至少一部分的长通(long-pass)二向色分束器。激发光1402的光谱通常是从紫外光到可见光谱的范围，而荧光1408的光谱是通常从可见光谱到近红外光谱的范围。因此，长通二向色分束器可以阻挡激发光1402的波长而透射荧光1408的波长。然而，在一些实例中，激发光1402的光谱和荧光1408的光谱都可以包括短波长到长波长，并且它们可以例如在可见光谱中重叠。在这样的实例中，长通二向色分束器可以阻挡在可见光谱中的至少一些荧光1408，并且可能不适用于在例如荧光1408的被阻挡的光谱包含期望的光谱信息的应用中用于排斥激发光1402。
不管光源1310或激发光1402的光谱的类型(无论是离散还是连续)，在一些实施例中，偏振器1390a和分束器1350可以被组合使用以阻挡激发光1402进入检测系统并由此向成像设备1380传播。例如，分束器350可以是反射其振动取向与偏振器1390a的透射轴对准的光的偏振分束器(PBS)。
例如，偏振器1390a可以放置在沿着光轴的任何合适的位置处以使激发光1402线偏振。可以选择PBS来反射具有与偏振的激发光的振动取向相同的振动取向的光并且透射具有垂直于偏振的激发光的振动取向的振动取向的光。由物镜1360收集的大部分激发光因此将从该PBS反射并且将不会到达成像设备1380。在一些实例中，样品和物镜1360都可以使反射和/或散射的激发光在小的程度上去偏振，并因此不期望地允许一些激发光透射过PBS并进入检测系统。
2-D成像设备
成像设备1380可以包括位于与样品中的选定焦平面共轭的图像平面处的合适的2-D传感器。传感器可以用CMOS传感器、CCD传感器、硅雪崩光电二极管(Silicon AvalanchePhotodiode，APD)的2-D阵列、电子倍增CCD(Electron-Multiplied CCD，EMCCD)、增强型CCD或其他合适类型的2-D传感器来实现。
成像设备1380可以操作性地连接到控制其操作的控制器或计算设备(未示出)。例如，控制器(未示出)可以具有处理器和存储指令或操作步骤的一个或多个计算机可读介质。当由处理器执行时，该指令或操作步骤可以操作成像设备1380的曝光，获取2-D图像1200，和/或将2-D图像1200的数据集存储到存储器。计算机可读介质可以进一步存储指令或操作步骤，该指令或操作步骤在由处理器执行时执行对所获取的2-D图像数据集的数据处理和/或从2-D图像数据集重建4-D高光谱成像数据集。
系统1300可以有利地具有额外技术特征和能力以增强其功能和性能，如下面详细描述的。
时间分辨能力
在一些实施例中，时间分辨能力可以被有利地添加到系统1300以允许荧光寿命成像(Fluorescence Lifetime Imaging，FLIM)或时间分辨荧光光谱。例如，脉冲光源(诸如超连续谱激光器)可以被用作光源1310，与具有皮秒至纳秒时间门控能力的2-D成像设备1380(例如，增强型CCD相机或光电色条相机)一起使用。替代地，可以结合电光快门使用常规的2-D CCD或CMOS传感器。在一些实施例中，调制的电子倍增荧光寿命成像显微镜(ModulatedElectron-Multiplied Fluorescence Lifetime Imaging Microscope，MEM-FLIM)相机可以与调制光源1310(例如，脉冲光源)结合使用。
样品中荧光团或荧光分子的寿命可以根据视场中每个空间位置的荧光发射光谱的所获取的时间分辨2-D图像来计算。这将另一维度的信息添加到高光谱成像数据集，从而提供关于样品中荧光团或荧光分子的额外信息。
因为FLIM在时域中用短激发脉冲激发荧光团，所以系统1300的FLIM能力可以通过丢弃接近零延迟的信号来基本上排斥散射和/或反射的激发光。这可以有利地减少或最小化散射和/或反射的激发光在所获取的荧光信号(例如，2-D图像1200)中的影响。
荧光偏振
在一些实施例中，系统1300可以有利地允许荧光偏振(或各向异性)测量以获得关于样品中的荧光团或荧光分子的额外信息。激发光和随后检测到的发射的荧光的偏振之间的关系可以用于分析和研究样品中分子的各种化学和/或物理过程，诸如旋转扩散、结合相互作用和取向。
为了添加用于测量荧光偏振的能力，如图15所示，系统1300可以包括偏振器1390a和光学元件，诸如波片或偏振器。例如，光学元件可以是消色差半波片(Half-Wave Plate，HWP)1390b。偏振器1390a可以是位于照明系统中的线偏振器，由此生成线偏振激发光，例如垂直偏振光。取决于它们的吸收偶极子的取向，样品中的各个荧光团优先被线偏振激发光激发。由于荧光团的随机取向、扩散和/或旋转，从样品发射的荧光可能部分去偏振。
分束器1350可以是基本上透射水平偏振光并反射垂直偏振光的偏振分束器(PBS)。例如，如图15所示，由偏振器1390a垂直偏振的激发光可以被PBS反射，然后传播向HWP 1390b。HPP 1390b可以放置在合适的位置处，例如沿着光轴在分束器1350之前。在这样的实例中，例如，HWP 1390b可以使线偏振的激发光和从样本收集的荧光的振动取向旋转垂直轴和HWP的快轴之间的角度的大约两倍。绕光轴旋转HWP 1390b将有利地旋转激发光和荧光的振动方向。分束器1350可以基本上阻挡偏振激发光并透射偏振的荧光的至少一部分以被成像设备1380获取。
取决于应用，这样的荧光偏振测定可以在稳态或者用时间分辨测量来执行，诸如利用如上所述的FLIM能力。
荧光偏振(或各向异性)的测量将信息的另一维度添加到系统1300获取的高光谱成像数据集。该额外维度的信息可以补充关于样品中荧光团标记的分子的局部化学和物理环境的高光谱成像数据集的其他维度中的信息，例如诸如质量和分子的取向。由系统1300获取的增强高光谱成像数据集可以进一步提高诊断样品的生理或病理变化的准确性。
激发光再循环系统
如上所述，因为大部分激发光1402被转向离开光轴并且不会到达样品，所以使用SLM 1320a(例如，DMD或LCD)调制激发光1402的振幅以生成激发图案1100会导致光损失。因此，在一些实施例中，系统1300可以有利地包括激发光再循环系统1500以提高激发光1402的利用效率。如下所述，再循环系统1500可以将偏离光轴的激发光重新引导回到朝向样品的光轴。
基于反射的方案
在一些实施例中，激发光再循环系统1500使用如图16所示的基于反射的方案。再循环系统1500可以包括一个或多个透镜和反射镜。例如，再循环系统1500可以包括透镜1330c、平坦反射镜1510、第一凹面反射镜1520a和第二凹面反射镜1520b。凹面反射镜可以由平面反射镜和透镜的组合代替。
激发光1402可以在穿过透镜1330c之前被准直。透镜1330c可以将准直的激发光1402聚焦到SLM 1320a的平面附近或与SLM 1320a的平面对准的给定平面1312处的反射镜1520a的焦点1312a。然后，激发光1402随着其从焦点1312a传播到反射镜1520a而扩展。反射镜1520a可以重新准直激发光1402并将其引导到SLM 1320a。
如上所述，当SLM 1320a是DMD时，激发光1402的一小部分可以被“开”像素沿着光轴反射向透镜1330a，而其余的光(例如，离轴激发光1403)以不同角度被“关”像素反射并且反射离开光轴。平面镜1520b可以被配置成截取该离轴激发光1403并将其反射回非常靠近焦点1312a的点1312b。点1312b与焦点1312a之间的分开可以刚好足够大以允许反射镜1510的边缘截取返回的离轴激发光1403而基本上不阻挡原始激发光1402。然后，反射镜1510可以经由几乎与原始路径对准的路径引导离轴激发光1403返回到SLM 1320a。在这样配置中，激发光1402可以通过反射镜之间的多次反射多次入射到SLM1320a上，从而将离轴激发光1403再循环返回到光轴。
如本文所述，图16中所示的用于离轴激发光1403的再循环的三条路径仅是示例性的。多个或无限的再循环路径是可能的。
以下讨论系统1300的一些设计考量。在一些实例中，再循环的离轴激发光1403可以稍微发散。对于在再循环系统1500中传播的离轴激发光1403的每个再循环路径，因为离轴激发光1403不返回到焦点1312a，所以离轴激发光1403在到达SLM 1320a时将具有与原始激发光1402的角度稍微不同的角度。角度差(或发散角)可以被定义为Δθ＝Δx/f，其中“Δx”是焦点1312a和点1312b之间的分开，并且“f”是用于重新准直由反射镜1510反射的离轴激发光的平面镜1520a(或透镜)的焦距。Δx可以至少大于反射镜1510的任何不可用的粗糙边缘，并且大于激发光1402的衍射极限光斑尺寸。取决于Δx和f的值，Δθ可以小于1度。这样的小程度的角度差(或发散角)可能不会影响激发图案1100的形成。
在一些实例中，当SLM 1320a是DMD时，DMD可以对反射的激发光1404具有衍射效应。例如，DMD的单个微镜可具有约10μm的边长。对于由微镜阵列的衍射引起的反射的激发光1404的典型发散角可以是大约λa/10μm，其中λa是激发光1402的波长。因此，发散角可以大约小于一弧度，例如1/20弧度，或者小于几度，例如3度。因此，来自再循环系统1500中不同的再循环路径的被DMD的“开”像素或微镜反射的大部分激发光1404可以重叠并沿着光轴传播，并且因此可能不会影响激发图案1100的形成。
在一些实例中，来自再循环系统1500中不同的再循环路径的反射的激发光1404可能展现光学干涉。对于具有离散波长或窄光谱带的光源1310，该干涉可能导致反射的激发光1404在聚焦于样品上时具有不稳定的强度。可以添加额外的光学组件以控制在不同的再循环路径中传播的激发光1403的相对相位以减小光学干涉效应。然而，这可能会使系统1300的设计复杂化。因此，用于再循环系统1500的如图16所示的基于反射的方案可能更适合于具有宽带光谱的光源1310(诸如白光源)的系统1300。对于这样的系统1300，干涉的效应可能会对反射的激发光1404的光谱施加非常快速的小振荡。荧光团通常具有宽光谱吸收特征，使得这些振荡在激发期间最终达到平衡。因此，当光源1310具有宽带光谱时，光学干涉效应可能对获取的荧光发射光谱具有很小影响。
基于偏振的方案
为了解决对于再循环具有离散波长或窄光谱带的激发光1402的上述技术问题，在一些实施例中，激发光再循环系统1500可以使用如图17所示的基于偏振的方案。
如图17所示，基于偏振的再循环系统1500可以包括一个或多个光学组件。例如，再循环系统1500可以包括光学隔离器1530、偏振分束器(PBS)1540、四分之一波片(quarter-wave plate，QWP)1550以及一个或多个反射镜，例如第一反射镜1510a和第二反射镜1510b。在一些实施例中，光学隔离器1530可以包括线偏振器或者可以可选地由线偏振器代替。
在该方案中，光学隔离器1530允许激发光402仅在一个正向方向上传播。激发光1402可以是线偏振光，或者可以在穿过光学隔离器1530之后变为线偏振。在穿过光隔离器1530之后的线偏振激发光被称为激发光1420。PBS1540可以被配置为透射具有与激发光1420的振动取向平行的振动取向的光并且反射具有与激发光1420的振动取向正交的振动取向的光。例如，激发光1420可以是水平偏振的或者具有水平方向上的振动取向。PBS 1540可以透射水平偏振光并反射垂直偏振光。因此，激发光1420透射过PBS 540并向SLM1320a传播。
以下对再循环系统1500的基于偏振的方案的描述使用水平偏振的激发光1420作为示例。再循环系统1500的基于偏振的方案的实施例同样适用于具有任何振动取向的线偏振激发光1420。
如上所述，当SLM 1320a是DMD时，激发光1420的一小部分可以被DMD的“开”微镜沿着光轴反射向透镜1330a，而被“关”像素反射的离轴激发光1403被转向离开光轴。平面镜1510a可以被配置成截取离轴激发光1403并将其反射回DMD上的“关”像素。离轴激发光1403可以在其朝向反射镜1510a传播时穿过QWP 550第一次并且在其被反射镜1510a引导回DMD时穿过QWP 550第二次，这使离轴激发光1403的振动取向旋转90°。例如，水平偏振激发光1403在穿过QWP 1550两次之后，可以被改变为垂直偏振。垂直偏振激发光然后被DMD的“关”微镜反射向PBS 1540。
因为被反射到PBS 1540的垂直偏振的激发光具有与水平偏振的激发光1420的振动取向正交的振动取向，所以它被PBS 1540反射并且被引导到反射镜1510b。在不改变其振动取向的情况下，反射镜1510b和PBS 1540然后将垂直偏振的激发光反射回DMD，然后在DMD处，“开”微镜将沿着光轴将垂直偏振激发光反射向透镜1330a。“关”微镜反射垂直偏振激发光，其再次透射过QWP 1550和反射镜1510a两次并变成水平偏振。该水平偏振的激发光将穿过PBS 1540，但是由于光学隔离器1530而不会传播回到光源1310。
在上述再循环系统1500的基于偏振的方案中，因为QWP 1550将离轴激发光1403的振动取向旋转90°，所以反射向光轴的激发光1404(其包括离轴激发光1403的被再循环的部分)将具有正交偏振。在这样的实例中，分束器1350(而不是偏振分束器)可以适当地是具有多个截止波长和通带的多频带二向色性的。如上所述，可以选择多频带二向色性，使得具有离散光谱的激发光1402的波长基本上被反射并且发射的荧光1408的波长基本上被透射。因此，这种基于偏振的方案在使用具有离散波长或窄光谱带的光源1310的系统1300(诸如以离散波长操作的激光器的集合的组合)中可以更好地工作。
共焦光学切片能力
如上所述，系统1300可以允许共焦光学切片，其允许选择样品中焦平面的深度。可以通过在与选定的焦平面共轭的平面处引入一个或多个光学针孔来选择焦平面的深度。
图18是允许共焦光学切片的示例性系统1300的示意图。如图18所示，系统1300可以包括如上所述用于生成激发图案1100的第一SLM 1320a、用于共焦光学切片的第二SLM1320b、至少一个额外反射镜1510c、一个或多个管透镜(例如，1330d和1330e)以及z轴平移载物台或可调谐液体透镜(未示出)。SLM 1320b可以具有与上面针对SLM 1320a所描述的类似类型和特征。例如，SLM 1320b的像素可以以与针对SLM 1320a所描述的像素相同的方式被单独调制。
SLM 1320b可以沿着光轴放置在与位于样品中的期望深度处的焦平面共轭的平面附近。例如，透镜1330b和物镜1360可以形成成像配置。如图18所示，透镜1330b可以位于物镜1360后面，并且SLM 1320b可以位于透镜1330b后面约一个焦距处。物镜1360的后孔径与透镜1330b之间的空间是准直空间，其可以根据需要基于各种因素(例如，系统1300的几何结构和最小光束孔径的期望位置)进行调节。在一些实施例中，透镜1330b被放置在物镜1360后面约一个焦距处。
SLM 1320b的像素可以被选择性地致动或切换到“开”或“关”状态以形成与在样品上的激发图案1100匹配或共轭的针孔图案。针孔图案可以包括位于共轭平面处多个人工光学针孔并且排斥来自样品的离焦(out-of-focus)荧光。因此，离焦荧光不会穿过检测系统并且基本上从被获取的2-D图像1200中被去除或消除。
针孔图案中人工针孔的尺寸和分开是可编程的，并且可以基于由物镜1360和透镜1330b形成的成像配置的放大率来自定义。在一些实例中，针孔图案可以包括呈细长形状的多个“开”像素以允许同时获取从样品上的多个位置(例如，由激发光斑1112a-1112f激发的区域)发射的荧光。在其他情况下，针孔图案可以包括匹配激发图案1100中的激发线或激发光斑的尺寸的“开”像素的阵列。
然后，由SLM 1320b的“开”像素反射的荧光1412通过管透镜1330d和1330e被成像到成像设备1380。例如，反射镜1510c可以沿着光轴被放置在合适位置并且用于将由“开”像素反射的荧光1412引导到管透镜。管透镜1330d可以位于由透镜1330b产生的图像之外大约一个焦距处(例如，在SLM1320b后面约一个焦距处)，使得其重新准直来自样品的荧光。成像设备1380可以位于管透镜1330e后面约一个焦距处或SLM 1320b的共轭平面处。因为荧光在管透镜1330d和1330e之间的空间中被准直，所以管透镜1330d和1330e之间的距离可以根据需要进行调节。在一些实施例中，管透镜1330e可以在管透镜1330d后面大约两个焦距处，使得管透镜1330d和1330e之间的中间平面与系统1300的出射瞳共轭。
通过对应地数字地改变和/或侧向移位激发图案1100和SLM 1320b上的匹配的针孔图案，可以扫描整个视场以获取共焦成像数据集。通过进一步扫描跨样品的视场，可以扫描整个样品以获得样品的完整共焦成像数据集。
在一些实施例中，成像设备1380可以适当地倾斜以减少像差并因此改善所获取的2-D图像数据集的质量。这至少是因为SLM 1320b的“开”像素以不垂直于SLM 1320b的表面平面的角度引导荧光1412，使得由管透镜1330d和1330e形成的图像平面可能被倾斜。由该倾斜效应引起的像差可以通过适当地倾斜成像设备1380来补偿。如果色散元件1340b的色散角被调节为平行于倾斜的成像设备1380的旋转轴，则可以进一步减少像差。
为了改变或选择焦平面的深度，在一些实施例中，样品保持器1370可以安装在z轴平移载物台上。可以通过使用z轴平移载物台沿着光轴移动样品保持器1370来选择期望的焦平面深度。替代地，物镜1360可以安装在z轴平移载物台上，并且可以通过沿着光轴移动物镜1360来选择焦平面的期望深度。如本文所描述的，z轴平移载物台还可以包括x-y平移能力以在侧向方向上移动系统1300跨样品的视场。在其他实施例中，可以通过调谐放置在物镜1360后面的可调谐液体透镜(未示出)的焦点来选择焦平面的期望深度。额外地，可以通过计算机程序来控制z平移载物台或可调谐液体透镜以实现自动聚焦。
有利地，可以根据需要通过改变由SLM 1320b形成的人工针孔的尺寸和/或分开来调节共焦性的程度。例如，通过增加针孔中的像素的数量来增加针孔的尺寸和/或减小针孔间距可以降低共焦性的程度并因此降低期望焦平面的深度选择性的程度。另一方面，通过减小针孔中像素的数量来减小针孔的尺寸和/或增加针孔间距可以增加共焦性的程度并且因此增加期望焦平面的深度选择性的程度。在一些实施例中，深度选择性可以与SLM 1320b的“关”和“开”像素的数量比成比例。因此，SLM 1320b可以有利地允许通过方便地调节针孔尺寸和/或分开来根据需要在宽场和共焦成像之间进行切换。
额外地，由SLM 1320b的像素形成的针孔图案有利地允许对样品上的被激发图案1100同时照明的多个区域共焦成像。与使用顺序逐点扫描的传统共焦显微镜相比，这可以提高在期望焦平面处获取跨样品的高光谱成像数据集的速度和/或吞吐量。
如图18所示，在使用SLM 1320b的系统1300的实施例中，色散元件1340b可位于管透镜1330d和330e之间的准直空间中。由于SLM 1320b上的针孔图案匹配样品上的激发图案1100，所以由SLM 1320b的人工针孔反射的荧光1412可以如上所述通过色散元件1340b色散，使得与激发图案1100的激发光斑对应的荧光发射光谱可以被成像设备1380的2-D传感器获取。
荧光发射光谱的选择性滤波
在一些应用中，具有间隔开的荧光发射光谱的不同荧光团(例如，绿色和红色荧光团)可以被用于或存在于样品中。这可以导致在2-D图像1200中获取的荧光发射光谱中的沿着发射波长轴的侧向间隙，导致对成像设备1380的2-D传感器上的空间的低效使用。
在其他应用中，不同荧光团的组合可以导致成像设备1380将获取的总体宽的荧光发射光谱。在一些实例中，在宽发射荧光光谱内的多个光谱区域可能比其他区域更有用。获取完整的宽荧光发射光谱可能导致对成像设备1380的2-D传感器上的空间的低效使用，并且进一步降低获取高光谱成像数据集的吞吐量。
为了提高使用成像设备1380的传感器空间的效率并增加系统1300的吞吐量，可以在检测系统中沿着光轴在准直空间处包括光谱分割系统1342。例如，如图18所示，光谱分割系统1342可以位于管透镜1330d和1330e之间，并且可以在检测系统中放置在色散元件1340b之前。光谱分割系统1342可以选择性地通过具有可调谐带宽和/或中心波长的一个或多个光谱带，从而允许获取具有期望的光谱带和/或期望的光谱分辨率的高光谱成像数据集。
如图18所示，光谱分割系统1342可以包括多个光谱分割模块1344。由样品发射的荧光1408可以在被准直或重新准直之后进入光谱分割系统1342。使用一个或多个分束器和/或机动化的翻转平面镜，光谱分割系统1342可以将输入的经准直荧光光束分割成一个或多个光束，每个光束具有不同的光谱带，并且引导它们分别通过光谱分割模块1344。每个光谱分割模块1344可以滤波光束中的一个以具有期望的带宽和中心波长。在滤波之后，光谱分割系统1342可以使用一个或多个分束器和/或机动化的翻转平面镜将滤波后的光束组合成输出光束。
光谱分割模块1344每个可以作为具有可调谐通带宽度和/或可调谐中心波长的可调谐带通滤波器来操作。例如，光谱分割模块1344可以沿其光轴包括长通滤波器和短通滤波器。长通滤波器和短通滤波器中的至少一个能够相对于光轴旋转。旋转滤波器可以调节滤波器上光束的入射角，并且因此移位它们的吸收或反射边缘的波长。因此，旋转长通滤波器和/或短通滤波器可以调谐由长通滤波器和短通滤波器形成的光谱通带的带宽和/或中心波长。替代地，光谱分割模块1344每个可以包括可调谐带通滤波器，其通带可以通过旋转滤波器并且因此调谐滤波器上光束的入射角来调谐。
光谱分割系统1342允许将所测量的荧光发射光谱被可调节地滤波到对特定应用有用的期望光谱范围。通过选择期望的光谱范围，成像设备1380的2-D传感器上的空间可以被更有效地使用。例如，如上所述，由色散元件1340b引起的色散程度可以是可调节的。可以通过使用色散元件1340b增加光谱色散的程度来增加荧光发射光谱的选定光谱范围的光谱分辨率，从而提供样品中的荧光团或荧光分子的更多信息。
额外地，选择期望的光谱范围可以允许沿着发射波长轴减小2-D图像1200中的荧光发射光谱之间的侧向间隔，从而提高数据集获取的吞吐量。例如，通过减少激发图案1100在水平方向上的周期，并且减小使用色散元件1340b的光谱色散的程度，可以减小在2-D图像1200中荧光发射光谱阵列在水平方向上的周期。这可以继而增加可以在一次曝光中获取的荧光发射光谱的数量，从而提高使用成像设备1380的传感器空间的效率。
替代配置
在一些应用中，可能需要系统1300的更紧凑的配置。在这样的实例中，系统1300可以使用衍射元件来代替SLM 1320a和/或SLM 1320b。系统1300的这样的配置的实施例在下面参考图19-图23进行描述。
图19是系统1300的示例性紧凑实施例的示意图。如图19所示，系统1300可以有利地使用透射型照明来简化其几何结构。然而，根据应用也可以使用如图13-图18所示的反射型照明配置。在照明系统中，来自光源1310的激发光1402(诸如通过光纤提供的超连续谱激光源)被透镜1330a准直，透射过第一衍射元件1600a，然后照明放置在样品保持器1370上的样品。衍射元件1600a调制透射过它的激发光1402的相位并结构化激发光1402用于生成激发图案1100。相位调制可以使得透射的激发光1430的多个小波具有不同的方向和/或相位，在远场中生成衍射图案。聚焦在样品上的衍射图案被称为激发图案1100。
图22是示例性衍射元件1600a的示意图。如图22所示，在一些实施例中，衍射元件1600a可以是衍射透镜1610的2-D阵列。对于具有单波长的激发光1402，衍射元件1600a生成激发光斑的2-D阵列，每个衍射透镜1610生成一个激发光斑。对于具有多个离散波长或一波长范围的激发光1402，激发光1402的不同波长被每个衍射透镜1610衍射成在不同角方向上行进的几个光束。因此，当被聚焦在样品上时，激发光1402的不同波长可以具有在第一侧向方向(例如，垂直方向)上从彼此空间移位的焦点，由此生成如图11或图12所示的激发图案1100。
在一些实施例中，衍射元件1600a的衍射透镜1610可以是具有透明和不透明带的波带片，通过例如二元光刻、灰度光刻或模制工艺制成的常规光栅，或者通过二元光刻制成的亚波长光栅。在其他实施例中，可以用具有如上所述的用于生成激发图案1100的相位调制能力的2-D小透镜阵列和透射性衍射光栅来代替衍射元件600a。
在检测系统中，由样品发射的荧光1408被物镜1360收集并准直，透射过色散元件1340b，然后被透镜1330b聚焦到成像设备1380上。色散元件1340b可以如上所述在第二侧向方向(例如，水平方向)上光谱地色散荧光1408。色散元件1340b可以具有上述相同的特征和功能。
在一些实施例中，系统1300可以包括第二线偏振器1390c。荧光1408可以穿过偏振器1390c。当激发光1402被线偏振时，偏振器1390c可以用于基本上反射偏振的激发光并且因此阻挡它到达成像设备1380。在其他实施例中，可以沿着光轴将陷波滤波器的集合或单个多重陷波滤波器(未示出)添加到检测系统。
因为衍射元件1600a不具有像SLM一样的数字可编程性，所以衍射元件1600a或样品保持器1370可以在空间维度上平移，以跨视场或样品扫描激发图案1100从而获得完整的4-D高光谱成像数据集。扫描方案可以与以上参考图11和图12所描述的方案相同。每个扫描单元1110中的不同区域可以通过在垂直和水平方向上空间移位激发图案1100来照明。在激发图案1100的每个空间位置处，可以获取被照明区域的荧光发射光谱的至少一个2-D图像1200。然后，可以获取荧光发射光谱的多个2-D图像1200，其与从彼此侧向移位的一系列激发图案1100对应，并且该多个2-D图像1200被用于重建4-D高光谱成像数据集。
图20是系统1300的另一示例性紧凑实施例的示意图。如图20所示的系统1300可以允许通过在一个侧向方向上执行扫描来获取4-D高光谱成像数据集。例如，系统1300可包括在检测系统中的衍射元件1600a和在照明系统中的另一衍射元件1600b。如图20中所示，在照明系统中，来自光源1310的激发光1402被透镜1330a准直，透射过衍射元件600b，然后照明放置在样品保持器1370上的样品。
图23是示例性衍射元件1600b的示意图。衍射元件1600b可以调制透射过它的激发光1402的相位并且使透射的激发光1430的小波具有不同的方向和/或相位。在一些实施例中，衍射元件1600b可以包括衍射圆柱形小透镜1620的线性阵列。对于单波长的激发光1402，衍射元件1600b生成单色条纹的重复图案，每个圆柱形小透镜1620生成一个单色条纹。对于具有多个离散波长或一波长范围的激发光1402，激发光1402的不同波长被每个圆柱形小透镜1620衍射成在不同角方向上行进的几个光束。因此，当被聚焦在样品上时，激发光1402的不同波长可以具有在第一侧向方向(例如，垂直方向)上从彼此空间移位的焦点，生成一系列移位的不同颜色条纹的重复图案。根据光源1310的光谱，不同颜色的条纹可以在第一侧向方向上连接或分开。移位的不同颜色的条纹的重复图案然后可以被照明在样品上。
在检测系统中，可以添加衍射元件1600a并将其放置在成像设备1380前面，而不是使用色散元件1340b。由样品发射的荧光1408被物镜1360收集并准直，透射过偏振器1390c，然后被透镜1330b成像到衍射元件600a上。衍射元件1600a的衍射透镜1610然后可以在第二侧向方向(例如，水平方向)上光谱地色散荧光并且将光谱地色散的荧光1410成像到成像设备1380的2-D传感器。
在一些实施例中，透镜1330b的焦距被选择，使得透镜1330b在其焦平面处的衍射极限光斑尺寸可以覆盖成像设备1380的2-D传感器的多个像素。这可能影响透镜1330b的数值孔径(Numerical Aperture，NA)、焦比(f比)和/或放大率。例如，为了增加透镜1330b的衍射极限光斑尺寸，透镜1330b可以具有更长的焦距、更小的NA或更大的f比、和/或更大的放大率。
衍射元件1600a可以被设计或选择，使得其衍射透镜1610的直径大约为透镜1330b的衍射极限光斑的尺寸。由每个衍射透镜1610偏转和聚焦的荧光1410的不同波长可以具有在第二侧向方向上从彼此空间移位的焦点，生成如图11或图12所示的荧光发射光谱的阵列。
如图20所示的系统1300的实施例允许针对由一系列侧向移位的不同颜色的条纹的重复图案照明的样品上的区域或位置获取如图11或图12所示的2-D图像1200中的荧光发射光谱。为了获取激发光谱，可以沿着第一侧向方向扫描重复图案，使得样品上先前由重复图案的某种颜色的条纹照明的区域或位置被不同颜色的条纹照明。重复图案在第一侧向方向上的移位和随后对对应2-D图像1200的获取可以执行多次。在这样的情况下，可以获取与样品上的每个区域或位置的激发波长对应的荧光发射光谱并且可以将其用于重建4-D高光谱成像数据集。
在如图20所示的系统1300的实施例中，因为一系列侧向移位的不同颜色的条纹的重复图案在第二侧向方向上是连续的，所以可以仅需要沿着第一侧向方向扫描重复图案，以获得视场内所有区域或位置的激发光谱。这可以进一步提高系统1300获取4-D高光谱成像数据集的吞吐量和效率。
沿着第二侧向方向，由连续的彩色条纹照明的每个区域可以被成像到衍射透镜1610，衍射透镜1610然后使荧光色散并将其聚焦到成像设备1380。在这样的实例中，沿着第二侧向方向的空间分辨率可以取决于衍射透镜1610的尺寸和焦距，透镜1330b和物镜1360的焦距，和/或成像设备1380的2-D传感器的尺寸。在一些实施例中，增加透镜1330b的焦距可以允许使用更大的衍射透镜1610。沿着第二侧向方向的光谱分辨率可以取决于衍射透镜1610的宽度和/或焦距以及由衍射透镜1610在第二侧向上生成的离轴焦点移位。例如，增加衍射透镜1610的沟槽密度将增加荧光的衍射角并因此增加离轴焦点移位，从而增加在第二侧向方向上的光谱分辨率。
图21是提供用于测量荧光偏振的能力的系统1300的另一示例性紧凑实施例的示意图。如图21所示，系统1300可以包括两个偏振器1390a和1390c。偏振器1390a可以在照明系统中沿着光轴的合适位置处，从而透射具有给定振动取向的发射的荧光1408。偏振器1390c可以在检测系统中沿着光轴的合适位置处，从而透射具有给定振动取向的发射荧光1408。为了执行荧光偏振测定，偏振器1390c的透射轴可以在平行于和正交于线偏振激发光的振动取向的取向之间旋转。可以由成像设备1380分别获取具有平行于和正交于偏振激发光的振动取向的振动取向的荧光1408的荧光发射光谱的2-D图像1200。所获取的2-D图像1200随后可以用于荧光偏振(或各向异性)测定。
本文描述的系统1300可以在用于高光谱成像的各种方法中使用。图24是用于执行高光谱成像或用于获取样品的高光谱成像数据集的示例性方法2400的流程图。方法2400使用系统1300以及上面参考图13-图23描述的系统1300的实施例的特征。
在步骤2402，提供具有离散光谱或连续光谱的光源1310并且将其配置为发射具有一个或多个波长的激发光1402。在步骤2404，通过SLM 1320a将激发光1402结构化为在样品中的焦平面的共轭平面处的预定二维图案。在步骤2406，通过色散元件1340a在第一侧向方向上光谱地色散结构化的激发光(例如，由SLM 1320a反射的激发光1404)。在步骤2408，将光谱地色散的激发光1406引导向并聚焦在样品上，用在第一侧向方向上色散的一个或多个波长来以激发图案1100照明样品。在步骤2410，通过色散元件1340b在第二侧向方向上光谱地色散从样品收集的荧光1408。在步骤2412，将光谱地色散的荧光1410成像到成像设备1380的2-D传感器。
方法2400可以进一步包括额外的步骤。例如，方法2400可以包括在获取2-D图像1200之前校准系统1300。系统1300中的各种光学组件可以被适当地校准和对准，使得能够获取具有减少或最小的失真的聚焦的2-D图像1200。
方法2400可以进一步包括使用第一偏振器使要被引导至样品的激发光1402偏振，并且使用第二偏振器或偏振分束器(PBS)基本上反射从样品收集的具有与偏振激发光的偏振相同的偏振的光。
方法2400可以进一步包括以一系列从彼此侧向移位的激发图案1100顺序地照明样品，并且获得与该一系列激发图案1100对应的光谱地色散的发射光的多个2-D图像1200，并重建多个2-D图像1200以提供4-D高光谱成像数据集。如上所述，每个2-D图像1200记录与每个侧向移位的激发图案1100对应的荧光发射光谱的阵列。
方法2400可以进一步包括通过SLM 1320b在与焦平面共轭的平面处提供可编程人工光学针孔，通过SLM 1320b的像素形成一系列针孔图案，并且将该一系列针孔图案与一系列激发图案1100匹配。如上所述，使用一个或多个透镜将从SLM 1320b收集的光成像到成像设备1380。可以在激发图案1100的每次侧向移位并且形成其匹配的针孔图案之后获取光谱地色散的发射光的2-D图像1200。方法2400还可以包括重建与一系列激发图案1100对应的2-D图像1200，以提供样品的所选焦平面的4-D高光谱成像数据集。
VIII.使用空间地相位指定的照明进行成像
控制施加到样品的照明的相位、强度、波前几何结构、偏振或其他性质的空间分布以对样品成像可能是有益的。可以实行对样品(例如，生物样品)的这样的成像以标识样品中的探针，检测样品中的荧光团(例如，这样的探针的荧光团)的位置、颜色或其他性质，或提供一些其他益处。控制所施加的照明的空间特性可以包括操作空间光调制器以控制跨样品的照明的相对相位。除了本文其他地方描述的用于照明样品的其他方法或装置或替代这样的其他方法或装置，可以采用用于控制施加到样品的照明的相位的这样的方法。产生这样的照明的实施例可以使用显微镜来实现，该显微镜诸如为荧光显微镜、共焦显微镜、透射显微镜或反射显微镜，其具有一个或多个2-D成像设备，例如CCD或CMOS传感器或相机。替代地，可以使用合适的光学元件根据本公开的实施例来构建光学成像系统。
本公开的实施例允许使用具有可调节尺寸和间隔的可编程人工针孔来获取样品中的焦平面的2-D图像。可以在多个焦平面处获取多个2-D图像，并且计算地重建多个2-D图像以获得样品的3-D或虚拟体积图像。额外地，本公开的实施例允许获取样品中的焦平面的高光谱共焦图像数据集。
根据本公开的一方面，可以使用具有一个或多个波长的激发光来激发样品中的荧光团。激发光可以由单色光源或多色光源发射。在一些实施例中，单色光源可以是发射具有非常窄光谱的光的脉冲或连续“单波长”激光器。在其他实施例中，单色光源可以是单色仪的输出。
在一些实施例中，多色光源可以具有连续的光谱。例如，多色光源可以是宽带光源，诸如某些超连续谱激光器、白光源(例如，高压汞灯、氙灯、卤素灯或金属卤化物灯)或一个或多个LED。在其他实施例中，多色光源可以具有离散光谱。例如，多色光源可以是发射光谱非常窄的光的脉冲或连续“单波长”激光器的组合。
根据本公开的一方面，可以使用第一空间光调制器(SLM)结构化由光源发射的激发光，用于以激发图案照明样品上的区域的子集。为了结构化激发光，第一SLM可以通过选择性地调制(例如，致动或切换)其像素来调制激发光的相位或振幅。像素在调制中可以是数字或模拟的。第一SLM可以选自包括数字微镜器件(DMD)、可变形反射镜(DM)、衍射光学元件、液晶器件(LCD)和硅基液晶(LCOS)器件的一组SLM。
如本文所述，被照明在样品上的激发图案可以包括激发光的多个聚焦光斑(激发光斑)。激发图案可以是任意图案或预定图案，诸如同时入射在样品上的激发光斑的二维阵列。被激发图案照明的样品中的荧光团或荧光分子可以被激发并随后发射荧光。
在一些实施例中，可以通过调制第一SLM的像素来跨样品或视场扫描激发图案。在其它实施例中，可以使用x-y平移载物台通过在侧向方向上移动样品或物镜来跨样品上或视场扫描激发图案。该载物台可以是机动化的平移载物台、压电平移载物台或允许侧向线性移动的任何合适的载物台。
根据本公开的一方面，根据本公开的系统和方法允许共焦光学切片。这允许沿着样品的轴向方向获取多个焦平面的图像。在一些实施例中，可以通过在与焦平面共轭的平面处实现一个或多个光学针孔来获取期望的焦平面的图像。光学针孔可以是由第二SLM的像素形成的可编程人工针孔。第二SLM可以选自包括数字微镜器件(DMD)、液晶器件(LCD)和硅基液晶(LCOS)器件的一组SLM。
在一些实施例中，针孔图案可以通过选择性地调制或切换其像素以匹配激发光的激发图案来由第二SLM的像素来形成。有利地，针孔图案可以允许对样品上的同时被激发图案照明的多个区域共焦成像。与使用顺序逐点扫描的传统共焦显微镜相比，这可以提高在焦平面处获取跨样品的共焦图像的速度和/或吞吐量。额外地，通过改变由第二SLM形成的人工针孔的尺寸和/或分开，可以有利地根据需要调节光学切片或共焦性的程度，从而允许调节期望的焦平面的深度选择性的程度。
如本文所述，荧光团在本公开中用作样本中的示例性光学标记。涉及荧光团的描述同样适用于与本公开的实施例一致的其他类型的光学标记。例如，从光源发射的激发光还可以激发其他类型的光学标记，其在激发时可以发射具有发射光谱的光。因此，本公开的描述中使用的荧光和荧光发射光谱也可以用于表示其他光学标记的发射光和发射光谱。
根据本公开的一方面，根据本公开的系统和方法允许高光谱成像。在样品的给定区域中被激发光激发的荧光团所发射的荧光可以在给定侧向方向(例如，水平方向或垂直方向)上光谱地色散。至少一个色散元件可以用于将荧光光谱地色散成与该给定区域对应的荧光发射光谱。可以通过2-D成像设备在一次曝光中获取样品上的区域的子集的荧光发射光谱作为2-D图像。
在一些实施方式中，可以通过扫描跨样品或视场的激发图案来获取跨样品或跨视场的所有区域的荧光发射光谱。在激发图案的每个空间位置处，可以获取与激发图案对应的荧光发射光谱的2-D图像(例如，每个荧光发射光谱与激发图案的激发光斑对应)。有利地，可以从荧光发射光谱的多个这样的2-D图像计算地重建样品的高光谱图像数据集。额外地，通过在扫描期间使用第二SLM形成与激发图案匹配的针孔图案，可以获得样品的高光谱共焦图像数据集。
现在将详细参考本公开的实施例和方面，本公开的示例在附图中示出。在可能的情况下，将在整个附图中使用相同的附图标记来指代相同或相似的部分。
如本文所述，为了示出光的不同波长或频率，在附图中使用不同的虚线纹理密度。较高密度对应于较长波长或较低频率的光。额外地，垂直和/或水平方向用作用于示出侧向或横向方向的示例。
图25是示例性共焦成像系统2500的示意图。在一些实施例中，系统2500可以是荧光显微镜、透射显微镜、反射显微镜或共焦荧光显微镜。本公开的实施例是可适用于用于执行共焦成像和/或高光谱成像的其他合适的显微镜技术。
如图25所示，系统2500可以包括照明系统和检测系统。照明系统可以包括光源2510、第一SLM 2540以及一个或多个透镜(例如，透镜2520a、2520b和2520c)。照明系统还可以包括半波片2530、束流收集器2525和/或光学滤波器2600a。检测系统可以包括第二SLM2550、2-D成像设备2590以及一个或多个更多的透镜，例如透镜2520d、2520e和2520f。检测系统可以进一步包括色散元件2610和/或光学滤波器2600b。根据其布局、几何结构和/或应用，系统2500还可以包括分束器2560、物镜2570以及样品保持器2580，其中待成像的样品放置于样品保持器2580处。系统2500可以包括其他光学元件，诸如反射镜、束流收集器、x-y平移载物台、z轴平移载物台或可调谐液体透镜(未示出)等。
如本文所述，系统2500的光轴可以限定激发光和来自样品的发射的荧光沿其传播通过系统2500的路径。
在照明系统中，如图25所示，光源2510发射激发光2501，激发光2501被引导至SLM2540。激发光2501可以使用一个或两个透镜(例如，透镜2520a或一对透镜2520a)被准直和/或扩展。SLM 2540可以通过选择性地致动或切换其像素来调制激发光2502的相位或振幅来结构化经准直的激发光2502。SLM 2540可以是透射型或反射型SLM。虽然在图25所示的示例性实施例中使用了反射型SLM 2540，但是可以替代地使用与本公开一致的透射类型SLM2540。照明系统的几何结构可以基于SLM 2540的类型被适当地设计。
如图25所示，当SLM 2540是反射型SLM时，SLM 2540的像素的至少一部分反射激发光2502并且沿着系统2500的光轴引导反射的激发光2503。在一些实施例中，激发光2503可以被SLM 2540直接引导向分束器2560和/或物镜2570。在其他实施例中，如图25所示，在到达分束器2560和/或物镜2570之前，被反射的激发光2503可以穿过一个或多个中继透镜，例如透镜2520b和2520c。然后，物镜2570将激发光聚焦到置于样品保持器2580上的样品。
在检测系统中，如图25所示，由样品中被激发的荧光团发射的荧光2504被物镜2570收集和/或准直。荧光2504可以沿着系统2500的光轴穿过分束器2560和透镜2520d。SLM2550可以沿着光轴放置在与位于样品中的期望深度处的焦平面共轭的平面附近。例如，物镜2570和透镜2520d可以形成成像配置。当SLM 2550是反射型SLM时，SLM 2550可以反射荧光2504的至少一部分并且将反射的荧光2505沿着系统2500的光轴引导向成像设备2590。在到达成像设备2590的2-D传感器之前，被反射的荧光2505可以通过一对管透镜(例如，透镜2520e)。
如本文所述，虽然在图25中所示的示例性实施例中使用了反射型SLM2550，但是可以替代地使用与本公开一致的透射型SLM 2550。检测系统的几何结构可以基于SLM 2550的类型被适当地设计。
下面详细描述系统2500的各种组件的功能和工作原理。
光源
如上所述，光源2510可以是单色光源或多色光源。在一些实施例中，由光源2510发射的激发光2501可以是线偏振的。额外地或替代地，激发光2501可以被透镜2520a准直并在入射到SLM 2540上之前变成准直的激发光2502。
在一些实施例中，经准直的激发光2502可以穿过半波片2530。半波片2530可以改变线偏振激发光的偏振方向。例如，当SLM 2540是LCD或LCOS器件时，半波片2530可以使线偏振激发光的偏振方向旋转，以与SLM 2540中的液晶分子的取向平行地对准。这可以提高SLM 2540的像素对激发光的反射和/或调制效率。
在一些实施例中，光源2510可以可操作地连接到具有处理器和存储指令或操作步骤的计算机可读介质的控制器(未示出)。当由处理器执行时，这些指令或步骤可以调制光源2510的操作状态。例如，处理器可以启用或停用光源2510，调制脉冲光源2510的脉冲的持续时间，和/或切换或调谐光源2510的发射波长。
用于结构化激发光的空间光调制器
如上所述，为了结构化激发光2502用于以激发图案照明样品，SLM 2540可以通过在操作状态之间选择性地调制其像素来调制激发光2502的振幅或相位。
振幅调制
在一些实施例中，激发光2502的振幅可以由SLM 2540调制。例如，SLM2540可以是反射型LCD或LCOS器件。LCD或LCOS器件可以放置在样品的共轭平面处。在这样的实例中，可以仅将透镜2520b和2520c中的一个放置在SLM 2540和物镜2570之间。例如，透镜2520b可以用作管透镜并且与物镜2570组合以形成成像配置。SLM 2540可以放置在透镜2520b之前大约一个焦距处。
SLM 2540的像素可以通过操纵入射在像素上的激发光的偏振来创建振幅调制图案。例如，振幅调制图案可以通过透镜2520b和物镜2570成像到样品上作为激发图案。取决于透镜2520b和物镜2570的焦距，激发图案可以是振幅调制图案的放大或缩小图像。
为了创建振幅调制图案，SLM 2540的像素可以以逐像素方式在“开”状态和“关”状态之间电学调制。“开”像素可以旋转线偏振光的偏振方向大约90°，而“关”像素不执行旋转。在这样的实例中，第一线偏振器(未示出)可以用于使激发光2502线偏振。第二线偏振器或偏振分束器(PBS)(未示出)可以用于使由“开”像素反射的激发光2503通过，并阻挡由“关”像素反射的激发光2502。
使用SLM 2540调制激发光2502的振幅的缺点是在调制期间损失光。这是因为SLM2540的大部分像素通常处于“关”状态。因此，大部分激发光2502被转向离开光轴并且不会到达样品，并因此损失。
相位调制
为了提高利用激发光2502的效率，SLM 2540可以调制激发光2502的相位以生成激发图案。在这样的实例中，透镜2520b和2520c都可以放置在SLM2540和物镜2570之间。SLM2540例如可以是反射型LCD或LCOS器件。LCD或LCOS器件可以放置在孔径平面处，孔径平面可以是物镜2570的后孔径或样品的傅里叶平面的共轭平面。例如，透镜2520b和2520c可以形成成像配置。透镜2520b可以位于SLM 2540后面大约一个焦距处。透镜2520c可以位于透镜2520b后面大约两个焦距处。物镜2570可以位于透镜2520c后面大约一个焦距处。
SLM 2540的像素可以形成自定义相位调制图案以调制激发光2502的波前。在SLM2540反射激发光2502后，可以根据相位调制图案选择性地改变反射的激发光2503的波前的不同位置处的相位。在一些实施例中，SLM 2540的像素可以以逐像素方式在“开”状态和“关”状态之间电学调制。如果SLM2540的像素处于“开”状态，则它们可以通过改变液晶中行进的光的光学路径长度来改变反射光的相位；并且如果它们处于“关”状态，则它们可以不改变反射光的相位。这允许由SLM 2540的像素形成的相位调制图案根据需要数字地自定义。在其它实施例中，SLM 2540的像素可以具有多个状态或相位调节级别(例如，在0和2π之间的256个级别)，并且可以被单独地调制到期望的状态或级别。有利地，提高像素的调节状态或级别提高了调节相位调制图案的连续性并且因此提高调节激发光2503的相位的连续性，并且可以进一步减少激发图案中的不期望的衍射阶。
相位调制可以使反射的激发光2503的小波具有不同方向和/或相位。当反射的激发光2503沿光轴传播时，透镜2520b和2520c以及物镜2570中的每一个可以对反射的激发光2503的波前执行傅里叶变换。然后，可以在物镜2570的焦平面处形成衍射图案。该衍射图案在本文中被称为在被照明在样品上时的激发图案。
在一些实施例中，束流收集器2525可以沿透镜2520b和2520c之间的光轴放置，例如在透镜2520b后面大约一个焦距处或者在样品的共轭平面处。这可以允许由束流收集器2525的位置处的反射的激发光2503形成的衍射图案的低阶衍射光斑(例如，零阶和/或一阶衍射光斑)基本上被吸收并且被阻挡而不能到达样品。因为激发图案是束流收集器2525的位置处形成的衍射图案的图像，所以照明在样品上的激发图案的低阶衍射光斑的强度将大幅降低。由于低阶衍射光斑(例如，零阶和/或一阶衍射光斑)通常比其他阶衍射光斑更亮，所以使用束流收集器2525可以有利地改善跨视场的激发图案的强度的均匀性。
如上所述，相位调制图案处于或近似处于样品的傅立叶平面处。在这样的实例中，其相位已经被SLM 2540的相位调制图案调制过的反射的激发光2503的电场，在其以期望的激发图案照明样品之前，通过透镜2520b和2520c以及物镜2570进一步经受傅立叶变换。在一些实施例中，激发图案可以是具有期望相位分布的经变换的激发光的波前的强度分布。期望的相位分布可以被预先确定以增加激发光的衍射效率。
在一些实施例中，计算机算法(例如，契伯格-萨克斯顿(Gerchberg-Saxton，GS)算法)可用于示出将产生期望的激发图案的相位调制图案。此外，自定义的计算机算法可用于示出时变相位调制图案，用于跨视场扫描或平移期望的激发图案。
有利地，调制激发光2502的相位将允许其在SLM 2540的近场中以基本均匀的强度传播，并因此减少激发光2502的损失。然后，经调制的激发光可以在远场中被照明到样品上时形成可自定义或可编程的激发图案。因此，与如上所述调制激发光2502的振幅相比，调制激发光2502的相位以创建期望的激发图案可以通过减少激发光2502的损失来大幅提高系统2500的照明效率。
替代地，SLM 2540可以是沿着光轴实现的透射型器件。照明系统的几何结构可以被适当地设计为使得由该器件的像素形成的振幅或相位调制图案可以与如上所述类似地调制激发光2502的振幅或相位。
不管SLM 2540是调制激发光2502的振幅还是相位，都可以通过以逐像素方式在两个操作状态之间调制SLM 2540的像素来根据需要编程和自定义照明在样品上的激发图案。另外，通过扫描或改变SLM 2540的像素的调制，可以在给定的空间方向(诸如水平或垂直方向)上跨样品或视场平移或移位激发图案。例如，当SLM 2540位于样品的傅里叶平面处用于调制激发光2502的相位时，可以通过沿着空间方向改变线性相位斜坡的斜率来扫描激发图案。这有利地允许跨系统2500的视场扫描激发图案，而无需使用x-y平移载物台移动样品和/或样品保持器2580。
在一些实施例中，取决于SLM 2540的像素的类型和调制特征，激发光2502可以以相对于SLM 2540的平面的预定角度被引导向SLM 2540。该预定角度可以取决于SLM 2540的类型和/或系统2500的几何结构。例如，当SLM2540是反射型SLM时，激发光2502可以以使得反射的激发光2503沿着系统2500的光轴传播的角度被引导向SLM 2540。
在一些实施例中，SLM 2540可以可操作地连接到具有处理器和存储指令或操作步骤的计算机可读介质的控制器(未示出)。在由处理器执行时，这些指令或步骤可以调制SLM2540的像素的操作状态以形成期望的激发图案和/或以期望的空间方向平移激发图案跨视场的预定距离。
共焦光学切片
如上所述，系统2500允许共焦光学切片，其允许选择样品中的焦平面的深度。焦平面的深度可以通过在与选定的焦平面共轭的平面处引入一个或多个光学针孔来选择。
SLM 2550被用于实现共焦光学切片。如上所述，SLM 2550可以沿着光轴被放置在与位于样品中的期望深度处的焦平面共轭的平面附近。透镜2520d可以被用作管透镜，并且可以与物镜2570一起形成成像配置。例如，如图25所示，透镜2520d可以位于物镜2570后面，并且SLM 2550可以位于透镜2520d后面大约一个焦距处。物镜2570的后孔径和透镜2520d之间的空间是准直空间，其可以基于各种因素(诸如系统2500的几何结构和最小光束孔径的期望位置)根据需要进行调节。在一些实施例中，透镜2520d被放置在物镜2570后面大约一个焦距处。
在一些实施例中，SLM 2550可以是具有多个微镜2552的阵列的数字微镜器件(DMD)。这些微镜可以被单独致动以在两个操作位置(“开”位置和“关”位置)之间切换。当微镜被配置为处于“开”位置时，来自样品中的焦平面的荧光2504被反射以作为反射的荧光2505沿着光轴传播，反射的荧光2505被引导到成像设备2590。当微镜被配置为处于“关”位置时，荧光2504反射向偏离光轴的方向并且不被引导至成像设备2590。在一些实施例中，可以将由“关”微镜反射的荧光2504引导到其他光学元件，诸如反射镜或束流收集器(未示出)。
在一些实施例中，微镜具有正方形形状，其边长的范围从约几微米到约10μm。微镜的其它形状和尺寸也是可能的，并且可以适当地使用。DMD通常能够非常快变地改变或交替微镜的“开”和“关”位置。
在一些实施例中，DMD的单个微镜可以被称为单个像素。在其他实施例中，多个微镜可以被称为单个像素。例如，一组紧邻的微镜可以被称为单个像素并且可以被一致地调制或致动。
SLM 2550的像素可以被选择性地致动或切换到“开”或“关”位置以形成匹配被照明在样品上的激发图案(或与其共轭)的针孔图案。针孔图案可以包括在共轭平面处的多个人工光学针孔并且排斥来自样品的离焦荧光。因此，离焦荧光不会穿过检测系统并且基本上从成像设备2590所获取的图像中去除或消除。
针孔图案中的人工针孔的尺寸和分开是可编程的，并且可以基于激发图案和由物镜2570和透镜2520d形成的成像配置的放大率来自定义。例如，可以通过“开”像素的阵列以针孔图案形成人工针孔以匹配激发图案中的激发光斑的尺寸。
然后，由SLM 2550的“开”像素反射的荧光2505可以通过透镜2520e和2520f成像到成像设备2590。例如，透镜2520e可以位于由透镜2520d产生的图像之外大约一个焦距处(例如，在SLM 2550后面大约一个焦距处)，使得其重新准直反射的荧光2505。成像设备2590可以位于透镜2520f后面大约一个焦距处或SLM 2550的共轭平面处。因为荧光在透镜2520e和2520f之间的空间中被准直，所以透镜2520e和2520f之间的距离可以根据需要进行调节。在一些实施例中，透镜2520f可以在透镜2520e后面大约两个焦距处，使得透镜2520e和2520f之间的中间平面与系统2500的出射瞳共轭。
通过使用SLM 2540数字地改变和/或侧向移位激发图案并使用SLM2550对应地匹配针孔图案，可以扫描整个视场以获取共焦图像。通过进一步跨样品扫描视场，可以扫描整个样品以获得样品的完整共焦图像数据集。
在一些实施例中，成像设备2590可以适当地倾斜以减少像差并因此改善所获取的图像的质量。这至少是因为SLM 2550的“开”像素以不垂直于SLM2550的表面平面的角度引导被反射的荧光2505，使得由管透镜2520e和2520f形成的图像平面可能被倾斜。由该倾斜效应引起的像差可以通过适当地倾斜成像设备2590来补偿。
为了改变或选择焦平面的深度，在一些实施例中，可以将样品保持器2580安装在z轴平移载物台上。可以通过使用z轴平移载物台沿着光轴移动样品保持器2580来选择焦平面的期望深度。替代地，物镜2570可以安装在z轴平移载物台上，并且可以通过沿着光轴移动物镜2570来选择焦平面的期望深度。如本文所述，z轴平移载物台还可以包括x-y平移能力以在侧向方向上跨样品移动系统2500的视场。
在一些实施例中，当SLM 2540处于用于调制激发光2502的相位的傅立叶平面时，可以通过改变由SLM 2540的像素形成的相位调制图案来调节焦深。在这样的实例中，由SLM2540的像素调制过的激发光2503可以在反射时包括由相位调制图案确定的略微发散或会聚的光束的叠加。根据它们的发散程度或会聚程度，这些光束在穿过显微镜物镜后可以在增加或减小的深度处聚焦。
在其它实施例中，可以通过调谐放置在物镜2570后面的可调谐液体透镜(未示出)的焦点来选择焦平面的期望深度。如本文所述，z平移载物台、可调谐液体透镜和/或SLM2540的相位调制图案可以通过计算机程序控制以实现自动聚焦。
有利地，可以通过改变由SLM 2550形成的人工针孔的尺寸和/或分开来根据需要调节共焦性的程度。例如，通过增加针孔中的像素的数量来增大针孔的尺寸和/或减小针孔间距可以降低共焦性的程度并因此降低期望的焦平面的深度选择性的程度。另一方面，通过减少针孔中的像素的数量来减小针孔的尺寸和/或增加针孔间距可以提高共焦性的程度并且因此提高期望的焦平面的深度选择性的程度。在一些实施例中，深度选择性可以与SLM2550的“关”和“开”像素的数量的比成比例。因此，通过方便地调节针孔尺寸和/或分开，SLM2550可以有利地允许根据需要在宽视场成像和共焦成像之间切换。
额外地，由SLM 2550的像素形成的针孔图案有利地允许对样品上的由SLM 2540生成的激发图案同时照明的多个区域共焦成像。与使用顺序逐点扫描的传统共焦显微镜相比，这可以提高在期望焦平面处获取跨样品的共焦图像数据集的速度和/或吞吐量。
高光谱成像能力
在一些实施例中，可以有利地将高光谱成像能力添加到系统2500以允许在样品中选定焦平面处获取高光谱成像数据集。高光谱成像数据集可以以三维(3-D)来表示：两个空间方向(水平方向和垂直方向)和一个光谱维度(λ)。高光谱成像数据集的光谱维度中的信息可以反映作为样品中的荧光团的发射波长范围的函数的荧光强度。
可以通过使用系统2500中的色散元件2610来实现高光谱成像能力。例如，色散元件2610可以位于透镜2520e和2520f之间的准直空间中。色散元件2610可以是衍射光栅或棱镜，诸如无偏棱镜(例如，阿米奇棱镜或双阿米奇棱镜)。色散元件2610可以使从SLM 2550反射的荧光2505沿着给定侧向方向光谱地色散。光谱地色散的荧光2506然后穿过透镜2520f并且由成像设备2590获取。
图26是根据本公开的实施例的用于执行高光谱共焦成像的示例性方案的图形示意。在一些实施例中，当系统2500处于单色成像模式时，成像设备2590可以获取由形成在SLM 2550上的针孔图案反射的荧光2505的图像。针孔图案与在样品上照明的激发图案共轭。例如，由成像设备2590获取的2-D图像2592可以显示与激发图案中的激发光斑的2-D阵列对应的荧光光斑2622的2-D阵列2620。
在其它实施例中，当系统2500处于高光谱成像模式时，由SLM 2550反射的荧光2505由色散元件2610在给定方向(例如，水平方向)上光谱地色散。在这样的实例中，由成像设备2590获取的2-D图像2592可以示出荧光发射光谱2632的2-D阵列2630。每个荧光发射光谱2632可以在水平方向上色散并且与样品上不同空间位置处的激发图案的激发光斑对应。
如上所述，可以例如在垂直和水平方向上侧向移位激发图案以跨视场或样品进行扫描。在激发图案的每个空间位置处，可以在2-D图像2592中获取与样品上的由激发图案照明的区域对应的荧光发射光谱2632的阵列2630。可以获取与一系列从彼此侧向移位的激发图案对应的荧光发射光谱的多个2-D图像2592，并且随后对其计算地重建以获得高光谱成像数据集。
因此，通过数字地改变和/或侧向移位激发图案并对应地匹配SLM 2550上的针孔图案，可以扫描整个视场以用于获取焦平面处的样品的高光谱成像数据集。通过进一步扫描样品上的视场，可以扫描整个样品以获得焦平面处的样品的完整高光谱成像数据集。
可以基于各种因素来预先确定激发图案的激发光斑之间的空间分开(水平和/或垂直)，这些因素诸如激发波长、样品的尺寸、系统2500的视场、期望的测量吞吐量、空间分辨率和/或速度、以及荧光2506的光谱色散量。例如，可以基于荧光发射光谱2632在水平方向上的范围来预先确定激发光斑之间在水平方向上的空间分开使得在2-D图像2592中荧光发射光谱2632在水平方向上彼此不重叠。
可以基于各种因素(诸如荧光2505的光谱范围、样品或视场的尺寸、成像设备2590的尺寸、期望的光谱分辨率、以及系统2500的应用)来确定由色散元件2610引起的光谱色散的程度。
在一些实施例中，由色散元件2610引起的光谱色散的程度可以有利地是可调节的。例如，色散元件2610可以是沿着系统2500的光轴放置的一对双阿米西棱镜。该一对双阿米西棱镜中的至少一个能够绕光轴相对于另一个旋转。双阿米西棱镜相对于彼此的旋转可以允许连续控制荧光2506的光谱色散的量和/或角取向(例如，色散角)。
透镜和物镜
系统2500的各种透镜(例如，透镜2520a-2520f)可以是消色差的，诸如消色差双合透镜或三合透镜，以限制或减少系统的色差和/或球差的影响。此外，系统2500的物镜2570可以是消色差的。替代地或额外地，物镜2570可以是无限校正物镜，使得物镜2570可以形成从其后孔径进入的准直光束的期望焦点(例如，聚焦光斑或聚焦图案)。使用消色差透镜和/或消色差或无限校正物镜可以允许来自样品中的焦平面的不同波长的荧光类似地在成像设备2590处形成聚焦图像。因此，使用消色差透镜和/或消色差物镜可以改善由系统2500获取的共焦图像的质量。
光学滤波器和分束器
在一些实施例中，光学滤波器2600a可以沿着光轴添加在照明系统中。光学滤波器2600a可以是基本上透射激发光2502的期望波长并阻挡不需要的波长的清除(clean-up)滤波器。例如，光学滤波器2600a可具有范围约几纳米的窄通带以阻挡来自光源2510的噪声自发发射或大幅减少背景噪声。
因为激发光2502的强度可能比荧光2504强几个数量级，所以由样品和/或样品保持器2580反射和/或散射的激发光2502可以进入检测系统并影响成像设备2590对荧光发射光谱的检测或获取。因此，如下所述，本公开的实施例可以减少或阻挡激发光2502传播到检测系统中。
在一些实施例中，分束器2560可以用于阻挡激发光2502向成像设备2590传播。分束器2560可以是长通二向色分束器，其基本上反射激发光2502的波长并透射荧光2504的至少一部分波长。激发光2502的光谱通常是从紫外到可见光谱的范围，并且荧光2504的光谱通常是从可见光谱到近红外光谱的范围。因此，长通二向色分束器可以阻挡激发光2502的波长并透射荧光2504的波长范围。
替代地或额外地，光学滤波器2600b可以沿着光轴被添加到检测系统中。光学滤波器2600b可以是陷波滤波器，其可以基本上反射激发光2502的波长或窄光谱带，从而阻挡激发光2502到达成像设备2590。
在其他实施例中，当激发光2502被线偏振时，分束器2560可以是偏振分束器(PBS)。可以选择PBS，使得其反射具有与线偏振激发光的偏振方向相同的偏振方向的光，并且以透射具有与偏振的激发光的偏振方向垂直的偏振方向的光。由物镜2570收集的大部分激发光因此将从该PBS反射并且将不会到达成像设备2590。在一些实例中，样品和物镜2570两者都可以将反射或散射的激发光在小的程度上去偏振，并因此不期望地允许一些激发光透射过PBS并进入检测系统。
成像设备
成像设备2590可以包括位于与样品中的选定焦平面共轭的图像平面处的合适的2-D传感器。传感器可以用CMOS传感器、CCD传感器、硅雪崩光电二极管(APD)的2-D阵列或其他合适类型的2-D传感器来实现。
成像设备2590可以可操作地连接到控制其操作的控制器或计算设备(未示出)。例如，控制器(未示出)可具有处理器和一个或多个存储指令或操作步骤的计算机可读介质。当由处理器执行时，该指令或操作步骤可操作成像设备2590的曝光，获取2-D图像2592，和/或将2-D图像2592的数据集存储到存储器。计算机可读介质可以进一步存储指令或操作步骤，该指令或操作步骤在由处理器执行时可以执行对所获取的2-D图像数据集的数据处理和/或从2-D图像数据集重建共焦图像和/或高光谱成像数据集。
如本文描述的系统2500可以用在用于共焦和/或高光谱成像的各种方法中。图27是用于执行共焦成像或用于获取样品的共焦图像的示例性方法2700的流程图。方法2700使用系统2500和上面参考图25和图26描述的系统2500的实施例的特征。
在步骤2702，提供光源2510并将其配置为发射具有一个或多个波长的激发光2501。在步骤2704，激发光2501被透镜2520a准直并变成经准直的激发光2502。在步骤2706，通过施加由SLM 2540的像素形成的预定相位调制图案来结构化或调制经准直的激发光2502。在步骤2708，将结构化激发光引导向样品并以二维激发图案照明样品。激发图案位于相位调制图案的傅立叶平面处。在步骤2710，将从样品中的焦平面收集的发射光成像到成像设备2590。焦平面可以与由SLM 2550的像素形成的针孔图案共轭或处于该针孔图案的共轭平面处。
方法2700可以进一步包括额外的步骤。例如，方法2700可以包括在获取2-D图像2592之前校准系统2500。系统2500中的各种光学组件可以被适当地校准和对准，使得能够获取具有减少或最小的像差和/或失真的聚焦的2-D图像2592。
方法2700可以进一步包括使用色散元件2610在侧向方向上光谱地色散从样品收集的荧光2504。可以通过成像设备2590在2-D图像2592中获取光谱地色散的荧光2506。
方法2700可以进一步包括顺序地以从彼此侧向移位的一系列激发图案来照明样品并且形成与该一系列激发图案匹配的一系列针孔图案。
在一些实施例中，方法2700可以进一步包括获得与一系列激发图案对应的发射光2505的多个2-D图像2592，并且重建多个2-D图像2592以提供共焦图像。如上所述，可以在激发图案的每次侧向移位并且形成其匹配的针孔图案之后获取2-D图像2592。每个2-D图像2592可以记录与每个侧向移位的激发图案对应的荧光光斑2622的阵列2620。
在其他实施例中，方法2700可以进一步包括获得与一系列激发图案对应的光谱地色散的发射光2506的多个2-D图像2592，并且重建多个2-D图像2592以提供高光谱共焦图像数据集。如上所述，可以在激发图案的每次侧向移位并且形成其匹配的针孔图案之后获取光谱地色散的发射光的2-D图像2592。每个2-D图像2592可以记录与每个侧向移位的激发图案对应的荧光发射光谱2632的阵列2630。
IX.示例可控光学色散元件
本文中的各种实施例描述了使用色散元件或系统(例如，棱镜、衍射光栅、SLM)来根据波长使光色散(例如，用于照明样品的照明光、从样品接收的图像光)。这种色散可以采用来促进样品(例如，生物样品)的成像以便标识样品中的探针，检测样品中荧光团(例如，这样的探针的荧光团)的位置、颜色或其他性质，或提供某些其他益处。在一些示例中(例如，在上述系统中)，施加使用“直视”或“无偏”色散元件的这样的色散来实现所施加的色散的大小和/或取向的灵活调节可能是有利的。本公开的实施例以在分光计(例如，成像分光计、单色仪、光谱分析仪)、显微镜(例如，荧光显微镜、共焦显微镜、透射显微镜、反射显微镜等)、或光谱成像系统(例如，高光谱成像系统)中实现。替代地，本公开的实施例可以在使用合适的光学元件构建的自定义光学系统中实现。
根据本公开的一方面，提供了一种用于使具有一个或多个波长的光束色散的光学系统。该光学系统可以包括沿着光轴对准的一对无偏色散元件。在一些实施例中，该光学系统可以在色散之前准直输入光束。
在一些实施例中，光束可以是用于照明样品的激发光束或从样品收集的发射光束。额外地或替代地，光束可以在进入光学系统之前被滤波以具有期望的光谱。
根据本公开的一方面，该一对无偏色散元件是沿光轴对准的两个双阿米西棱镜。两个双阿米西棱镜的色散可以合计达到光学系统对光束的总色散。
在一些实施例中，双阿米西棱镜中的至少一个能够绕光轴相对于彼此旋转。在其他实施例中，两个双阿米西棱镜均可以绕光轴独立旋转。两个双阿米西棱镜之间绕光轴相对于彼此的旋转角可以从大约0°至大约180°连续调节。
有利地，调节第一和第二双阿米西棱镜之间的旋转角改变光学系统对光束的总色散。这消除了改变在其中实现光学系统的光学设置的占用面积(footprint)的需要，并且进一步允许光学设置的紧凑设计。额外地，用于调节两个双阿米西棱镜之间的旋转角的旋转载物台可以以比用于调节两个棱镜或光栅之间的光学路径长度的平移载物台的速度快的速度进行操作。这进一步提高了调节光束色散的速度。
在一些实施例中，调节两个双阿米西棱镜之间的旋转角允许调节光束的色散的量值。例如，当两个双阿米西棱镜之间的旋转角为大约0°时，两个棱镜的色散合计达到最大色散量值，例如一个棱镜的色散量值的两倍。当两个双阿米西棱镜之间的旋转角大约为180°时，两个棱镜的色散可能会相互抵消，导致最小色散量值，例如大约零色散。当两个双阿米西棱镜之间的旋转角是介于0°和180°之间的中间角度时，色散的量值在两个极值之间。当两个双阿米西棱镜相同时，最大色散量值可以是能够由双阿米西棱镜之一生成的色散量值的两倍。
在一些实施例中，当两个双阿米西棱镜之间的旋转角从大约0°到大约180°连续调节时，由光学系统生成的色散量值可以从最大量值连续调节到最小量值。
根据本公开的一方面，光束的预定波长(例如，中心波长)在穿过光学系统之后将不改变其传播方向。例如，输入光束的预定波长可以沿着输入光轴进入第一双阿米西棱镜，然后沿着输出光轴离开第二双阿米西棱镜。预定波长的输入光轴和输出光轴可以保持共线。光束的其他波长可以以由棱镜的设计确定的合适偏离角透射光学系统。
在一些实施例中，可以通过旋转两个双阿米奇棱镜来调节由光学系统引起的光束的色散的取向。如本文所述，色散的取向可以指在光束穿过光学系统之后在与光轴正交的平面上形成或聚焦的色散线的取向。色散线可以具有沿着线性方向扩散的光束的光谱。旋转两个棱镜可以改变光束在第一棱镜上的入射角，并且因此改变除了预定波长之外的离开第二棱镜的光束的波长的偏离角。偏离角的改变随后可以导致色散线的取向的改变。
如本文所述，进入光学系统待被色散的光束可以称为输入光束，而离开光学系统的被色散的光束可以被称为输出光束。在一些实施例中，输出光束可以被进一步调制、滤波、处理和/或由成像设备的光电检测器或传感器的一维或二维阵列检测。
现在将详细参考本公开的实施例和方面，本公开的示例在附图中示出。
图28是用于色散光束的示例性光学系统2800的示意性透视图。例如，系统2800可以在用于从输入光束2801生成具有期望色散的输出光束2802的光学器件中实现。如本文所述，输入光束2801指的是进入和/或穿过系统2800的光束，并且输出光束2802指的是离开系统2800的光束。输入光束2801和输出光束2802被单独参考用于描述系统2800对光束的透射和色散。在一些实施例中，输出光束2802可以被进一步滤波、调制和/或获取以获得具有期望的光谱和/或光谱分辨率的光学信号。
如图28所示，系统2800可以包括至少两个双阿米西棱镜，例如棱镜2810a和2810b。根据系统的应用，系统2800可以进一步包括至少两个透镜2830a和2830b。例如，当系统2800在样品上的多个位置的发射光谱被同时测量的高光谱成像系统中实现时，透镜2830a和2830b可以处于成像配置。透镜2830a和2830b可以在它们之间生成准直空间以用于使输入光束2801传播通过棱镜2810a和2810b。系统2800可以进一步包括其他光学元件，诸如反射镜、束流收集器、空间滤波器等。
如本文所述，系统2800的光轴可以限定输入光束2801和输出光束2802的预定波长(例如，中心波长)沿其传播通过系统2800的路径。
如图28所示，棱镜2810a和2810b以及透镜2830a和2830b沿着系统2800的光轴对准。输入光束2801可以从光学系统中的焦斑(“O”)收集并且由透镜130a准直。例如，光斑“O”可以在透镜2830a之前大约一个焦距处。然后，经准直的输入光束2801可以传播通过棱镜2810a和2810b。棱镜2810a和2810b可以将输入光束2801色散到期望量值，从而生成离开棱镜2810b的光谱地色散的输出光束2802。额外地或替代地，棱镜2810a和2810b可以改变输出光束2802的色散的取向。输出光束2802可以被透镜2830b收集和聚焦到聚焦光斑“I”。光斑“I”可以在透镜2830b之后大约一个焦距处。光斑“I”可以呈具有期望的扩展和/或分辨率的离散或连续光谱的形式。在一些实施例中，可以由传感器阵列来获取光斑“I”。
系统2800的其他配置可以使用额外的光学元件，例如反射镜、透镜、滤波器等。虽然双阿米西棱镜2810a和2810b被用作系统2800的无偏色散元件的示例，但是可以使用与本公开的实施例一致的其他合适的无偏色散元件，诸如无偏复合棱镜。
下面详细描述系统2800的组件的功能和工作原理。
图29是示例性双阿米西棱镜2810a的示意性横截面图。如本文所述，以下参考棱镜2810a的特征的描述同样适用于棱镜2810b。
如图29所示，棱镜2810a包括串联放置的棱镜元件的集合，诸如第一元件2812、第二元件2814和第三元件2816。这些元件可以粘合在一起以形成牢固组合。第一和第二元件2812和2814可以由相同的玻璃制成并且具有相同的顶角。棱镜2810a的设计布局因此关于穿过第三元件2816的中心的平面对称。
第一元件2812和第二元件2814通常由具有相对于第三元件2816的较低折射率的玻璃制成。例如，第一元件2812和第二元件2814可以由冠玻璃(crown glass)制成而第三元件可以由燧石玻璃制成。如本文所述，可以适当地选择棱镜元件的材料以实现输入光束2801的期望色散。在一些实施例中，对棱镜2810a和2810b的棱镜元件的材料的选择可以是相同的使得能够由棱镜2810a和2810b生成的色散可以是相同的。在其他实施例中，对棱镜2810a和2810b的棱镜元件的材料的选择可以是不同的，使得能够由棱镜2810a和2810b生成的色散可以不同。额外地，棱镜元件的材料可以被设计成实现总色散的较大线性和/或实现系统2800的较高阶色散效应。
如图29所示，棱镜2810a可以在其两侧上具有两个倾斜面。输入光束2801的预定波长可以穿过棱镜2810a的第一倾斜面并且以与光轴基本上零偏离地从另一倾斜面离开。预定波长可以取决于棱镜2810a的设计，诸如棱镜元件2812、2814和2816的材料成分和几何结构。输入光束2801的其他波长将以相对于光轴的波长相依性的偏离角穿过棱镜2810a。这样的偏离角还可以取决于棱镜2810a的几何结构。
有利地，如上所述，系统2800可以实现期望的色散而不引起预定波长(例如，输入光束2801的中心波长)的偏离。换句话说，输入光束2801的预定波长的输入光轴保持与其输出光轴基本共线。
当两个棱镜2810a和2810b在系统2800中一起使用时，输入光束2801的色散可以增大或减小。图30和图31是穿过系统2800的输入光束2801的两个示例的图形横截面示意。图30示出了棱镜2810a和2810b绕光轴对准并且一起使总色散的量值加倍。相比之下，图31示出了棱镜2810a和2810b绕光轴反向对准并且由棱镜2810a生成的色散被棱镜2810b减小到最小值或被抵消。
如图30所示，棱镜2810a和2810b相对于彼此以约0°的旋转角对准。在穿过棱镜2810a之后，输入光束2801的两个示例性波长2801a和2801b以不同角度偏转。当在从棱镜2810a到棱镜2810b的距离上传播时，输入光束2801被色散并填充有光谱信息。输入光束2801的两个波长2801a和2801b在穿过棱镜2810b后进一步偏转并彼此偏离。透镜2830b然后可以将输出光束2802中的两个波长2801a和2801b聚焦到从彼此移位的两个不同光斑，例如“IA”和“IB”。如果输出光束2802被传感器获取，则两个不同波长2801a和2801b的焦斑将最终位于传感器上侧向从彼此移位的两个不同位置处。
与图30中所示的示例相比，图31示出了棱镜2810a和2810b相对于彼此以约180°的旋转角反向对准。如上所述，输入光束2801的两个示例性波长2801a和2801b在穿过棱镜2810a之后以不同的角度被类似地偏转。因此，输入光束2801在棱镜2810a与棱镜2810b之间的空间中被色散。然后，输入光束2801的两个波长2801a和2801b被棱镜2810b偏转到相反反向，从而减小或抵消输出光束2802的色散。
如图31所示，在一些实施例中，当棱镜2810a和2810b相同时，两个波长2801a和2801b的由棱镜2810a生成的色散可以在通过棱镜2810b之后被抵消为零。例如，输入光束2801的两个波长2801a和2801b可以被棱镜2810b偏转回以与光轴对准。然后，透镜2830b可以将两个波长2801a和2801b聚焦到彼此重叠的光斑“IA”和“IB”。如果通过传感器获取输出光束2802，则将在相同位置获取两个不同波长2801a和2801b的焦斑，由此抵消色散。
如上所述，当棱镜2810a和2810b绕光轴彼此对准时，由系统2800生成的色散可以最大化，例如可以是由棱镜2810a生成的色散量的两倍。当棱镜2810a和2810b绕光轴彼此反向对准时，由系统2800生成的色散可以最小化，例如，当棱镜2810b与棱镜2810a相同时抵消为零。通过从大约0°到大约180°调节棱镜2810a和2810b之间绕光轴的旋转角，输出光束2802的色散可以变化到最大值和最小值之间的期望中间量值。
两个棱镜2810a和2810b绕光轴的旋转可以使用任何合适的旋转设备来实现，例如步进电机旋转载物台或热电机旋转载物台。在一些实施例中，只有棱镜2810a和2810b中的一个可以旋转以调节输出光束2802的色散。在其他实施例中，可以旋转棱镜2810a和2810b以调节输出光束2802的色散。
如本文所述，图30中所示的输入光束2801的两个波长2801a和2801b仅是示例性的。输入光束2801的多个或无限波长可以穿过系统2800。
如上所述，输出光束2802可以由传感器阵列获取或检测。例如，发射输入光束2801的光发射光斑可以在穿过系统2800之后变成输出光束2802的多个光斑。在传感器上获取的输出光束2802的多个光斑可以沿着虚拟色散线侧向从彼此移位。在一些实例中，如果输入光束2801具有连续光谱，则光发射光斑将在传感器上作为光谱的色散的线而被获取。给定光斑或在沿着色散的线的给定位置处的光强度将对应于由对应波长提供的强度。因此，沿着色散线的强度对(versus)距离可以转换为强度与波长之间的关系。
图32和图33是通过系统2800色散具有三个波长(例如，500nm、600nm和650nm)的光束的光学模拟结果的示图。如图32和图33所示，三个波长的焦斑沿虚拟色散线垂直地从彼此移位。波长550nm的光斑位于示图的中心，波长600nm的光斑位于波长550nm的光斑下方，并且波长650nm的光斑位于波长600nm的光斑下方。
在一些实施例中，光斑之间的间距可以取决于系统2800的色散的量值。例如，用于示出图32中所示的模拟结果的系统2800的色散量值被调节为大于用于示出图33中所示的模拟结果的系统2800的色散量值。因此，图32中三个波长的光斑之间的间距大于图33中光斑之间的间距。
有利地，对色散量值的调节可以允许输入光束2801的任何带宽适当地填充传感器的期望空间。这可以提高使用传感器上的空间的效率，并且可以进一步提高光学测量系统的测量吞吐量。
例如，在荧光光谱法或显微镜中，系统2800可以用于增加荧光团的荧光发射光谱的期望范围的色散量值。这可以增加期望范围的光谱分辨率，从而提供样品中的荧光团或荧光分子的更多信息。在其他实例中，诸如在多光斑高光谱成像系统中，可以使用系统2800来减小稀疏荧光发射光谱的色散量值。这允许同时测量更多的荧光发射光谱，从而提高了使用传感器空间的效率和高光谱成像系统的测量吞吐量。
在一些实施例中，棱镜2810a和2810b可以被设计成实现输出光束2802的线性色散。在这样的实例中，给定波长和中心波长的焦斑之间沿着色散线的距离与在给定波长和中心波长之间的差成线性比例。在其它实施例中，棱镜2810a和2810b可以被设计成实现输出光束2802的非线性色散。在这样的实例中，给定波长从中心波长的光轴的偏离角可以与给定波长和中心波长之间的差成比例。
如上所述，在一些实施例中，可以调节棱镜2810a和2810b以改变输出光束2802的色散的取向。例如，色散的取向或焦斑沿其如图32和33中所示地对准的色散线沿着垂直方向。当两个棱镜2810a和2810b一起旋转到绕光轴的给定角度时，色散的取向或色散线可以被调节到不同的方向。例如，如果两个棱镜2810a和2810b一起进一步旋转大约90°，则色散的取向或焦斑沿其如图32和33中所示地对准的色散线可以沿着水平方向。
如本文所述的系统2800可以用在用于色散光束的各种方法和设备中。图34是用于色散光束的示例性方法3400的流程图。方法3400使用系统2800以及上面参考图28-图31描述的系统2800的实施例的特征。
在步骤3402，光束可以被系统2800接收。根据系统2800的应用和/或光束的准直状态，光束可以在色散之前被透镜2830a收集和准直并在色散之后被透镜2830b聚焦。在步骤3404，光束可以透射过沿着光轴对准的一对双阿米西棱镜2810a和2810b。在步骤3406，可以通过绕光轴相对于另一个来旋转棱镜2810a和2810b中的至少一个来将光束色散到预定的量值。
方法3400可以进一步包括额外步骤。例如，方法3400可以包括在旋转棱镜之前校准系统2800。可以适当地校准和对准系统2800中的其他光学组件(诸如透镜2830a和2830b)，使得光束的预定波长的输入光轴和输出光轴保持共线。
在一些实施例中，方法3400可以进一步包括通过绕光轴调节第一和第二棱镜2810a和2810b之间的旋转角来改变色散的量值。额外地或替代地，方法3400可以进一步包括通过绕光轴旋转棱镜2810a和2810b二者，将光束的色散调节到预定取向。
X.通过卷积距离和发射光波长的示例成像
增加样品(例如，生物样品)被成像的速率以便标识样品中的探针，检测样品中的荧光团(例如，这样的探针的荧光团)的位置、颜色或其他性质或提供某个其他益处可能是有利的。可以在被称为激发带的波长范围上激发样品的(例如，样品中探针的)荧光团。当它们弛豫到基态时，荧光团可以在被称为发射带的宽波长范围内发射光。本公开包括利用荧光团的宽发射带用于使用修改形式的共焦显微镜来同时对样品中的多个平面进行获取的实施例。这些实施例可以与本文描述的其他实施例结合以提高可以对样品成像的速率。
根据本公开的一方面，向样品发送激发光斑。根据本公开，可以选择激发光斑，使得其在轴向方向上在所有感兴趣的平面上激发样品。激发光学器件应当被选择，使得感兴趣的平面上的激发光斑尺寸的变化最小化。
根据本公开的一方面，显微镜系统的收集光学器件有意地具有大程度的轴向色像差，使得不同的颜色(即，不同的波长)与在不同平面处的发射或共焦针孔共轭。一旦光已经穿过针孔，它就可以被一个或多个棱镜、光栅或其他色散元件色散，以便不同的波长以不同的角度从棱镜色散时该光斑在位于图像平面处的二维传感器上变成色条或带，使得色条的垂直空间轴包含轴向图像信息。对于给定的获取帧的、传感器上的给定像素位置与单个发射波长对应，其转而编码来自样品中的单个体积点的荧光信息。
有利地，对于样品上的每个侧向位置，图像信息的轴向位置可以通过颜色(即波长)编码。
在一些方面，与使光学器件中的轴向色像差最小化的标准做法相反，根据本公开的系统使光学器件中的轴向色像差最大化。通过引入作为波长的函数的大的焦移(focalshift)，色像差可用于编码发射中的轴向信息。这样，可以大大增加图像传感器上的信息密度，并且可以有利地实现快速体积成像。
本公开的实施例还可以使用具有一个或多个二维图像传感器的共焦显微镜来实现。与使用常规消色差物镜相比，与所公开的实施例一致的显微镜系统可以包括针对本文讨论的色像差的特别设计的物镜。有利地，由于较大的光学设计空间，这些物镜的制造可以比针对最小色像差而设计的物镜便宜。
在某些方面，可以在不需要高光谱能力的显微镜系统中的收集(collection)路径中添加色散元件。
在某些方面，可以在物镜外部的光学路径中引入色像差。例如，可以使用色散管透镜作为轴向色差元件。还可以在多个光学元件(例如，物镜和管透镜)之间划分色像差。这可以允许灵活地选择物镜和/或管透镜，修改显微镜系统中的色像差的程度，和/或可以进一步简化系统或降低系统成本。
与本公开的实施例一致，可以使激发光使用色像差来生成非常细的激发光束。如同光片成像的一些实施例，可以使激发光使用贝塞尔光束或多个小贝塞尔光束，使得取代在样品处的点激发而使用线激发，并且使用色散元件将(一个或多个)线转换为二维传感器上的(一个或多个)矩形。
在进一步的示例性实施例中，数字微镜器件或空间光调制器(SLM)可以用作人工针孔。
现在将详细参考本公开的实施例和方面，本公开的示例在附图中示出。在可能的情况下，将在整个附图中使用相同的附图标记来指代相同或相似的部分。
图35以显微镜系统3510的示意性形式示出了示例性实施例。图35的该示意图要被理解为未按比例绘制。在一些实施例中，显微镜3510是荧光显微镜，并且更特别地是修改形式的共焦荧光显微镜。本公开的实施例适用于其他显微镜技术，诸如，例如受激发射损耗(STED)显微镜。
如图35所示，系统3510通过光学切片原理使用荧光和/或磷光创建样品3512的放大图像，该原理将在下面进一步讨论。在示意性实施例中，样品3512用荧光团化合物着色或染色，该荧光团化合物吸收特定波长(即，激发带)的光能量并且以不同波长(即，发射带)重新发射光。激发峰值波长和发射峰值波长之间的差与斯托克斯位移对应。
可以使用各种荧光团，包括本领域已知的那些荧光团。将会认识到，荧光团具有不同的性质，使得它们或多或少对于给定的显微应用有用。激发带的范围从紫外到可见光谱，并且发射带的范围通常从可见光到近红外区域。新的荧光团还可以提供光学和化学性质的各种组合。在一些实施例中，可以链接荧光团，其中第一荧光团的发射在称为荧光共振能量转移(FRET)的过程中被伴随荧光团淬灭，从而允许实现不同的发射波长。
再次参考图35，描绘了具有两个示意性焦平面的样品3512。在示意性实施例中，第一焦平面A和第二焦平面B总体彼此平行且垂直于显微镜系统3510的主光轴。其他几何结构可以使用诸如透镜、反射镜等的光学元件。物镜3514是聚集来自样品的光(可见光或其他光)的光学元件。在示例性实施例中，物镜3514还用于将激发辐射投射到样品3512上。在示例性实施例中，物镜3514包括如下参考图36所讨论的二向色透镜。
二向色滤波器3516是采用来允许来自照明源3518的激发辐射3520传入物镜3514以投射(图35中的3520’所示)到样品3512上的分光器元件。投射的激发辐射3520’可以采用光斑的形式，其可以是变化的形式，例如圆形或椭圆形。样品3512被通过多个光学平面(出于图示，平面A和B)的激发辐射3520’穿透，并且荧光团伴随地被激发。样品3512的被激发的荧光团随后将发射发射带中的辐射，该发射带在示意性实施例中可以跨一波长范围上或具有多个波长。二向色滤波器3516允许荧光团发射3522在通过3522’处，同时排斥其他波长，诸如激发辐射。在示意性实施例中，荧光团发射3522穿过物镜3514，但是其他光学路径也是可能的。
在示例性实施例中，通过物镜3514而变得基本上平行的荧光团发射3522’传入管透镜3524。管透镜3524使起源于感兴趣的焦平面(例如，焦平面A和B)的来自物镜3514的平行波列3522’会聚在共焦针孔3526处。离焦发射不穿过共焦针孔3526并从图像中消除。来自管透镜3524的聚焦的荧光团发射波列3522”会聚于共焦针孔3526，并且包含来自多个焦平面(例如，焦平面A和B)的图像信息，并且可以轴向平移共焦针孔3526以适应调查参数。在示意性实施例中，物镜3512是重度色差的，如下面参考图36所述。另外，可以采用多个针孔通过获得来自样品3512上的不同侧向位置图像来增加吞吐量。
激发光斑3520’可以跨样品3512侧向平移，并且可以有利地同时基于透镜的色像差从多个轴向平面同时收集图像。通过采用具有宽发射光谱的荧光团，在样品中的不同轴向深度处的图像波列可以通过波长来编码，这将在下面更详细地讨论。
在示意性实施例中，在穿过共焦针孔3526之后，荧光团发射波列3522”可以被投射到光电倍增器检测器(例如，CCD传感器)或目镜上以获得图像。在另一示意性实施例中，一旦光已经穿过针孔3526，就用一个或多个棱镜或光栅(例如，图35中的棱镜3528)使其色散，使得光斑3530在图像平面3534处的二维传感器(未示出)上变成色条3532。传感器可以用sCMOS传感器来实现，但是也可以使用二维硅APD阵列和其他敏感传感器。对于样品上的每个侧向位置，轴向位置可以通过颜色来编码，其可以随后被有利地编码到传感器的像素编号上。可以通过将从各个光斑获得的色条排列在样品上的侧向位置处来形成三维图像。
转到图36，描绘了示例性色差透镜3514a的示意图。在示意性实施例中，色差透镜3514a是物镜3514的分量透镜。由于在入射光的不同波长色差透镜的折射率不同，色差透镜在图像平面实现各种频率的分开。如图36所示，样品3512具有以A’、B’和C’指示的三个示意性焦平面。存在于样品3512中的荧光团可以具有相对宽的发射带，使得归因于色差透镜3514a的轴向色差光学像差，色差透镜3514a可以聚焦来自不同平面的不同波长的光(在示意性实施例中被示出为发射分量光束3522a、3522b和3522c)。如图所示，虽然这些分量光束源自不同的焦平面A’、B’和C’，但是归因于它们的波长不同，色差透镜3514a对分量光束的折射的差会允许分量光束共轭以最终透射到图像平面。
根据本公开的另一方面，可以应用偏振原理以产生偏振的分量光束，其可以被进一步处理用于额外的光学信息密度。
图37是用于使用具有轴向色差透镜的显微镜系统同时获得多个平面中的图像的示例性方法3700的流程图。示意性方法3700使用光学系统3512以及上述图35和图36的实施例的特征。
在步骤3702，在贯穿样品的轴向深度的感兴趣的多个平面上，在一波长范围上激发样品的荧光团。当荧光团弛豫到基态时，它们可以发射宽波长范围的光，其在步骤3704使用显微镜系统的有意地具有大程度的轴向色像差的收集光学器件来收集。结果，在步骤3706，不同颜色与在不同平面处的发射或共焦针孔共轭。在步骤3708，光被一个或多个棱镜或光栅色散，并且在步骤3710，光斑在图像平面处的二维传感器上成为色条。在步骤3712，从传感器收集图像数据。如上所述，对于样品上的每个侧向位置，轴向位置将通过颜色编码，随后可将其编码到传感器的像素编号上。
XI.示例可控光学滤波器
在一些应用中，将光学滤波的一个或多个可控带通、高通、低通或其他类型应用于施加到样品的照明和/或从这样的样品接收的图像光可能是有利的。这样的滤波可以促进样品(例如，生物样品)的成像以便标识样品中的探针，检测样品中的荧光团(例如，这样的探针的荧光团)的位置，颜色或其他性质，或提供某个其他益处。本文提供的示例系统可以选择性地透射具有可调谐带宽和/或中心波长的一个或多个光谱带，从而允许生成具有期望的光谱带和/或光谱分辨率的(一个或多个)光束。本公开的实施例可以在光谱仪(例如，成像光谱仪)、显微镜(例如，荧光显微镜、共焦显微镜、透射显微镜、反射显微镜等)、或光谱成像系统(例如，高光谱成像系统)中实现。替代地，本公开的实施例可以在使用合适的光学元件构建的自定义成像系统中实现。
根据本公开的一方面，提供了一种用于对输入光束进行滤波的光学系统。输入光束可以具有有多个波长的离散光谱或连续光谱。输入光束可以是用于照明样品的激发光束或从样品收集的发射光束。输入光束可以被光学系统滤波以生成具有有期望带宽和/或中心波长的选定光谱带的输出光束。
根据本公开的一方面，光学系统可以包括一个或多个光谱分割模块。每个光谱分割模块可以具有可以被灵活地调谐以具有期望的带宽和/或期望的中心波长的通带。在一些实施例中，光学系统可以被放置在光学器件中的准直光束内。在其它实施例中，光学系统可以在滤波输入光束之前准直输入光束，并且/或者可以在这样的滤波之后聚焦输出光束。
根据本公开的一方面，光学系统可以将输入光束分割成至少两个部分光束。例如，一个或多个分束器可以用于将输入光束分割成期望数量的部分光束。至少一个部分光束可以被引导透射过光谱分割模块。光谱分割模块可以通过透射其通带内的波长并且反射其通带之外的波长来滤波部分光束。光学系统然后可以例如使用一个或多个分束器和/或反射镜将部分光束(无论是否被滤波)组合成输出光束。
在一些实施例中，可以分别引导具有不同光谱带的部分光束通过对应数量的光谱分割模块。每个光谱分割模块可以将从其透射过的部分光束滤波为期望的光谱带。光学系统然后可以使用一个或多个分束器和/或反射镜将经滤波的部分光束组合成输出光束。
根据本公开的一方面，用于分割输入光束的分束器可以是基于波长选择性地透射和反射光的二向色分束器。例如，入射在二向色分束器上的输入光束可以被光谱地分割成两个部分光束，这两个部分光束具有围绕截止波长划分的两个不同光谱带。一个部分光束可以透射过二向色分束器，而另一部分光束可以从二向色分束器反射出来。
在一些实施例中，二向色分束器可以具有通带(高透射率/低反射率的光谱区域)、阻带(低透射率/高反射率的光谱区域)和过渡区域(通带和阻带之间的光谱区域)。过渡区域可以被限定为两个波长之间的区域，这两个波长例如分别为约90％的峰值透射的第一波长和约10％的峰值透射的第二波长。约50％的峰值透射的截止波长可以在过渡区域的中心。
根据本公开的一方面，用于组合两个部分光束的分束器可以允许两个部分光束在组合之后沿着共同的光学路径传播。例如，用于组合部分光束的分束器可以是基于波长选择性地透射和反射光的二向色分束器。一部分光束可以沿其光学路径透射过二向色分束器，而另一部分光束可以从二向色分束器反射出来以沿相同光学路径传播。
在某些方面，用于将两个部分光束组合成输出光束的分束器可以具有与用于将输入光束分成两个部分光束的分束器相同的光谱特性。例如，两个分束器可以是相同的二向色分束器，其基于相同的截止波长反射和透射光。有利地，使用相同的二向色分束器用于分割和组合，允许对两个部分光束的两个光谱带的高透射和高反射。这进一步允许高效地引导和/或收集从输入光束分割的不同的部分光束以成为组合的输出光束，从而减少光损失。
根据本公开的一方面，光谱分割模块均可以作为具有可调谐通带的带通滤波器来操作。每个光谱分割模块的通带的带宽和/或中心波长可以独立地调节到期望值。在一些实施例中，每个光谱分割模块可以包括沿其光轴对准的长通滤波器和短通滤波器。长通滤波器和短通滤波器可以相对于光轴独立旋转。旋转任一滤波器可以改变部分光束在滤波器上的入射角(Angle Of Incidence，AOI)，并因此移位吸收或反射边缘，例如截止波长。例如，将AOI从法向入射增加到更高角度可以使长通滤波器和/或短通滤波器的光谱透射朝向更短的波长移位。因此，通过相对于光轴旋转其长通和/或短通滤波器中的至少一个，可以调谐每个光谱分割模块的通带(例如，带宽和/或中心波长)。
有利地，每个光谱分割模块的通带根据长通和/或短通滤波器上的AOI而变化，而不会展现光谱形状、透射百分比和/或带外排斥的实质性改变。此外，通过改变部分光束在滤波器上的AOI，可以在整个可能的通带上连续地调谐每个光谱分割模块的通带的带宽和/或中心波长。此外，通过使用一系列具有不同通带的光谱分割模块，输入光束的光谱可以被选择性地滤波以具有包含期望带宽和中心波长的光谱带。
在某些方面，光谱分割模块可具有一系列通带，该一系列通带从彼此光谱地移位而在两个相邻通带之间具有重叠区域。例如，两个不同的光谱分割模块可以具有用于对两个部分光束进行滤波的两个不同通带。两个通带可以具有重叠区域，并且第一通带可以跨通常比第二通带更长的波长。在这样的实例中，用于将输入光束分成两个部分光束的二向色分束器的过渡区域可以落入该重叠区域。有利地，二向色分束器和光谱分割模块的这样的特性减少了可能由输入光束的光谱分割和部分光束的单独滤波而导致的潜在伪像。
在某些方面，光谱分割模块中的至少一个可以进一步包括额外地阻挡光谱分割模块的通带之外的波长的阻挡滤波器。例如，阻挡滤波器可以是带通滤波器，其基本上阻挡或排斥由长通和短通滤波器形成的通带之外的波长，从而减少或消除通带之外的光谱不规则性。
在某些方面，光学系统还可以包括一个或多个反射镜，其被配置为引导输入光束、从输入光束分割的部分光束和/或输出光束的传播。在一些实施例中，一对反射镜可以被配置为沿着光谱分割模块的光轴对准部分光束。例如，第一反射镜可以接收部分光束并且将其引导通过光谱分割模块的组件，例如，长通滤波器和短通滤波器。第二反射镜可以接收经滤波的部分光束，并且可以进一步将其引导向分束器以与另一部分光束组合。两个反射镜可以被独立且适当地调节以沿光谱分割模块的光轴对准部分光束的传播。有利地，沿光谱分割模块的光轴分别对准不同的部分光束可以最终允许部分光束在它们组合之后沿着相同方向或相同光学路径传播。
在某些方面，光谱分割模块还可以包括补偿滤波器，该补偿滤波器在部分光束在透射过长通和/或短通滤波器后侧向偏离光轴时重新对准部分光束。例如，以非法向AOI透射过长通和/或短通滤波器的部分光束可以具有从光谱分割模块的光轴的侧向位移。补偿滤波器可以校正侧向位移并重新对准光谱分割模块的输入光轴和输出光轴。
在一些实施例中，输出光束可以沿着与输入光束相同的方向传播。例如，系统的输入光束和输出光束可以保持共线，由此有利地保持光学系统的整体光轴的方向。
在某些方面，光谱分割模块可以进一步包括光学空间补偿器，该光学空间补偿器将光学路径长度添加到透射过其的部分光束。例如，第一光谱分割模块可以具有比第二光谱分割模块长的光学路径长度(Optical Path Length，OPL)。因此，在行进通过第一光谱分割模块的第一部分光束和行进通过第二光谱分割模块的第二部分光束之间可能存在光学路径差(Optical Path Difference，OPD)。在这样的实例中，第二光谱分割模块可以包括光学空间补偿器，例如玻璃板，其增加由第二部分光束行进的OPL。有利地，添加光学空间补偿器在两个部分光束在输出光束中组合时减小了两个部分光束之间的OPD。这可以进一步减少或消除可能由两个部分光束之间的OPD引起的不期望的光学效应，例如干涉。
如本文所述，进入光学系统要被滤波的光束可以被称为输入光束，并且离开光学系统的经滤波的光束可以被称为输出光束。在一些实施例中，输出光束可以进一步被色散、调制、滤波、处理和/或由成像设备的光电检测器或传感器的一维或二维阵列检测。
现在将详细参考本公开的实施例和方面，本公开的示例在附图中示出。
图38是用于对光束进行滤波的示例性系统3800的示意图。例如，系统3800可以在用于从输入光束3900生成具有期望光谱的输出光束3900’的光学设置中实现。如本文所述，输入光束3900指的是进入和/或透射过系统3800的光束，而输出光束3900’指的是离开系统3088的经滤波的光束。输入光束3900和输出光束3900’被单独参考用于描述系统3800对光束的透射和滤波。在一些实施例中，可以进一步色散、滤波、调制和/或获取输出光束3900’以获得具有期望光谱和/或光谱分辨率的光信号。
如图38所示，系统3800可以包括一个或多个光谱分割模块，例如光谱分割模块3810A、3810B、3810C和3810D；分束器的第一集合，例如分束器3820A、3822A和3824A；以及分束器的第二集合，例如分束器3820B、3822B和3824B。分束器的第一集合可以用于将光束分成具有不同光谱带的分开的部分光束。例如，分束器3820A可以是二向色分束器，其以第一截止波长分割输入光束3900，生成具有两个不同光谱带的两个部分光束3910和3920。类似地，分束器3822A进一步以第二截止波长将光束3910分成两个部分光束3912和3914，并且分束器3824A进一步以第三截止波长将光束3920分成两个部分光束3922和3924。因此，从输入光束3900分割的部分光束3912、3914、3922或3924每个可以具有一个不同的光谱带。
如本文所述，将输入光束3900分割成如图38所示的四个部分光束3912、3914、3922和3924仅作为示例使用。还可以将输入光束3900分割成更少或更多数量的部分光束。在这种情况下，仅需要提供相应数量的分束器。例如，分束器3824A可以被反射镜代替，使得光束3920不被进一步分成另外的部分光束。替代地，可以添加额外的分束器以进一步分割光束3912和/或3922。也可以阻挡一个或多个部分光束，使得与这些部分光束对应的光谱带基本上从输出光束3900’的光谱去除。
如上所述，当分束器是二向色分束器时，由分束器从输入光束分割的两个部分光束将具有不同的光谱带。在其它实施例中，可以在系统中使用除了二向色分束器之外的分束器。在这样的实例中，由分束器分割的两个部分光束可以具有相同的光谱，并且可以通过透射过不同的光谱分割模块而被进一步单独滤波。
在一些实施例中，部分光束3912、3914、3922或3924中的至少一个可以被引导通过光谱分割模块。光谱分割模块然后将透射过其的部分光束滤波到具有期望的带宽和/或中心波长的期望光谱带。
例如，如图38所示，可以分别引导部分光束3912、3914、3922或3924通过不同的光谱分割模块。光谱分割模块3810A、3810B、3810C和3810D均可以作为具有可调带宽和可调谐中心波长的可调谐带通滤波器而操作。因此，光谱分割模块均可以对透射过其的部分光束进行滤波，并生成具有期望光谱带的对应的经滤波的部分光束3912’、3914’、3922’或3924’。
如本文所述，仅通过示例描述用于分别对四个部分光束进行滤波的四个示例性光谱分割模块3810A、3810B、3810C和3810D。也可以使用更小或更大数量的光谱分割模块，并且可以选择选定数量的部分光束并且将其引导通过光谱分割模块。在这样的实例中，可以在系统3800中使用对应数量的分束器和/或反射镜。
第二组分束器可以用于将滤波后的部分光束3912’、3914’、3922’或3924’组合成输出光束3900’。例如，分束器3822B可以是二向色分束器，其透射光束3912’并且反射光束3914’，由此生成具有对光束3912’和3914’的光谱带进行组合的光谱的组合光束3910’。类似地，分束器3824B可以是二向色分束器，其透射光束3922’并反射光束3924’，从而生成组合光束3920’，其具有对光束3922’和3924’的光谱带进行组合的光谱。分束器3820B也可以是二向色分束器，其进一步透射组合光束3910’并反射组合光束3920’，从而生成输出光束3900’。因此，系统3800的输出光束3900’将具有对光束3912’、3914’、3922’和3924’的光谱带进行组合的光谱。
在一些实施例中，分束器的第二集合可以具有与分束器的第一集合相匹配的光谱特性以减少光损失。例如，分束器3822A和3822B可以是具有相同截止频率的类似或相同的二向色分束器。类似地，分束器3824A和3824B可以是具有相同截止波长的类似或相同的二向色分束器，并且分束器3820A和3820B可以是具有相同截止波长的类似或相同的二向色分束器。分束器的第一集合和第二集合的该匹配配置可以通过减少这些分束器的截止波长的失配而允许部分光束的高效透射和反射。有利地，这可以进一步提高将从输入光束3900分割的部分光束引导到组合输出光束3900’的效率，从而减少光损失。
在一些实施例中，系统3800还可以包括一个或多个反射镜，用于独立地对准透射过对应的光谱分割模块的部分光束。可以成对使用反射镜用于执行对准。例如，如图38所示，可以调节第一对反射镜3830A和3830B，以使光束3914的方向沿着光谱分割模块3810A的光轴对准。类似地，可以调节第二对反射镜3832A和3832B，以使光束3912的方向沿着光谱分割模块3810B的光轴对准；可以调节第三对反射镜3834A和3834B，以使光束3924的方向沿着光谱分割模块3810C的光轴对准；并且可以调节第四对反射镜3836A和3836B，以使光束3922的方向沿着光谱分割模块3810D的光轴对准。
在一些情况下，用于对准部分光束的一对反射镜(例如，反射镜3832A和3832B)可以沿着对应的光谱分割模块的光轴单独放置在对应的光谱分割模块的两端。在其他情况下，用于对准部分光束的一对反射镜，例如反射镜3834A和3834B，可以沿着对应的光谱分割模块的光轴被放置在对应的光谱分割模块的同一端。系统3800的反射镜可以手动地或者使用带有电机的设备来独立地倾斜和/或旋转。例如，可以使用步进电机、伺服电机或直流电机驱动的旋转载物台来调节反射镜。替代地，成对的反射镜可以用成对的电流计扫描仪或振镜反射镜(galvo mirror)代替。
有利地，沿着光谱分割模块的光轴的对部分光束的独立对准允许经滤波的部分光束在它们被组合后沿相同方向或相同光学路径传播。例如，如图38所示，光束3912’和3914’将在通过分束器3822B组合成光束3910’之后沿着相同的方向传播。类似地，光束3922’和3924’将在通过分束器3824B组合成光束3920’之后沿着相同的方向传播，并且光束3910’和3920’将在通过分束器3820B进一步组合成输出光束3900’之后沿着相同的方向传播。
下面详细描述系统3800的光谱分割模块的功能和工作原理。
图39是用于对光束进行滤波的示例性光谱分割模块的示意图。如本文所述，以下对参考光谱分割模块3810A的特征的描述同样适用于系统3800的其他光谱分割模块，例如，光谱分割模块3810B、3810C和3810D。
如图39所示，光谱分割模块3810A可以包括沿着其光轴对准的长通滤波器3812和短通滤波器3814。长通滤波器3812和短通滤波器3814可以组合形成带通滤波器，带通滤波器具有由长通滤波器3812和短通滤波器3814的边缘波长或截止波长(长通滤波器3812的截止波长小于短通滤波器3814的截止波长)界定的通带。长通滤波器3812和短通滤波器3814中的至少一个可以相对于光轴旋转。例如，长通滤波器3812和短通滤波器3814可以独立旋转以相对于光轴成一定角度。
在一些实施例中，长通滤波器3812和短通滤波器3814可以是薄膜角度调谐滤波器。旋转长通滤波器3812可以调节光束3914在其表面上的入射角(AOI)。长通滤波器3812的截止波长可以根据AOI而变化。类似地，旋转短通滤波器3814可以调节光束3914在其表面上的AOI，并且短通滤波器3814的截止波长可以根据AOI而变化。
举例来说，旋转长通滤波器3812以将光束3914在其表面上的AOI从法向入射改变为较高角度可将长通滤波器3812的截止波长向较短波长移位。替代地，旋转长通滤波器3812以将AOI从较高角度改变为法向入射可将长通滤波器3812的截止波长向较长波长移位。类似地，旋转短通滤波器3814以将光束3914在其表面上的AOI从法向入射改变为较高角度可将短通滤波器3814的截止波长向较短波长移位。旋转短通滤波器3814以将AOI从较高角度改变为法向入射可以将短通滤波器3814的截止波长向较长波长移位。
因此，调谐光束3914在长通滤波器3812和/或短通滤波器3814上的AOI改变光谱分割模块3810A的通带的截止波长，从而允许调节通带的带宽和/或中心波长。光束3914在长通滤波器3812和/或短通滤波器3814上的AOI可以跨给定的调节范围(例如从大约-10°至大约60°)被独立且连续地调谐。这可以有利地允许光谱分割模块3810A的通带将被连续地调谐为具有跨可以由滤波器提供的给定光谱范围的任何期望的带宽和/或中心波长。
如本文所述，透射过长通滤波器3812和短通滤波器3814的光束3914的顺序不会影响光谱分割模块3810A对光束3914的可调谐带通滤波。这也适用于其他光谱分割模块以用于滤波系统3800中的其他部分光束。
与其预定通带可以通过调谐光束在滤波器上的AOI而被移位的单个可调谐带通滤波器相比，光谱分割模块3810A有利地允许通过独立地调谐通带的两个截止波长而灵活地调节其通带的带宽和/或中心波长。额外地，与其他可调谐光学滤波器(例如，液晶可调谐滤波器(LCTF)、声光可调谐滤波器(AOTF)或线性可变可调谐滤波器(LVTF))相比，光谱分割模块3810A允许由长通和短通滤波器提供高透射、锐截止边缘和偏振不敏感性。
在一些情况下，当光束3914以非法向角度透射过长通滤波器3812和/或短通滤波器3814时，经滤波的光束3914’可以侧向偏离光谱分割模块3810A的光轴。在这样的情况下，如图39所示，光谱分割模块3810A可以进一步包括在长通滤波器3812和短通滤波器3814之后沿着其光轴对准的补偿滤波器3816。补偿滤波器3816可以被旋转以相对于光轴处于合适的角度以生成相反的侧向偏离以校正光束3914’的侧向位移。在一些实施例中，补偿滤波器3816可被调节为处于相对于光轴在从约0°至约30°的范围的角度。
在一些实施例中，补偿滤波器3816可与反射镜一起调节以使经滤波的光束3914’沿光谱分割模块3810A的光轴对准。例如，反射镜3830A和3830B及补偿滤波器3816可独立地调节以允许光束3914’沿着光谱分割模块3810A的光轴传播。可以对其他光束(例如光束3912’、3922’和3924’)执行类似的对准。额外地，如图38所示，对滤波后的部分光束的这样的独立对准可以进一步允许它们在组合成一个光束(例如，光束3910’、3920’和3900’)之后沿着相同的光学路径传播。
在一些实施例中，长通滤波器3812、短通滤波器3814和/或补偿滤波器3816可以使用电机驱动的旋转设备独立地旋转。例如，可以使用步进电机、伺服电机或DC电机驱动的旋转载物台来调节这些滤波器。替代地，这些滤波器可以使用电流计扫描仪进行旋转。
在一些情况下，分离的光束(例如，光束3912和3914)可以传播通过不同的光学路径长度(OPL)。例如，如图38所示，由于系统3800的几何结构，当光束在分束器3822B处被组合时，光束3912’传播通过的OPL可以比光束3914’长。光束3912’和3914’之间的光学路径长度差(OPD)可以在它们被组合时导致它们之间的相移。在一些实例中，这种相移可能产生不期望的光学效应，例如干涉。因此，在一些实施例中，光谱分割模块3810A可以进一步包括光学空间补偿器3818。
光学空间补偿器3818可以将OPL添加到从其透射过的光束。光学空间补偿器3818可以是具有选定厚度和折射率的玻璃板。例如，如图38所示，光学空间补偿器3818可以增加光束3914’行进的OPL以与光束3912’行进的OPL相同。有利地，添加光学空间补偿器3818可以允许沿着系统3800中的两条不同路径透射的两个部分光束在被组合成一个光束后传播通过相同量的OPL，由此减少或消除不期望的光学效应。
在一些实施例中，光谱分割模块3810A可进一步包括进一步阻挡或排斥光谱分割模块3810A的期望通带之外的波长的阻挡滤波器(未示出)。例如，阻挡滤波器可以是带通滤波器，其基本上阻挡或排斥超出由长通滤波器3812和短通滤波器3814形成的通带的波长。这有利地允许减少或消除通带之外的潜在的非理想光谱不规则性。额外地或替代地，光谱分割模块3810A可进一步包括另一补偿滤波器(未示出)，其补偿散光以改善经滤波的光束3914’的锐度。这可以进一步改善输出光束3900’的锐度。
如上所述，光谱分割模块可以具有一系列从彼此光谱地移位的通带而两个相邻通带之间具有重叠区域。在这样的实例中，用于将输入光束分成两个部分光束的二向色分束器的过渡区域被选择为处于重叠区域内以减少来自对部分光束的分割和分开滤波的潜在伪像。图40A-图40C以图形示出用于减少光损失的二向色分束器和光谱分割模块的这样的特性的优点。图40A-图40C示出了具有沿着垂直轴的透射量(例如，百分比透射)和沿着水平轴的波长的光谱分割模块3810A和3810B的两个示例性通带4040A和4040B。额外地，图40A-图40C示出了具有过渡区域4030的分束器3822A的示例性透射光谱4050。
如图38和图40A所示，通带4040A和4040B不重叠。在这样的实例中，在过渡区域4030的中心处的光束3910的波长部分透射过分束器3822A并且从分束器3822A反射。然而，因为通带4040A和4040B不重叠，并且由于它们的边缘的斜率可能具有间隙区域，所以在过渡区域4030的中心处的这些波长处的光束3910的至少一部分不能穿过通带4040A或4040B。这导致损失光束3910的在这些波长处的部分。此外，在过渡区域4030的两个边缘处的光束3910的波长可能经受额外的损失。例如，过渡区域4030中的光束3910的一些波长可以基本上透射过分束器然后通过光谱分割模块3810B的通带4040B。但是光束3910的这些波长也部分地从分束器3822A反射并被引导向光谱分割模块3810A。然而，这些波长不落入光谱分割模块3810A的通带4040A中，由此导致损失光束3910的在这些波长处的部分。
如图38和图40B所示，通带4040A和4040B具有比分束器3822A的过渡区域4030窄的重叠区域4040C。在这样的实例中，过渡区域4030的中心处的光束3910的波长将透射过通带4040A和4040B，从而减少了光束3910的损失。然而，在重叠区域4040C之外的光束3910的在过渡区域4030的两个边缘处的波长仍然可能经受额外的损失。例如，在重叠区域4040之外但在过渡区域4030之内的光束3910的一些波长可以基本上透射过分束器3822A并且然后通过光谱分割模块3810B的通带4040B。但是光束3910的这些波长也部分地从分束器3822A反射并且被引导向光谱分割模块3810A。然而，这些波长不落入光谱分割模块3810A的通带4040A中。这再次导致损失光束3910在这些波长处的部分。
如图38和图40C所示，根据本公开的实施例，通带4040A和4040B具有等于或宽于分束器3822A的过渡区域4030的重叠区域4040C。在这样的实例中，光束3910的在过渡区域4030中的波长将落入通带4040A和4040B两者中。这允许光束3910的一些部分(无论是从分束器3822A反射还是透射过分束器3822A的)透射过光谱分割模块3810A的通带4040A和/或光谱分割模块3810B的通带4040B，由此有利地减少或消除光束3910的损失。
如本文所述，可以通过控制器(未示出)来控制反射镜的调节和系统3800的滤波器的角度调谐。控制器可具有处理器、非暂时性存储器和存储指令或操作步骤计算机可读介质。存储器可以存储例如AOI和截止波长的、滤波器的多个系数，以及反射镜的参数，例如沿着一个或两个空间维度的相对于光轴的角度。当由处理器执行时，指令或步骤可基于光谱分割模块的期望通带将光束在滤波器上的AOI调节到合适的角度。另外，指令或步骤在由处理器执行时，可进一步操作电机驱动的旋转载物台或电流计扫描仪以调节反射镜和/或补偿滤波器，以使输出的部分光束沿着光谱分割模块对准，使得它们在被组合后将沿着相同的光学路径传播。
用于通过系统3800对输入光束3900进行滤波以生成具有期望光谱带的输出光束3900’的示例在下面参考它们的光谱进行进一步描述。如上所述，输入光束3900可以被分割成具有不同光谱带的多个部分光束。部分光束的光谱带可以通过对应的光谱分割模块来选择性地且独立地滤波到期望的光谱范围。当部分光束被组合成输出光束3900’时，部分光束的光谱带随后将被组合为输出光束3900’的光谱。
图41是输入光束3900的示范性光谱4000的示意图。图42A和图42B是输出光束3900’的光谱4000’的示例的示意图。
如图41所示，输入光束3900的光谱4000可以被分割成对应于四个部分光束3912、3914、3922和3924的四个光谱带4012、4014、4022和4024。例如，输入光束3900的光谱4000可以首先被分成与光束3910和3920对应的光谱4010和4020。光束3910的光谱4010然后可以被进一步分成光谱带4012和4014，其对应于光束3912和3914。类似地，光束3920的光谱4020然后可以被进一步分成光谱带4022和4024，其对应于光束3922和3924。在一些实施例中，如图41所示，相邻光谱带可以具有重叠带，这归因于分束器的过渡区域4030。
如图42A和图42B所示，光谱带4012、4014、4022和4024可以被对应的光谱分割模块滤波到与期望的光谱带4012’、4014’、4022’和4024’，其与经滤波的光束3912’、3914’、3922’和3924’对应。输出光束3900’的光谱4000’是经滤波的光谱带的组合。
在一个示例中，如图42A所示，光束3912的光谱带4012可以被滤波为具有中心波长λa的较窄光谱4012’。额外地或替代地，如图42B所示，光谱分割模块3810A可以根据需要被调节为将光谱带4012’的中心波长λa向较短波长调谐。也可以根据需要调节光谱分割模块3810A以将光谱带4012’的中心波长λa向较长波长调谐(未示出)。
在另一示例中，如图42A所示，光束3914的光谱带4014可以被滤波为具有中心波长λb的期望光谱带4014’。额外地或替代地，如图42B所示，光谱分割模块3810B可以被调节以减小光谱带4014’的带宽并且根据需要将光谱带4014’的中心波长λb向较长波长移位。
如图42B所示，经滤波的光束3912’的光谱带4012’和经滤波的光束3914’的光谱带4014’可以基本上连续，从而保持输入光束3900的光谱带4012和4014的连续性，而不实质上损失光或没有光损失。这可以有利地通过选择性地使用分束器3822A来实现，如上所述，该分束器具有等于或窄于光谱分割模块3810A和3810B的通带的重叠区域4040C的过渡区域的过渡区域4030。
在另一示例中，如图42A所示，光束3924的光谱带4024可以被滤波为具有中心波长λc的期望光谱带4024’。额外地或替代地，如图42B所示，光谱分割模块3810C可以被调节以增加光谱带4024’的带宽。也可以调节光谱分割模块3810C以将光谱带4024’的中心波长λc移向较长或较短的值(未示出)。
在又一示例中，如图42A所示，光束3922的光谱带4022可以被滤波为具有中心波长λd的期望光谱带4022’。额外地或替代地，如图42B所示，光谱分割模块3810D可以被调节以增加光谱带4022’的带宽并且根据需要将中心波长λd向较短波长调谐。替代地，可以调节光谱分割模块3810D以减小光谱带4022’的带宽，和/或根据需要将波长λd向较长或较短的波长调谐(未示出)。
如本文所述，图42A和图42B仅提供可由系统3800的光谱分割模块提供的光谱滤波的示例性调谐。如上所述，可调节任何光谱分割模块以将部分光束滤波为具有在给定的光谱范围内的任何期望光谱带和中心波长。如本文所述，该给定的光谱范围可以由每个光谱分割模块的长通和短通滤波器的截止波长的可调谐范围确定。
本文所述的系统3800可用在用于滤波光束的各种方法和设备中。图43是用于滤波光束的示例性方法4300的流程图。方法4300使用系统3800和上面参考图38-图42描述的系统3800的实施例的特征。
在步骤4302，使用第一分束器(例如，分束器3822A)将输入光束(例如，光束3910)分割成第一光束(例如，光束3914)和第二光束(例如，光束3912)。在步骤4304，通过使第一光束透射过具有第一通带(例如，通带4040A)的第一光谱分割模块(例如，光谱分割模块3810A)来对第一光束进行滤波。在步骤4306，通过使第二光束(例如，光束3914)透射过具有第二通带(例如，通带4040B)的第二光谱分割模块(例如，光谱分割模块3820A)来对第二光束进行滤波。在步骤4308，第一光束可以使用第二分束器(例如，分束器3822B)与第二光束组合成输出光束(例如，光束3910’)。
如本文所述，使用合适数量的分束器可以将输入光束分割成具有不同光谱带的期望数量的部分光束。上述步骤可以基于输入光束的期望要被分割和滤波的光谱带的数量来执行多次。
方法4300的各种实施例可以包括以下特征或步骤中的一个或多个。例如，方法4300可以进一步包括通过改变部分光束在其长通滤波器3812和/或短通滤波器3814上的AOI来调谐至少一个光谱分割模块的通带的带宽和/或中心波长。在一些实施例中，方法4300还可以进一步包括使用一个或多个反射镜(例如，反射镜对)引导第一和/或第二光束的传播。方法4300可以进一步包括使用一个或多个可旋转反射镜和/或补偿滤波器来重新对准在透射过长通滤波器和/或短波通滤波器之后侧向偏离光轴的第一和/或第二光束。
在一些实施例中，方法4300还可以包括引导第一和第二光束在它们备组合之后沿着相同的方向或光学路径传播。另外，方法4300可以进一步包括引导组合的输出光束与输入光束共线。
在一些实施例中，方法4300可以进一步包括使用阻挡滤波器额外地阻挡至少一个光谱分割模块的通带之外的波长。方法4300可以进一步包括使用至少一个光学空间补偿器向第一和/或第二光束添加光学路径长度。
XII.结论
附图中所示的特定布置不应该被视为限制性。应该理解，其他实施例可以包括更多或更少的给定附图中所示的每个元件。另外，可以组合或省略示意的元件中的一些。另外，示例性实施例可以包括未在附图中示出的元件。
此外，特别注意的是，尽管在本文中通过举例的方式将设备、系统、方法和其他实施例描述为被用于对生物环境(例如，从人体提取的组织)进行成像并且确定在这样的环境中的探针的标识，但是应当指出，所公开的设备、系统和方法也可以应用于其他情境中。例如，如本文公开的方式配置的成像系统可以被包括作为其他科学和/或工业成像装置的一部分。本公开的实施例可以在分光计(例如，成像分光计)、显微镜(例如，荧光显微镜、共焦显微镜、透射显微镜、反射显微镜等)、或光谱成像系统(例如，高光谱成像系统)中实现，或可以在其他一些成像系统中实现。
另外，虽然本文已经公开了各个方面和实施例，但是对于本领域技术人员而言，其它方面和实施例将是显而易见的。包括了本文公开的各个方面和实施例用于示意的目的，而不旨在进行限制，真正的范围和精神由下面的权利要求指示。在不脱离本文提出的主题的精神或范围的情况下，可以使用其他实施例，并且可以做出其他改变。将容易理解的是，本公开的在本文中一般性描述并且在附图中示出的各个方面可以以各种各样不同的配置来排列、替换、组合、分开和设计，所有这些都涵盖于本文。

Claims (20)

1.一种系统，包括：
光传感器，所述光传感器包括布置在所述光传感器的焦面上的多个光敏元件；
空间光调制器，所述空间光调制器包括布置在折射层下方的反射层，并且可操作来具有根据可控梯度而跨空间光调制器空间地变化的折射率，其中所述可控梯度的至少方向和量值是电子可控的，并且其中折射层是色散性的；
光学系统，所述光学系统(i)将从目标发射的光引导向所述空间光调制器，并且(ii)将从所述目标发射并从所述空间光调制器反射的光引导向所述光传感器，使得所述光传感器的焦面与穿过目标的焦面共轭；以及
控制器，所述控制器可操作地耦合到所述光传感器和所述空间光调制器，并且可操作来执行控制器操作，所述控制器操作包括：
控制所述空间光调制器，使得所述可控梯度的方向或量值中的至少一个在多个时间段中的每一个时间段期间不同；
使用所述光传感器生成所述目标的多个图像，其中每个图像与所述多个时间段中的相应的一个时间段对应；
基于所述多个图像确定所述目标中的两个或更多个荧光团的位置和颜色；以及
基于所述两个或更多个荧光团的所确定的颜色和位置，确定位于所述目标中并且包括所述两个或更多个荧光团的探针的标识。
2.根据权利要求1所述的系统，其中所述光学系统准直被引导向所述空间光调制器的、从所述目标发射的光。
3.根据权利要求1的系统，还包括：
光源；以及
微镜器件，其中所述微镜器件包括布置在表面上的可致动反射镜的基本上平面的阵列，其中所述可致动反射镜相对于所述表面的相应角度是电子可控的，
其中所述光学系统经由从所述可致动反射镜中的一个或多个可致动反射镜的第一集合的反射将来自所述光源的光引导向所述目标，并且其中，所述光学系统经由从一个或多个可致动反射镜的第一集合的反射将响应于照明而从所述目标发射的光引导向所述空间光调制器，使得所述微镜器件的表面与穿过目标的焦面共轭。
4.根据权利要求1所述的系统，其中所述空间光调制器包括具有相应的电子可控折射率的区域的阵列。
5.一种系统，包括：
第一光传感器，所述第一光传感器包括布置在所述第一光传感器的焦面上的多个光敏元件；
第二光传感器，所述第二光传感器包括多个光敏元件；
色散元件；
光学系统，所述光学系统(i)将从目标的特定区域发射的光引导向所述第一光传感器，使得所述第一光传感器的焦面与穿过所述目标的特定区域的焦面共轭；(ii)将从所述目标的特定区域发射的光引导向所述色散元件，以及(iii)将已经与所述色散元件相互作用的从所述目标的特定区域发射的光引导向所述第二光传感器，使得从所述目标的特定区域发射的不同波长的光被所述第二光传感器的对应的不同的光敏元件接收；以及
控制器，所述控制器可操作地耦合到所述第一光传感器和所述第二光传感器，并且可操作来执行控制器操作，所述控制器操作包括：
使用所述第一光传感器的多个光敏元件生成从所述目标的特定区域的相应不同位置发射的光的第一多个相应的时变波形；
使用所述第二光传感器的多个光敏元件生成以相应的不同波长从所述目标的特定区域发射的光的第二多个相应的时变波形；
确定所述第一多个时变波形中的时变波形与所述第二多个时变波形中的时变波形之间的相关性；
基于所确定的相关性确定目标中的两个或更多个荧光团的位置和颜色；以及
基于所述两个或更多个荧光团的所确定的颜色和位置，确定位于所述目标中并且包括所述两个或更多个荧光团的探针的标识。
6.根据权利要求5所述的系统，其中所述色散元件包括空间光调制器，其中所述空间光调制器包括布置在折射层下方的反射层，其中所述折射层被配置成具有根据可控梯度而跨所述空间光调制器空间地变化的折射率，其中所述可控梯度的至少方向和量值是电子可控的，并且其中所述折射层是色散性的。
7.根据权利要求6所述的系统，其中所述光学系统准直被引导向所述空间光调制器的、从所述目标发射的光。
8.根据权利要求6所述的系统，其中所述空间光调制器包括具有相应的电子可控折射率的单元的阵列。
9.根据权利要求5的系统，还包括：
光源；以及
微镜器件，其中所述微镜器件包括布置在表面上的可致动反射镜的基本上平面的阵列，其中所述可致动反射镜相对于所述表面的相应角度是电子可控的，
其中所述光学系统经由从所述可致动反射镜中的一个或多个可致动反射镜的第一集合的反射将来自所述光源的光引导向所述目标的特定区域，其中所述光学系统经由从所述一个或多个可致动反射镜的第一集合的反射将响应而从所述目标发射的光引导向所述第一光传感器，使得所述微镜器件的表面与穿过所述目标的特定区域的焦面共轭并且使得所述第一光传感器的焦面与穿过所述目标的特定区域的焦面共轭，并且其中，所述光学系统经由从可致动反射镜中的一个或多个可致动反射镜的第二集合的反射将响应于照明而从所述目标发射的光引导向所述色散元件，并且
其中所述第一集合中的所述一个或多个可致动反射镜具有相对于所述微镜器件的表面的第一角度。
10.根据权利要求5的系统，还包括：
光源；以及
微镜器件，其中所述微镜器件包括布置在表面上的可致动反射镜的基本上平面的阵列，其中所述可致动反射镜相对于所述表面的相应角度是电子可控的，
其中所述光学系统经由从可致动反射镜中的一个或多个可致动反射镜的第一集合的反射将来自所述光源的光引导向所述目标的特定区域，其中所述光学系统经由从一个或多个可致动反射镜的第一集合的反射将响应而从所述目标发射的光引导向所述第一光传感器和色散元件，使得所述微镜器件的表面与穿过所述目标的特定区域的焦面共轭并且使得所述第一光传感器的焦面与穿过所述目标的特定区域的焦面共轭。
11.根据权利要求5所述的系统，还包括致动载物台，其中所述致动载物台可操作来控制所述目标相对于所述光学系统的位置。
12.根据权利要求5所述的系统，其中所述目标的特定区域的尺寸近似等于所述光学系统的衍射极限。
13.一种方法，包括：
使用布置在第一光传感器的焦面上的、所述第一光传感器的多个光敏元件生成从目标的特定区域的相应不同位置发射并且经由光学系统透射到光传感器的光的第一多个相应的时变波形，其中所述光学系统将来自所述目标的所发射的光提供给所述第一光传感器，使得所述第一光传感器的焦面与穿过所述目标的特定区域的焦面共轭；
使用第二光传感器的多个光敏元件生成从所述目标的特定区域发射并且经由所述光学系统透射到光传感器的、不同的相应波长的光的第二多个相应的时变波形，其中所述光学系统将来自所述目标的所发射的光提供给色散元件，其中所述光学系统将已经与所述色散元件相互作用的来自所述目标的所发射的光提供给所述第二光传感器，使得从所述目标的特定区域发射的、不同波长的光被所述第二光传感器的对应的不同的光敏元件接收；
确定所述第一多个时变波形中的时变波形与所述第二多个时变波形中的时变波形之间的相关性；
基于所确定的相关性确定目标中的两个或更多个荧光团的位置和颜色；以及
基于所述两个或更多个荧光团的所确定的颜色和位置，确定位于所述目标中并且包括所述两个或更多个荧光团的探针的标识。
14.根据权利要求13所述的方法，其中所述探针的两个或更多个荧光团之间的距离小于约50纳米。
15.根据权利要求13所述的方法，还包括：
确定所述第一多个时变波形中的不同时变波形之间的相关性，其中确定所述目标中的两个或更多个荧光团的位置包括至少部分地基于所述第一多个时变波形中的不同时变波形之间的所确定的相关性来确定所述目标中的荧光团的位置。
16.根据权利要求13所述的方法，其中确定所述目标中的荧光团的颜色包括：
确定光的所述第一多个时变波形中的、光的特定的所生成的时变波形与光的所述第二多个时变波形中的、光的特定的所生成的时变波形之间的所确定的相关性大于阈值，其中光的第一多个时变波形中的、光的特定的所生成的时变波形与从所述目标中的荧光团的位置接收的光对应；以及
确定所述荧光团的颜色包括与光的第二多个时变波形中的、光的特定时变波形对应的光的波长。
17.根据权利要求13所述的方法，还包括：
使用光源生成照明；以及
操作微镜器件来电子控制所述微镜器件的可致动反射镜相对于所述微镜器件的表面的相应角度，其中所述可致动反射镜包括基本上平面的阵列并且被布置在所述微镜器件的表面上，并且其中，操作所述微镜器件来电子控制所述微镜器件的可致动反射镜的相应角度包括：控制所述可致动反射镜中的一个或多个可致动反射镜的第一集合来具有相对于所述微镜器件的表面的第一角度，并且
其中所述光学系统经由从一个或多个可致动反射镜的第一集合的反射将来自所述光源的照明引导向所述目标的特定区域，并且其中，所述光学系统经由从一个或多个可致动反射镜的第一集合的反射将响应于照明而从所述目标发射的光引导向所述第一光传感器，使得所述微镜器件的表面与穿过所述目标的特定区域的焦面共轭。
18.根据权利要求13所述的方法，其中所述色散元件包括空间光调制器，所述方法还包括：
电子控制所述空间光调制器，使得所述空间光调制器的折射层具有根据可控梯度而跨所述空间光调制器空间地变化的折射率，其中所述可控梯度具有至少第一指定方向和第一指定量值，其中所述空间光调制器还包括布置在所述折射层下方的反射层，并且其中所述折射层是色散性的。
19.根据权利要求18所述的方法，其中所述空间光调制器包括具有相应的电子可控折射率的单元的阵列，并且其中，在第一时间段期间电子控制所述空间光调制器使得所述空间光调制器的折射层具有根据可控梯度而跨空间光调制器空间地变化的折射率包括：电子控制所述单元的折射率，使得所述单元的折射率在与所述第一指定方向对应的方向上并且以与所述第一指定量值对应的空间改变率变化。
20.根据权利要求13所述的方法，还包括：
使用致动载物台来控制所述目标的特定区域相对于所述光学系统的位置。
CN201680073614.XA 2015-12-21 2016-12-20 成像系统和成像方法 Active CN108700460B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201562270530P 2015-12-21 2015-12-21
US62/270,530 2015-12-21
US201662320681P 2016-04-11 2016-04-11
US62/320,681 2016-04-11
US201662342270P 2016-05-27 2016-05-27
US201662342252P 2016-05-27 2016-05-27
US201662342256P 2016-05-27 2016-05-27
US201662342268P 2016-05-27 2016-05-27
US62/342,270 2016-05-27
US62/342,256 2016-05-27
US62/342,252 2016-05-27
US62/342,268 2016-05-27
PCT/US2016/067684 WO2017112634A1 (en) 2015-12-21 2016-12-20 Spectrally and spatially multiplexed fluorescent probes for in situ cell labeling

Publications (2)

Publication Number Publication Date
CN108700460A true CN108700460A (zh) 2018-10-23
CN108700460B CN108700460B (zh) 2020-11-03

Family

ID=57758782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073614.XA Active CN108700460B (zh) 2015-12-21 2016-12-20 成像系统和成像方法

Country Status (4)

Country Link
US (1) US10386300B2 (zh)
EP (1) EP3394579B1 (zh)
CN (1) CN108700460B (zh)
WO (1) WO2017112634A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200333253A1 (en) * 2019-04-22 2020-10-22 Thermo Electron Scientific Instuments Llc Raman module for a microscope
CN112098337A (zh) * 2020-08-31 2020-12-18 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
TWI735371B (zh) * 2020-11-04 2021-08-01 致茂電子股份有限公司 螢光檢測系統
TWI800046B (zh) * 2021-10-21 2023-04-21 財團法人工業技術研究院 光學探針
CN116931245A (zh) * 2023-07-20 2023-10-24 振电(苏州)医疗科技有限公司 一种红外共聚焦成像系统
WO2023241076A1 (zh) * 2022-06-13 2023-12-21 深圳赛陆医疗科技有限公司 一种高光谱测序方法、系统和基因测序仪

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096619A1 (en) * 2011-01-12 2012-07-19 Applied Precision, Inc. Systems and methods for camera-based image processing in microscopy instruments
EP2766498B1 (en) 2011-10-14 2019-06-19 President and Fellows of Harvard College Sequencing by structure assembly
EP4108782B1 (en) 2011-12-22 2023-06-07 President and Fellows of Harvard College Compositions and methods for analyte detection
US11021737B2 (en) 2011-12-22 2021-06-01 President And Fellows Of Harvard College Compositions and methods for analyte detection
WO2014163886A1 (en) 2013-03-12 2014-10-09 President And Fellows Of Harvard College Method of generating a three-dimensional nucleic acid containing matrix
WO2013184754A2 (en) 2012-06-05 2013-12-12 President And Fellows Of Harvard College Spatial sequencing of nucleic acids using dna origami probes
EP2972556B1 (en) * 2013-03-15 2021-06-02 Imax Theatres International Limited Method for testing and sorting a plurality of micro mirror array optical modulators
EP3603679B1 (en) 2013-06-04 2022-08-10 President and Fellows of Harvard College Rna-guided transcriptional regulation
CN107709968A (zh) 2015-06-26 2018-02-16 利康公司 荧光活检样本成像仪及方法
TWI560443B (en) * 2015-07-16 2016-12-01 Univ Nat Central Method for non-fluorescence higher harmonic generation ground state depletion super-resolution microscopy
CA2936725C (en) * 2015-07-21 2022-04-26 Queen's University At Kingston Multiplexed excitation emission matrix spectroscopy
WO2017079406A1 (en) 2015-11-03 2017-05-11 President And Fellows Of Harvard College Method and apparatus for volumetric imaging of a three-dimensional nucleic acid containing matrix
JP6570427B2 (ja) * 2015-11-06 2019-09-04 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び空間光変調ユニット
EP3394579B1 (en) 2015-12-21 2023-09-20 Verily Life Sciences LLC Systems and methods for determining an identity of a probe in a target based on colors and locations of two or more fluorophores in the probe and in the target
WO2017155944A1 (en) * 2016-03-08 2017-09-14 The Charles Stark Draper Laboratory, Inc. Reflective bijective method and device for coded aperture image acquisition and reconstruction
US10627614B2 (en) 2016-04-11 2020-04-21 Verily Life Sciences Llc Systems and methods for simultaneous acquisition of multiple planes with one or more chromatic lenses
WO2017184940A1 (en) 2016-04-21 2017-10-26 Li-Cor, Inc. Multimodality multi-axis 3-d imaging
WO2017189525A1 (en) 2016-04-25 2017-11-02 President And Fellows Of Harvard College Hybridization chain reaction methods for in situ molecular detection
US10241337B2 (en) * 2016-05-27 2019-03-26 Verily Life Sciences Llc Tunable spectral slicer and methods of use
US10365218B2 (en) 2016-05-27 2019-07-30 Verily Life Sciences Llc Systems and methods for 4-D hyperspectral imaging
JP6795624B2 (ja) 2016-05-27 2020-12-02 ヴェリリー ライフ サイエンシズ エルエルシー 空間光変調器ベースのハイパースペクトル共焦点顕微鏡および使用方法
US10539786B2 (en) 2016-05-27 2020-01-21 Verily Life Sciences Llc Rotatable prisms for controlling dispersion magnitude and orientation and methods of use
EP3475919A1 (en) 2016-06-23 2019-05-01 Li-Cor, Inc. Complementary color flashing for multichannel image presentation
TWI584633B (zh) * 2016-07-12 2017-05-21 台達電子工業股份有限公司 立體顯示裝置
US10228283B2 (en) * 2016-08-12 2019-03-12 Spectral Insights Private Limited Spectral imaging system
EP3507385A4 (en) 2016-08-31 2020-04-29 President and Fellows of Harvard College METHODS OF COMBINING THE DETECTION OF BIOMOLECULES IN A SINGLE ASSAY USING IN SITU FLUORESCENT SEQUENCING
GB2570412A (en) 2016-08-31 2019-07-24 Harvard College Methods of generating libraries of nucleic acid sequences for detection via fluorescent in situ sequencing
IT201600097811A1 (it) * 2016-09-29 2018-03-29 Fondazione St Italiano Tecnologia Metodo di analisi di informazioni spaziali e temporali di campioni mediante microscopia ottica
KR20180042649A (ko) * 2016-10-18 2018-04-26 삼성전자주식회사 반도체 소자 검사 장치 및 그 구동 방법
WO2018098162A1 (en) 2016-11-23 2018-05-31 Li-Cor, Inc. Motion-adaptive interactive imaging method
US11397158B2 (en) * 2017-03-29 2022-07-26 Agency For Science, Technology And Research Reconfigurable laser stimulated lock-in thermography for micro-crack detection
JP7144438B2 (ja) 2017-04-04 2022-09-29 ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション 顕微鏡における高精度波長抽出用の位相板
US10386301B2 (en) * 2017-04-25 2019-08-20 Li-Cor, Inc. Top-down and rotational side view biopsy specimen imager and methods
FI20175410A (fi) * 2017-05-08 2018-11-09 Grundium Oy Laite ja menetelmä mikroskooppileikkeiden skannaamiseksi
EP3435161A1 (en) * 2017-07-24 2019-01-30 ASML Netherlands B.V. Determining an edge roughness parameter of a periodic structure
CN107328755B (zh) * 2017-07-25 2024-03-12 同方威视技术股份有限公司 拉曼光谱检测设备
CN107242860B (zh) * 2017-07-25 2021-01-19 京东方科技集团股份有限公司 荧光分子层析成像系统及方法
JP2019066706A (ja) * 2017-10-02 2019-04-25 ソニー株式会社 蛍光顕微鏡装置及び蛍光顕微鏡システム
WO2019071103A1 (en) * 2017-10-05 2019-04-11 Case Western Reservie University MICRO-MIRROR ARRAY AND FILM-BASED IMAGING WAVE LENGTH FILM IMAGING SYSTEMS
KR102425347B1 (ko) * 2017-10-27 2022-07-27 주식회사 스트라티오코리아 오정렬의 자체 보상을 갖는 분광계
KR102302604B1 (ko) * 2017-11-01 2021-09-16 한국전자통신연구원 분광 장치
US10571683B2 (en) * 2017-11-28 2020-02-25 Aptiv Technologies Limited Multi-faceted MEMS mirror device useful for vehicle LIDAR
FI129586B (en) * 2017-12-22 2022-05-13 Dispelix Oy Waveguide display element with many pupils and display device
US10627331B2 (en) 2017-12-29 2020-04-21 ChandlerTec Inc. Optical flow cytometry system
US11175232B2 (en) * 2018-01-16 2021-11-16 United States Of America As Represented By The Administrator Of Nasa Standoff ultra-compact micro-raman sensor
CN111801937B8 (zh) 2018-01-30 2022-10-14 瑞巴斯生物系统 用于使用结构化照射检测颗粒的方法和系统
US20190243148A1 (en) * 2018-02-02 2019-08-08 Applejack 199 L.P. Optical device employing electrically addressed spatial light modulator
WO2019164452A1 (en) * 2018-02-22 2019-08-29 Agency For Science, Technology And Research Methods and apparatus for fluorescence microscopy
JP7355008B2 (ja) * 2018-05-11 2023-10-03 ソニーグループ株式会社 分光計測装置、および分光計測方法
JP6974252B2 (ja) * 2018-05-15 2021-12-01 京セラ株式会社 電磁波検出装置および情報取得システム
US10921453B2 (en) * 2018-05-29 2021-02-16 Huawei Technologies Co., Ltd. Liquid crystal on silicon (LCOS) lidar scanner with multiple light sources
EP3807623B1 (en) * 2018-06-18 2023-03-01 Calico Life Sciences LLC System and method for inferring protein binding
WO2020028194A1 (en) 2018-07-30 2020-02-06 Readcoor, Inc. Methods and systems for sample processing or analysis
JP7380569B2 (ja) 2018-08-09 2023-11-15 ソニーグループ株式会社 光学顕微鏡装置及び光学顕微鏡システム
US11209367B2 (en) * 2018-08-27 2021-12-28 Yale University Multi-color imaging using salvaged fluorescence
JP7414807B2 (ja) * 2018-09-05 2024-01-16 シライト プロプライエタリー リミテッド ハイパースペクトル装置及び方法
WO2020058833A1 (en) * 2018-09-19 2020-03-26 Fondazione Istituto Italiano Di Tecnologia Microfluidic device and methods for using said device
EP3899621A4 (en) * 2018-12-21 2022-09-28 Scopio Labs Ltd. COMPRESSED RECORDING OF MICROSCOPIC IMAGES
KR20200094058A (ko) * 2019-01-29 2020-08-06 한국과학기술원 렌즈리스 초분광 영상 이미징 방법 및 그 장치
CN113574438B (zh) * 2019-02-03 2023-07-18 巴伊兰大学 通过散射介质成像的系统及方法
JP7290449B2 (ja) * 2019-04-03 2023-06-13 株式会社ディスコ 超高速度撮像装置
US10666878B1 (en) * 2019-04-09 2020-05-26 Eagle Technology, Llc Imaging apparatus having micro-electro-mechanical system (MEMs) optical device for spectral and temporal imaging and associated methods
WO2020222825A1 (en) * 2019-04-30 2020-11-05 Hewlett-Packard Development Company, L.P. Modular and tiled optical sensors
EP3742135B1 (fr) * 2019-05-20 2022-01-19 Centre National de la Recherche Scientifique Imagerie mono-pixel hyper-spectrale résolue en temps
DE102019114252A1 (de) * 2019-05-28 2020-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren, Vorrichtung und System zum Detektieren von Raman-Streulicht
WO2020243698A1 (en) * 2019-05-30 2020-12-03 University Of Utah Research Foundation Interferometric fluorescent cross correlation spectroscopy
CA3146259A1 (en) * 2019-08-08 2021-02-11 Christian TARDIF Systems and methods for optogenetic activation and monitoring
US20220291496A1 (en) * 2019-08-29 2022-09-15 Arizona Board Of Regents On Behalf Of The University Of Arizona Chromatic light sheet microscope
US20210085178A1 (en) * 2019-09-23 2021-03-25 Intelon Optics, Inc. Scanning Patient Interface Systems And Methods
US11969214B1 (en) * 2019-10-22 2024-04-30 Verily Life Sciences Llc Retinal cameras having movable optical assemblies for facilitating multi-stage retinal imaging
RU2723890C1 (ru) * 2019-11-07 2020-06-18 федеральное государственное бюджетное образовательное учреждение высшего образования "Воронежский государственный университет" (ФГБОУ ВО "ВГУ") Многоканальный конфокальный спектроанализатор изображений
WO2021113530A1 (en) * 2019-12-03 2021-06-10 Massachusetts Institute Of Technology Extending fluorescent assays in vivo for biomedical sensing: wavelenght modulation spectroscopy
WO2021118881A1 (en) * 2019-12-10 2021-06-17 Siemens Healthcare Diagnostics Inc. Method and system for generating a chromatically modified image of components in a microscopic slide
US11524625B2 (en) * 2019-12-12 2022-12-13 Texas Instruments Incorporated Adaptive vehicle headlight
DE102020105459A1 (de) * 2020-03-02 2021-09-02 Karl Storz Se & Co. Kg Medizinische bildgebungsvorrichtung mit mehreren bildgebungsmodi
EP3896431A1 (en) * 2020-04-19 2021-10-20 Bernhard W. Adams Device and method for time-resolving hyperspectral imaging spectroscopy
US11250874B2 (en) 2020-05-21 2022-02-15 Bank Of America Corporation Audio quality enhancement system
CA3182013A1 (en) * 2020-06-16 2021-12-23 Marsupial Holdings, Inc. Diffractive optic reflex sight
KR20220005913A (ko) * 2020-07-07 2022-01-14 삼성전자주식회사 퓨필 이미지 기반 패턴 균일도 측정 장치와 방법, 및 그 측정 방법을 이용한 마스크 제조방법
WO2022053649A1 (en) * 2020-09-10 2022-03-17 Wageningen Universiteit Optical microscope for spectrally resolved imaging and method for such a microscope
US20240126058A1 (en) * 2021-02-24 2024-04-18 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods and apparatus for high-resolution microscopy
WO2022221414A1 (en) * 2021-04-13 2022-10-20 The Regents Of The University Of California Excitation spectral microscopy for highly multiplexed fluorescence imaging and quantitative biosensing
US20220381681A1 (en) * 2021-05-28 2022-12-01 Lightsense Technology, Inc. Miniature multispectral detection system having multiple spectrometers for enhanced photodetection spectroscopy for detection of pathogens, biomarkers, or any compound
WO2023034780A1 (en) * 2021-08-30 2023-03-09 Nanostring Technologies, Inc. Methods, systems and apparatus for a multi-spectral structured illumination microscope
CN113884234B (zh) * 2021-09-06 2023-06-09 中国科学院合肥物质科学研究院 一种互补单像素质心探测系统及方法
US20230221178A1 (en) * 2022-01-11 2023-07-13 Modulight Corporation Apparatus and a method for fluorescence imaging
US20230221251A1 (en) * 2022-01-11 2023-07-13 Modulight Corporation Apparatus and method for fluorescence excitation and detection
KR102450912B1 (ko) * 2022-02-25 2022-10-06 주식회사 제이엘메디랩스 바이오마커 식별이 가능한 형광 현미경 및 이를 이용한 바이오마커 식별방법
WO2024020371A1 (en) * 2022-07-20 2024-01-25 Arizona Board Of Regents On Behalf Of The University Of Arizona Spectrum and polarization programmable light source
WO2024050144A2 (en) * 2022-09-02 2024-03-07 The George Washington University Hyper-excitation hyperspectral imaging system
WO2024124120A1 (en) * 2022-12-09 2024-06-13 Sensill, Inc. Reactant array devices, systems, and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB859208A (en) * 1957-09-25 1961-01-18 Zeiss Jena Veb Carl Improvements in autocollimation spectroscopes
US20110228267A1 (en) * 2010-03-19 2011-09-22 Olympus Corporation Reflection grating, and spectrograph and pulse shaper using the reflection grating
US20160202178A1 (en) * 2015-01-12 2016-07-14 Verily Life Sciences Llc High-Throughput Hyperspectral Imaging With Superior Resolution And Optical Sectioning

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2828670A (en) 1954-08-30 1958-04-01 Eastman Kodak Co Prism-lens optical systems of variable focal length and including two anamorphotic prismatic systems
JPS5214417A (en) 1975-07-24 1977-02-03 Shiro Fukazawa Color addition optical device
JPS63101818A (ja) * 1986-10-17 1988-05-06 Nippon Telegr & Teleph Corp <Ntt> 波長分光器
US5587832A (en) 1993-10-20 1996-12-24 Biophysica Technologies, Inc. Spatially light modulated confocal microscope and method
US5606170A (en) * 1995-02-03 1997-02-25 Research International, Inc. Multifunctional sensor system
US5577137A (en) * 1995-02-22 1996-11-19 American Research Corporation Of Virginia Optical chemical sensor and method using same employing a multiplicity of fluorophores contained in the free volume of a polymeric optical waveguide or in pores of a ceramic waveguide
US5591981A (en) 1995-03-16 1997-01-07 Bio-Rad Laboratories, Inc. Tunable excitation and/or tunable emission fluorescence imaging
DE69720458T2 (de) 1997-10-22 2004-02-26 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Programmierbares räumlich lichtmoduliertes Mikroskop und Mikroskopieverfahren
AU9617598A (en) 1997-10-29 1999-05-17 Calum E. Macaulay Apparatus and methods relating to spatially light modulated microscopy
ATE272224T1 (de) 1997-11-17 2004-08-15 Max Planck Gesellschaft Konfokales spektroskopiesystem und -verfahren
US6043882A (en) 1998-10-02 2000-03-28 Imec Vzw Emission microscope and method for continuous wavelength spectroscopy
CA2452693A1 (en) 2001-06-06 2002-12-12 Digital Optical Imaging Corporation Light modulated microarray reader and methods relating thereto
DE10144435B4 (de) * 2001-09-06 2005-03-24 EuroPhoton GmbH Gesellschaft für optische Sensorik Verfahren zur Charakterisierung der Eigenschaften von fluoreszierenden Proben, insbesondere lebenden Zellen und Geweben, in multi-well, in in-vitro Fluoreszenz-Assays, in DNA-Chips, Vorrichtungen zur Durchführung des Verfahrens und deren Verwendung
US20060072109A1 (en) 2004-09-03 2006-04-06 Andrew Bodkin Hyperspectral imaging systems
JP3731073B2 (ja) 2002-09-17 2006-01-05 独立行政法人理化学研究所 顕微鏡装置
US7339148B2 (en) 2002-12-16 2008-03-04 Olympus America Inc. Confocal microscope
WO2005043197A2 (en) 2003-10-28 2005-05-12 University Of Maryland, Baltimore Spatial light modulator apparatus and method
DE102005009188A1 (de) 2005-03-01 2006-09-07 Carl Zeiss Jena Gmbh Punktscannendes Laser-Scanning-Mikroskop sowie Verfahren zur Einstellung eines Mikroskopes
WO2006127967A2 (en) * 2005-05-25 2006-11-30 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
US7460248B2 (en) 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
BRPI0714458A2 (pt) 2006-07-20 2013-02-26 Koninkl Philips Electronics Nv sistema de detecÇço para detectar locais de luminescÊncia sobre um substrato, compensador àptico, mÉtodo para detectar locais de radiaÇço sobre um substrato, mÉtodo baseado em computador para projetar um compensador àptico, produto de programa de computador, dispositivo de armazenagem de dados legÍveis por mÁquina, e, transmissço do produto de programa de computador
ITFI20070260A1 (it) 2007-11-21 2009-05-22 Light 4 Tech Firenze S R L Dispositivo per illuminare un oggetto con una sorgente di luce multispettrale e rivelare lo spettro della luce emessa.
US8836948B2 (en) 2009-01-29 2014-09-16 The Regents Of The University Of California High resolution structured illumination microscopy
EP2661652A1 (en) 2010-12-10 2013-11-13 NKT Photonics A/S An acousto-optical tunable filter (aotf) for a broad band source for fluorescence measurement system
US20120307247A1 (en) 2011-05-31 2012-12-06 Nanyang Technological University Fluorescence Microscopy Method And System
WO2013010151A1 (en) 2011-07-14 2013-01-17 Howard Hughes Medical Institute Microscopy with adaptive optics
US9599805B2 (en) 2011-10-19 2017-03-21 National Synchrotron Radiation Research Center Optical imaging system using structured illumination
WO2013130077A1 (en) * 2012-02-29 2013-09-06 Agilent Technologies, Inc. Software defined microscope
DE102012203736A1 (de) 2012-03-09 2013-09-12 Carl Zeiss Microscopy Gmbh Lichtrastermikroskop mit spektraler Detektion
US9500847B2 (en) 2012-10-12 2016-11-22 Spectral Applied Research Inc. Total internal reflectance fluorescence (TIRF) microscopy across multiple wavelengths simultaneously
WO2015117115A1 (en) * 2014-02-03 2015-08-06 President And Fellows Of Harvard College Three-dimensional super-resolution fluorescence imaging using airy beams and other techniques
WO2015157769A1 (en) 2014-04-11 2015-10-15 The Regents Of The University Of Colorado, A Body Corporate Scanning imaging for encoded psf identification and light field imaging
JP6378931B2 (ja) 2014-05-21 2018-08-22 浜松ホトニクス株式会社 顕微鏡装置及び画像取得方法
EP3394579B1 (en) 2015-12-21 2023-09-20 Verily Life Sciences LLC Systems and methods for determining an identity of a probe in a target based on colors and locations of two or more fluorophores in the probe and in the target

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB859208A (en) * 1957-09-25 1961-01-18 Zeiss Jena Veb Carl Improvements in autocollimation spectroscopes
US20110228267A1 (en) * 2010-03-19 2011-09-22 Olympus Corporation Reflection grating, and spectrograph and pulse shaper using the reflection grating
US20160202178A1 (en) * 2015-01-12 2016-07-14 Verily Life Sciences Llc High-Throughput Hyperspectral Imaging With Superior Resolution And Optical Sectioning

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200333253A1 (en) * 2019-04-22 2020-10-22 Thermo Electron Scientific Instuments Llc Raman module for a microscope
US11808707B2 (en) * 2019-04-22 2023-11-07 Thermo Electron Scientific Instruments Llc Raman module for a microscope
CN112098337A (zh) * 2020-08-31 2020-12-18 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
CN112098337B (zh) * 2020-08-31 2023-10-10 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
TWI735371B (zh) * 2020-11-04 2021-08-01 致茂電子股份有限公司 螢光檢測系統
TWI800046B (zh) * 2021-10-21 2023-04-21 財團法人工業技術研究院 光學探針
WO2023241076A1 (zh) * 2022-06-13 2023-12-21 深圳赛陆医疗科技有限公司 一种高光谱测序方法、系统和基因测序仪
CN116931245A (zh) * 2023-07-20 2023-10-24 振电(苏州)医疗科技有限公司 一种红外共聚焦成像系统

Also Published As

Publication number Publication date
EP3394579A1 (en) 2018-10-31
EP3394579B1 (en) 2023-09-20
WO2017112634A1 (en) 2017-06-29
CN108700460B (zh) 2020-11-03
US20170176338A1 (en) 2017-06-22
US10386300B2 (en) 2019-08-20

Similar Documents

Publication Publication Date Title
CN108700460A (zh) 用于原位细胞标记的光谱和空间复用荧光探针
US10591417B2 (en) Systems and methods for 4-D hyperspectral imaging
CN107407597B (zh) 具有高分辨率的高吞吐量高光谱成像和光学分割
US10393725B2 (en) Automated imaging of chromophore labeled samples
CN104303089B (zh) 光学显微镜和用于利用光学显微镜记录图像的方法
CN109196333B (zh) 用于4-d高光谱成像的系统和方法
CN110082900A (zh) 可变照明傅立叶重叠关联成像设备、系统以及方法
CN109416321A (zh) 基于空间光调制器的高光谱共焦显微镜及其使用方法
CN105974573A (zh) 一种基于微透镜阵列的光场光谱显微成像方法及系统
CN104570315A (zh) 一种基于结构照明的彩色三维层析显微成像系统及方法
Abramov et al. Spectrally encoded spectral imaging
JP7408615B2 (ja) 光学機器および像の形成方法
Gao et al. Snapshot image mapping spectrometer (IMS) for hyperspectral fluorescence microscopy
US20220291496A1 (en) Chromatic light sheet microscope
CN108152200A (zh) 一种用于光谱分析的共聚焦成像装置和方法
Dan et al. Structured illumination microscopy
Gao Development of Image Mapping Spectrometer (IMS) for hyperspectral microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant