CN110319930B - 具有高分辨率的高吞吐量高光谱成像和光学分割 - Google Patents

具有高分辨率的高吞吐量高光谱成像和光学分割 Download PDF

Info

Publication number
CN110319930B
CN110319930B CN201910520205.5A CN201910520205A CN110319930B CN 110319930 B CN110319930 B CN 110319930B CN 201910520205 A CN201910520205 A CN 201910520205A CN 110319930 B CN110319930 B CN 110319930B
Authority
CN
China
Prior art keywords
target
light
camera
micro
slm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910520205.5A
Other languages
English (en)
Other versions
CN110319930A (zh
Inventor
V.M.阿科斯塔
A.巴克尔
J.D.佩雷奥尔特
D.P.皮波尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verily Life Sciences LLC
Original Assignee
Verily Life Sciences LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verily Life Sciences LLC filed Critical Verily Life Sciences LLC
Publication of CN110319930A publication Critical patent/CN110319930A/zh
Application granted granted Critical
Publication of CN110319930B publication Critical patent/CN110319930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0064Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0237Adjustable, e.g. focussing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/18Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1828Diffraction gratings having means for producing variable diffraction
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1335Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133553Reflecting elements
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/23Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  for the control of the colour
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/292Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection by controlled diffraction or phased-array beam steering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1278Mask with spectral selection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J2003/468Measurement of colour; Colour measuring devices, e.g. colorimeters of objects containing fluorescent agent
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/502Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using a dispersive element, e.g. grating, prism
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/061Sources
    • G01N2201/06113Coherent sources; lasers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/067Electro-optic, magneto-optic, acousto-optic elements
    • G01N2201/0675SLM
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/26Optical coupling means
    • G02B6/28Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals
    • G02B6/293Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals with wavelength selective means
    • G02B6/29304Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals with wavelength selective means operating by diffraction, e.g. grating
    • G02B6/29305Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals with wavelength selective means operating by diffraction, e.g. grating as bulk element, i.e. free space arrangement external to a light guide
    • G02B6/2931Diffractive element operating in reflection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Nonlinear Science (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

一种成像系统,包括:光源,被配置为照射目标,和相机,被配置为对从目标响应性发射并从空间光调制器(SLM)反射的光成像。该成像系统被配置为生成目标的高分辨率、高光谱图像。SLM包括色散的折射层并且该折射层具有可控制的折射率。该折射层的折射率可以被控制以根据梯度来变化,使得从该SLM反射的光被色散,并且可以使用相机捕获关于目标的光谱信息。这种系统可以例如通过结合被配置成控制目标的照明的空间模式并且经由该SLM根据对应的空间模式来调制从目标到相机的光的传输的微反射镜设备来共焦地操作。

Description

具有高分辨率的高吞吐量高光谱成像和光学分割
本申请是申请日为2016年1月11日、申请号为201680014956.4、发明名称为“具有高分辨率的高吞吐量高光谱成像和光学分割”的发明专利申请的分案申请。
技术领域
本公开涉及光学成像领域,更具体地,涉及具有高分辨率的高吞吐量高光谱成像和光学分割。
背景技术
除非本文另有说明,否则本节中所描述的材料不是本申请中权利要求的现有技术,并且不因为通过包括在本节中而被认为是现有技术。
存在用于在微尺度(即,在小于或小于几微米的刻度)对生物组织或其它材料成像的各种方法。这样的方法可以包括根据各种不同照明方案的光学显微镜,并且使用以各种不同方式配置的光学系统。要成像的样本可以被广泛地照明(例如,在明视场显微镜中),暴露于一些结构化的照明(例如,光谱显微镜)、暴露于偏振照明(例如,相差显微镜)下、暴露于一个或多个指定点处的照明(例如,共聚焦显微镜)、或根据其它方案照明。相反,可以以各种方式从要成像的样本接收和/或聚焦光;可以从样本的宽场接收光,并且聚焦在成像器上,在由成像器或光传感器成像之前受光圈(例如,与用于照射样本的光圈对应的光圈,例如共聚焦显微镜),或通过其它方式接收。此外,可以使用不同波长的光来照射样本(例如,激发样本中的荧光团)和/或可以从样本检测不同波长的光以确定光谱信息(例如,发射光谱、激发光谱、吸收光谱)或根据某个其它应用。
概要
本公开的一些实施例提供一种系统,包括:(i)光源;(ii)第一相机,其中所述第一相机包括设置在所述第一相机的焦面(focal surface)上的多个感光元件;(iii)空间光调制器,其中所述空间光调制器包括设置在折射层下方的反射层,其中所述折射层被配置为具有根据可控梯度在空间光调制器上空间上变化的折射率,其中至少在可控梯度的方向和幅度上是电子可控的,并且其中折射层是色散的;以及(iv)光学系统,其中所述光学系统被配置为(a)将来自所述光源的光引导到目标,(b)响应于来自所述光源的光,将从所述目标发射的光朝向所述空间光调制器引导,以及(c)将从所述目标发出并从空间光调制器反射的光引导到第一相机,使得第一相机的焦面与通过目标的焦面共轭。
本公开的一些实施例提供一种系统,包括:(i)照射装置,被配置为发光;(ii)第一成像装置,其中所述第一成像装置包括设置在第一成像装置的焦面上的多个感光元件;(iii)空间光调制装置,其中所述空间光调制装置包括设置在折射层下方的反射层,其中所述折射层被配置为具有根据可控梯度在所述空间光调制装置上空间上变化的折射率,其中至少在可控梯度的方向和幅度上是电子可控的,并且其中折射层是色散的;以及(iv)光学装置,其中所述光学装置被配置为(a)将来自所述照射装置的光引导到目标,(b) 响应于来自所述照射装置的光,将从所述目标发射的光朝向所述空间光调制装置引导,并且(c)将从所述目标发出并从所述空间光调制装置反射的光引导到第一成像装置,使得第一相机的焦面与通过所述目标的焦面共轭。
本公开的一些实施例提供了一种方法,包括:(i)经由被配置为将来自光源的光引导到目标的光学系统,由所述光源照射目标;(ii)在第一时间段期间电子控制空间光调制器,使得空间光调制器的折射层具有根据可控梯度在所述空间光调制装置上空间上变化的折射率,其中可控梯度至少具有第一指定方向和第一指定幅度,其中所述空间光调制器还包括设置在所述折射层下方的反射层,并且其中所述折射层是色散的;(iii)响应于来自所述光源的光,在第一时间段期间使用第一相机对从目标发射的光成像以生成目标的第一图像,其中第一相机包括多个设置在所述第一相机的焦面上的感光元件,其中所述光学系统还被配置为将响应于来自所述光源的光从所述目标发射的光朝向所述空间光调制器引导,并将从所述目标发出并从所述空间光调制器反射的光引导到第一相机,使得第一相机的焦面与通过所述目标的焦面共轭;以及(iv)至少基于目标的第一图像来确定所述目标的特定区域的光谱信息。
通过阅读以下详细描述并适当地参考附图,这些以及其它方面、优点和替代方案对于本领域普通技术人员将变得显而易见。
附图说明
图1示出了示例成像装置。
图2A示出了示例空间光调制器的元件的横截面图。
图2B示出折射率对可以结合到图2A的空间光调制器中的材料的光的波长的依赖性。
图2C示出了由图2A的空间光调制器对光的反射。
图2D示出了由图2A的空间光调制器对光的反射。
图2E示出了由图2A的空间光调制器的光的反射。
图3A示出可以被成像的示例环境。
图3B示出了图3A的环境的示例图像。
图3C示出了图3A的环境的示例图像。
图3D示出了图3A的环境的示例图像。
图4A示出了在第一时间段期间反射激光的示例微镜设备的元件的横截面视图。
图4B示出了在第二时间段内反射激光的图4A的示例微反射镜设备的元件的横截面视图。
图5A示出了微反射镜设备的示例配置。
图5B示出了由从图5A的微镜装置反射的光照射的相机的示例焦面。
图5C示出了由从图5A的微镜装置反射的光照射的相机的示例焦面。
图5D示出了由从图5A的微镜装置反射的光照射的相机的示例焦面。
图6A示出了示例微反射镜设备的第一配置。
图6B示出了由从图6A的微镜装置反射的光照射的相机的示例焦面。
图6C示出了图6A的微反射镜设备的第二配置。
图6D示出了由图6C的微反射镜装置反射的光照射的相机的示例焦面。
图7A示出了示例成像设备。
图7B示出了用于操作图7A的成像装置的元件的示例时序图。
图8是示例成像系统的功能性框图。
图9是示例方法的流程图。
具体实施方式
在下面的详细描述中,参考形成其一部分的附图。在附图中,除非另有说明,否则类似的符号通常标识类似的组件。在详细描述描述的说明性实施例,附图和权利要求中并不意味着限制。在不脱离本文所呈现的主题的范围的情况下,可以利用其它实施例,并且可以进行其它改变。将容易理解的是,本公开的如本文中一般性描述并且在附图中示出的各方面,可以以各种不同的配置进行布置、替代、组合、分离和设计,所有这些都被明确地设想于此。
此外,虽然本文公开的实施例提及在从人体提取的组织的样本上使用或结合使用,但是设想所公开的方法、系统和装置可用于任何环境,其中期望其它组织或其它对象或元素的光谱成像和/或对象光学切片。环境可以是任何生物体或非生物体或其一部分、工件、可植入装置、矿物、集成电路、微机电装置等。
I.概述
可以应用各种显微镜技术来确定关于生物组织或其它材料的结构的信息。这些信息可以包括关于目标的元素的位置、形状、大小或其它信息的信息(例如,生物组织的样本中的荧光团、蛋白质、细胞或其它内容物的位置、形状和/或光谱属性)。这些技术通常包括照射目标,接收从目标响应性发出的光并将接收到的光呈现给光传感器(例如,相机),使得可以确定关于目标的一个或多个图像或其它信息。
可以使用各种光学系统来向目标呈现照明光(例如,向目标的指定部分呈现照明光)和/或将从目标发射的光引导到光传感器(例如,将来自目标上或目标内的焦平面的光呈现到被设置在相机的焦平面上的感光元件上)。被配置为对目标进行显微镜显微成像的系统可以被配置为使空间分辨率最大化 (例如,特征和/或目标的元素之间的最小可分辨距离)和/或关于目标所生成的呈现数据的时间分辨率(例如,在时间上可以生成目标的图像的速率)生成,以最小化用于生成图像的光量(例如,为了防止光漂白或其它对目标的其它光感效应),或者根据应用来优化一些其它属性。
在一些示例中,可以检测和/或确定关于目标的光谱信息。光谱信息可以包括当光被施加到目标时(例如可见光,红外或紫外光),关于目标的元素或特征的吸光度、反射率、激发、发射或一些其它相互作用对被施加和/或发射的光的波长的依赖性的信息。也就是说,光谱信息可以包括对于多个波长检测和/或确定的吸收光谱、反射光谱、激发光谱、发射光谱或一些其它光谱中的一个或多个。例如,光谱信息可以包括响应于由光对目标的部分的照明 (例如,通过单色光),从目标的特定部分(例如,元件或特征)发射的光的光谱(例如,与在多个相应波长范围中接收的光的幅度对应的多个检测到的幅度)。
可以通过使用彩色相机对目标进行成像或根据波长(例如,使用一个或多个电介质镜)以其它方式过滤和/或分离从目标接收的光来访问这种光谱信息。附加地或替代地,来自于目标的光(例如,来自目标的特定点或其它指定部分)可以通过色散元件或以其它方式由被配置成选择性地影响不同波长的光(例如,以对应的不同角度反射和/或折射不同波长的光)的色散元件(例如,棱镜)影响。例如,从目标的特定部分发射的光束可以被引导通过光谱仪的棱镜,并且可以操作该光谱仪以确定该光束的光谱信息(例如,光谱)。在一些示例中,空间光调制器可以被配置为具有可被控制的一个或多个电子可控的光学属性(例如,折射率、色散度),这些属性被控制以使能来自从目标接收到的光的光谱信息的检测和/或确定。
在一些示例中,这种空间光调制器(SLM)可以包括设置在反射层上的折射层。折射层可以是电子可控的,以具有根据可控梯度(例如,大体上线性的梯度)在穿过SLM的表面的空间上变化的折射率。此外,折射层的可控折射率可以是色散的,即依赖于折射层折射的光的波长。可以根据应用或根据一些其它应用来控制SLM的折射率中的可控梯度的大小、方向或其它属性,例如控制入射到SLM上的光的反射角,以控制从SLM反射的光的在光谱上分散的程度(例如,控制光谱分辨率,在该光谱分辨率,接收分散的光的成像器可以确定从SLM反射的光的光谱信息)。
可以通过将来自该SLM的特定部分的光束反射到相机,来针对目标的特定部分确定光谱信息。可以使用该相机的对应的不同感光元件来操作该相机,以检测不同波长的光束的强度。附加地或替代地,当SLM被操作以具有各自不同的折射率模式时(例如,具有各自的方向和/或幅度的大体上线性的梯度),可以在各自的时间段期间使用从SLM反射的光来采集目标的多个图像,并且基于该多个图像可以确定关于该目标的光谱信息,例如,通过去卷积过程。
SLM可以包括具有依赖于施加到液晶的电场幅度或时变电信号的折射率的色度分散液晶层。SLM可以包括设置在液晶层的一侧或两侧的多个电极,使得SLM的折射率可以根据各种模式(例如,具有指定方向和幅度的大体上线性的梯度)来控制。例如,SLM可以具有与反射层相对的第一透明电极和设置在反射层之上或反射层内部的多个规则间隔的电极(例如,根据矩形网格)。可以控制第一电极和多个规则间隔的电极中的每一个电极之间的电压以控制设置在第一电极和多个规则间隔电极中的每一个电极之间的折射层的对应区域(例如,电池)的折射率。
显微镜或其它成像系统可以包括该SLM并且被配置为提供高光谱共聚焦成像,例如空间切片成像,其另外生成关于成像目标的区域的光谱信息。这可以包括在光被成像之前,将SLM放置在通过共聚焦显微镜从目标接收的光的路径中,例如,在所接收的光通过光圈(例如,光学上与通过其光源照射目标的光圈对应的光圈)之后。在一些示例中,系统可以包括SLM和被配置成通过光源控制目标的照明模式的微反射镜设备。该微反射镜设备还可以控制从目标响应接收的并且经由SLM被呈现给成像器的光的模式。该微反射镜设备可以被控制以每次照射并从目标的单个部分接收光(例如,通过控制微反射镜设备的单个微反射镜以将来自光源的照明光反射到该目标的对应部分,并且相反地,将从该目标的该对应部分响应性发射的光经由SLM反射到相机),并且在该目标(通过依次激活微反射镜设备的特定微反射镜)上扫描以生成该目标的高光谱图像。该微反射镜设备可以根据一些其它方法附加地或替代地操作,例如,通过控制微反射镜设备的空间上分离的相应数量的反射镜,以在来自光源到该目标的光的反射中生成Hadamard或其它编码光圈,或照射目标的多个空间上分离的部分。
附加地或替代地,SLM和对应相机可以被配置为使用从目标发射的非共轭光(即,从目标的部分发射的光,该部分不与包括SLM和相机的成像设备的光圈对应)来生成用于共焦成像的目标的光谱信息(例如,高光谱图像))。例如,成像系统可以包括微反射镜设备、光源、第一相机、以及被配置的光学系统,使得微反射镜设备能够被操作以控制目标的哪个(哪些)部分被光源照射(例如,通过控制对应微反射镜以将来自光源的光朝向该目标的该部分反射),并且光从哪个(哪些)部分将经由该微反射镜设备朝向第一相机反射,以允许第一相机检测该目标的该部分的共焦图像(如果微反射镜设备被操作以顺序地照射该目标的不同部分,例如通过操作微反射镜以扫描在该目标上的照明,则整个目标的共焦图像)。成像系统还被配置为使得未被朝向第一相机反射的光经由SLM被聚焦反射到第二相机。使用第一和第二相机拍摄多个图像(例如,当微反射镜装置被操作以使用从光源反射的光顺序照射目标的每个部分时拍摄的图像)可以允许对目标进行多个共焦图像(例如,由第一相机拍摄的多个图像)以及用于基于由第二相机拍摄的多个图像(例如,通过去卷积处理)确定的单个高光谱图像(或关于目标的其它光谱信息)。
使用本文的系统和/或方法确定的关于目标的光谱信息(例如,高光谱显微图像)可用于使能各种应用。检测关于目标的元件和/或特征的发射光谱、激发光谱、吸收光谱、颜色或其它光谱信息可以允许识别目标的元件和/或特征(例如,基于所确定的该特征的光谱信息与特定蛋白质的已知光谱信息之间的对应关系,确定该特征是特定蛋白质)。附加地或替代地,可以基于所确定的元件或特征的光谱信息(例如,基于元件或特征的所确定的吸收、发射、激发或其它光谱的峰值或其它特征的中心频率、宽度、幅度、形状或其它属性)来确定目标的元件或特征的一个或多个属性(例如,氧化态、局部pH 值、构造、与配体结合的状态)。
在一些示例中,使用本文的系统和/或方法确定的关于目标的光谱信息可以用于确定关于目标中的荧光团的位置、属性、身份和其它信息。该荧光团可以天然存在于目标中,或者可以经由染色、遗传操作(例如,将绿色荧光蛋白基因添加到生物对象中的另一感兴趣基因)或其它一些方法来引入。可以对目标成像,并且通过利用荧光团的发射波长的光照射目标来确定这些目标中的这种荧光团的位置。可以针对该目标确定光谱信息(例如,对于含有该荧光团的目标的部分),并用于确定该目标中各个荧光团的身份(例如,通过确定被成像荧光团的发射光谱与该目标中存在的一组荧光团之一的发射光谱对应)。附加地或替代地,可以基于所确定的荧光团的光谱信息来确定关于荧光团状态的信息(例如,氧化态、局部pH值、构造、与配体结合的状态)。
预期其它配置、模式和操作方法以及其它实施例。本文所描述的系统和/ 或方法可以包括另外的微观或其它成像模态和/或光学系统或元件,以根据应用改进目标部分的内容的识别。根据应用,如本文所述的系统可以包括多个光源、多个空间光调制器、多个相机、多个微反射镜设备和/或附加组件。本文所描述的系统和方法可用于将高光谱和/或光谱成像能力添加到各种其它微观或其它成像系统。此外,如本文所述的系统和方法可以根据和/或与各种不同的微观或其它成像技术(例如,受激发射耗尽、基态耗尽、饱和结构照明显微镜、4pi成像、光漂白、或其它方法或技术)组合来配置或操作。
本文所描述的系统或方法可以应用于对关于生物组织或一些其它类型的目标的光谱信息成像和/或确定。例如,本文所描述的系统和方法可以用于超光谱图像材料、合金、矿石、纺织品、微流体系统、化学和/或药物产品、制造的纳米结构(例如,集成电路和/或微机电系统)或其它类型的目标。本文所述的系统的其它应用和配置被预期。
应当理解,本文所述的上述实施例和其它实施例被提供用于说明的目的,并不旨在限制。
II.示例成像装置和示例空间光调制器
各种应用包括以非常小的尺度对目标成像(例如,生物样本、矿物、集成电路、材料表面、表面涂层)。在一些应用中,检测关于目标的光谱信息可能是有利的,例如,检测激发光谱、发射光谱、吸收光谱、反射光谱、散射光谱、颜色或一些其它光谱或与目标的一个或多个部分(例如,蛋白质、细胞或其它元件)的光的相互作用的其它波长依赖性。这种被检测的光谱信息可以允许识别目标的元件(例如,通过将来自目标的一部分的被检测的光谱信息同与目标的多个可能内容对应的光谱信息的数据库进行比较),以允许识别该目标的属性(例如,基于该目标的一个或多个元件的被检测的依赖于pH 值的光谱属性来检测目标中的pH值),或允许某些其它应用。
以小尺度(例如,以能够分辨尺寸小于1微米或优选地小于100纳米的单个特征的尺度)对目标成像可以允许检测目标的较小元件或特征(例如,个体细胞、细胞的个体过程、个体蛋白)。以高采样率(即,在短时间段内生成单个图像)对该目标成像可以允许检测该目标中的时间依赖过程(例如,细胞或蛋白质的运动、归因于例如蛋白质与配体或分析物的结合和未结合的蛋白质的光谱属性的变化。例如,在高空间和时间分辨率(即,在短时间段内分辨目标的非常小的元件或特征)对目标成像,同时将目标暴露于最小的可见光、紫外线辐射、红外辐射或其它照明可以防止对样本造成损害并且可以避免样本的光漂白元件(例如,荧光团)。
对目标成像可以包括照射目标,接收响应性地从目标发射的光(通过荧光吸收和发射、反射、散射、折射、拉曼散射或者光和目标的元件之间的一些其它相互作用),以及基于所接收的光生成目标的图像。光的这种照明和/ 或接收可以来自于目标的广泛区域(例如,亮视场显微镜)或者来自于目标的某个特定区域(例如,如在共焦显微镜中,目标的多个指定的小体积)。可以通过利用具有多个相应光谱属性的多个光(例如,包含多个相应波长的光) 和/或通过检测所接收的光的幅度或其它属性的波长依赖性(例如,通过检测在多个波长范围内的所接收光的幅度)来对该目标的一个或多个区域检测/确定光谱信息。
可以采用各种方法来确定从目标接收的光的光谱信息。在一些示例中,从目标接收的光可以根据波长进行滤波和/或反射(例如,使用二向色滤光片、电介质镜、凝胶滤光片、布拉格镜),使得在一个或多个指定的波长范围的所接收的光的幅度或其它属性可以被检测。例如,彩色相机可以包括多个红色、绿色和蓝色滤光器,其被配置为过滤被引导到相机的各个感光元件(例如,像素)的接收到的光,这允许使用彩色相机以检测来自于所接收的光的光谱信息。在一些示例中,所接收的光可以被施加到色散元件(即,具有一个或多个波长依赖性的光学属性的元件),使得处于不同波长的光的部分可被不同地反射、折射、吸收,或以其它方式相互作用以允许检测所接收的光的光谱内容。例如,所接收的光可以通过具有波长依赖性的折射率的光学元件(例如,棱镜),使得所接收的光的不同波长例如在不同的方向上被不同地折射。在一些示例中,所接收的光可以被透射通过衍射光栅或从衍射光栅反射,所述衍射光栅被配置成以不同的方向透射或反射不同波长的光,或以波长依赖性的方式被分离、过滤或以其它方式与光相互作用,使得可以检测所接收的光的光谱内容。可以使用其它方法和/或系统来分离、阻止、过滤或以其它方式操纵从目标接收的光,以便检测和/或确定关于所接收的光和/或关于目标的光谱信息。
图1示出了被配置为对目标105进行成像的示例成像系统100的横截面元件。系统100包括光源120(例如,激光)、相机130(被示出为位于相机 130的焦平面137上的感光元件的平面)、微反射镜设备(MD)150(其中微反射镜位于焦平面157上)、空间光调制器(SLM)110、和被配置为将光引导到目标105和从目标105引导光以及在系统100的元件之间引导光的光学系统(包括物镜141、第一中继透镜143和第二中继透镜144、分色镜145和光接收器125)。系统100还包括目标105被安装到其上的平台160。注意, MD 150和相机130分别包括微反射镜和感光元件的二维阵列。此外,注意,光学系统(例如,141、143、144、145)和SLM110被配置为在目标105、 MD 150和相机130之间引导光,使得位于MD 150和相机130的焦面157、 137上的位置与目标105中的焦面107上的相应位置对应。
系统100通过从光源120发射第一照明光121并将第一照明光121从分色镜145朝向MD 150反射,来照射目标105中的焦面107上的指定区域109。控制具有与指定区域109对应的MD 150的焦面157上的位置的MD 150的被选定的反射镜151,以经由物镜141将作为对焦照明122的第一照明光121 朝向目标105反射。MD 150的其它反射镜153被控制为将第一照明光121 的剩余部分作为损耗照明光123朝向光吸收器125反射以被吸收。如所示地,单个反射镜(151)被控制以照射目标105的对应区域109(并从该区域109 接收光);然而,附加的反射镜(例如,从其它反射镜153中选择)可以同时、顺序地或根据一些其它方案来操作以照射(并且从该区域接收光)目标105 的对应附加区域。
响应于经由物镜141的照明光,系统100接收从指定区域109发射的光 (包括共轭光132)。共轭光132聚焦在所选择的反射镜151处并朝向SLM 110 反射(通过分色镜145)。第一中继透镜143(和/或系统100的一些其它光学元件)使所接收的光准直,并将基本准直的光呈现给SLM 110。SLM 100朝向第二中继透镜144反射共轭光132作为在光谱上分散的光133,第二中继透镜144被配置为将在光谱上分散的光133聚焦到与指定区域109对应的相机130的焦面137上的指定区域131(例如,到具有一个或多个感光元件和/ 或相机的像素的相机130的区域)。配置和/或操作SLM 110使得在光谱上分散的光133以受控的方式相对于共轭光132在光谱上分散,使得可以检测或确定特定区域109和/或共轭光132的光谱信息。在一些示例中,在光谱上分散的光133以与SLM 110的层的折射率的空间梯度的电子控制方向、幅度和 /或某些其它属性相关的方式进行在光谱上分散。
注意,图1所示的系统100及其元件旨在作为本文其它地方所描述的用于生成目标(例如,105)的高光谱或其它光谱图像的系统和方法的非限定性示例。成像系统可以包括更多或更少的元件,并且可以根据类似或不同的方法对目标成像。如所示地,可以对系统100进行操作以共焦地对目标105成像;即,照射目标109的指定区域,并使用微反射镜设备150接收响应性地从焦距内的目标109的指定区域发射的光(例如,控制朝向目标105发射和从目标105接收的光的空间模式105)。可以以不同的方式将照明光传送到目标105和从目标105接收光,并且使用被不同配置的元件(例如,不同的光学设备)。目标105可以沿着与用于从目标105接收响应性发射的光的光路相分离的光路被照射。例如,可以在被接收之前通过目标传送照明光以对目标成像。可以照射目标105的特定区域,并且通过使用一个或多个可控反射镜、透镜、衍射光栅或其它致动的光学元件来控制照明光束,从这些区域接收光。
如本文所述的SLM(例如,110)可以作为各种不同成像系统的一部分 (例如,亮视场显微镜、4-pi显微镜、共聚焦显微镜、荧光显微镜、结构化照明显微镜,暗视野显微镜、相差显微镜)被配置和操作,为各种应用(例如,允许目标的高光谱或其它光谱成像)提供光的受控在光谱上分散。例如,如本文所述的SLM可以被插入到由一些其它各种显微镜或成像器(例如,亮视场显微镜)接收的光的路径中。在各自的多个时间段期间,SLM可以被操作为在跨过SLM上具有多个不同的指定幅度和/或折射率梯度的方向,并且这样的成像器可以被配置为在多个时间段期间生成接收从SLM反射的光的多个图像。在这样的示例中,根据模型(例如,适于校准成像器的数据的黑盒模型)或根据SLM的配置(例如,经由在多个图像上执行的去卷积的过程和基于为成像器确定的波长依赖性的点扩展函数)的该目标的区域的所检测的幅度和光谱属性之间的关系的其它描述,可以基于多个图像中的像素的多个检测到的幅度(或光的其它属性)来确定关于目标的特定部分(例如,从其接收光的目标)的光谱信息。此外,如本文所述的SLM可以用于控制照射光束的方向和/或光谱内容,例如,以与广谱光源(例如光圈)结合来生成可调谐光源。
光源120可以包括被配置成生成具有一个或多个指定属性(例如,指定波长)的照明光121的各种发光元件。这可以包括激光器、发光二极管(LED) 或其它基本上单色的光源。附加地或替代地,光源120可以包括跨过更宽的波长范围(例如,弧光灯)发射光的发光元件。在一些示例中,该非单色光可以通过一个或多个滤光器(例如,包括一个或多个布拉格反射器、棱镜、衍射光栅、狭缝光圈、单色器的滤光器)发射,其被配置为仅允许在波长的窄范围内传输光。在一些示例中,光源120可以被配置为发射指定波长的光或者具有一些其它指定属性以激发目标105中的荧光团,或以其它方式选择性地与目标120的一个或多个元件相互作用(例如,激发、淬灭、光漂白)。例如,照明光121可以包括与目标105的荧光团的激发波长(例如,绿色荧光蛋白质、dsRED蛋白质)对应的基本上一个波长的光(即,可以包含在波长的指定窄范围内的波长的光)。
在一些示例中,光源120可以包括可调谐激光器或一些其它发光元件,其可控制为以多个不同波长(例如,在约400纳米和约2.5微米之间的波长范围内)发射光。这种可调谐激光器可以包括准分子激光器、染料激光器、 CO2激光器、自由电子激光器或被配置为以多个不同的可控波长发光的一些其它激光元件。在一些示例中,由可调激光器发射的光的波长可以通过控制可调激光器的一个或多个元件(例如,反射器、谐振腔)的几何形状或尺寸来控制。在一些示例中,光源120(例如,可调激光器)的布拉格反射器或其它元件可以被旋转或以其它方式被致动以控制由光源120发射的光的波长。在一些实施例中,光源120可以包括多个激光器或其它基本单色的光源,其被配置为发射与各个不同波长对应的波长的光(例如,目标105中的相应荧光团的激发波长),以及光源120发射特定波长的光的操作可以包括操作光源120的对应激光器以发射受控波长的光。预计光源120的其它配置和操作。
相机130可以包括设置在焦面137上的多个感光元件。感光元件可被配置为检测由相机130在跨过宽波长范围上接收的光的幅度或其它属性(例如,跨过可以由目标105的元件发射的光的波长范围,例如,包括目标105中的一个或多个荧光团的发射波长的范围)。也就是说,相机130可以被配置为作为宽带单色相机,在多个时间段期间从目标105(经由例如SLM 110、MD 150 和光学系统)接收光,并输出目标与由光源120在各自的多个时间段期间发射的光(例如,各自的多个波长的光)的吸收、荧光再发射或其它相互作用相关的各自的多个图像。这可以包括包含设置在焦面137上的感光元件(例如,光电二极管,光电晶体管,电荷耦合设备(CCD)的像素,有源像素传感器)的规则二维(或以其它方式排列的)阵列的相机130,该相机130被配置为使得单个感光元件的输出与由相机130从特定方向和以特定波长(与目标105的特定部分以及SLM 110和/或MD 150的配置对应)接收的光的幅度相关。
当系统100类似于图1地被操作和/或配置时,关于目标105的特定部分 (例如,109)的光谱信息可以基于由相机130的特定的一组像素(或其它感光元件)(例如,靠近指定区域131的像素)检测的多个检测到的幅度(或光的其它属性)来确定,即照射目标105的特定区域(例如,109)并从其接收光(或从在空间上分离的多个这样的指定区域,使得相机130的各个像素仅接收来自一个这样的区域的光)。附加地或替代地,当SLM 110和MD 150 根据各自的不同配置(例如,不同的指定幅度和/或跨过SLM 110的的折射率梯度的方向、MD 150的反射镜151,153的受控角度的不同集合)操作时,可以使用相机130捕获多个图像SLM110。在这样的示例中,关于目标105的特定部分(例如,109)的光谱信息可以基于多个检测到的幅度(或光的其它属性)来确定,所述多个检测的幅度根据模型(例如,适合于系统100的校准数据的黑盒模型)或在所检测的幅度和目标105的区域的光谱属性(依赖于SLM 110和MD 150的配置,例如,经由对多个图像执行的去卷积过程并且基于为系统100确定的波长依赖性的点扩展函数)之间的关系的其它描述,由跨过多个图像的各个像素检测。预期针对目标的一个或多个区域使得系统 100能够检测和/或确定光谱信息的其它配置和/或操作。
注意,系统100照射和接收来自目标105的焦面107上的指定区域109 的光的配置和/或操作仅旨在作为非限定性示例。或者,可以通过根据与所示不同的一组受控角度操作MD 150的反射镜151、151、153,来照射目标的较大和/或不同形状的区域(例如,目标内的线;基本上整个目标和/或成像系统的视场内的整个目标)。例如,可以通过控制MD 150的对应的多个空间上分离的反射镜来朝向目标105的多个区域反射第一照明光121,目标105的焦面107附近的多个空间分离的区域可以被同时照射和成像。可以根据一些其它模式(例如,接近于MD 150的焦面157上的一些其它编码光圈)来控制 MD 150的反射镜151、153。此外,光源120可以以可控波长(例如,基本上是单色的照明光,但是具有可以通过光源的操作来改变的波长)发射照明光,并且当目标105被不同波长的光照射时,可以基于目标105的图像来确定目标105的区域的光谱信息(例如,生成与不同波长的照明光对应的对应多个发射光谱)。
此外,注意,可以控制目标105内的焦面107的位置(例如,允许目标 105的元件在目标105内的不同深度处的成像)。在一些示例中,可以相对于系统100的其它元件(例如,相对于物镜141)来致动平台160,使得可以控制目标105在一个或多个维度中的位置。例如,平台160可以在与共轭照明光132的方向平行的方向(即,在图1的垂直方向上)致动,使得可以控制目标105内的焦面107的位置(例如,深度)。在该示例中,当焦面107被控制处于目标105内的各个位置(例如,深度)时,可以检测/确定目标105的多个图像和/或光谱信息,这允许从多个图像和/或光谱信息生成目标105的三维图像。在一些示例中,可以通过致动平台160控制目标105相对于系统的位置,来控制目标105中的焦面107上的特定区域109的位置。平台160的致动可以包括一个或多个压电元件、伺服电动机、线性致动器、电流计或其它致动器,其被配置成相对于系统100的元件(例如,141)控制平台160(以及安装在平台160上的目标105)的位置。
成像系统100(或本文所述的其它示例成像和/或显微系统)可以包括附加元件或组件(未示出)。成像系统100可以包括一个或多个控制器,其被配置为操作SLM 110、光源120、相机130、MD 150、被配置为控制平台160 的位置的致动器和/或成像系统100的其它元件。成像系统100可以包括通信设备(无线电台、有线接口),其被配置为向/从其它系统(例如,服务器、其它成像设备、实验系统、样本灌注泵、光遗传学或其它刺激器)发送/接收信息,以使能成像系统100的功能和应用。例如,成像系统100可以包括被配置为呈现由成像系统100生成的目标105的图像的接口。成像系统100可以包括接口,其被配置为向用户呈现关于成像系统100的信息和/或允许用户操作成像系统100(例如,设置光谱分辨率、设置空间分辨率、设置时间分辨率/成像采样率、设置操作模式(例如,共轭或非共轭共聚焦成像、亮视场成像、受激发射损耗(stimulated emission depletion,STED)成像),因此设置最大发射照射功率以设置感兴趣的波长范围)。
附加地或替代地,成像系统100(或本文描述的其它示例成像系统)可以被配置为与另一系统(例如,手机、平板电脑、计算机、远程服务器)通信并使用远程系统呈现用户接口。在一些示例中,成像系统100可以是另一系统的一部分。例如,成像系统100可以被实施为电生理实验系统的一部分,其被配置为将光学、电学、化学或其它刺激应用于生物样本(例如,培养或提取的神经元的样本)。成像系统100可以提供关于生物样本的配置响应于刺激的变化的信息(例如,通过确定与样本的细胞中钙的存在和/或位置相关的组织的光谱信息,例如通过检测样本中钙指示剂的荧光属性)和/或可以提供信息以通知刺激的递送。在一些示例中,成像系统100可以包括多个SLM 110、光源120、相机130、MD 150或其它附加组件。成像系统100可以包括传感器和/或与被配置为对目标环境(例如,105)的其它属性成像的传感器通信。预期如本文描述的成像系统的其它配置、操作和应用。
可以通过照射目标的部分、检测响应于照明从该部分发射的光、以及确定关于所接收的光的一些光谱信息,来检测和/或确定关于生物组织、细胞、细胞器、蛋白质、化学物质、流体、荧光团、矿物质、集成电路、微机电设备或目标的其它部分的光谱信息。确定光谱信息可以包括通过在各自的多个波长范围内检测接收到的光的多个幅度来从接收的光生成光谱(例如,反射光谱、发射光谱、吸收光谱)。也就是说,光谱信息可以包括与所接收的光的波长对应的多个检测和/或确定的幅度,例如在波长范围内线性间隔的指定波长。可以通过单个波长的光与目标的照明相关地生成这样确定的光谱信息。或者,可以通过各自的多个不同的单个波长的光,在各自的多个不同的时间段内,与目标的照明对应的多次确定这样的光谱信息。
光谱信息可以包括对目标的光谱的一个或多个特征或其它波长依赖性的光学属性的描述;例如,光谱信息可以包括绝对或相对幅度、平均波长、半峰宽度或关于目标的一部分的光谱的峰值或其它特征的其它描述性信息。可以基于确定的和/或检测到的光谱来确定这样的光谱信息(例如,通过在与从目标接收到的光的波长对应的确定的和/或检测到的多个幅度内,提取峰值的幅度、宽度或波长位置)。或者,这样的光谱信息可以以其它方式确定,例如通过迭代过程,其包括控制SLM以在波长范围内增加成像系统的光谱分辨率,该波长范围包括光谱所关注的峰值或其它特征。预期其它类型的光谱信息和检测和/或确定这种光谱信息的方法。
在一些示例中,可以根据应用(例如,标记一种或多种蛋白质、化学物、或目标中感兴趣的其它元素),将荧光团、发色团、色素、染料、涂层或其它物质加入目标(例如,生物样本)。例如,被配置成选择性地与分析物相互作用的荧光团(例如,与酶、蛋白质、标记物或由癌细胞表达的其它元素)可以被引入到生物样本中,使得分析物可以使用本文所述的方法,在样本中被检测、定位和/或识别。可以执行这种识别以确定关于分析物的位置、分布、浓度或其它信息。在一些示例中,被配置成与相应分析物相互作用的多个这样的荧光团可以被加入目标。可以指定如本文所述的成像器的光谱分辨率(例如,与光谱的检测到的光幅度或其它检测到的或确定的光谱信息对应的光的波长之间的波长差)以允许识别多个荧光团。例如,可以指定光谱分辨率,使得可以区分与目标中各自的两个或更多荧光团对应的检测光谱(例如,发射光谱)中的两个或更多个峰值(允许例如确定两个或多个荧光团存在于目标的特定区域中)。在一些示例中,一种或多种这样的荧光团可能已经存在于目标中,例如荧光矿物质、天然存在于生物样本中的荧光蛋白质、由于样本的遗传操作而存在于生物样本中的荧光蛋白质、以及/或从其取出样本的生对象。
可以基于关于针对元素确定的光谱信息的特征或其它信息来确定目标的元素(例如特定区域、蛋白质、细胞、矿物质、化学物)的身份。例如,关于所确定的光谱中的峰值的幅度、中心频率、形状、存在或其它信息可以指示该元素包括特定的荧光蛋白质、矿物质、化学物或其它物质或结构。在一些示例中,可以通过将分类器、模型或其它算法应用于该元素的检测或确定的光谱信息来确定目标的元素的身份和/或内容。例如,表示元素的确定的发射光谱的值的矢量(例如,该矢量的单个值表示在各自的波长范围内从元素接收到的光的幅度)可以被应用于k-均值、k-最近邻,神经网络,支持向量机,决策树或其它各种分类器。基于区域的光谱的附加或替代特征,预期目标的区域的其它区别和/或标识。
附加地或替代地,被引入的和/或已经存在的荧光团、发色团、色素、染料、涂层或其它物质可以具有一种或多种光谱性质(例如,引入物质的吸收或其它光谱内的峰值的幅度、中心波长、宽度或其它属性),其与目标的一个或多个区域或元素的属性(例如,温度、pH值、渗透压浓度、张力、应力、压力、与配体结合的状态、构象状态)相关联。例如,荧光团的发射峰值的中心频率或幅度可能与包括荧光团的蛋白质的结合状态有关(例如,由于通过与蛋白质对配体的绑定相关的蛋白质的构造中的改变导致的蛋白质的另一方面导致的荧光团的熄灭)。在另一示例中,荧光团的发射峰值的中心频率或幅度可能与接近于荧光团的目标中钙的存在有关(例如,荧光团可以包括 fura-2、indo-1、3、钙绿-1、或其它一些荧光性的钙指示剂)。在这样的示例中,可以指定光谱分辨率,使得可以通过检测相关的光谱属性来确定相关属性和/或将相关属性确定为指定的分辨率。在一些示例中,这样的荧光团可能已经存在于目标中。
如本文所述并用于针对目标(例如,105)的一个或多个区域提供高光谱成像和/或确定光谱数据的SLM(例如,110)具有一个或多个色散属性,该色散属性是电子(或其它)可控的,并且允许SLM光谱地分散呈现给SLM 的光。对象或材料的色散属性是具有依赖于与对象或材料相互作用的光的波长的光学属性。例如,某些玻璃具有色散性折射率,因为对于不同波长的光,玻璃的折射率是不同的。在另一示例中,某些衍射光栅对于光的不同波长具有不同的有效吸收和/或反射角。因此,具有色散属性的这些对象或材料可用于在光谱上分散光,即,以波长依赖性的方式与施加到对象或材料的光相互作用,使得从对象或材料发射的光(例如,从其反射、由其吸收、通过其透射、由其光学上旋转)具有在所施加的光中基本上不波长依赖性的波长依赖性的一个或多个属性(例如,角度、幅度、取向偏振)。作为示例,由具有色散折射率的玻璃构成的棱镜(例如,三角棱镜)可以与白光束(例如,包含跨过可见光谱的各种幅度的光的光束)相互作用,使得以各种可见波长从棱镜发射的光以各自的不同角度发射(例如,作为“彩虹”)。
通过分离、选择性地传送或以其它方式与不同波长的光进行交互,可以应用这种色散的对象或材料来检测关于光(例如,从目标接收的光)的光谱信息,允许不同波长的这种光的幅度或其它属性被独立地检测(例如,通过相机、光谱仪或其它感测设备的多个各自的感光元件)并用于确定关于光的光谱信息(例如,表示各种各自的不同波长的幅度的值的向量、中心频率、半峰宽度、幅度、形状或峰值或其它特征的其它属性)。此外,这种色散属性的电子控制可以允许控制分散光的一个或多个属性,例如所分散的光的平均角度和/或方向、不同波长的光的角度或其它分离的程度(与例如包括这种电子控制分散元件的成像器的光谱分辨率相关),不同波长的光的分离的线性或非线性、或所分散的光的一些其它属性。
在图2A的横截面中示出了这种电子控制的色散元件的示例。图2A示出了空间光调制器(SLM)200的配置,该空间光调制器(SLM)200包括布置在折射层210下的反射层220(由例如铝、银或在感兴趣的波长范围内可反射光的其它一些材料组成)。基本上透明的第一电极240(例如由铟-锡氧化物 (ITO)一些其它材料组成,该材料可导电且对感兴趣的波长范围内的光基本上透明)位于折射层210上,与反射层220相对。被引导朝向SLM 200的光可以透射穿过第一电极240、被折射层210折射、被反射层220反射、再次被折射层210折射、并且通过第一电极240被发送离开SLM 200。SLM 200 还包括介电层250和布置在反射层220下方的多个另外的电极230(包括第二电极235a、第三电极235b和第四电极235c)。控制器260被配置为控制第一电极240和另外的电极230中的每一个之间的电压。注意,反射层220和介电层250被示出为SLM 200的不同结构,但实践中可以是相同的结构(例如,介电层250可以由反射材料构成,使得反射层220仅仅是介电层250的表面,反射层220可以包括介电层250的被抛光或以其它方式形成或处理的表面,使得反射层220是反射性的)。
折射层210由关于其折射率进行色散的材料(例如液晶)构成。也就是说,折射层210的折射率依赖于由折射层210折射的光的波长。在一些示例中,折射层210的折射率可以在波长的指定范围内(例如,可见波长、包括两个或更多个荧光团的发射波长的波长范围)与波长基本上线性地变化。此外,通过向折射层210施加受控电场,例如通过在第一电极240和一个或多个另外的电极230之间施加电压,折射层210的折射率可以被电子控制。折射层210的折射率可以与直流电压的线性或非线性函数、或交流电压的幅度、频率、占空比、脉冲宽度其它属性或在第一电极240和一个或多个另外的电极230之间施加的电压的一些其它属性相关联。此外,可以通过在第一电极240和与折射层210的各个区域或单元对应的一个或多个另外的电极230之间施加不同的电压、电压波形或其它不同的电子信号,来独立地或半独立地控制折射层210的各个区域或单元的折射率。例如,通过分别控制在第一电极240和另外的第一电极235a、第二电极235b和第三电极235c之间施加的电压或电压波形,可以控制折射层210的第一单元215a、第二单元215b和第三单元215c的折射率。
注意,在图2A中以横截面示出了SLM 200,因此仅示出了SLM 200的单行单元(例如215a-c)和对应的电极(例如,235a-c)。SLM 200可以包括这种单元的规则的二维阵列。这种阵列可以包括这种电池和电极的矩形、正方形、六边形或其它重复或非重复的阵列。或者,根据一些其它模式或应用, SLM可以被配置为具有电极和对应的单元或折射层的其它区域,例如线性电极的重复模式(例如,在SLM表面上的单元的一维阵列)。可以控制施加到电极的电压、电压波形或其它电信号,使得折射层的折射率根据指定的模式在SLM的表面上变化,例如根据局部或全局基本线性或非线性梯度。这样的局部或全局梯度可以具有指定幅度、指定方向或一些其它指定属性。此外,根据一些应用,这些指定模式(例如,梯度)可随时间而改变。例如,可以从目标接收光、从这种SLM反射、并通过相机或其它成像元件成像,以当根据各自的不同模式(例如,具有各自的指定幅度和方向的梯度)操作SLM以通过多个各自的方式在光谱上分散成像光时,允许在多个时间段期间从目标接收到的光的图像捕获,这允许基于多个图像确定目标的区域的光谱信息,例如经由去卷积过程。
图2B示出了当由不同材料组成和/或暴露于不同电场时(例如,当在第一电极240与同SLM 200的单元对应的另外的电极230之一之间施加指定的电压或电压波形时),描述折射层210的部分的折射率(垂直轴“RI”)对折射光的波长(水平轴“波长”)的依赖性的各种函数。“B”、“G”、“R”分别表示蓝色、绿色和红色光的波长。
函数X、Y和Z示出了第一折射层材料组成的波长依赖性的折射率。第一折射层的材料组成具有跨过所示波长范围的基本线性变化的折射率。函数 X、Y和Z示出了作为被施加的电子信号的第一折射层材料组成的单元的折射率变化(例如,随着与单元相对的电极之间的电压增加,X、Y和Z是单元的折射率)。X,Y和Z示出了增加的总体折射率以及折射率和波长之间依赖性的减小的斜率。类似地,函数V和W示出了第二折射层的材料组成的波长依赖性的折射率;V和W示出了随着施加的电子信号的变化的第二折射层材料组成的单元的折射率。
注意,所示的功能旨在说明本文描述的实施例的配置和操作,而不是限制本文所述的实施例或者描述任何特定折射层的材料组成或其光学属性对电信号的依赖性。在一个或多个波长处的折射率、跨过波长范围的折射率的斜率和/或偏移、折射率和波长之间的关系的非线性、或如本文描述的包括在 SML的折射层中的材料的折射率的一些其它属性可以与所施加的电信号的一个或多个属性(例如,电场幅度、电场方向、施加的电流幅度、施加的电流方向、频率、占空比、脉冲宽度、或所施加的电信号的其它属性)线性或非线性的改变。
图2C示出了与SLM 200类似地配置并具有由第一材料组成构成的折射层的SLM201的使用。操作SLM 201,使得折射层在由“X”和“Y”指示的位置之间具有基本线性的折射率梯度,并且使得由“X”和“Y”指示的位置具有波长依赖性的与函数“X”和“Y”分别对应的折射率(例如,通过根据对应的电压或电压波形控制邻近于“X”和“Y”的单元的电极,并根据一些中间电压控制位于“X”和“Y”之间的一个或多个单元)。入射光280c包括与图2B中的“R”、“G”和“B”指示对应的波长的光。入射光280c被SLM 201反射和折射并作为反射光290c发射。由于SLM 201的折射层的折射率的波长依赖性,反射光290c 光谱上被分散(被示为分离的“R”、“G”和“B”光线)。反射光290c的每个光线的角度可以与SLM 201的折射层的厚度和针对跨过折射层的每条光线的折射层的折射率的改变的模式相关。例如,“B”光线的角度可以针对在邻近于SLM 210和入射光280c的交叉区域穿过SLM 201的波长“B”的光线,与折射层的折射率的梯度的大小和/或角度有关。
可以通过增加折射层的折射率的模式中的梯度幅度或其它变化率来增加由SLM反射的光的在光谱上分散的值。在光谱上分散中的这种增加可以允许利用更高的光谱分辨率来确定接收到的光的光谱信息,例如,通过使两个不同波长的光被相机的感光元件(例如,像素)检测,通过增加两个不同波长的分散光线之间的角度来进一步分开这些像素。作为示例,图2D示出了图 2C中所示的SLM 201的使用。操作SLM 201,使得折射层在由“X”和“Z”指示的位置之间具有基本线性的折射率梯度,并且使得由“X”和“Z”指示的位置具有波长依赖性的分别与函数“X”和“Z”对应的折射率(例如,通过根据对应的电压或电压波形来控制邻近于“X”和“Z”的单元的电极,并根据一些中间电压控制位于“X”和“Z”之间的一个或多个单元)。入射光280d包括与在图2B 中“R”、“G”和“B”指示对应的波长的光。入射光280d被SLM201反射和折射并作为反射光290d发射。由于SLM 201的折射层的折射率的波长依赖性,反射光290d光谱上被分散。此外,相对于图2C所示,反射光290d的分散的程度(例如,光线“R”、“G”和“B”之间的角度间隔)增加。这可能是由于如图2C中所示地操作时,相对于SLM 201,对于穿过折射层的每条光线,折射层的折射率的变化幅度增加的差异。例如,对于较短波长的光,相对于图 2C的点“X”和“Y”之间的折射率的差异而言,对于较短波长的光(例如,对于波长“B”的光)与较长波长的光(例如,对于波长“R”处的光)相比,图2D 的点“X”和“Z”之间的折射率的差异增大得更多。
由SLM反射的光的在光谱上分散的值可以是线性的(例如,在300nm 和350nm的在光谱上分散的光之间的角度间隔的程度可以基本上等于在 350nm和400nm的在光谱上分散的光之间的角度间隔的程度),非线性(例如,在300nm和350nm的在光谱上分散的光之间的角度间隔的程度可以大于在350nm和400nm的在光谱上分散的光之间的角度间隔的程度),或者根据与SLM的折射和/或反射元件的组成以及施加到这些元件的电信号(例如,施加到这种SLM的单元的电压的模式)有关的一些其它关系。作为示例,图 2E 示出了与SLM 200类似地配置并具有由第二材料组成构成的折射层的 SLM 202的使用。操作SLM 202使得折射层在由“V”和“W”指示的位置之间具有基本线性的折射率梯度,并且使得由“V”和“W”表示的位置具有波长依赖性的分别与函数“V”和“W”对应的折射率(例如,通过根据各自的电压或电压波形控制邻近于“V”和“W”的单元的电极,并且根据一些中间电压控制位于“V”和“W”之间的一个或多个单元)。入射光280e包括与图2B中的“R”、“G”和“B”指示对应的波长的光。入射光280e被SLM 202反射和折射并作为反射光290e发射。由于SLM 202的折射层的折射率的波长依赖性,反射光290e 光谱上被分散。此外,反射光290e的分散度在波形之间不均匀。例如,光线“R”和“G”之间的角度间隔的程度小于光线“G”和“B”之间的角度间隔的程度。这可能是由于函数“V”和“W”的非线性,导致每个光线的折射层的折射率的改变幅度增加。
如本文所述的由SLM光谱上分散的接收到的光(例如,分别将280a、 280b、280c分散为290c、290d、290e)可以被施加到(例如,相机(如130) 的)感光元件阵列,以允许检测所接收的光的光谱信息。在这种示例中,不同波长的分散光的光将与不同的感光元件相交,使得每个感光元件通过在接收到的光中对应波长的光的存在而被改变(例如,增加)的输出。在其中接收到的光包括从目标的特定区域接收到的光束的示例中,这种感光元件的1 维阵列可以用于通过检测被SLM光谱上分散的接收到的光的幅度(或其它属性),来检测特定区域的光谱信息。
或者,可以使用感光元件的二维阵列。在这样的示例中,其中从目标的多个区域接收光(例如,如在亮视场显微镜中),这种二维阵列中的每个感光元件可以从目标的各个不同区域接收各种不同波长的光。可以确定这种阵列的单个感光元件与对应波长范围内的目标的区域范围的光之间的对应关系 (例如,通过对这种成像系统的元件进行建模或模拟,通过使用具有各自已知的光谱属性模式的一个或多个校准目标来经验测试这样的系统),并且这种对应关系可以用于基于在操作该SLM时拍摄的目标图像的数量或折射率的不同模式的相应数量(例如,通过去卷积过程),针对成像目标的一个或多个区域确定光谱信息。跨越该SLM的折射率的这种多个模式可以包括具有多个各自的指定幅度、方向或其它属性的梯度。
图3A示出了目标300a。目标300a的区域的光谱属性是使得红色区域 Ra包含响应于照明而发出红色光的荧光团,绿色区域Ga包含响应于照明而发出绿色光的荧光团,蓝色区域Ba含有响应于照明而发出蓝色光的荧光团。目标300a可以被如本文所述的成像系统成像,例如由系统100操作,使得 MD 150的所有反射镜(例如,151、153)被控制以将第一照明光121朝向目标300a反射(使得例如,目标300a的整个区域被照射)并且反射响应性地从目标300a发射、经由从SLM 110反射、朝向相机130的光,使得可以操作相机130的感光元件以对从目标300a接收并被SLM 110光谱上分散的光成像。
图3B示出了目标300a的第一图像300b的一部分。该第一图像300b拍摄自在第一时间段期间由SLM(例如,110、201、202、202)在光谱上分散的从目标接收到的光。第一图像300b包括归因于由分别来自目标300a的红色、绿色和蓝色区域(Ra、Ga和Ba)的分散光对相机的对应区域的照明,而被示出的区域Rb、Gb和Bb。在第一时间段内操作SLM,使得其折射层具有根据第一方向(由箭头310b所指示的)的梯度在SLM上空间上变化的折射率,使得当由相机成像时(例如,如在第一图像300b中),不同波长的光在第一方向310b上分散。通过将较长波长的光在第一图像300b内沿箭头方向移动得更远,这种分散影响第一时间段内的分散光的成像;结果,目标300a 的第一图像300b包括如图所示排列的照明区域Rb、Gb和Bb。
可以在多个另外的时间段内以这种方式操作成像系统(例如,100)以生成从目标接收并由SLM分散的光的多个进一步的相应图像。可以在这些另外的时间段期间操作SLM,使得其折射层具有根据各自的进一步方向上的相应梯度在SLM上空间上变化和/或具有各自的进一步的幅度或根据一些其它集合或各自的模式的折射率。图3C和3D分别示出了目标300a的第二图像300c 和第三图像300d的部分。第二图像300c和第三图像300d拍摄于在各自的第二和第三时间段期间由SLM在光谱上分散的从目标接收到的光。归因于由分别来自目标300a的红色、绿色和蓝色区域(Ra、Ga和Ba)的分散光对相机的相应区域的照明,第二图像300c和第三图像300d包括被照射的区域Rc、 Gc和Bc以及Rd、Gd和Bd的各自的集合。
在第二和第三时间段期间操作SLM,使得其折射层具有分别根据第二方向和第三方向上(分别由箭头310c、310d指示)的梯度在SLM上空间上变化的折射率,使得当通过相机在第二和第三时间段期间成像时(例如,如在第二图像300c和第三图像300d中),不同波长的光在第二方向310c和第三方向310d上分散。通过将较长波长的光在第二图像300b和第三图像300d内沿各自的箭头方向移动得更远,这种分散影响第二时间段和第三时间段内的分散光的成像。结果,目标300a的第二图像300c包括照明区域Rc、Gc和 Bc,并且目标300a的第三图像300d包括如所示排列的照明区域Rd、Gd和 Bd。注意,在该说明性示例中,归因于从目标300a的绿色区域Ga和蓝色区域Ba两者接收光,图像中的重叠区域(例如,第二图像300c中的Gc和Bc 之间的重叠区域,第三图像300d中的Gd和Bd之间的重叠区域)可以通过增加分散光的测量强度或其它增加的检测属性而被呈现。
可以使用目标300a的这些多个图像以确定目标300a的一个或多个区域 (例如,特定区域Pa)的光谱信息,这些多个图像拍摄自通过根据折射率的各自的多个配置(例如,根据具有各自的不同方向和/或大小的梯度)操作的 SLM以各自的多个方式被分散的光。在一些示例中,可以针对在目标300a 的多个区域上确定这些信息,这允许例如目标300a的高光谱成像。多个这样的图像与描述SLM的折射率的多个模式的效果的模型或其它算法和/或这些配置的效果结合,以将在与该多个图像对应的时间段从目标300a接收到的光分散。这种确定可以包括去卷积过程或其它一些计算过程。
在说明性示例中,关于目标300a的特定区域Pa的光谱信息可以基于关于在相机的区域处检测到的光的幅度或其它检测信息来确定(例如,通过相机的一个或多个感光元件或像素),相机的该区域根据特定区域Pa的位置以及该多个时间段期间SLM的分散效果与该多个图像对应。例如,可以基于在目标的第一图像300a、第二图像300b和第三图像300c中的点Prb、Prc和Prd 处检测到的光的线性组合或其它函数来确定响应于由成像系统的照明从Pa 发射的红光的幅度。类似地,可以基于在该目标的第一图像300a、第二图像 300b和第三图像300c中的点Pgb、Pgc和Pgd处检测到的光的线性组合或其它函数来确定响应于由成像系统的照明从Pa发射的绿光的幅度,并且,可以基于在该目标的第一图像300a、第二图像300b和第三图像300c中的点Pbb、 Pbc和Pbd处检测到的光的线性组合或其它函数来确定响应于由成像系统的照明从Pa发射的蓝光的幅度。
可以基于成像器的模型(例如,基于在SLM的折射层上的折射率的梯度的幅度和方向)和/或成像器的属性的经验测量(例如,基于具有已知的光谱信息/内容的校准目标的一组图像或一些其它校准信息或程序),来确定这些对应位置(例如,Prb、Prc、Prd、Pgb、Pgc、Pgd、Pbb、Pbc、Pbd)的位置。注意,在所示的不同方向上分散光的SLM的颜色(红色、绿色和蓝色)和操作是非限定性示例;可以针对目标的区域确定光谱信息的不同波长和/或波长范围。此外,SLM可以被操作为具有根据具有分别不同的方向、大小的梯度的折射率模式,或者根据折射率的一些其它集合。
在操作SLM时,通过捕获目标300a的更多图像以具有各自不同的折射率模式(例如,具有各自不同的幅度和方向的梯度、其它模式),可以增加这种被确定的光谱信息的光谱和/或空间分辨率。这种模式可以包括在SLM的整个折射层上的基本线性的梯度、具有折射率上的各种局部梯度(其本身具有各自的大小和/或方向)的模式、或者根据应用的折射率的一些其它随机或伪随机模式。附加地或替代地,可以增加SLM的这种模式或折射率中梯度的大小,以增加这种被确定的光谱信息的光谱分辨率。此外,可以自适应地调整这种梯度幅度,例如,允许所接收的光的发射或其它光谱中的两个或多个峰值(例如,与目标中的分别的两个或更多个荧光团对应)被区分。
注意,被布置为SLM的一部分的允许电子控制SLM的折射层(或其它折射元件)的各个单元或其它指定区域的折射率的所描述的电极的规则阵列,旨在作为具有折射层的SLM的一个示例实施例,该折射层具有可以被电子控制以在根据具有指定方向或幅度的至少一个的可控梯度的折射层上变化的折射率。替代实施例可以电子控制一个或多个激光器或其它光源以在光学上控制SLM的折射元件的折射率。预期如本文所述的SLM的其它配置和操作。此外,SLM可以以透射模式操作,即可以缺少反射层。在这些示例中,通过透射通过具有可被电子控制的折射率模式的SLM的折射层,光束(例如,从被照射的目标接收的光束)可以被SLM光谱上分散。在一些示例中,SLM 可以通过在SLM的表面和/或内部控制反射和吸收元件的模式来提供光束的电子受控的在光谱上分散,以提供具有一个或多个属性(例如,光栅间隔、光栅宽度、光栅方向)的衍射光栅,该衍射光栅可以被电子控制以控制响应于接收来自目标的光而从SLM反射和/或透射通过SLM的在光谱上分散的光的一个或多个属性。
预期基于配置和/或操作成像系统的光源、相机、SLM、MD和/或其它元件(例如,识别目标的一个或多个区域、光漂白或以其它方式与基于这种识别的目标区域相互作用)的其它方法。
III.成像装置和示例微反射镜设备的示例共聚焦操作
如本文所述的成像装置(即,包括如本文所述配置和/或操作以电子控制的方式光谱地分散从目标接收的光的一个或多个空间光调制器(SLM)的成像装置)可以以各种方式被配置以通过各种方法影响目标的成像。这些方法可以包括根据各种模式照射目标和/或从目标接收光(例如,如在亮视场显微镜中照射和接收来自目标的大面积的光,如在共聚焦显微镜或其它类型的扫描显微镜每次照射和接收来自单个点或小集合的点的光)。此外,来自目标的单个区域(或一组空间上不同的区域)的光可以通过SLM在光谱上分散并且被成像的分散光、来自目标的大面积的光可以被SLM分散,并且被成像的分散光、或者来自目标和/或目标的某个(某些)指定区域的光可以根据某个其它方法或方法的组合被在光谱上分散和/或成像。
在一些示例(例如,图1中所示的系统100)中,可以照射目标的一个或多个指定区域。类似地,可以收集、聚焦或以其它方式接收、光谱上分散和检测(例如,通过相机的感光元件)从这些指定区域或目标的另外或替代区域响应性发射的光,来确定针对指定区域和/或作为整体的目标的光谱信息 (例如,生成目标的高光谱图像)。成像系统可以以各种方式被配置以照射和 /或接收来自目标的一个或多个指定区域的光。例如,可以通过光圈和/或从点光源将照明光传递到目标的指定区域。成像系统可以包括被配置为将这种光引导到目标的指定区域使得光圈和/或点源位于与指定区域的位置共轭的位置(即,使得光被聚焦到指定区域,如图1所示)的光学系统。相反,可以经由这种光圈和/或经由具有与指定区域的位置共轭的位置的不同光圈,接收从目标的指定区域接收的光。
可以通过控制与成像系统的一个或多个元件(例如,物镜)相关的目标的位置(例如,通过控制生物样本或其它目标被安装在其上的致动平台的位置),控制被照射和/或接收光的一个或多个指定区域的位置。附加地或替代地,可以控制光圈的位置(例如,跨过与目标上或目标内的位置对应的位置的范围扫描),通过该光圈,发射照明光和/或接收从目标响应性发射的光的位置。例如,一个或多个光圈可以被形成为Nipkow盘或一些其它图像扫描装置的一部分。在一些示例中,该光圈的模式可以被编程到空间光调制器的配置中(例如,如例如图1中所示的微反射镜设备的微反射镜的受控角度的模式、透射模式空间光调制器的单元的不透明模式)。
在一些示例中,成像系统可以包括微反射镜设备(MD),其包括布置在平面阵列(例如,在MD的基本平坦的表面上)内的多个微反射镜。图4A 和4B示出了该MD 400的横截面。MD400包括布置在MD 400的焦面407 上的多个微反射镜(例如,405a、405b、405c)。图1中所示的MD 150可以是类似于图4A和4B的MD 400的MD。由于每个微反射镜具有电子可控的角度,MD 400的每个微反射镜是可启动的。在一些示例中,这可以包括被配置为相对于焦面407具有两个指定角度之一(例如,相对于焦面407的平面为正的12度的第一角度和相对于焦面407的平面为负的12度的第二角度) 的各个微反射镜。可以将光学系统的元件(未示出,例如物镜、中继透镜系统)配置为将来自MD 400的光反射和/或折射到目标(未示出),使得从焦面 407发射的光(例如,由光源410发射并从特定反射镜(例如405b)反射的第一照明光415)被聚焦地发射到目标上或目标内的焦面上的对应位置(例如,与特定反射镜(例如焦面407上的405b)的位置对应的目标内的特定区域)。
图4A示出了在第一时间段期间作为亮视场照明425A,MD 400致动 MD 400的所有微反射镜以将从光源410朝向目标(未示出)发射的第一照明光415的操作。图4B示出了在第二时间段期间作为共焦照明425,MD 400 致动MD的特定反射镜405b以具有第一角度并且将从光源410发射的第一照明415朝向与焦面407上特定反射器405b的位置对应的目标的特定区域(未示出)发射的操作。MD 400(例如,405a、405b)的其余微反射镜被致动为具有第二角度并将从光源410发射的第一照明光415沿着不朝向目标的方向 (例如,朝向被配置为耗费损耗照明427b的能量的成像器的光吸收器或其它散热元件)反射为损耗照明427b。被致动到第一角度的特定反射镜405b还可以将来自目标的特定区域的共轭光435b朝向成像器的SLM、相机或其它元件(例如,经由被配置为呈现这种光的光学系统聚焦到布置在相机的焦平面上的感光元件)反射。MD 400的其它反射镜(例如,405a、405c)被致动到第二角度,可以将来自目标的非共轭光437b(例如,从目标的特定区域、从由共焦照明425的目标照明的其它区域、从由目标的这些照明部分散射的照明照射的目标的区域)朝向成像器的SLM、相机或其它元件(例如,经由被配置为呈现这种光的光学系统聚焦到布置在相机的焦平面上的感光元件) 反射。
通常,成像器(例如100,包括SLM(例如110、200)和/或MD(例如 150、400)的一个或多个示例的成像器)的光学系统,该成像器被配置为对目标成像并且确定目标的一个或多个区域的光谱信息(例如,对目标高光谱成像)可以在成像器的元件(例如,相机、MD、SLM、光圈)之间向聚焦目标/或从聚焦目标传递光(例如,照明光、成像光)。也就是说,这样的光学系统可以限定成像器的元件的多个焦面(例如,其上布置有微反射镜的MD 的焦面、其上布置有感光元件(例如,像素)的相机的焦面),这些焦面彼此共轭和/或这些焦面与成像系统的目标上或目标内的焦面共轭(例如,如图1 所示)。与这种配置有关地,特定焦面上的位置(例如,目标上或目标内的焦面上的特定区域)可以与同特定焦面共轭的任何焦面上的位置(例如,MD 的特定位置和/或微反射镜,相机的特定位置和/或感光元件)对应。光学系统可以将从焦点上的这些位置发射的光传递到共轭焦面上的对应位置。
作为说明性示例,图5A示出了MD 500的配置,MD 500包括可致动微反射镜的正方形阵列,其中单个特定反射镜510a被操作为具有第一角度,并且其余的微反射镜被操作为具有第二角度。MD的微反射镜被布置在MD的焦面上并且包括在包括如本文别处所述的光学系统的成像系统中。光学系统被配置为将来自于被操作为具有第一角度的MD的微反射镜的聚焦的照明光传递到目标上或目标内的焦面上的对应位置(即,与MD的焦面上的微反射镜的位置对应的目标上或目标内的焦面上的位置)。该光学系统进一步被配置为将从目标上或目标内的焦面上的位置发射的光聚焦引导到MD的焦面,并且还通过被致动到第一角度的微反射镜将从MD反射的光聚焦引导到相机的焦平面(例如,其上布置有相机的多个感光元件的焦平面)。
图5B示出了这种相机550b的多个感光元件,其包括位于相机焦面上的位置处的特定感光元件510b,其与MD 500的焦面上的的特定反射镜510a的位置对应。如图5B所示,由光学系统从MD 500被引导到相机550的光不被如本文所述的SLM或其它色散元件反射、折射或以其它方式影响,或被暴露于以基本上非分散模式操作的这种元件(例如,这种SLM的折射层被操作以在SLM上具有基本上恒定的折射率)。从位于目标上或目标内的焦面上的位置的目标的特定区域发射、从特定反射镜510a反射、并被聚焦引导到相机 500b的这种光,被示出为具有与特定感光元件510b的位置对应的位置的照明点560b。照明点560b的幅度或其它属性可以由相机550的特定感光元件 510b和/或相邻感光元件检测,以例如确定总吸光度、发射率、反射率或其它光学属性和/或以其它方式对目标的特定区域成像。
注意,图5B-D中的相机550的单个感光元件510b与图5A中的MD 500 的单个反射镜510a对应的存在性意指为说明性示例。成像系统的相机和对应的MD分别可以具有相同的感光元件分辨率和微反射镜(如图5A-D所示),或者可以具有不同的分辨率。例如,相机可以包括多个感光元件,其布置在与布置在MD的焦面上的对应位置处的单个微反射镜对应的相机焦面上的位置处;也就是说,相机可以具有比MD更高的分辨率。预期MD、相机、光学系统和成像器的其它元件的其它配置以及相机的感光元件、微反射镜设备的反射镜、目标上或目标内的焦面上的区域和成像器的其它元件之间的其它对应关系。在一些示例中,可以通过模型和/或校准数据(例如,一个或多个点扩展函数)描述相机的感光元件、MD的微反射镜和/或目标的区域之间的对应关系,可以通过对校准目标(例如,具有已知的指定光谱属性和/或其空间模式的目标)成像或通过某种其它方法来确定该校准数据。
图5C示出了当光通过被SLM或其它色散元件(例如,棱镜或衍射光栅) 反射、折射或以其它方式影响从MD 400被光学系统引导到相机550时的相机550的多个感光元件。从位于目标上或目标内的焦面上的位置的目标的特定区域发射、从特定反射镜反射、并被聚焦引导至相机500的这种光被示出为在光谱上分散的照明光560c(在光谱上分散的照明光560c内的光的波长分别由表示红色、绿色和蓝色光的“R”、“G”和“B”表示)的带,其具有与特定感光元件510b的位置对应的位置。在照明光560c的带内的各个点(例如,与第二感光元件509b和第三感光元件511b对应)处的照明光560c的带的幅度或其它属性可由相机550的特定感光元件510b和/或相邻的感光元件(例如,509b、511b)检测,以例如在各自的对应波长和/或波长范围内确定目标的特定区域的吸光度、发射率、反射率或其它光学属性。例如,可以通过分别检测由特定感光元件510b、第二感光元件509b和第三感光元件511b接收到的光的强度,来检测由目标的特定区域响应于照明的绿光、红光和蓝光的发射度。
可以通过增加由相机550接收的光的在光谱上分散的量来增加这种系统的光谱分辨率(例如,通过增加被操作和/或配置为在光谱上分散光的SLM 的折射层或其它元件的折射率的受控梯度的幅度)。图5D示出了当光如本文所述的通过被SLM或其它色散元件(例如,棱镜或衍射光栅)反射、折射或以其它方式影响以将反射光在光谱上分散至比图5C中所示的光谱色散的程度更大的程度,从MD 400被光学系统引导到相机550时的相机550的多个感光元件。作为结果,在光谱上分散的照明光560d(在光谱上分散的照明光 560d内的光的波长分别由表示红色、绿色和蓝色光的“R”、“G”和“B”表示) 的带更长并且照射相机550的更多感光元件。在照明光560d的带内的各个点 (例如,与第二感光元件509b、第三感光元件511b、第四感光元件508b和第五感光元件512b对应)处的照明光560d的幅度或其它属性可由相机550 的特定感光元件510b和/或相邻感光元件(例如508b、509b、511b、512b) 检测,以例如在各自的波长和/或波长范围内确定目标的特定区域的吸光度、发射率、反射率、或其它光学属性。由于相对于图5C中所示的在光谱上分散的照明光560d的带在光谱上增加了分散,各个感光元件相对于图5C中所示的场景接收来自较窄波段的光,这导致从相机的操作确定的光谱信息的更高的光谱分辨率。
注意,向相机的感光元件引导的光的在光谱上分散不必是线性的(例如,如图5C和5D所示)。也就是说,由相邻感光元件接收的光的波长带可以具有不同的宽度,例如,相机的第一感光元件可以从目标的特定区域接收具有 550nm和560nm之间的波长的光,而相邻的感光元件可以从目标的该特定区域接收具有560nm和590nm之间的波长的光。相机的感光元件与目标的对应区域和从目标发射的光的波长范围之间的这种对应关系可以与SLM或其它色散元件的操作相关(例如,与在SLM的折射层上的折射率的模式的幅度和/或梯度)。在一些示例中,相机的感光元件与目标的对应区域和从目标发射的光的波长范围之间的对应关系关系可以通过模型和/或校准数据(例如,一个或多个点扩散函数)描述,当根据折射率的一种或多种模式或一些其它方法操作时,可以通过对校准目标(例如,具有已知的指定光谱属性和/或其空间模式的目标)成像来确定该校准数据。
还注意,除了SLM的配置和例如SLM的折射层的折射率的模式以外,在光谱上分散的整体模式和/或水平(例如,从相邻感光元件之间的目标的特定区域接收的光的波长的最大可能变化水平)可以依赖于光学系统的配置以将光引导到SLM(例如,从MD、从目标、从光圈)并将来自SLM的光线引导到相机。例如,在图1所示的系统100中,分散光133的分散量(例如,当聚焦在相机130的焦面137上时从目标105的特定区域接收的两个不同波长处的光的分离)可以与中继透镜143、144的焦距相关。例如,对于SLM 110 的给定配置和/或操作,将中继透镜143、144配置为具有较长焦距可以增加分散光133中的在光谱上分散的量。此外,呈现给SLM(例如,110)或其它色散元件的光的准直度(例如,由中继透镜143准直的光的平面度)可以影响模式、线性、均匀性(例如,从目标(例如105)和/或MD(例如150) 的不同位置接收的光的分散的线性和/或程度的均匀性)或由这种SLM或其它色散元件在光谱上分散的光的其它属性。
图5A-5D示出了成像系统的操作,该成像系统包括MD 500以照射和接收来自目标的单个区域(例如,具有与被控制为具有第一角度的单个特定反射镜510a的位置对应的目标上或目标内的焦面上的位置的区域)的光(即,成像)。通过依次操作各个反射镜以照射这些区域并将来自这些区域的光反射到成像器的相机或其它元件上,多个这些区域可以被顺序成像(例如,与MD 500的多个反射镜对应的多个区域)。然而,一组这样的反射镜可以被控制为具有第一角度,使得目标上或目标内的焦面的多个对应区域可以同时被照射和/或成像。这些区域和/或这样的一组反射镜中的反射镜在MD的焦面上的间隔可以被指定为大于与根据某个应用(例如,使来自目标的被照射区域的失焦光线最小化,避免被不与该目标的这些被照射区域对应的MD的反射镜反射)的与成像器的属性相关的某个最小距离。附加地或替代地,可以使用MD 的反射镜的一些其它操作模式(例如,伪随机模式、编码光圈、一些其它指定模式)来照射组织的区域、从组织的区域接收光或以其它方式对组织的区域成像或相互作用。
作为说明性示例,图6A示出了包括可致动微反射镜的正方形阵列的MD 600的配置,其中第一组特定的反射镜610a、615a、616a、617a被操作为具有第一角度,并且反射镜的其余部分被操作为具有第二角度。MD的微反射镜被布置在MD的焦面上并且被包括在包括如本文别处所述的光学系统的成像系统中。光学系统被配置为将来自被操作为具有第一角度的MD的微反射镜的聚焦的照明光,从MD的微反射镜传送到第一角度,递送到目标上或目标内的焦面上的对应位置(即,当这些反射镜被致动为具有第一角度时,与 MD的焦面上的微反射镜610a、615a、616a和617a的位置对应的目标上或目标内的焦面上的位置)。所述光学系统还被配置成将从目标上或目标内的焦面上的位置发射的光聚焦引导到MD的焦面,并且还通过被致动到第一角度的微反射镜将从MD反射的光聚焦引导到相机的焦平面(例如,其上布置有相机的多个感光元件的焦平面)。此外,光学系统被配置为通过如本文所述的 SLM或其它色散元件的反射、折射或其它方式影响,将从MD 600的该接收的光引导到相机650以光谱地分散被反射光。
图6B示出了当光被光学系统从位于目标上或目标内的焦面上的位置处的目标的特定区域引导、从特定的反射镜610a、615a、616a、617a反射、并被聚焦引导到相机650时的相机650的多个感光元件。由相机650接收的这种在光谱上分散的光被示出为在光谱上分散的照明光660b、665b、666b、667b (由分别指示红色、绿色和蓝色光的“R”、“G”和“B”指示的在光谱上分散的照明内的光的波长)的带,这些带具有与各自的特定感光元件610b、615b、616b、617b对应的各自的位置。在照明光660b、665b、666b、667b的带内的各个点处的照明光660b、665b、666b、667b的带(例如,与第五感光元件 608b、第六感光元件609b、第七感光元件611b和第八感光元件612b对应) 的幅度或其它属性可以由相机650的特定感光元件610b、615b、616b、617b 和/或相邻的感光元件(例如608b、60bb、611b、612b)检测,以便例如确定目标的特定区域在各自的对应波长和/或波长范围内的吸光度、发射率、反射率或其它光学属性。例如,响应于照明光由目标610a的第一特定区域发射的绿色、红色、橙-黄光、靛蓝和蓝色光的角度可以通过检测分别由特定感光元件610b、第五感光元件608b、第六感光元件609b、第七感光元件611b和第八感光元件612b接收的光的强度来检测。
可以通过增加由成像器同时成像的目标的区域的数量(例如,通过增加被控制以同时具有第一角度的MD的反射镜的数量)来增加由这种系统获取目标的图像的速度。对应地,可以降低由相机650接收的光的在光谱上分散的程度和/或针对每个区域检测/确定的光谱信息的光谱分辨率,例如,以防止当投射到相机650的感光元件上时从目标的不同区域接收的光的重叠。作为说明性示例,图6C示出了MD 600的配置,其中在MD 600的表面上的间隔被降低的更大数量的第二组特定反射镜(例如,610a、613a、616a、618a) 被操作为具有第一角度,并且其余的微反射镜被操作为具有第二角度。
图6D示出了当光通过被如本文所述的SLM或其它色散元件反射、折射或以其它方式影响以在光谱上将被反射光分散为比图6B所示的在光谱上分散的程度更小的程度,被光学系统从MD 600引导(如图6C所示的操作)到相机650时的相机650的多个感光元件。结果,与目标的被照射区域和/或第二组反射镜的特定反射镜(例如,分别为610a、613a、616a、618a)对应的在光谱上分散的照明(例如,660d、663d、666d、668d)的带更长并各个照射了相机650更少的感光元件。例如,照明带内的各个点(例如,与第六感光元件609b和第七感光元件611b对应)处的照明光660d的特定带的幅度或其它属性可以由相机650的特定感光元件610b和/或相邻感光元件(例如 609b、611b)检测,以例如在各自的对应波长和/或波长范围内确定目标的对应特定区域的吸光度、发射率、反射率或其它光学属性。由于相对于图6B(即, 660b)所示地,在光谱上分散的照明光660d的带的在光谱上分散降低,相对于图6B所示的场景,各个感光元件接收来自较宽波长带的光,导致从相机 650的操作确定的光谱信息的较低光谱分辨率。注意,可以顺序地在MD 600 上扫描图6A和图6D中所示的反射镜操作的示例模式,以允许对目标的整个区域进行成像,或根据某个其它应用。
在一些示例中,成像系统的MD的反射镜是可致动的,以具有相对于 MD的两个不连续的角度(或一些其它不连续的、有限数量的角度或其它状态)中的一个(例如,相对于MD的焦面的平面),使得照明光朝向与被致动为具有第一角度的第一组反射镜对应的目标的区域反射。可以进一步配置这种成像系统,使得从目标的对应区域(即,共轭光)响应性发射的光被第一组的反射镜以第一方向反射,并且使得从目标的非对应区域(例如,由失焦光照射的目标的区域、由从对应区域散射的光照射的目标的区域)响应性发射的光(即,非共轭光)由被致动为具有第二角度的第二组反射镜以第二方向反射。在这样的示例中,共轭光和非共轭光均可用于对目标进行成像,以确定目标区域的光谱信息或者确定关于目标的一些其它信息。
图7A以被配置成对目标705成像的示例成像系统700的横截面元件示出。系统700包括光源720(例如,激光)、第一相机730(被示为位于第一相机730的焦平面737上的感光元件的平面)、第二相机770(被示出为位于第一相机770的焦平面777上的感光元件的平面)、微反射镜设备(MD)750、空间光调制器(SLM)710和将光引导到目标705从目标705引导以及在系统700的元件之间引导的光学系统(包括物镜741、第一中继透镜743、第二中继透镜744、第三中继透镜775和第四中继透镜776、分色镜745和光接收器725)。系统700还包括将目标705安装于其上的平台760。注意,MD 750 和第一相机730和第二相机770分别包括微反射镜和感光元件的二维阵列。此外,注意,光学系统(例如,741、743、744、745、775、776)和SLM 710 被配置为将光在目标705、MD 550以及第一相机730和第二相机770之间引导,使得MD 750的焦面757、737、777和相机730、770与目标705中的焦面707上的各自位置对应。
系统700通过将来自光源720的第一照明光721发射并将第一照明光721 从分色镜745朝向MD 750反射来照射目标705中的焦面707上的指定区域 709。具有与指定区域709对应的MD 750的焦面757上的位置的MD 750的被选定的反射镜751被控制为具有第一角度,以经由物镜741将第一照明光 721作为共焦照明光722朝向目标705反射。MD 750的其它反射镜753被控制为具有第二角度,以将第一照明光721的剩余部分作为损耗照明光723 朝向光吸收器725以被吸收。如所示地,单个反射镜(751)被控制以照射目标705的对应区域709(并且从其接收光);然而,附加的反射镜(例如,选自于其它反射镜753)可以同时、顺序地或根据某个其它方案来操作以照射目标705的对应附加区域(并且从其接收光)。
响应于经由物镜741的照射,系统700接收从目标705(例如,从指定区域709)发射的光(包括共轭光772)。共轭光772被聚焦引导到与指定区域709对应的第二相机770的焦面777上的指定区域771(例如,引导到具有第二相机770的一个或多个感光元件和/或像素的第二相机的区域)。这种光经由中继光学设备775、776或经由一些其它光学元件从MD 750被引导到第二相机770。
系统700还接收从目标发射的非共轭光732(例如,从被共焦照明光722 失焦照射的对象的区域、从由这些区散射和/或从指定区域709散射的光照射的目标的区域)。非共轭光732聚焦到达MD 750的焦面757处,并被受控为具有第二角度的MD 750的反射镜(例如,753)朝向SLM 710反射。第一中继透镜743(和/或系统700的一些其它光学元件)对接收到的光进行准直,并将基本上准直的光呈现给SLM 710。SLM 700将非共轭光732作为在光谱上分散的光733朝向第二中继透镜744反射,第二中继透镜744被配置为将在光谱上分散的光733聚焦到第一相机730的焦面737。SLM 710被配置和/ 或操作,使得在光谱上分散的光733以受控方式相对于非共轭光732在光谱上分散,使得可以检测或确定目标705和/或非共轭光732的一个或多个特定区域的光谱信息(例如,当SLM 710根据各自的多个折射率模式(例如,具有各自不同幅度和/或方向的多个受控梯度)操作时,基于在各自的时间段期间由第一相机730生成的目标705的多个图像)。在一些示例中,在光谱上分散的光733以与SLM 710的层的折射率的空间梯度的电子控制方向、幅度和 /或某些其它属性相关的方式在光谱上分散。
注意,用于照射并从目标705的焦面707上的指定区域709接收的共轭光的系统700的配置和/或操作,旨在作为非限定性示例。或者,可以通过根据与所示的不同集合的受控角度来操作MD 750的反射镜751、753,照射所述目标的较大和/或不同形状的区域(例如,目标内的线;基本上整个目标和 /或成像系统700的视场内的整个目标)。例如,可以通过控制MD 750的对应的多个空间上分离的反射镜来朝向目标705的多个区域反射第一照明光721,对目标705的焦面707附近的多个空间分离的区域同时照射和成像。可以根据某个其它模式来控制MD 750的反射镜751、753,例如,以邻近MD 750 的焦面757上的某个其它编码光圈。此外,光源720可以在可控波长发射照明光(例如,基本单色、但是具有可以被光源的操作改变的波长的照明光),并且当目标705被不同波长的光照射时,可以基于所生成的目标705的图像,针对目标705的区域确定光谱信息(例如,以生成用于与不同波长的照明光对应的区域的对应多个发射光谱)。
系统700可以以各种方式操作以提供目标705的共焦、高光谱或其它类型的图像。例如,系统可以在多个指定的时间段内操作以照射目标705的区域(例如,通过控制DM的各自指定的反射镜组以具有第一或第二角度)以电子地控制跨越SLM的折射层的折射率的梯度,以具有各自不同的指定幅度或方向或者根据一些其它模式来控制SLM的元件的折射率,以分别使用第二相机770和第一相机730来对从目标705接收的共轭或非共轭光成像,或者根据应用,随时间推移操作系统700的一些其它元件。
图7B是示出系统700使用第二相机770生成目标705的单色共焦图像并使用第一相机730生成目标705的亮视场高光谱图像的示例操作的时序图。每个水平轨迹通过封闭框指示根据各自不同配置的系统700的各种元件的操作时序。“MD”轨迹的每个框指示根据指定模式来控制MD 750的反射镜的时间段;例如,每个框可以表示MD 750的各个不相交的反射镜集合的以扫描方式照射目标705的各自不同区域以便依次照射目标705的所有区域的操作。“SLM”轨迹的每个框指示MD 710被电子控制以具有在SLM的折射层上的折射率的各自模式的时间段;例如,每个框可以表示SLM 710在不同的方向上具有受控梯度(例如,如图3B-D所示)以将由第一相机730成像的光在各自不同的方向上分散的操作。“相机1曝光”和“相机2曝光”轨迹的每个框指示相机730、770被操作以生成由相机730、770接收的光的各自图像的时间段;这些时间段可以表示相机730、770的感光元件(例如,相机的CCD阵列、相机的有源像素传感器阵列)的曝光时间或光积分时间。此外,在图7B 中示出了指定的第一时间段701a、第二时间段701b、第三时间段701c、第四时间段701d、第五时间段701e和第六时间段701f,并与第一相机730和第二相机770的曝光时间对应。
当如所示地操作系统700时,可以基于由第一相机730和/或第二相机770 生成的图像来生成目标705的多个共焦图像和高光谱图像。如果在特定的第二相机770曝光期间所使用的各种MD 750的设置(例如,在第一时间段701a 期间发生的曝光)被指定为扫描目标(例如,顺序地照射和从目标705的各自区域接收,使得在曝光期间的某个时间点,目标705的所有区域被照射),由第二相机770生成的各个图像可以用于生成目标705的各自的共焦图像(与由图7B的“共焦框架”轨迹指示的时间段对应)。这可以包括缩放或归一化由第二相机770生成的图像(例如,根据描述系统700的光学属性的校准数据) 来生成目标705的对应的共焦图像。
当以这种方式操作系统700时,可以使用由第一相机730生成(例如,在第一时间段701a、第二时间段701b和第三时间段701c的期间)的多个图像的集合,以生成目标705的各自的高光谱图像(与由图7B的“高光谱框架”轨迹指示的时间段对应)。这种确定可以包括如本文所述的过程(例如,去卷积过程、类似于关于图3A-D的示例描述的过程、一些其它过程)的过程。这些过程可以基于第一相机的感光元件的位置和目标上或目标内的对应位置之间的对应关系的描述。这种对应关系可以是依赖于波长的,并且可以基于系统700的模型确定(例如,基于在一个或多个时间段(例如,701a、701b、 701c)期间在SLM 710的折射层上的折射率的梯度的大小和方向)和/或系统 700的属性的经验测量(例如,基于具有已知的光谱信息/内容或一些其它校准信息或过程的校准目标的图像的集合)。
注意,图7B中所示的描述系统700的元件的操作的时序图旨在作为非限定性示例。预期系统700的其它操作的时序。此外,可以基于由第一相机730 和第二相机770生成的信息(例如,图像)的组合来确定关于目标705的区域的光谱信息、图像或其它信息。系统700可以根据各种不同的操作模式操作。例如,在第一模式中,可以仅操作系统700以生成目标705的共焦图像,并且可以禁用SLM 710和第一相机730。系统700可以包括另外的光源或者以其它方式被配置,使得SLM 710和第一相机730可以与另外的光源和MD 750相组合地被操作,以对从目标705接收的共轭光成像(例如,类似的系统100的配置),而第二相机770可以被操作以生成目标705的亮视场图像。预期系统700或如本文所述的其它系统和实施例(例如,100、200、400、500) 的其它配置和操作。
可以操作系统700以在指定的时间、空间和/或光谱分辨率下提供一系列高光谱图像。在一些示例中,这可能包括降低第一分辨率来增加第二分辨率。例如,可以通过增加被同时成像的目标705的区域的数量(例如,通过增加用于同时照射目标705的各自空间上不同的区域的MD 750的空间上不同的反射镜的数量)来增加时间分辨率(例如,每秒生成的高光谱图像的数量),使得可以使用更少的对应的MD 750的配置(即,MD 750的反射镜的受控角度的模式)来对整个目标成像。相对应地,可以降低图像的光谱分辨率(例如,通过降低由SLM 710引起的接收光的在光谱上分散程度),以防止从目标的不同区域接收到的光在第一相机730的感光元件上重叠(关于图6A-D 描述了类似的场景)。在一些示例中,这些分辨率(例如,空间、时间、光谱) 可以由用户指定。附加地或替代地,一个或多个这些分辨率可以由系统700 的控制器自动设置(例如,将空间和/或时间分辨率最大化,同时将光谱分辨率维持在足以区分目标705中的各自不同荧光团的发射峰值的最小水平)。预期本文所述的系统和方法的其它配置和操作。
IV.成像装置的示例电子设备
图8是示出根据示例实施例的成像系统800的组件的简化框图。成像系统800和/或其元件可以采取图1、2A、4A-B和7A中所示的示例系统或元件 100、200、400、700之一的形式或类似的形式。成像系统800可以采取各种形式,例如安装在墙壁、桌子、天花板或地板的设备。成像系统800可以采用台式或桌上设备(例如,台式显微镜)的形式。成像系统800和/或其元件还可以采取被配置为另一设备、装置或系统的一部分的系统、设备或设备组合的形式。例如,成像系统800或其元件(例如,空间光调制器803)可以采取系统或元件的形式,该系统或元件被配置为安装到或以其它方式布置为某个其它成像系统(例如,成像系统800和/或空间光调制器803或其元件可被配置为共焦显微镜或其它成像系统的一部分,例如以电子可控的方式将成像系统的一个或多个光束或光场在光谱上分散)。成像系统800可以采用被配置为对工业环境、医疗环境、科学环境或某个其它环境的内容(例如,对洁净室中的集成电路、微机电设备或其它对象)成像的系统的形式。成像系统 800也可以采取其它形式。
特别地,图8示出了具有光源801、第一相机802、空间光调制器(SLM) 803、微反射镜设备(MD)806、第二相机807、光学系统805、平台致动器 808、用户接口820、用于向远程系统传输数据的通信系统830以及控制器810。成像系统800的组件可以布置在安装件或外壳或用于安装系统的某个其它结构的上面或内部,以使能相对于感兴趣目标(例如安装到平台(例如,具有相对于成像系统800的其它元件的位置的平台,其通过平台致动器808致动至少一个维度)的生物样本)的稳定成像或其它功能。成像系统800可以包括另外的组件,例如,被配置为向包括成像系统800的目标的细胞培养物或其它生物样本提供充气或其它化学上指定的灌注液的灌注泵、一个或多个电生理学或光生物学刺激器和/或传感器、集成电路测试装备或根据应用的某个其它仪器或其它组件。
如在别处针对类似元件所描述的,光源801、相机802、光学系统805、 SLM 803、MD806和/或平台致动器808可以被配置和/或布置为成像设备800 的一部分。光学系统805被配置为将由光源801发射的光引导以照射目标的一个或多个区域(例如,经由从MD 806的一个或多个反射镜的反射)。光学系统805还被配置为接收从目标响应性发射的光并将这种光和/或这种光的分量(例如,接收到的光的共轭分量、接收到的光的非共轭分量)引导到相机801、807中的一者或两者(例如,经由从MD 806的一个或多个反射镜的反射、经由从SLM 803反射、透射通过或与SLM 803的某种其它色散的相互作用)。光学系统805被配置为在成像系统800的元件(例如,802、806、807) 之间引导这中光,使得一个或多个这种元件的焦面(例如,其上布置相机的感光元件的相机801、807的焦面、其上布置MD 806的反射镜的MD 806的焦面)在光学上彼此共轭和/或与成像系统800的目标上或目标内的焦面共轭。
控制器810可以被提供为包括一个或多个处理器811的计算设备。一个或多个处理器811可以被配置为执行存储在计算机可读数据存储设备812中的计算机可读程序指令814,该指令可被执行以提供如本文所述的成像系统 800的功能。
计算机可读数据存储设备812可以包括或采取可由至少一个处理器811 读取或访问的一个或多个非暂时的计算机可读存储介质的形式。一个或多个计算机可读存储介质可以包括易失性和/或非易失性的存储组件,诸如光学、磁性、有机或其它存储器或盘存储器,其可以与一个或多个处理器811中的至少一个整体地或部分地集成。在一些实施例中,可以使用单个物理设备(例如,一个光学、磁性、有机或其它存储器或盘存储单元)来实现计算机可读数据存储设备812,而在其它实施例中,计算机可读数据存储设备812可以使用两个或更多个物理设备来实现。
存储在计算机可读数据存储设备812上的程序指令814可以包括执行本文所述的任何方法的指令。例如,在所示实施例中,程序指令814包括照明和采集模块815以及图像生成模块816。
照明和采集模块815可以包括用于操作光源801、第一相机802、SLM 803、MD 806、第二相机807和/或平台致动器808的使能成像系统的任何功能或应用的指令,以确定和/或检测关于目标区域的光谱信息和/或如本文所述的对目标超光谱成像、共焦成像或以其它方式成像或光学上与目标相互作用。通常,照明和获取模块815中的指令描述了在一个或多个各自时间段期间操作光源801和/或MD 806以利用一个或多个指定波长的光照射目标的一个或多个区域的方法。照明和获取模块815中的指令还描述了操作SLM 803以在一个或多个各自时间段期间根据光的分散的一个或多个指定方向、幅度或其它属性来在光谱上分散朝向SLM 803引导的光的方法(例如,与MD 806和/ 或光源801的操作的时间段同步和/或重叠的时间段)。
照明和采集模块815中的指令还描述了操作相机801、807的方法,以在一个或多个时间段(例如,操作成像系统800的MD 806、SLM 803、光源801 或其它组件的时间段)期间经由光学系统805、微反射镜设备806和/或SLM 803生成从目标的被照射区域接收的光的图像的方法。在一些示例中,使用相机801、807生成图像可以包括读出信息(例如,描述与由相机801、807 的感光元件检测的强度或其它属性有关的数值或信号)。在这些示例中,相机的特定感光元件或一组感光元件在读出时可能基本上不能检测到光。例如,相机中的一者或两者可以是被配置为具有全局快门(即,一次从相机读出图像数据的所有帧)和/或具有滚动快门(即,一次从相机中读出一行图像数据) 的CMOS相机。在这些实施例中,照明和采集模块815可以描述MD 806或其它元件的用于不照射与不能检测来自这些区域(例如,被读出的感光元件) 的光的相机的位置(例如,感光元件)对应的目标的区域的操作。例如,相机801、807中的一者可以包括配置或操作成具有全局快门的CMOS相机,并且照明和采集模块815可以描述成像系统800的操作,使得当CMOS摄像机被读出时,基本上没有目标的区域被光源801照射。本文所述的光源801、第一相机802、SLM 803、MD 806、第二相机807、平台致动器808和/或成像系统800的其它部件的其它操作、功能和应用可以被实现为照明和检测模块815中的程序指令。
图像生成模块816可以包括用于基于由相机801、807生成的一个或多个图像来生成目标的一个或多个图像和/或确定关于目标的一些其它信息(例如,目标的一个或多个区域的光谱信息、基于这种被确定的光谱信息的目标的区域的内容的身份)的指令。例如,图像生成模块816可以包括用于生成目标的一个或多个图像(例如,单色共焦图像)的指令,通过缩放或归一化由相机801、807中的一者或两者生成的图像(例如,根据描述系统800的光学属性的校准数据)。图像生成模块816可以包括用于基于从目标接收的在光谱上分散的光的一个或多个图像来生成关于目标的一个或多个区域的光谱信息(例如,生成目标的高光谱图像)的指令。这种确定可以包括如本文所述的过程(例如,去卷积过程、类似于关于图3A-D的示例描述的过程、一些其它过程)的过程。这些过程可以基于相机801、807的感光元件的位置与目标上或目标内的对应位置之间的对应关系的描述。这种对应关系可以是依赖于波长的,并且可以基于成像系统800的模型来确定(例如,基于在与由相机801,807生成的图像对应的一个或多个时间段期间在SLM 803的折射层上的折射率的梯度的幅度和方向)和/或对系统800的属性的经验测量(例如,基于具有已知的光谱信息/内容或一些其它校准信息或程序的校准目标的一组图像)。
在一些示例中,照明和采集模块815和/或图像生成模块816的一些程序指令可以存储在计算机可读介质中并由位于成像系统800外部的处理器执行。例如,成像系统800可以被配置为照射并从目标(例如,生物样本)接收光,然后将相关数据发送到远程服务器,该远程服务器可以包括用于进一步处理(例如,用于基于所确定的光谱内容来确定目标的一个或多个区域的光谱信息、用于识别目标的区域和/或其内容,以生成目标的高光谱图像或其它各种图像)的移动设备、个人计算机、云或者任何其它远程系统。
用户接口820可以包括指示器、显示器、按钮、触摸屏、头戴式显示器和/或被配置为向用户呈现关于成像系统800的信息和/或允许用户操作成像系统的其它元件。附加地或替代地,成像系统800可以被配置为与另一系统 (例如,蜂窝电话、平板电脑、计算机、远程服务器)通信,并且使用远程系统呈现用户接口的元素。用户接口820可以被布置成靠近成像系统800的光源801、第一相机802、SLM 803、MD 806、第二相机807、平台致动器808、控制器810或其它元件,或者可以被布置远离成像系统800的其它元件并且还可以与成像系统800的其它元件进行有线或无线通信。用户接口820可以被配置为允许用户指定成像系统800的一些操作、功能或操作的属性。用户接口820可以被配置为向用户呈现由成像系统800生成的目标的图像(例如,高光谱图像)或呈现一些其它信息。预期用户接口820的其它配置和操作方法。
通信系统830也可以由程序指令814(诸如经由可以布置在成像系统800 之上或其中的无线天线的用于发送和/或接收信息的指令)内的指令操作。通信系统830可以可选地包括一个或多个振荡器、混频器、频率注入器等来调制和/或解调由天线发送和/或接收的载波频率上的信息。在一些示例中,成像系统800被配置为通过根据一个或多个无线通信标准(例如,蓝牙、WiFi、 IRdA、ZigBee、WiMAX、LTE)发送电磁信号或其它无线信号来指示来自控制器810的输出(例如,目标的一个或多个图像)。在一些示例中,通信系统 830可以包括一个或多个有线通信接口,并且成像系统800可以被配置为通过根据一个或多个有线通信标准(例如USB、FireWire、以太网、RS-232) 来操作一个或多个有线通信接口来指示来自控制器810的输出。
计算机可读数据存储设备812还可以包含其它数据或信息,诸如包含与成像系统800的配置对应的校准数据、校准目标或一些其它信息。校准、成像和/或其它数据也可以由远程服务器生成并经由通信系统830发送到成像系统800。
V.示例方法
图9是用于操作成像系统的元件以执行成像系统的功能和/或应用的示例方法900的流程图。方法900包括操作光源以照射目标(902)。这可以包括操作光源的发光元件(例如,激光器)以利用特定固定波长的光(例如,目标中的一个或多个荧光团的激发波长)来照射目标和/或其一个或多个区域。这(902)可以包括照射位于目标上或目标内的焦面上的一个或多个特定区域,例如通过操作微反射镜设备的一个或多个反射镜以将来自光源的光反射到一个或多个特定区域。照射目标(902)可以包括根据某种其它模式或方法(例如,根据编码光圈、结构化照明的模式、或根据一些其它模式)照射目标。
方法900还包括在第一时间段期间电子控制空间光调制器(SLM),使得 SLM的折射率具有根据可控梯度变化的折射率(904)。在一些示例中,受控折射率可以是色散折射层的折射率,使得指向、反射、透射或以其它方式与 SLM相互作用的光在光谱上分散。在一些示例中,SLM还可以包括布置在折射层之下的反射层。在一些示例中,SLM可以包括具有各自的电子可控折射率的单元阵列,并且电子控制SLM(904)可以包括电子控制单元的折射率,使得单元的折射率在与可控梯度的指定方向对应的方向上以与可控梯度的指定幅度指定幅度对应的空间变化率变化。
方法900还包括响应于在第一时间段期间的照明对从目标发射并从SLM 反射的光成像以生成目标的第一图像(906)。这可以包括接收从目标发射的光并且将接收到的光朝向SLM引导(例如,经由来自微反射镜设备的一个或多个反射镜的反射)的光学系统。这(906)可以包括将这种接收到的光准直然后将所准直的接收光朝向SLM引导的光学系统。这(906)可以包括将这种光聚焦引导到相机的焦面或被配置为对发射光成像的其它元件的光学系统,即,光学系统可被配置为使得在目标上或目标内的焦面与相机的焦面(例如,其上布置相机的多个感光元件的相机的表面)在光学上共轭。这(906) 可以包括通过控制可控梯度的幅度来控制使用方法900确定的光谱信息的光谱分辨率。
方法900还包括至少基于目标的第一图像确定目标的特定区域的光谱信息(908)。确定特定区域的光谱信息(908)可以包括基于目标的第一图像的对应不同像素来确定从特定区域发射的不同波长的光束的强度。在一些示例中,方法900可以包括当SLM被操作以具有各自不同的折射率模式时(具有各自方向和/或幅度的基本线性的梯度),在多个各自另外的时间段期间对从目标发射并响应于照明从SLM反射的光成像。在这些示例中,确定特定区域的光谱信息(908)可以包括基于目标的第一图像和多个其它图像(例如通过去卷积处理)来确定这些信息。
方法900还可以包括确定成像系统的校准信息。例如,具有一个或多个已知的光谱属性模式的校准目标可被成像。可以确定用于对校准目标成像的相机的各个感光元件或系统的其它元件与在对应波长范围内校准目标的区域范围的位置之间的对应关系,并且这种对应关系可用于确定成像系统的校准信息。附加地或替代地,这些校准信息可以基于成像系统的操作模型(例如,成像系统的几何学和光学属性的模型)。
方法900可以包括其它附加步骤或元件。方法900可以包括任何附加步骤,或者可以包括所列出的步骤902、904、906、908的实现细节或其它附加步骤,如本文关于成像系统的操作所描述的。预期方法900的附加和替代步骤。
VI.结论
附图中所示的具体布置不应被视为限制。应当理解,其它实施例可以包括给定图中所示的每个元件的更多或更少。此外,可以组合或省略所示出的元件中的一些。此外,示例实施例可以包括图中未示出的元件。
此外,特别注意的是,虽然本文通过示例的方式将设备、系统、方法和其它实施例描述为用于对生物环境(例如,从人体提取的组织)成像,但注意,所公开的设备、系统和方法也可以在其它环境中应用。例如,如本文所公开的被配置的成像系统可以被包括为其它科学和/或工业成像装置的一部分。在一些环境下,可以操作这种成像系统以对集成电路、微机电设备或一些其它微型设备成像。在另一示例中,成像系统可以被配置成对一些其它设备或对象成像。例如,成像系统可以被配置和/或应用于对电极、植入物、轴承、矿物样本或一些其它设备或对象的表面成像(例如,以确定对象的表面几何形状、确定对象的表面上或内部的元素或化学物质的布置)。
另外,尽管本文已经公开了各个方面和实施例,但是其它方面和实施例对于本领域技术人员将是显而易见的。本文所公开的各个方面和实施例被包括用于说明的目的,而不旨在是限定性的,其真实范围和主旨由所附权利要求书指示。在不脱离本文呈现的主题的主旨或范围的情况下,可以利用其它实施例,并且可以进行其它改变。将容易理解的是,如本文中一般性描述并且在附图中示出的本公开的各方面可以以各种各样的不同配置进行部署、替代、组合、分离和设计,所有这些都被设想于此。

Claims (20)

1.一种成像系统,包括:
光源;
第一相机,其中第一相机包括布置在第一相机的焦面上的多个感光元件;
空间光调制器,其中所述空间光调制器包括布置在折射层下方的反射层,其中所述折射层具有跨过所述空间光调制器在空间上变化的折射率,并且其中所述折射率的空间变化是电子可控的;
光学系统,其中光学系统:(i)将光源光学地耦合到目标,(ii)将所述目标光学地耦合到空间光调制器,以及(iii)将空间光调制器光学地耦合到第一相机。
2.如权利要求1所述的系统,其中所述折射层具有针对在指定波长范围内的波长的随波长基本上线性变化的折射率。
3.如权利要求1所述的系统,其中所述目标包含荧光团,且其中所述光源以所述荧光团的激发波长来发射光。
4.如权利要求1所述的系统,其中所述光学系统将所述目标光学地耦合到所述空间光调制器,并将所述空间光调制器光学地耦合到所述相机,使得所述相机的焦面与通过所述目标的焦面共轭。
5.如权利要求1所述的系统,还包括:
微反射镜设备,其中所述微反射镜设备包括布置在表面上的可致动反射镜的基本上平面的阵列,其中可致动反射镜相对于所述表面的各自角度是电子可控的,
其中光学系统经由从第一组一个或多个可致动反射镜的反射将所述光源光学地耦合到所述目标,并且其中光学系统经由从第一组一个或多个可致动反射镜的反射将所述目标光学地耦合到所述空间光调制器,并且
其中,第一组中的一个或多个可致动反射镜相对于所述微反射镜设备的表面具有第一角度。
6.如权利要求1所述的系统,还包括:
第二相机,其中第二相机包括布置在第二相机的焦面上的多个感光元件;
微反射镜设备,其中所述微反射镜设备包括布置在表面上的可致动反射镜的基本上平面的阵列,其中可致动反射镜相对于所述表面的各自角度是电子可控的,
其中,光学系统经由从第一组一个或多个可致动反射镜的反射将所述光源光学地耦合到所述目标,其中光学系统经由从第一组一个或多个可致动反射镜的反射将所述目标光学地耦合到第二相机,并且其中光学系统经由从第二组一个或多个可致动反射镜的反射将所述目标光学地耦合到所述空间光调制器,并且
其中,第一组中的一个或多个可致动反射镜相对于所述微反射镜设备的表面具有第一角度,并且第二组中的一个或多个可致动反射镜相对于所述微反射镜设备的表面具有不同于第一角度的第二角度。
7.如权利要求1所述的系统,还包括致动平台,其中所述致动平台控制所述目标相对于所述光学系统的位置。
8.如权利要求1所述的系统,其中所述空间光调制器包括具有各自电子可控的折射率的单元阵列。
9.一种成像方法,包括:
由光源照射目标;
在第一时间段期间以电子方式控制空间光调制器,使得所述空间光调制器的折射层具有跨空间光调制器在空间上变化的折射率,其中所述空间光调制器还包括布置在所述折射层下面的反射层;
在所述空间光调制器处接收响应于来自所述光源的光而从所述目标发射的光;
通过所述空间调制器向第一相机反射从所述目标接收到的光;
在第一时间段期间,通过第一相机对由所述空间调制器反射的光成像以生成所述目标的第一图像;以及
至少基于所述目标的第一图像来确定所述目标的特定区域的光谱信息。
10.如权利要求9所述的方法,还包括:
在多个进一步的时间段期间以电子方式控制所述空间光调制器,使得所述折射层的折射率跨所述空间光调制器在空间上变化;以及
在所述多个进一步的时间段期间,使用第一相机对响应于来自所述光源的光而从所述目标发射的光成像,以生成所述目标的各自的进一步图像,其中确定所述目标的特定区域的光谱信息包括基于所述目标的第一图像和多个进一步的图像来确定光谱信息。
11.如权利要求9所述的方法,其进一步包括:
通过控制跨所述空间光调制器的折射层的折射率的空间变化来控制所述目标的特定区域的光谱信息的光谱分辨率。
12.如权利要求11所述的方法,其中所述目标包含荧光团,其中所述荧光团的发射光谱的属性与所述目标的属性相关,其中控制所述光谱信息的光谱分辨率包括:将所述光谱分辨率控制为足够高,以基于针对所述目标的特定区域确定的光谱信息来确定所述目标的属性。
13.如权利要求11所述的方法,其中所述目标包含两个荧光团,其中所述两个荧光团具有各自不同的发射光谱,其中控制所述光谱信息的光谱分辨率包括:控制所述光谱分辨率足够高,以基于针对所述目标的特定区域确定的光谱信息来确定所述目标的所述特定区域是包含第一荧光团还是包含第二荧光团。
14.如权利要求9所述的方法,其中所述目标包含荧光团,并且其中照射所述目标包括以所述荧光团的激发波长来发射光。
15.如权利要求9所述的方法,还包括:
操作微反射镜设备以在第一时间段期间以电子方式控制所述微反射镜设备的可致动反射镜相对于表面的各自角度,其中所述可致动反射镜包括基本上平面的阵列并且被布置在所述表面上,并且其中操作所述微反射镜设备以电子方式控制所述微反射镜设备的可致动反射镜的各自角度包括在第一时间段内的指定时间段期间控制第一组一个或多个可致动反射镜以相对于所述微反射镜设备的表面具有第一角度,以及
其中,经由来自第一组一个或多个可致动反射镜的反射由所述光源照射所述目标,并且其中,所述空间调制器经由来自第一组一个或多个可致动反射镜的反射来接收响应于来自所述光源的光而从所述目标发射的光。
16.如权利要求15所述的方法,其中操作所述微反射镜设备以电子方式控制所述微反射镜设备的可致动反射镜相对于表面的角度包括在第一时间段期间控制第一组至少一个可致动反射镜以具有相对于所述微反射镜设备的表面的第一角度,并且其中至少基于所述目标的第一图像确定所述目标的特定区域的光谱信息包括:基于由位于与第一组一个或多个可致动反射镜对应的所述目标的部分对应的第一相机的焦面的部分附近的第一相机的感光元件检测到的第一图像中的信息,确定所述目标的所述部分的光谱信息。
17.如权利要求9所述的方法,其进一步包括:
操作微反射镜设备以在第一时间段期间以电子方式控制所述微反射镜设备的可致动反射镜相对于表面的各自角度,其中所述可致动反射镜包括基本上平面的阵列并且被布置在所述表面上,并且其中操作所述微反射镜设备以电子方式控制微反射镜设备的可致动反射镜的各自角度包括:在第一时间段期间的指定时间段内控制第一组一个或多个可致动反射镜以相对于所述表面具有第一角度,并且在第一时间段期间的指定时间段内控制第二组一个或多个可致动反射镜以相对于所述表面具有第二角度;
在第一时间段期间使用第二相机对响应于来自所述光源的光而从所述目标发射的光成像以生成所述目标的第二图像,其中第二相机包括布置在第二相机的焦面上的多个感光元件;以及
其中,经由来自第一组一个或多个可致动反射镜的反射由所述光源照射所述目标,其中,从所述目标发射的光经由来自第一组一个或多个可致动反射镜的反射被引导到第二相机和经由来自第二组一个或多个可致动反射镜的反射被引导到所述空间光调制器。
18.如权利要求17所述的方法,其中操作所述微反射镜设备以在第一时间段期间控制所述微反射镜设备的可致动反射镜的各自角度包括在第一时间段期间的各自指定时间段内控制:(i)多个各自的第一组一个或多个可致动反射镜相对于所述表面具有第一角度,以及(ii)多个各自的第二组一个或多个可致动反射镜相对于所述表面具有第二角度,并且还包括:
在多个另外的时间段期间以电子方式控制所述空间光调制器,使得所述折射层的折射率跨所述空间光调制器在空间上变化;
在多个另外的时间段期间使用第二相机对响应于来自所述光源的光而从所述目标发射的光成像以生成所述目标的各自另外的图像;以及
在多个另外的时间段期间使用第一相机对响应于来自所述光源的光而从所述目标发射的光成像,以生成所述目标的各自另外的图像,其中确定所述目标的特定区域的光谱信息包括基于由第一相机生成的目标的第一图像和多个另外的图像来确定光谱信息。
19.如权利要求9所述的方法,还包括:
使用致动平台来控制所述目标相对于光学系统的位置。
20.如权利要求9所述的方法,其中所述空间光调制器包括具有各自电子可控的折射率的单元阵列。
CN201910520205.5A 2015-01-12 2016-01-11 具有高分辨率的高吞吐量高光谱成像和光学分割 Active CN110319930B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/594,956 US9395293B1 (en) 2015-01-12 2015-01-12 High-throughput hyperspectral imaging with superior resolution and optical sectioning
US14/594,956 2015-01-12
CN201680014956.4A CN107407597B (zh) 2015-01-12 2016-01-11 具有高分辨率的高吞吐量高光谱成像和光学分割

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680014956.4A Division CN107407597B (zh) 2015-01-12 2016-01-11 具有高分辨率的高吞吐量高光谱成像和光学分割

Publications (2)

Publication Number Publication Date
CN110319930A CN110319930A (zh) 2019-10-11
CN110319930B true CN110319930B (zh) 2021-10-22

Family

ID=55305067

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680014956.4A Active CN107407597B (zh) 2015-01-12 2016-01-11 具有高分辨率的高吞吐量高光谱成像和光学分割
CN201910520205.5A Active CN110319930B (zh) 2015-01-12 2016-01-11 具有高分辨率的高吞吐量高光谱成像和光学分割

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680014956.4A Active CN107407597B (zh) 2015-01-12 2016-01-11 具有高分辨率的高吞吐量高光谱成像和光学分割

Country Status (4)

Country Link
US (2) US9395293B1 (zh)
EP (1) EP3245491B1 (zh)
CN (2) CN107407597B (zh)
WO (1) WO2016115018A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2616653C2 (ru) * 2012-06-05 2017-04-18 Хайпермед Имэджинг, Инк. Способы и устройство для соосного формирования изображения с множеством длин волн
CA3068678C (en) * 2013-03-15 2021-11-09 Imax Theatres International Limited Projector optimized for modulator diffraction effects
WO2016106350A1 (en) 2014-12-23 2016-06-30 Bribbla Dynamics Llc Confocal inspection system having non-overlapping annular illumination and collection regions
CN107430263B (zh) * 2014-12-23 2020-12-01 苹果公司 具有平均照明路径和平均收集路径的共焦检查系统
CN107209116B (zh) 2014-12-23 2020-08-07 苹果公司 包括考虑样本内的光学路径长度的变化的光学检查系统和方法
US9395293B1 (en) * 2015-01-12 2016-07-19 Verily Life Sciences Llc High-throughput hyperspectral imaging with superior resolution and optical sectioning
US10481092B2 (en) * 2015-07-21 2019-11-19 Queen's University At Kingston Multiplexed excitation emission matrix spectroscopy
FR3043205B1 (fr) * 2015-11-04 2019-12-20 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif et procede d’observation d’un objet
JP6570427B2 (ja) * 2015-11-06 2019-09-04 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び空間光変調ユニット
DE102015221991A1 (de) * 2015-11-09 2017-05-11 Carl Zeiss Microscopy Gmbh Mikroskopierverfahren zur Ermittlung eines Kontrastbildes und Mikroskop
KR102444284B1 (ko) * 2015-11-17 2022-09-16 삼성전자주식회사 라만 신호 측정 방법, 장치 및 라만 신호 측정 장치를 포함하는 생체 정보 분석 장치
US10386300B2 (en) 2015-12-21 2019-08-20 Verily Life Sciences Llc Spectrally and spatially multiplexed fluorescent probes for in situ cell labeling
US11531195B2 (en) * 2016-03-08 2022-12-20 The Charles Stark Draper Laboratory, Inc. Reflective bijective method and device for coded aperture image acquisition and reconstruction
US10168144B2 (en) * 2016-03-25 2019-01-01 Sony Corporation Optical apparatus for 3D data collection
US10627614B2 (en) 2016-04-11 2020-04-21 Verily Life Sciences Llc Systems and methods for simultaneous acquisition of multiple planes with one or more chromatic lenses
AU2017253712B8 (en) 2016-04-21 2019-11-21 Apple Inc. Optical system for reference switching
US10241337B2 (en) 2016-05-27 2019-03-26 Verily Life Sciences Llc Tunable spectral slicer and methods of use
JP6795624B2 (ja) 2016-05-27 2020-12-02 ヴェリリー ライフ サイエンシズ エルエルシー 空間光変調器ベースのハイパースペクトル共焦点顕微鏡および使用方法
JP6810167B2 (ja) 2016-05-27 2021-01-06 ヴェリリー ライフ サイエンシズ エルエルシー 4dハイパースペクトル撮像のためのシステムおよび方法
US10539786B2 (en) 2016-05-27 2020-01-21 Verily Life Sciences Llc Rotatable prisms for controlling dispersion magnitude and orientation and methods of use
US20180023943A1 (en) * 2016-07-21 2018-01-25 Sony Corporation Optical apparatuses and method of collecting three dimensional information of an object
US9897484B1 (en) 2016-09-29 2018-02-20 Intel Corporation Measuring wideband spectrum information in mobile devices via an integrated optical system that uses multiple spectral sensors, multiple light sources and MEMS actuation
US10642056B2 (en) * 2016-10-19 2020-05-05 CSEM Centre Suisse d'Electronique et de Microtechnique SA—Recherche et Développement Multispectral or hyperspectral imaging and imaging system based on birefringent subwavelength resonating structure
US10386234B2 (en) 2017-01-27 2019-08-20 Kla-Tencor Corporation Wideband spectrograph
JP7089719B2 (ja) * 2017-02-07 2022-06-23 ナノフォトン株式会社 分光顕微鏡、及び分光観察方法
US10761419B2 (en) 2017-04-17 2020-09-01 Washington University Systems and methods for performing optical imaging using a tri-spot point spread function (PSF)
TWI655455B (zh) * 2017-05-22 2019-04-01 國立中央大學 激發波段可調式之時域聚焦多光子激發螢光顯微鏡系統及其激發光選擇模組
US10827924B2 (en) * 2017-08-14 2020-11-10 Verily Life Sciences Llc Dynamic illumination during retinal burst imaging
US10499020B1 (en) 2017-08-17 2019-12-03 Verily Life Sciences Llc Lenslet based snapshot hyperspectral camera
IL254295A0 (en) 2017-09-03 2017-10-31 Yeda Res & Dev Optical band for a multi-core processor
DE102017127813A1 (de) * 2017-11-24 2019-05-29 Tesat-Spacecom Gmbh & Co. Kg Strahlausrichtung in unidirektionalen optischen Kommunikationssystemen
JP7053845B2 (ja) * 2017-12-20 2022-04-12 マツクス-プランク-ゲゼルシヤフト ツール フエルデルング デル ヴイツセンシヤフテン エー フアウ プログラマブル・アレイ顕微鏡を用いた光学共焦点結像のための方法および装置
BR112020012682A2 (pt) * 2017-12-27 2020-11-24 Ethicon Llc imageamento hiperespectral em um ambiente com deficiência de luz
CN108254072A (zh) * 2017-12-29 2018-07-06 中国科学院上海技术物理研究所杭州大江东空间信息技术研究院 一种新型高光谱视频成像仪
KR102079262B1 (ko) * 2018-03-13 2020-02-19 한국과학기술연구원 단백질 구조 변화 관찰 시스템
WO2019216213A1 (ja) * 2018-05-11 2019-11-14 ソニー株式会社 分光計測装置、および分光計測方法
US20220066186A1 (en) * 2019-01-18 2022-03-03 Arizona Board Of Regents On Behalf Of The University Of Arizona Scan-less confocal microscope with high resolution related applications
US11287322B2 (en) * 2019-02-06 2022-03-29 California Institute Of Technology Compact hyperspectral mid-infrared spectrometer
US10996169B2 (en) * 2019-02-27 2021-05-04 Microsoft Technology Licensing, Llc Multi-spectral fluorescent imaging
EP3948237B1 (en) 2019-04-02 2024-05-01 Thermo Electron Scientific Instruments LLC Enhanced sample imaging using structured illumination microscopy
CN110400812B (zh) * 2019-07-25 2022-05-24 京东方科技集团股份有限公司 显示面板、电子设备及显示面板的成像方法
US10845239B1 (en) * 2019-09-05 2020-11-24 Schenck Process Llc Laser-induced spectroscopy system and process
WO2021092579A1 (en) 2019-11-08 2021-05-14 California Institute Of Technology Infrared spectrometer having dielectric-polymer-based spectral filter
DE112021000850T5 (de) * 2020-02-03 2022-11-17 Sony Group Corporation Modulator, Bildgebungseinrichtung und Gestaltungsverfahren
KR102436763B1 (ko) 2020-03-05 2022-08-29 한국전자통신연구원 초분광 센서
EP3882681A1 (en) * 2020-03-10 2021-09-22 Leica Instruments (Singapore) Pte. Ltd. A concept for a microscope system with an led-based illumination system
US11250874B2 (en) 2020-05-21 2022-02-15 Bank Of America Corporation Audio quality enhancement system
CN111929254B (zh) * 2020-08-05 2021-06-29 广东技术师范大学 多波段高光谱融合的作物养分亏缺分析方法、装置和设备
CN112098337B (zh) * 2020-08-31 2023-10-10 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
KR102466257B1 (ko) * 2020-09-10 2022-11-14 주식회사 더웨이브톡 다중 광원을 활용한 분광 장치
US11788891B2 (en) * 2021-06-11 2023-10-17 The United States Of America, As Represented By The Secretary Of Agriculture Method and system for active line scan imaging
CN114070991A (zh) * 2022-01-17 2022-02-18 睿克环境科技(中国)有限公司 一种过鱼监测装置
CN115586191B (zh) * 2022-11-11 2023-03-14 苏州恒视智能科技有限公司 新能源电池的极耳叠层自动调整检测机构

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265124A (zh) * 2008-11-04 2011-11-30 威廉马什赖斯大学 像映射光谱仪

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB359208A (en) 1930-09-22 1931-10-22 James Patrick Ratigan Bearing for pump operating lever
GB859208A (en) * 1957-09-25 1961-01-18 Zeiss Jena Veb Carl Improvements in autocollimation spectroscopes
JPS63101818A (ja) 1986-10-17 1988-05-06 Nippon Telegr & Teleph Corp <Ntt> 波長分光器
US6859275B2 (en) 1999-04-09 2005-02-22 Plain Sight Systems, Inc. System and method for encoded spatio-spectral information processing
DE10213187A1 (de) * 2002-03-23 2003-10-09 Leica Microsystems Verfahren zur Spektralanlanalyse und Scanmikroskop
AU2003245902A1 (en) 2003-06-02 2005-01-21 Sensovation Ag Apparatus and methods for photo-electric measurement
WO2005010799A2 (en) 2003-07-16 2005-02-03 Shrenik Deliwala Optical encoding and reconstruction
CN100565288C (zh) * 2006-01-06 2009-12-02 佳能株式会社 液晶显示设备
JP5072424B2 (ja) * 2007-05-02 2012-11-14 キヤノン株式会社 液晶表示装置
US8305575B1 (en) * 2008-06-23 2012-11-06 Spectral Sciences, Inc. Adaptive spectral sensor and methods using same
US8406859B2 (en) 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US8810650B1 (en) * 2009-04-20 2014-08-19 The United States Of America, As Represented By The Secretary Of The Navy Agile interrogation hyperspectral imager and method of using same
JP2011197351A (ja) 2010-03-19 2011-10-06 Olympus Corp 反射型回折格子、及び、それを用いた分光器及びパルス整形器
US9716846B2 (en) 2011-09-30 2017-07-25 Los Alamos National Security, Llc Full-frame, programmable hyperspectral imager
WO2014012570A1 (en) * 2012-07-16 2014-01-23 Foss Analytical Ab Spectrometer comprising a spatial light modulator
US9212948B2 (en) * 2012-11-07 2015-12-15 The Trustees Of Columbia University In The City Of New York Lossless hyperspectral imaging
US9645084B2 (en) * 2012-12-14 2017-05-09 Universite Joseph Fourier Adaptive optics system
US9182278B2 (en) * 2013-03-14 2015-11-10 Sciaps, Inc. Wide spectral range spectrometer
US9810893B2 (en) * 2014-03-27 2017-11-07 The Board Of Trustees Of The Leland Stanford Junior University Phase mask imaging with characterization of rotational mobility
FR3021127B1 (fr) * 2014-05-19 2017-10-13 Commissariat Energie Atomique Systeme et procede d'acquisition d'images hyperspectrales
US9395293B1 (en) * 2015-01-12 2016-07-19 Verily Life Sciences Llc High-throughput hyperspectral imaging with superior resolution and optical sectioning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265124A (zh) * 2008-11-04 2011-11-30 威廉马什赖斯大学 像映射光谱仪

Also Published As

Publication number Publication date
US9581797B2 (en) 2017-02-28
WO2016115018A1 (en) 2016-07-21
US20160282594A1 (en) 2016-09-29
EP3245491A1 (en) 2017-11-22
EP3245491B1 (en) 2023-09-20
CN107407597B (zh) 2019-07-12
US9395293B1 (en) 2016-07-19
CN107407597A (zh) 2017-11-28
US20160202178A1 (en) 2016-07-14
CN110319930A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110319930B (zh) 具有高分辨率的高吞吐量高光谱成像和光学分割
CN108700460B (zh) 成像系统和成像方法
US10393725B2 (en) Automated imaging of chromophore labeled samples
JP4425098B2 (ja) 蛍光顕微鏡および蛍光相関分光解析装置
RU2662461C2 (ru) Способ получения изображения образца
US7652765B1 (en) Hyper-spectral imaging methods and devices
US20040218172A1 (en) Application of spatial light modulators for new modalities in spectrometry and imaging
JP5120873B2 (ja) 分光計測装置及び分光計測方法
WO2005088264A1 (en) Hyper-spectral imaging methods and devices
US10088428B2 (en) Surface refractive index scanning system and method
US10429629B1 (en) Imaging and side-scatter photon detection using a single immersion objective
CN108780216B (zh) 利用散射以降低源自发荧光并改善均匀性的成像系统和方法
US6552794B2 (en) Optical detection method for improved sensitivity
CN109863441A (zh) 荧光显微镜
US20150102234A1 (en) Systems and method for fluorescence imaging
US20230085045A1 (en) Microscope for high-resolution and specific analysis of biological substances, and method of analysis
RU162184U1 (ru) Устройство оптическое для анализа биологических микрочипов

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant