CN109507155A - 阵列级傅立叶重叠关联成像 - Google Patents

阵列级傅立叶重叠关联成像 Download PDF

Info

Publication number
CN109507155A
CN109507155A CN201811184731.0A CN201811184731A CN109507155A CN 109507155 A CN109507155 A CN 109507155A CN 201811184731 A CN201811184731 A CN 201811184731A CN 109507155 A CN109507155 A CN 109507155A
Authority
CN
China
Prior art keywords
lens
image
array
imaging
hole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811184731.0A
Other languages
English (en)
Other versions
CN109507155B (zh
Inventor
金镇护
杨昌辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
California Institute of Technology CalTech
Original Assignee
California Institute of Technology CalTech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by California Institute of Technology CalTech filed Critical California Institute of Technology CalTech
Publication of CN109507155A publication Critical patent/CN109507155A/zh
Application granted granted Critical
Publication of CN109507155B publication Critical patent/CN109507155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6452—Individual samples arranged in a regular 2D-array, e.g. multiwell plates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/0095—Relay lenses or rod lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G01N2021/6478—Special lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/04—Batch operation; multisample devices
    • G01N2201/0446—Multicell plate, sequential
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Optical Measuring Cells (AREA)

Abstract

本申请涉及阵列级傅立叶关联成像。成像系统包括：照明系统，包括光源阵列；光学系统，包括一个或更多透镜阵列，每个透镜阵列包括透镜的阵列，每个透镜与光源阵列的相应一组光源对准；成像系统，包括图像传感器的阵列，每个图像传感器与透镜阵列中相应的透镜或透镜组对准，且配置为基于从相应的透镜或透镜组接收的光采集图像数据；板接收器系统，能接收包括孔的阵列的多孔板，且配置为使每个孔与相应一个图像传感器对准；控制器，配置为控制光源照明和图像数据采集，还执行：包括多次扫描的图像采集过程，每次扫描与唯一的照明图案相关，每个图像传感器在每次扫描期间生成相应一个孔的图像；图像重建过程，在此期间控制器执行傅立叶重叠关联操作。

Description

阵列级傅立叶重叠关联成像
本申请是申请日为2016年1月26日，申请号为201680003937.1，发明名称为“阵 列级傅立叶重叠关联成像”的申请的分案申请。
优先权数据
本非临时申请根据35U.S.C.119(e)要求由Kim等人于2015年1月26日提交的题 为“Development of 96-well Plate Fluorescence Imaging System”的美国临时专利申请号 为62/107,628的优先权利益，以及由Kim等人于2015年1月26日提交的题为“Real-timeCell Culture Monitoring via Fourier Ptychographic Microscopy”的美国临时专利申请号为 62/107,631的优先权利益，这两个专利申请在此通过引用以其整体并入本文并用于所有 目的。本申请还涉及由Kim等人于与本申请相同的日期提交的美国专利申请序列号15/007,159，其在此通过引用以其整体并入本文并用于所有目的。
技术领域
本公开大体上涉及数字成像，更具体地涉及用于并行地对样本孔的阵列进行成像的基于傅立叶重叠关联(FP)的技术。
背景
多孔板读取器是用于从在多孔板(例如，96孔板)中生长的样本(诸如活培养物)快速获得荧光和吸光度信息的生物科学装备的关键部件。典型的读取器需要10秒来获 得一组完整的荧光或吸光度测量值。然而，常规的板读取器不提供任何图像信息。这 代表了图像信息的显著损失或丢弃。例如，对包括活组织培养物的样本的成像可揭示 细胞结构和健康信息，它们可为用户提供丰富的洞察力。例如，在毒性筛选中返回负 荧光信号的孔的图像信息可快速地通知用户关于负信号是否是由于细胞死亡、受损的 生长、污染或其他原因。通常，为了收集图像信息，多孔板将必须被放到第二复杂的 系统中，该系统使用显微镜来按照顺序缓慢地逐个扫描板的每个孔并对其进行成像。 因为这样的常规技术是基于单一显微镜，所以过程非常缓慢。对于整个多孔板来说， 完整过程可能要花上大约150分钟或更长的时间。例如，由于这样的延迟可能危及实 验设计的时间安排，因此如果许多多孔板要被成像，那么这样大量的机器时间是低效 和费用高昂的。鉴于这些限制，用户通常只对一小部分样本或者当情况绝对需要成像 时进行该额外的成像测量步骤并不奇怪。
概述
本公开的某些方面涉及傅立叶重叠关联成像的系统和方法。
在一个方面中，成像系统包括：包括光源的阵列的照明系统；包括一个或更多个透镜阵列的光学系统，透镜阵列中的每个包括透镜的阵列，该一个或更多个透镜阵列 的每个透镜阵列中的每个透镜与光源的阵列的相应的一组光源对准；包括图像传感器 的阵列的成像系统，每个图像传感器与一个或更多个透镜阵列的相应的透镜或透镜组 对准，每个图像传感器被配置为基于从该相应的透镜或透镜组接收的光来采集图像数 据；板接收器系统，其能够接收包括孔的阵列的多孔板，该板接收器系统被配置为使 每个孔与图像传感器中的相应一个对准；以及控制器，其被配置为控制光源的照明和 通过图像传感器对图像数据的采集，该控制器还被配置为执行：包括多次扫描的图像 采集过程，每次扫描与唯一的照明图案相关联，每个图像传感器被配置为在每次扫描 期间生成孔中的相应一个的图像；以及图像重建过程，在该图像重建过程期间，控制 器执行傅立叶重叠关联操作，以基于在每次扫描期间针对相应孔所捕获的图像数据来 生成每个孔的重建图像。
在另一方面中，描述了由成像系统执行的成像方法，该成像系统包括：包括光源的阵列的照明系统；包括一个或更多个透镜阵列的光学系统，透镜阵列中的每个包括 透镜的阵列，该一个或更多个透镜阵列的每个透镜阵列中的每个透镜与光源的阵列的 相应的一组光源对准；包括图像传感器的阵列的成像系统，每个图像传感器与一个或 更多个透镜阵列的相应的透镜或透镜组对准，每个图像传感器被配置为基于从该相应 的透镜或透镜组接收的光来采集图像数据；板接收器系统，其能够接收包括孔的阵列 的多孔板，该板接收器系统被配置为使每个孔与图像传感器中的相应一个对准；以及 控制器，其被配置为控制光源的照明和通过图像传感器对图像数据的采集，该方法包 括：执行包括多次扫描的图像采集过程，每次扫描与唯一的照明图案相关联，每个图 像传感器被配置为在每次扫描期间生成孔中的相应一个的图像；以及执行图像重建过 程，在该图像重建过程期间，控制器执行傅立叶重叠关联操作，以基于在每次扫描期 间针对相应孔所捕获的图像数据来生成每个孔的重建图像。
本公开提供了以下内容：
1).一种成像系统，包括：
照明系统，所述照明系统包括光源的阵列；
光学系统，所述光学系统包括一个或更多个透镜阵列，所述透镜阵列中的每个包括透镜的阵列，所述一个或更多个透镜阵列中的每个透镜阵列中的透镜中的每个透镜 与所述光源的阵列中的相应的一组光源对准；
成像系统，所述成像系统包括图像传感器的阵列，所述图像传感器中的每个与所述一个或更多个透镜阵列中的相应的透镜或透镜组对准，所述图像传感器中的每个被 配置为基于从所述相应的透镜或透镜组接收的光来采集图像数据；
板接收器系统，所述板接收器系统能够接收包括孔的阵列的多孔板，所述板接收器系统被配置为使所述孔中的每个与所述图像传感器中的相应的图像传感器对准；以 及
控制器，所述控制器被配置为控制所述光源的照明和通过所述图像传感器的对图像数据的采集，所述控制器还被配置为执行：
包括多次扫描的图像采集过程，每次扫描与唯一的照明图案相关联，所述图 像传感器中的每个被配置为在每次扫描期间生成所述孔中的相应孔的图像；以及
图像重建过程，在所述图像重建过程期间，所述控制器执行傅立叶重叠关联 操作，以基于在所述扫描中的每个期间针对所述相应孔所捕获的图像数据来生成 所述孔中的每个孔的重建图像。
2).如1)所述的成像系统，其中，所述控制器被配置为使所述照明系统用n个 连续唯一的照明图案来照明所述多孔板，所述扫描中的每个与所述照明图案中的不同 的照明图案相关联。
3).如权利要求2)所述的成像系统，其中，每个孔在每次扫描期间由一个并且 只有一个光源照明。
4).如权利要求1)所述的成像系统，其中，所述孔中的每个被对准以接收来自 所述光源中的一组n个光源的光。
5).如权利要求1)所述的成像系统，其中，所述控制器执行所述傅立叶重叠关 联操作，以并行生成所述孔中的每个孔的重建图像。
6).如权利要求1)所述的成像系统，其中，所述控制器还被配置为执行荧光成 像。
7).如权利要求6)所述的成像系统，还包括用于过滤激发光并用于使发射的光 通过的滤波器。
8).一种由成像系统执行的成像方法，所述成像系统包括含有光源的阵列的照明系统；包括一个或更多个透镜阵列的光学系统，所述透镜阵列中的每个包括透镜的阵 列，所述一个或更多个透镜阵列中的每个透镜阵列中的透镜中的每个透镜与所述光源 的阵列中的相应的一组光源对准；包括图像传感器的阵列的成像系统，所述图像传感 器中的每个与所述一个或更多个透镜阵列中的相应的透镜或透镜组对准，所述图像传 感器中的每个被配置为基于从所述相应的透镜或透镜组接收的光来采集图像数据；板 接收器系统，所述板接收器系统能够接收包括孔的阵列的多孔板，所述板接收器系统 被配置为使所述孔中的每个与所述图像传感器中的相应的图像传感器对准；以及控制 器，所述控制器被配置为控制所述光源的照明和通过所述图像传感器的对图像数据的 采集，所述方法包括：
执行包括多次扫描的图像采集过程，每次扫描与唯一的照明图案相关联，所述图像传感器中的每个被配置为在每次扫描期间生成所述孔中的相应孔的图像；以及
执行图像重建过程，在所述图像重建过程期间，所述控制器执行傅立叶重叠关联操作，以基于在所述扫描中的每个期间针对所述相应孔捕获的图像数据来生成所述孔 中的每个的重建图像。
9).如权利要求8)所述的方法，其中，所述控制器被配置为使所述照明系统用 n个连续唯一的照明图案来照明所述多孔板，所述扫描中的每个与所述照明图案中的不 同的照明图案相关联。
10).如权利要求9)所述的方法，其中，每个孔在每次扫描期间由一个并且只 有一个光源照明。
11).如权利要求8)所述的方法，其中，所述孔中的每个被对准以接收来自所 述光源中的一组n个光源的光。
12).如权利要求8)所述的方法，其中，所述控制器执行所述傅立叶重叠关联 操作，以并行生成所述孔中的每个孔的重建图像。
13).如权利要求8)所述的方法，还包括执行荧光成像操作。
14).如权利要求14)所述的方法，其中，所述成像系统还包括用于过滤激发光 并用于使发射的光通过的滤波器。
这些特征和其它特征以下参照相关附图更详细地进行描述。
附图简述
图1示出了根据一些实施方式的能够进行傅立叶重叠关联(FP)成像的示例成像系统的框图。
图2A示出了根据一些实施方式的能够进行FP成像的示例成像系统的示意图。
图2B示出了图2A的成像系统的横截面透视图。
图3A示出了根据一些实施方式的具有被定位在其上的多孔板的示例样本平台的俯视图。
图3B示出了根据一些实施方式的示例照明系统的仰视图。
图3C示出了根据一些实施方式的示例透镜阵列的俯视图。
图3D示出了根据一些实施方式的示例图像传感器系统的俯视图。
图4A示出了根据一些实施方式的包括三个透镜的示例光学布置的一部分的图。
图4B示出了根据一些实施方式的包括四个透镜的示例光学布置的一部分的图。
图5示出了说明根据一些实施方式的用于对多孔板进行成像的示例FP成像过程的流程图。
图6A示出了根据一些实施方式的在第一扫描期间根据第一照明图案照明的孔和光源的示例布置的图。
图6B示出了在第二扫描期间根据第二照明图案照明的图6A的布置。
图6C示出了在第七扫描期间根据第七照明图案照明的图6A的布置。
图6D示出了在第八扫描期间根据第八照明图案照明的图6A的布置。
图6E示出了在第42扫描期间根据第42照明图案照明的图6A的布置。
图6F示出了在第49扫描期间根据第49照明图案照明的图6A的布置。
图7示出了根据一些实施方式的示例FP重建过程的流程图。
图8示出了根据一些实施方式的另一示例FP重建过程的流程图。
图9示出了描绘用于确定多孔板的每个孔的入射角的示例校准过程的操作的流程图。
图10A示出了根据一个示例的在通过LED矩阵的中心LED的照明期间所捕获的 晕映(vignette)单色图像。
图10B是图10A的彩色图像的转换的黑白版本。
图10C示出了根据另一示例的在通过彩色LED矩阵的中心LED的照明期间所捕 获的图像。
图11示出了根据实施例的与图像中心相对于图像传感器中心的x偏移和y偏移相关联的LED位移的查找曲线图。
图12示出了说明根据一些实施方式的用于对多孔板进行成像的示例荧光成像过程 1200的流程图。
详细描述
出于描述本公开的各个方面的目的，以下描述针对某些实施方式。然而，本领域中的普通技术人员将容易地认识到，本文中的教导可以以多种不同的方式来应用。因 此，教导并不旨在限于仅在附图中所描绘的实施方式，而是具有广泛适用性，如对于 本领域中的普通技术人员来说将是明显的。
如本文中所使用的，在适当的情况下，除非另有说明，连接词“或”在本文中旨 在包含性意义；也就是说，短语“A、B或C”旨在包括A、B、C、A和B、B和C、 A和C以及A、B和C的可能性。另外，涉及项目列表中的“至少一个”的短语是指 包括单一成员在内的那些项目的任何组合。举个例子，“A、B或C中的至少一个”旨 在涵盖：A、B、C、A-B、A-C、B-C以及A-B-C。
I.简介
各个方面大体上涉及能够在傅立叶重叠关联(FP)成像中使用的成像系统、设备和方法，更具体地涉及被配置为实现阵列级的FP成像的成像系统、设备和方法。例如， 特定实施方式针对被配置为并行实现对多孔板中的每个孔的高分辨率FP成像的成像 系统。一些实施方式还涉及这样的成像系统，其还被配置为并行执行对多孔板中的每 个孔的荧光成像。
传统上，诸如相机系统的图像传感器的分辨率确定由图像传感器捕获的得到的图像中的视觉特征的保真度。然而，任何图像传感器的分辨率从根本上受到用于将光聚 焦到图像传感器上的一个透镜或多个透镜中的几何像差的限制。这是因为透镜的可分 辨点(被称为SBP)的数量从根本上受到几何像差的限制。虽然CMOS和CCD技术 已经被证实具有带有1微米(μm)范围内的像素的成像传感器，但设计和制造具有匹 配这样的图像传感器的分辨率的分辨能力的透镜仍然是一个挑战。例如，由于透镜的 直径非常有限，因此这个问题在要被配置为并行扫描多个样本的成像系统中被进一步 加剧。
FP通常涉及实现了非干涉相位成像和近波长衍射有限的分辨率的成像技术。FP通常需要收集对象(例如，孔中的样本)的多次扫描，每次扫描使用与其他扫描不同 的照明角度的光来采集。光可从诸如例如发光二极管(LED)阵列的相干光源生成。 然后，在扫描中所捕获的图像数据使用相位恢复算法来处理，使对象能够迭代重建成 更高分辨率的图像。FP成像通常涉及(常规)重叠关联(ptychography)，因为它通过 交换聚焦元件和对象而置换真实空间和傅立叶空间的角色来解决相位问题。FP成像技 术的优点是使用具有较低数值孔径的成像光学元件的能力，这增加了焦深、工作距离 和视场的大小。FP成像技术还实现了对透镜像差的校正，导致远远更大的空间带宽积(SBP)(图像的分辨率和可利用大小的数学乘积)。
使用FP成像技术的显微镜系统和方法的一些示例在以下文献中进行了讨论：“Wide-field,high-resolution Fourier ptychographic microscopy”，Nat.Photonics 7(9)， 739-745(2013)；X.Ou、R.Horstmeyer、C.Yang和G.Zheng的“Quantitative phaseimaging via Fourier ptychographic microscopy”，Opt.Lett38(22)，4845-4848(2013)；R.Horstmeyer 和C.Yang的“A phase space model of Fourier ptychographicmicroscopy”，Opt.Express 22(1)，338-358(2014)；X.Ou、G.Zheng和C.Yang的“Embeddedpupil function recovery for Fourier ptychographic microscopy”，Opt.Express 22(5),4960-4972(2014)；X.Ou、 R.Horstmeyer、G.Zheng和C.Yang的“High numericalaperture Fourier ptychography: principle,implementation andcharacterization”，Opt.Express 23(3)，3472-3491(2015)； J.Chung、X.Ou、R.P、Kulkarni和C.Yang的“Counting White Blood Cells from a Blood Smear UsingFourier Ptychographic Microscopy”，PLoS One 10(7)，e0133489(2015)； A.Williams、J.Chung、X.Ou、G.Zheng、S.Rawal、Z.Ao、R.Datar、C.Yang和R.Cote 的“Fourierptychographic microscopy for filtration-based circulating tumor cellenumeration and analysis”，J.Biomed.Opt.19(6),066007(2014)；以及R.Horstmeyer、X.Ou、G.Zheng、 P.Willems和C.Yang的“Digital pathology with Fourierptychography”， Comput.Med.Imaging Graphics 42,38-43(2015)，这些文献在此通过引用并入以用于讨论。
如上所介绍的，本公开的各个方面涉及用于以阵列级实现FP处理技术以并行获得整个样本阵列的高分辨率图像的成像系统、设备和方法。为了实现FP技术，本文中所 描述的每个成像系统通常包括照明系统、样本装载系统、光学系统和成像系统。照明 系统通常包括光源阵列，光学系统通常包括一个或更多个透镜阵列，以及成像系统通 常包括图像感测设备阵列。在一些示例实施方式中，样本装载系统被配置为接收包括 多个样本孔的多孔板，每个样本孔包含感兴趣的样本。成像系统还可包括控制器，该 控制器用于选择性地接通(或“供电”、“致动”或“照明”)特定光源、光源子集或光 源图案，以在扫描操作(“扫描”)期间同时提供对多个孔中的每个的平面波照明。使 用不同的照明图案来在整个图像采集阶段的过程内执行多次扫描，使得每个孔在图像 采集阶段完成时以多个入射角照明。
光学系统的透镜响应于照明将由样本散射或发射的光聚焦到相应的图像传感器上。 每个图像传感器被配置为基于其从光学系统的相应透镜或多个透镜接收的光来捕获孔 中的相应一个的区域的相对低分辨率的图像。在整个图像采集阶段的过程内，每个图像传感器生成强度分布测量值(原始强度图像)的序列，每次扫描生成一个图像。处 理设备使用傅立叶重叠关联重建过程来在空间频域中组合每个孔的相对低分辨率的原 始强度图像，以校正像差并呈现每个孔的单一高分辨率图像。在特定方面中，处理设 备单独地对每个孔执行傅立叶重叠关联重建处理，但同时进行对从其他孔捕获的图像 数据的处理，并发地(或“同时”)使每个孔的高分辨率图像能够并行生成。FP方法 还使所得到的重建图像能够进行数字重聚焦，例如，即使系统差焦平面多达0.3mm或 更大。数字重聚焦是特别有用的，因为它简化了成像过程-孔板不需要被精确放置来获 得高分辨率图像。
II.用于傅立叶重叠关联(FP)成像和荧光成像的成像系统
图1示出了根据一些实施方式的能够进行傅立叶重叠关联(FP)成像的示例成像系统100的框图。在高级别下，成像系统100被配置为或可配置用于以阵列级扫描样 本阵列；也就是说，并行地照明整个样本阵列并捕获整个样本阵列的图像。成像系统 100还可包括并行处理能力，该并行处理能力用于将针对每个样本孔所获得的原始图像 数据帧进行转换和组合，以在阵列级上生成每个样本孔的FP重建的图像。成像系统 100包括照明系统102、样本装载系统104、光学系统106和图像传感器系统108。控 制器110控制照明系统102和图像传感器系统108的操作。控制器110还被配置为从 图像传感器系统108接收原始(或最低限度预处理的)图像数据。在一些实施方式中， 控制器110还被配置为对原始图像数据执行一个或更多个算法，以执行一个或更多个 处理操作，诸如包括像差校正的各种FP成像过程。
照明系统102包括光源的阵列(或“矩阵”)。例如，每个光源可包括一个或更多 个发光二极管(LED)。控制器110例如，通过选择性地上电或以其他方式仅允许特定 光源或光源子集在各个成像扫描期间的特定持续时间内和在特定时间形成各种照明图 案来控制光源的照明。光学系统106通常包括透镜的至少一个阵列(以下被称为“透 镜阵列”)。每个透镜阵列包括多个(或“多重”)透镜。图像传感器系统108包括图像 传感器阵列，例如，相机阵列或其它合适的成像设备的阵列。在各个实施方式中，透 镜在每个阵列中的布置和总数T与成像系统中的图像传感器的布置和总数以及要被成 像的多孔板中的孔的布置和总数匹配。
样本装载系统104通常被配置为接收样本阵列，诸如常规或可商购的多孔板(也被称为“孔板”、“微量滴定板”、“微板”或“微孔板”)。每个多孔板通常包括以多行 和多列布置的孔的阵列(通常为矩形阵列)。在典型应用中，样本通常被吸取或以其他 方式沉积到孔中以用于成像。在各个实施方式中，样本装载系统104更具体地被配置 为接收被插入或以其他方式装载到样本装载系统104中的多孔板，使得多孔板的孔(例 如，孔的底部表面)沿着照明系统102的光源和光学系统106的透镜之间的特定平面 定位。样本装载系统104还用于使多孔板的孔的中心与光学系统106的相应透镜的中 心近似对准(尽管如将在下面变得清楚的，对于本文中所描述的成像系统的各个实施 方式来说不需要精确对准)。
在扫描操作期间，由照明系统102生成的光照明孔中的样本。在诸如用在FP成像或其他明场成像中的那些成像模式或过程的一些成像模式或过程中，入射在每个样本 上的光在其穿过样本时被样本的物理特征散射。在诸如用在荧光成像中的那些成像模 式或过程的一些其他成像模式或过程中，光源被配置为生成特定波长的激发光，以激 发样本中的荧光团(例如，特殊蛋白质)。在这样的荧光成像中，入射的激发光将能量 传递到荧光团中，然后该荧光团发射较低能量波长的光。然后，散射光或发射光的一 部分穿过孔的透明底部到达光学系统106的相应透镜(或透镜组)。每个相应的孔下方 的透镜通常用于将来自孔的散射或发射的光聚焦到图像传感器系统108的图像传感器 中的相应一个上。每个图像传感器被配置为捕获光并输出数据信号，该数据信号包括 表示在图像传感器的特定位置处接收的光的强度的图像数据(在本文中被称为“光强度 分布”、“强度分布”或简称为“图像”或“图像帧”)。
然后，由每个图像传感器输出的图像数据被传输(或“发送”或“传递”)到控制 器110。在一些实施方式中，控制器110被配置为对每次扫描的原始图像数据进行处理， 以生成经处理的图像数据。例如，在一些实施方式中，控制器110由用户配置为或可 配置用于对原始图像数据执行一个或更多个FP图像处理操作。如上所述，为了并行生 成每个孔的FP重建的图像，使用不同的照明图案来执行多次扫描。控制器110解读来 自所采集的强度图像的序列的图像数据，将与每次扫描相关联的相对低分辨率的图像 数据帧变换成傅立叶空间，组合经变换的原始图像数据，校正由透镜以及样本特征所 导致的像差，并生成每个样本孔的单一高分辨率图像。如上所述，成像系统100还可 被配置为执行荧光成像。因此，控制器110通常可包括用于并行地解读、处理并且在 一些情况下组合每个样本孔的荧光图像数据的功能。
为了执行这样的并行图像处理，控制器110通常包括至少一个处理器(或“处理 单元”)。示例处理器包括，例如，通用处理器(CPU)、专用集成电路(ASIC)、诸如 现场可编程门阵列(FPGA)的可编程逻辑设备(PLD)或包括CPU、ASIC、PLD以 及存储器和各种接口中的一个或更多个的片上系统(SoC)中的一个或更多个。控制器 110还与至少一个内部存储器设备120进行通信。内部存储器设备120可包括用于储存 处理器可执行代码(或“指令”)的非易失性存储器阵列，该处理器可执行代码由处理 器获取，以执行本文中所描述的用于对图像数据进行各种算法或其他操作的各种功能 或操作。内部存储器设备120还可储存原始图像数据和/或经处理的图像数据(包括FP 重建的图像)。在一些实施方式中，另外或可替代地，内部存储器设备120或单独的存 储器设备可包括用于临时储存要被执行的代码以及要被处理、储存或显示的图像数据 的易失性存储器阵列。在一些实施方式中，控制器110本身可包括易失性存储器，并 且在一些情况下，也可包括非易失性存储器。
在一些实施方式中，控制器110由用户配置为或可配置用于通过通信接口112输出原始图像数据或经处理的图像数据(例如，在FP图像处理之后)，以显示在显示器 114上。在一些实施方式中，控制器110还可由用户配置为或可配置用于通过通信接口 116将原始图像数据以及(例如，在FP图像处理之后的)经处理的图像数据输出到外 部计算设备或系统118。实际上，在一些实施方式中，FP成像操作中的一个或更多个 可由这样的外部计算设备118执行。在一些实施方式中，控制器110还可由用户配置 为或可配置用于通过通信接口122输出原始图像数据以及(例如，在FP图像处理之后 的)经处理的图像数据，以用于储存在外部存储器设备或系统124中。在一些实施方 式中，控制器110还可由用户配置为或可配置用于通过网络通信接口126输出原始图 像数据以及(例如，在FP图像处理之后的)经处理的图像数据，以通过外部网络128 (例如，有线或无线网络)进行通信。网络通信接口126还可用于接收诸如软件或固 件更新或其他数据的信息，以供控制器110下载。在一些实施方式中，成像系统100 还包括一个或更多个其他接口，诸如例如，各种通用串行总线(USB)接口或其他通 信接口。这样的附加接口可用于例如连接诸如有线键盘或鼠标的各种外围设备和输入/ 输出(I/O)设备或者连接电子狗(dongle)，以用于无线连接各种无线启用的外围设备。 这样的附加接口还可包括串行接口，诸如例如，用于连接到带状电缆的接口。还应认 识到的是，照明系统102和图像传感器系统108中的一个或更多个可被电耦合，以通 过各种合适的接口和电缆中的一个或更多个(诸如例如，USB接口和电缆、带状电缆、 以太网电缆以及其他合适的接口和电缆)与控制器进行通信。
在一些实施方式中，由图像传感器输出的数据信号在被传递到控制器110之前可由图像传感器系统的多路复用器、串行器或其它电部件进行多路复用、串行化或以其 他方式组合。在这样的实施方式中，控制器110还可包括多路分配器、解串器、或用 于将图像数据与每个图像传感器分离使得每个样本孔的图像帧可并行地由控制器110 处理的其他设备或部件。
图2A示出了根据一些实施方式的能够进行FP成像的示例成像系统200的示意图。图2B示出了图2A的成像系统200的横截面透视图。图2A和2B的成像系统200是图 1的成像系统100的物理实现的示例。成像系统200通常包括壳体或外壳202。在一些 实施方式中，外壳202由金属、金属合金或塑料材料形成。在一些实施方式中，外壳 202由光学不透明的材料形成和/或用光学不透明的层喷涂或以其它方式涂覆，以防止 (或“阻挡”或“屏蔽”)环境光或其他外部生成的光照明样本或图像传感器。该光屏 蔽在荧光成像中尤其重要，其中发射光的强度比激发光的强度相对低得多，并且迅速 衰减。
在一些实施方式中，外壳202围绕框架结构204。在所图示的实施方式中，框架结构204提供刚性框架，成像系统200的各个部件可由该刚性框架支撑。在一些实施方 式中，框架结构204由金属、金属合金或塑料材料形成。在一些实施方式中，框架结 构204还由光学不透明材料形成和/或用光学不透明的层喷涂或以其它方式涂覆。在一 些实施方式中，外壳202和框架结构204一体地形成在一起。在一些其他实施方式中， 外壳202和框架结构204通过螺钉、螺栓、铆钉、胶或者其他设备或材料组装在一起， 以便被刚性地固定在一起。在所图示的实施方式中，框架结构204包括对准通孔205， 框架对准杆206穿过该对准通孔205并被定位。在一些实施方式中，框架对准杆206 也由金属、金属合金或塑料材料形成。
在一些实施方式中，照明系统、样本装载系统、光学系统和图像传感器系统中的每一个由外壳202、框架结构204和框架对准杆206中的一个或更多个物理地支撑，以 便被刚性地固定在相对位置并彼此以特定距离固定。在一些实施方式中，照明系统、 样本装载系统、光学系统和图像传感器系统中的每一个包括具有相应的通孔的一个或 更多个基板。例如，照明系统可包括电路板或其它电介质基板212。光源213的阵列(在 图2A或图2B中被隐藏而无法看到，但由箭头被指示为在电路板212下方)可电和物 理地耦合到电路板212之上或之内。光源213的导电引线可经由印刷或以其它方式沉 积在电路板212的第一表面或上表面上的导电迹线与控制器210电耦合，同时光源213 的发光部分可被定向，以使光远离电路板212的第二表面或下表面而朝向光学系统的 透镜辐射。在所图示的实施方式中，控制器210(例如，实现图1的控制器110)被安 装在与光源213相同的电路板212上。在一些其他实施方式中，控制器210可被安装 到单独的电路板上，该单独的电路板与电路板212电耦合并由此电耦合到照明系统。
如上所述，根据具体应用，光学系统可包括一个或更多个透镜阵列，例如1、2、3、 4或更多个透镜阵列。在所图示的实施方式中，光学系统包括两个透镜阵列2161或2162， 该两个透镜阵列中的每个包括透镜2171或2172的阵列被形成、组装或定位到其中的相 应的基板。图像传感器系统可包括电路板或其它电介质基板218。图像传感器219的阵 列可电和物理地耦合到电路板218之上或之中。图像传感器219的有效光敏区域可以 被定向为远离电路板218的第一表面或上表面而朝向光学系统的透镜，同时图像传感 器219的导电引线可经由印刷或以其他方式沉积在电路板218的第二表面或下表面上 的导电迹线与控制器210电耦合，该电路板218连接到通信接口(例如，USB接口)， 该通信接口然后经由电缆与控制器210连接。
在这样的布置中，每个框架对准杆206可在组装期间穿过每个基板212、216和218中的相应的通孔，以沿竖直方向(例如，沿着成像系统200的高度的z方向)使光源 与相应的透镜和图像传感器对准。更具体地，框架对准杆206可确保每个图像传感器 219与一个或更多个堆叠的透镜阵列的每个中的相应透镜对准，并且可确保每个透镜阵 列中的每个透镜彼此对准且与一组一个或更多个光源213对准。外壳202和/或框架结 构204还可包括分别沿着外壳或框架结构的内表面延伸的导向部、肋状物、搁架或其 它支撑机构，以沿着竖直z方向彼此以适当距离物理地支撑各个基板212、216和218。 这样的布置确保了光源213、透镜217和图像传感器219相对于彼此被适当定位，以将 由孔209中的样本散射或发射的光适当地聚焦到图像传感器上，并且如下所述，使得 由光源生成的光的入射角可被精确地确定或以其他方式了解。
如上所述，样本装载系统通常被配置为接收样本阵列，诸如常规或可商购的多孔板208，其包括以多行和多列布置的孔209的矩形阵列。在所图示的实施方式中，样本 阵列208可通过壳体外壳202中的孔槽214被装载并被装载到样本装载系统中的样本 平台215上。样本平台215也可包括通孔，框架对准杆206可通到该通孔中，以确保 样本平台215与图像传感器系统、光学系统和照明系统对准。另外，样本平台215可 包括凸起的导向部或脊或其它对准机构，以确保装载的多孔板208被适当地定向，使 得每个孔209的中心与透镜阵列216中的相应透镜217的中心对准，并且与图像传感 器219的中心对准。在一些实施方式中，样本装载系统还包括门，该门经由滑动机构 或铰链机构与外壳202或与框架结构204联接，使得该门能够被容易地打开和关闭， 从而插入和移除多孔板208。在一些实施方式中，样本装载系统可包括机械、电或机电 的装载和弹出机构，该装载和弹出机构自动地将多孔板208拉入到用于成像的成像系 统中，并在执行完成像之后自动地将多孔板弹出。这样的自动机构可由用户通过输入 设备(诸如键盘或鼠标)电触发，由外壳上的按钮或触摸屏界面触发，或者当控制器 210检测到板正被装载时或当其确定成像操作完成时由控制器自动触发。
图3A示出了根据一些实施方式的具有被定位在其上的多孔板308的示例样本平台305的俯视图。多孔板308包括以多个R行和C列布置的T个样本孔。可商购的多孔 板的示例包括由制造的孔板、由Greiner制造的96W微 板和孔板。在所图示的示例中，多孔板包括以八行和十二列布置的96个孔。 在这样的示例中，每个孔可具有为大约6毫米(mm)的直径。在一些其他实施方式中， 成像系统200可被配置为对其他多孔板格式进行成像，诸如例如，由6个孔、12个孔、 96个孔、384个孔、1536个孔、3456个孔或9600个孔组成的板。在一些示例中，每 个孔具有大约1纳升(nL)至大约100毫升(mL)的范围内的体积，并且在一些更具 体的96孔的示例中，总体积在大约350微升(μL)至大约400μL的范围内，并且典 型的工作体积在大约25μL至大约340μL的范围内。虽然每个孔通常是具有圆形横截 面的圆柱形形状，其具有开放的顶端和封闭的底端，但也可使用其它形状，例如，正 方形或其它矩形横截面是可用的。每个孔被样本可沉积在其上的底表面进一步限定。 在一些示例中，多孔板由诸如热塑性材料(诸如聚苯乙烯)的塑料材料形成。在一些 示例中，多孔板308由玻璃材料形成。在一些示例中，除了孔309的底表面之外的多 孔板的部分还可包括碳。例如，对于荧光生物测定来说，通常期望孔309的侧面是黑 色的以吸收/阻挡外部/环境光，而孔的底部应当是清晰/透明的，以在感兴趣的视觉波 长和荧光波长下照亮。样本平台305可以是透明的或在多孔板下面包括切口部分，以 使光能够从样本通至光学系统的透镜。
图3B示出了根据一些实施方式的示例照明系统的仰视图。如上所述，照明系统通常包括印刷电路板或其它电介质基板312，光源322的阵列可被电和物理耦合到该印刷 电路板或电介质基板之上或之中。如上所述，光源322的发光部分被定向，以使光朝 向光学系统的透镜(并且因此还有孔板的孔中的样本)辐射。作为示例，光源322的 阵列可用LED矩阵来实现。每个光源322可包括一个或更多个LED。例如，在一些实 施方式中，每个光源322包括一组三个或更多个LED(包括红色LED、绿色LED和 蓝色LED)。在诸如图3B中所图示的一些其他实施方式中，每个光源322包括单一LED， 更具体地，包括单一RGB(红色、蓝色、绿色)LED，其包括红色子LED 324a、绿色 子LED 324b和蓝色子LED 324c。换句话说，每个RGB LED实际上具有3个半导体 光源；一个红色，一个蓝色和一个绿色。无论是作为一组三种不同的红色、绿色和蓝 色LED来实现还是作为单一RGB LED来实现，每个光源322都能够通过改变红光、 绿光和蓝光的强度(例如，响应于由控制器提供的特定电压信号)来产生任何可见颜色的光。另外或可替代地，每个光源322还可包括用于生成在不可见的光谱部分中的 光(诸如，红外光或紫外光)的LED。
在一些实施方式中，每个光源322占据小于1mm×1mm的占用面积。在被配置为 对96孔板进行成像的实施方式中，每个孔之间的中心到中心的距离(或“间距”)可 以是9mm，而每个光源322之间的中心到中心的距离可以是3mm。这意味着邻近相邻 的孔的中心之间将有三个光源的空间。该布置和LED与孔的比例确保了多个光源322 能够照明样本-每个光源以不同的入射角照明样本。在一些示例实施方式中，期望确保 为每个孔获得足够数量n的不同入射角的不同光源322的数量L可根据以下方程1得 出。
其中，n是入射角的所需数量，以及m是代表指示光源密度与孔密度的比例的比 例因子的数。
在所图示的96孔的实施方式中，其中，孔的行数R为8，孔的列数C为12，并且 取n为49，m为3，光源322的数量L为1120(例如，以28行和40列布置的1120 个RGB LED)。在一些实施方式中，照明系统还可包括安装在侧面的光源(例如，高 功率LED，未示出)，其用于增加用于荧光成像扫描的激发信号的强度，从而又增加由 样本内的荧光团发射的发射信号的强度。
图3C示出了根据一些实施方式的示例透镜阵列316的俯视图。类似于图2B的透 镜阵列，图3C的透镜阵列包括包含透镜326的阵列的基板。如上所述，光学系统包括 至少一个透镜阵列316，并且在各个实施方式中，包括竖直对准(或“堆叠”)布置的 至少两个(例如，2、3、4或更多个)透镜阵列。如上所述，在多透镜阵列的实施方式 中，每个透镜阵列316中的每个透镜326与其他透镜阵列316的每个中的相应的一个 透镜326竖直对准。透镜阵列316的数量和每个透镜阵列中的透镜326的类型可针对 特定应用进行优化。通常，给定透镜阵列316内的每个透镜326将与阵列内的所有其 它透镜相同，而与其它透镜阵列中的所有其它透镜不同。在一些实施方式或应用中， 与每个孔对准或以其他方式相关联的组合透镜组可具有在大约0.05至大约0.6范围内 的数值孔径(NA)。
图4A示出了根据一些实施方式的包括三个透镜的示例光学布置400的一部分的图。 通常，布置400表示针对多孔板的一个孔对准和定位的透镜。因此，多孔板的每个孔 将包括相同的布置400，其中每个布置的每个元件在阵列级下被设置有相同元件。在所 图示的表示中，布置400的顶线402表示样本在孔内(在孔的内底面之上或以上)的 位置，而元件404表示孔的底部(在孔的内底面和孔板的外底面之间)。元件406a表 示第一透镜阵列的第一透镜元件，元件406b表示第二透镜阵列的第二透镜元件，以及 元件406c表示第三透镜阵列的第三透镜元件。透镜406a、406b和406c的组被配置为 将光聚焦到相应的图像传感器408的有效表面上。在图4A中穿过各个透镜和其它元件 的线表示源自样本的不同区域的光线。在所图示的实施方式中，光学布置400还包括 光学滤波器410的一部分，例如，以在荧光成像应用中用于过滤激发信号波长的光。 如上所述，在各个实施方式中，光学滤波器通常可被定位在多孔板和成像系统之间的 任何位置，包括在各个透镜阵列之间。
图4B示出了根据一些实施方式的包括四个透镜的示例光学布置401的一部分的图的放大视图。布置401类似于图4A中所示的布置400，例如，具有表示样本的位置的 顶线412和表示孔的底部的元件414。然而，在图4B的实施方式中，光学布置401包 括四个透镜：表示第一透镜阵列的第一透镜元件的元件416a、表示第二透镜阵列的第 二透镜元件的元件416b、表示第三透镜阵列的第三透镜元件的元件416c以及表示第四 透镜阵列的第四透镜元件的元件416d。透镜416a、416b、416c和416d的组被配置为 将光聚焦到相应的图像传感器(未示出)的有效表面上。在所图示的实施方式中，光 学布置401还包括光学滤波器420的一部分，例如，以在荧光成像应用中用于过滤激 发信号波长的光。
此外，透镜阵列和相应透镜的数量和类型通常可取决于应用。作为示例，在其中成像系统可用在绿色荧光蛋白(GFP)成像中的实施方式中，诸如图4B中所示的光学 布置的光学布置是非常适合的，例如，提供了比诸如图4A中所示的光学布置的三透镜 阵列的布置更好的结果。通常，每个透镜的透镜特性可针对不同的波长来特别设计。
返回参照图3C，在一些实施方式中，每个透镜阵列316由一整块材料形成。例如，透镜阵列316可以通过注塑成型或三维(3D)印刷工艺形成。传统上，这样的透镜将 不具有足够低的几何像差来实现以并行地同时对大量的孔进行成像所需的规模对相对 宽的视场进行高分辨率成像。然而，多个透镜阵列的使用，以及因此用于每个孔的多 个透镜的使用，可至少部分地抵消几何像差的影响。通常，用于每个孔的透镜越多， 那些透镜中的几何像差可被消除的就越多。另外，如本文中所描述的FP技术可用于进 一步校正任何像差或者移除其它图像伪影，实现了高分辨率图像的重建。
在针对荧光成像应用而设计的实施方式中，光学系统还包括光学滤波器220，该光学滤波器220位于多孔板208的底表面和图像传感器系统之间。光学滤波器220阻挡 来自照明系统的激发光(以及未由多孔板内的样本中的荧光团发射的任何其它光)照 射图像传感器系统的图像传感器219。继续以上示例，对于GFP成像来说，光学滤波 器应是绿色滤波器，也就是使可见光谱的绿色部分中的光的波长通过的滤波器。激发 信号光应为更高能量的光，在特别应用中，应为蓝光。这是因为绿色荧光蛋白吸收光 谱的蓝色部分中的光，并发射在光谱的绿色部分中的光。然后，绿色滤波器使发射的 光能够穿过到达图像传感器，同时阻挡激发光。在一些实施方式中，激发光也可在采 集图像数据之前立即被关闭。
在一些实施方式或应用中，用于FP成像的明场照明的波长范围落在光学滤波器220的通带内，使得光学滤波器让来自光源322的穿过孔中的样本的光经过。在这种情 况下，图像传感器可采集唯一照明的明场图像的序列，同时使滤波器220处在适当位 置。继续以上示例，GFP样本的明场FP成像可用绿光来执行。在一些其他情况下，来 自光源322的明场照明的波长范围没有落在光学滤波器220的通带内。换句话说，在 其中在FP成像期间将光学滤波器保持在成像系统内是必要或期望的情况下，明场FP 成像应使用与用在荧光成像中的滤波器相同或类似颜色的光来执行，否则滤波器应在 FP图像采集过程期间被移除。在一些实施方式中，光学滤波器可被容易地移除和/或可 用能够过滤和通过不同波长的光的一个或更多个不同的光学滤波器替换。例如，光学 滤波器220可被插入到外壳202中的另一孔槽中。在这样的实施方式中，明场FPM成 像可用不同颜色的光或用白光来执行。
在一些实施方式中，光学滤波器由玻璃或塑料材料制成，并且呈矩形固体的形状，其具有大得足以提供对所有由样本散射或发射的光和入射在光学系统的透镜上的光的 过滤的宽度(沿着x轴)和长度(沿着y轴)。在单通道荧光成像应用中，可使用单带 通滤波器或低通滤波器；对于多通道荧光成像应用，可使用多带滤波器。如上所述， 由于光学滤波器220不影响光的路径，因此光学滤波器220可被定位在多孔板208的 底表面和图像传感器系统的图像传感器209之间的任何位置。
图3D示出了根据一些实施方式的示例图像传感器系统的俯视图。类似于图2B的图像传感器系统，图3D的图像传感器系统包括电路板或其它电介质基板318，以R行 和C列布置的T个图像传感器328的阵列可被电和物理地耦合到该电路板或其它电介 质基板318上。在一些实施方式中，每个图像传感器328具有相应样本孔的直径在 0.5mm至6mm范围内的视场(FOV)，并且在一个说明示例实施方式中，具有1mm直 径的FOV。在一些实施方式中，每个图像传感器328还能够以0.5μm至5μm的空间分 辨率(在随后的FP处理之前)捕获原始图像。如上所述，图像传感器328的有效光敏 区域可以被定向为远离电路板318的第一表面或上表面而朝向光学系统的透镜，同时 图像传感器328的导电引线可经由印刷或以其他方式沉积在电路板318的第二表面或 下表面上的导电迹线并经由与控制器210连接的通信接口(例如，通用串行总线(USB) 接口)与控制器210电耦合。在一些实施方式中，每个图像传感器是有源像素传感器 (APS)设备，诸如基于CMOS的APS相机。
在一些实施方式中，由每个图像传感器捕获的原始图像数据通过高速数据传输通道(例如，以大于5Gb/s的数据速率)被传输到控制器210。在一些实施方式中，图像 传感器系统还包括液体冷却系统，其使冷却的液体在围绕图像传感器的表面周围循环。 III.可变照明傅立叶重叠关联成像方法
如上所述，成像系统100和200能够并行地对整个多孔板的每个样本孔和所有样本孔进行FP图像采集。在特定实施方式中，成像系统100和200还能够并行地对整个 多孔板的每个样本孔和所有样本孔进行荧光图像采集。图像采集(采样)时间是指每 个图像传感器的曝光持续时间期间的时间，在这期间每个图像传感器测量光强度分布 以捕获多孔板的各个孔的强度图像。FP成像过程通常包括原始图像采集(数据收集) 阶段(或“过程”)和FP重建阶段(或“过程”)。在FP图像采集过程期间，控制器使 照明系统接通光源的特定子集或图案。例如，FP图像采集过程可包括多个扫描操作(或 “扫描”)，其中每次扫描包括通过图像传感器系统中的每个图像传感器进行的相应图 像采集。每次扫描与光源的不同照明图案相关联。在整个FP图像采集过程的进程中， 图像传感器阵列中的每个图像传感器采集s个强度明场图像(对应于s次扫描)，同时 照明系统的光源从n个不同(唯一)的相应的照明入射角提供对每个孔的平面波照明。 在每次扫描期间，每个图像传感器基于光源的特定照明图案来采集图像。通常，扫描 的次数s可等于每个孔所需的唯一照明入射角的数量n。通过这种方式，假设n为固定 值，扫描次数与多孔板中的孔的数量T无关。
图5示出了说明根据一些实施方式的用于对多孔板进行成像的示例FP成像过程500的流程图。例如，过程500可使用以上根据图1-图4A和图4B所描述的系统、设 备和布置来执行。在一些实施方式中，控制器110被配置为执行FP成像过程500的一 个或更多个操作。在一些实施方式中，FP过程500开始于操作502，其中将多孔板装 载到成像系统中。在操作504中，控制器初始化照明系统和图像传感器系统。在操作 504中，初始化照明系统可包括从非易失性存储器获取照明图案信息，并将所获取的照 明图案信息加载到易失性存储器中，以随后在执行一系列顺序扫描操作中使用。在操 作504中，初始化图像传感器系统可以包括上电或以其它方式准备图像传感器，以接 收光并生成图像数据。在一些实施方式中，在操作504中，初始化照明系统和图像传 感器系统还可包括校准操作，以确定将照明每个孔的入射角的实际值。
初始化后，控制器执行第s次扫描(其中，s是介于1和n之间(包括1和n)的 整数，以及其中，n是入射角的数量)。如上所述，在每次扫描期间，控制器使照明系 统产生唯一的照明图案，并使得图像传感器系统捕获/采集每个孔的图像。在一些实施 方式中，每次扫描可作为子操作的序列来执行或概念化。例如，每次扫描可包括操作 506、508、510(并且在一些情况下还有操作512)的序列。在块506中，控制器使照 明系统用第s个唯一照明图案来照明多孔板。
图6A示出了根据一些实施方式的在第一扫描期间根据第一照明图案照明的孔309和光源322的示例布置的图。在所图示的实施方式中，第一照明图案被配置或以其他 方式适合于96孔板。如所示，虽然在所图示的实施方式中，每个孔309可由光源322 中的多个相应的光源照明，但在第一扫描期间只有被定位在第1、第8、第15和第22 行与第1、第8、第15、第22、第29和第36列的交点处的光源322在第一照明图案 中被照明。因此，在所图示的96孔的实施方式中，只有24个光源322在第一扫描期 间接通(这些光源被示出为白色圆圈，而未接通的光源被示出为全黑色)。因此，在所 图示的实施方式中，在每次扫描中实际上只有一个可照明特定孔的光源照明孔。例如， 图6A还示出了该布置的一部分的放大特写视图，其仅示出可照明给定孔609的那些光 源322(在所图示的实施方式中有49个光源)。如所示，在每次扫描期间，可能的光源 622中只有一个实际上照明孔。在一些实施方式中，随着扫描在图像采集阶段期间在整 个一系列图像采集中继续进行，照明图案以类似光栅的图案顺序地改变。
例如，图6B示出了在第二扫描期间根据第二照明图案照明的图6A的布置。在第 二照明图案中，只有被定位在第1、第8、第15和第22行与第2、第9、第16、第23 和第30列的交点处的光源322被照明。在这样的实施方式中，照明图案在每个连续的 扫描期间向右移动一列，直到第七列被照明为止，此时，照明图案向下移动到下一行 并返回到第一列以用于下次扫描。然后，过程重复，直到在第n(第49)次扫描中到 达第7行的第7列为止。通过图示，图6C示出了在第七扫描期间根据第七照明图案照 明的图6A的布置。在第七照明图案中，只有被定位在第1、第8、第15和第22行与 第7、第14、第21、第28和第35列的交点处的光源322被照明。图6D示出了在第 八扫描期间根据第八照明图案照明的图6A的布置。在第8照明图案中，只有被定位在 第2、第9、第16和第23行与第1、第8、第15、第22、第29和第36列的交点处的 光源322被照明。图6E示出了在第42扫描期间根据第42照明模式照明的图6A的布 置。在第42照明图案中，只有被定位在第7、第14和第21行与第1、第8、第15、 第22、第29和第36列的交点处的光源322被照明。最后，图6F示出了在第49扫描 期间根据第49照明图案照明的图6A的布置。在第49照明图案中，只有被定位在第7、 第14和第21行与第7、第14、第21、第28和35列的交点处的光源322被照明。
光学系统的透镜接收(或“收集”)在每次扫描期间由相应样本散射的光或以其他方式从相应样本发出的光，并将所接收的光聚焦到图像传感器系统的图像传感器上。 虽然在每次扫描期间光的接收和聚焦通常由无源元件(光学系统的透镜)执行，但光 路径的这一部分仍被称为操作508。在操作510中，每个图像传感器接收由光学系统的 相应透镜(或透镜组)聚焦的光，基于所聚焦的光来采集图像数据。在操作512中， 图像数据可被储存在可由控制器的处理器快速访问的易失性存储器或用于长期储存的 非易失性存储器中的一个或二者中。如上所述，图像数据表示在扫描的曝光时间期间 获得的强度分布(在特定扫描期间由特定图像传感器采集的图像数据被称为“图像帧” 或简称为“图像”)。在一些实施方式中，每次扫描需要小于约1ms，使得对整个多孔 板的所有n次扫描在少于1秒内完成。
在一些实施方式中，多路复用方法可用于进一步减少总扫描时间-为获得n个入射角的图像数据所需的时间。在一个多路复用实施例中，每个孔周围的多个光源在捕获 每个孔的每个原始图像期间可同时以唯一图案接通。使用多路复用过程，与每个照明 角度相关联的强度数据可以与捕获的原始图像分离。通过这种方式，每个孔需要少于n 次的扫描。多路复用过程的示例可在于2015年12月4日提交的题为“MULTIPLEXED FOURIERPTYCHOGRAPHY IMAGING SYSTEMS AND METHODS”的美国专利申请 号14/960,252中找到，其由此通过引用以其整体并入。
在操作514中，处理器(例如，控制器的处理器)确定所有n次扫描是否已经完 成。如果还有剩余的扫描待完成，则在操作516中递增地更新s，使得下个扫描(第(s+1) 个扫描)然后使用下个(第(s+1)个)照明图案来执行。当所有扫描完成时，处理器 (例如，控制器的处理器)执行并行重建过程，以在操作518中并行重建(或“生成”) 每个样本的改进(更高)的分辨率图像。在FP重建过程期间，每个样本孔的n个强度 图像在傅立叶域中被迭代组合，以生成更高分辨率的图像数据。在每次迭代中，滤波 器针对特定的平面波入射角被应用在傅立叶域中，应用傅立叶逆变换以生成较低分辨 率图像，较低分辨率图像的强度被强度测量值替换，应用傅立叶变换，并更新傅立叶 空间中的相应区域。通常，重建过程包括使用角分集来恢复复杂样本图像的相位复原 技术。该恢复过程交替执行在空间域中采集的已知图像数据和在傅立叶域中的固定约 束。该相位复原恢复可使用例如交替的投影过程、问题的凸改写或二者之间的任何非 凸变型来实现。代替需要通过机械装置横向地平移样本，重建过程改变傅立叶域中的 谱约束，以将傅立叶通带扩展到超过单一捕获图像的通带，以恢复更高分辨率的样本 图像。
FP重建过程的两个示例以下根据图7和图8详细地进行讨论。在一些实施方式中，控制器然后使显示器显示每个孔的重建图像。图7示出了根据一些实施方式的示例FP 重建过程700(也被称为“算法”)的流程图。在一些实施方式中，控制器110被配置 为执行FP重建过程700的一个或更多个操作。使用该FP重建过程，每个样本孔中的 每个样本的改进分辨率的图像根据针对每个样本获得的n个低分辨率强度分布测量值 Ilm(ki x,ky i)(按照它们的照明波矢量，kx i,ky i，进行索引，其中i＝1,2...n)而得以重建， 诸如在图5中所图示并根据其进行描述的过程500的操作506、508和510期间所采集 的n个原始强度图像。
在一些实施方式中，FP重建过程700开始于操作701，其中初始化空间域中的高 分辨率图像解应用傅立叶变换来获得初始化的傅立叶变换的图像在一些 实施方式中，初始的高分辨率解基于样本位于离焦平面z＝z0的假设来确定。在一些其 他实施方式中，使用(对于强度和相位二者的)随机复矩阵来确定初始解。在一些实 施方式中，使用具有随机相位的低分辨率强度测量值的内插来确定初始解。在一些实 施方式中，初始解的示例使用并使用从样本区的任意低分辨率图像内插的Ih。在 一些实施方式中，初始解的示例使用常数值。不管怎样，初始解的傅立叶变换可以是 在傅立叶域中的广谱。
在以下所描述的迭代操作710、720、730、740、750、760和770中，每个样本的 高分辨率图像通过在傅立叶空间中迭代地组合低分辨率强度测量值来重建。在一些实 施方式中，如果样本离焦量为z0，则可执行操作720和740。
在710，处理器在傅立叶域中执行对高分辨率图像的低通过滤，以针对具有波矢量(kx i,ky i)的特定平面波入射角(θx i,θy i)生成低分辨率图像高分辨率图像的傅立叶变换是并且特定的平面波入射角的低分辨率图像的傅立叶变换是在傅 立叶域中，重建过程将低通区域从高分辨率图像的频谱中滤除。低通区域是 半径为NA*k0的圆形孔径，其中k0等于2π/λ(真空中的波数)，由IRI系统的第一物镜 的相干传递函数给出。在傅立叶空间中，该区域的位置对应于当前迭代期间的照明角 度。对于具有波矢量(kx i,ky i)的倾斜平面波入射，该区域以的傅立叶域中的位置 (-kx i,-ky i)为中心。
在可选操作720中，使用处理器，低分辨率图像在傅立叶域中被传播至z＝0处的对焦平面，以确定在聚焦位置处的低分辨率图像：在一个实施例中，操 作720通过对低分辨率图像进行傅立叶变换、乘以傅立叶域中的相位因子以及 傅立叶逆变换来执行以获得在另一实施例中，操作720通过用散焦的点扩散 函数卷积低分辨率图像的数学上等效的操作来执行。在另一实施例中，操作720 通过在执行傅立叶逆变换来产生之前使乘以傅立叶域中的相位因子，来作为 操作710的可选子操作来执行。如果样本位于对焦平面(z＝0)上，则通常不需要包括 可选操作720。
在操作730，使用处理器，在对焦平面处的低分辨率图像的计算的振幅分量用由IRI系统的光检测器测量的低分辨率强度测量值的平方根替代。这就 形成了更新的低分辨率的目标:
在可选操作740，使用处理器，更新的低分辨率图像可反向传播到样本平面(z＝z0)以确定如果样本位于对焦平面上，也就是说，其中z0＝0，则不 需要包括可选操作740。在一个实施例中，操作740可通过采取更新的低分辨率图像 的傅立叶变换和在傅立叶空间中乘以相位因子并随后对其进行傅立叶逆变 换来执行。在另一实施例中，操作740通过用散焦的点扩散函数卷积更新的低分辨率 图像来执行。在另一实施例中，操作740通过在对更新的目标图像执行傅立 叶变换后乘以相位因子来作为操作750的子操作来执行。
在操作750，使用处理器，傅立叶变换应用于被传播到样本平面的更新的目标图像： 并且该数据在对应于入射波矢量(kx i,ky i)的傅立叶空间中的高分辨率解的相应区域中被更新。在操作760，处理器确定针对所有n个唯一照明的低分 辨率强度图像是否完成了操作710到760。如果针对所有图像尚未完成操作710到760， 则对下个图像重复操作710到760。
在操作770，处理器确定高分辨率解是否收敛。在一个示例中，处理器确定高分辨率解是否收敛到自洽解。在一种情况下，处理器将先前迭代或初始猜测的先前高分辨 率解与当前高分辨率解进行比较，并且如果差值小于某一值，则确定该解收敛到自洽 解。如果处理器在操作770确定解还未收敛，则重复操作710到760。在一个实施例中， 操作710到760被重复一次。在其它实施例中，操作710到760被重复两次或更多次。 如果解已经收敛，则处理器将傅立叶空间中的收敛的解变换至空间域以恢复改进分辨 率图像并且FP重建过程结束。
图8示出了根据一些实施方式的另一示例FP重建过程800(也被称为“算法”) 的流程图。在一些实施方式中，控制器110被配置为执行FP重建过程800的一个或更 多个操作。使用这种FP重建过程，每个样本孔中的每个样本的改进的分辨率图像根据 针对每个样本获得的n个低分辨率强度分布测量值Ilm(ki x,ky i)(按照其照明波矢量kx i,ky i索引，其中i＝1,2...n)重建，诸如在参考图5所示和根据图5描述的过程500的操作 506、508和510期间获取的n个原始强度图像。
在该示例中，FP重建过程包括数字波前校正。FP重建过程将数字波前补偿并入在两个乘法操作805和845中。具体地，操作805通过由处理器乘以光瞳函数来 对实际样本轮廓和捕获的强度数据(其包括像差)之间的连接进行建模。操作845反 转这样的连接，以实现无像差重建的图像。样本散焦实质上等同于将散焦相位因子(即， 散焦像差)引入到光瞳平面：
其中，kx和ky是光瞳平面处的波数，z0是散焦距离，以及NA是第一物镜的数值 孔径。
在一些实施方式中，FP重建过程800开始于操作801，其中初始化在空间域中的 高分辨率图像解应用傅立叶变换来获得初始化的傅立叶变换的图像在一 些实施方式中，初始高分辨率解基于样本位于离焦平面z＝z0的假设来确定。在一些其 他实施方式中，使用(对于强度和相位二者的)随机复矩阵来确定初始解。在一些实 施方式中，使用具有随机相位的低分辨率强度测量值的内插来确定初始解。在一些实 施方式中，初始解的示例使用并使用从样本区的任意低分辨率图像内插的Ih。在 一些实施方式中，初始解的示例使用常数值。不管怎样，初始解的傅立叶变换可以是 在傅立叶域中的广谱。
在805、810、830、845、850、860和870的迭代操作中，样本的高分辨率图像通 过在傅立叶空间中迭代地组合低分辨率强度测量值来在计算上进行重建。
在操作805中，处理器乘以傅立叶域中的相位因子在操作810中，处 理器在傅立叶域中执行对高分辨率图像的低通过滤，以针对具有波矢量(kx i,ky i) 的特定平面波入射角(θx i,θy i)生成低分辨率图像高分辨率图像的傅立叶变换是并且特定的平面波入射角的低分辨率图像的傅立叶变换是在傅立叶域中，过程将低 通区域从高分辨率图像的频谱中滤除。该区域是半径为NA*k0的圆形孔径， 其中，k0等于2π/λ(真空中的波数)，由第一物镜的相干传递函数给出。在傅立叶空间 中，该区域的位置对应于入射角。对于具有波矢量(kx i,ky i)的倾斜平面波入射，该区域 以的傅立叶域中的位置(-kx i,-ky i)为中心。
在操作830中，使用处理器，在对焦平面的低分辨率图像的计算的振幅分量用由IRI系统的光检测器测量的低分辨率强度测量值的平方根替代。这就 形成了更新的低分辨率的目标：在操作845中，处理器乘以在傅立叶域中 的逆相位因子在操作850，傅立叶变换被应用于被传播到样本平面的更新 的目标图像：并且该数据在对应于入射波矢量(kx i,ky i)的傅立叶空间中的高分 辨率解的相应区域中被更新。在操作860中，处理器确定操作805到850是否 针对所有n个唯一照明的低分辨率强度图像完成。如果操作805到850还未完成所有n 个唯一照明的低分辨率强度图像，则对下个图像重复操作805到850。
在操作870中，处理器确定高分辨率解是否收敛。在一个示例中，处理器确定高 分辨率解是否收敛到自洽解。在一种情况下，处理器将先前迭代或初始猜测的先前高 分辨率解与当前高分辨率解进行比较，并且如果差值小于某一值，则解收敛到自洽解。 如果处理器确定解还未收敛，则重复操作805到870。在一个实施例中，操作805到 870被重复一次。在其它实施例中，操作805到870被重复两次或更多次。如果解已经 收敛，则处理器将在傅立叶空间中的收敛的解变换至空间域以恢复高分辨率图像 并且FP重建过程结束。
示例FP重建过程的附加细节可在Zheng，Guoan、Horstmeyer、Roarke和Yang，Changhuei的“Wide-field,high-resolution Fourier ptychographic microscopy”Nature Photonics第7卷的第739-745页(2013)中和于2013年10月28日提交的题为“Fourier Ptychographic Imaging Systems,Devices,and Methods”的美国专利申请14/065,280中找 到，它们在此通过引用以其整体并入本文并用于所有目的。
图9示出了描绘用于确定多孔板的每个孔的入射角的示例校准过程900的操作的流程图。例如，校准过程900可在参照图5所描述的过程500的块504中的初始化过 程期间执行。在块921中，控制器使照明系统照明中心光元件(例如，光源322中的 相应光源)，该中心光元件对应于为校准过程900选择的至少一个孔，并且在一些实施 方式中，对应于多个孔或甚至所有孔。在一些实施方式中，例如，控制器使照明系统 仅对多孔板的四个角中的那些孔或仅对一个或更多个特定列和特定行中的那些孔照明 中心光元件。在一个实施例中，控制器通过顺序地接通光元件并捕获每个光元件照明 的图像来确定中心光元件。中心光元件基于在通过多个光元件的照明期间所捕获的最 高强度图像来确定。
在块922中，控制器使为校准过程900选择的相应图像传感器中的每个在通过中心光元件的照明期间捕获晕映单色图像。在一些实施方式中，图像然后被转换为黑色 和白色。如果在光元件和图像传感器之间存在未对准，则图像的中心从图像传感器的 中心偏移。在块923中，图像的中心被确定。在块924中，图像中心的偏移沿着x轴 方向(x-偏移)和沿y轴方向(y偏移)测量。在操作925，中心光元件的位移，使用 查找表或绘图基于图像的x偏移和y偏移来确定。查找表/绘图提供了与不同的x偏移 和y偏移的值相关联的中心光元件的不同位移。一旦根据查找表/绘图确定了中心光元 件的位移，与可变照明源中的光元件相关联的照明角度可基于可变照明源的几何形状 来确定。在块926中，与FP照明相关联的n个照明角度的精确值是使用中心光元件的 位移来确定。
图10A示出了根据一个示例的在通过LED矩阵的中心LED的照明期间所捕获的 晕映单色图像。图10B是图10A的图像的转换的黑白版本。在该示例中，黑白图像的 中心1022位于与图像传感器的中心1033相同的位置，并且LED位置与CMOS相机的 成像传感器良好对准。图10C示出了根据另一示例的在通过LED矩阵的中心LED的 照明期间所捕获的图像。在图10C中所示的示例中，在中心LED和图像传感器之间存 在未对准。更具体地，在图像的中心1032和图像传感器的中心1033之间有偏移。甚 至更具体地，在x方向上有偏移(像素偏移X)并且在y方向上有偏移(像素偏移Y)。 图11示出了根据实施例的与图像中心1032相对于图像传感器中心1033的x偏移和y 偏移相关联的LED位移的查找曲线图。在该示例中，查找表通过使LED矩阵相对于 图像传感器移动已知量并确定与LED位移相关联的图像中心的不同偏移来完成。
图12示出了说明根据一些实施方式的用于对多孔板进行成像的示例荧光成像过程 1200的流程图。例如，过程1200也可使用以上根据图1-图4A和图4B所描述的系统、 设备和布置来执行。在一些实施方式中，控制器110被配置为执行荧光成像过程1200 的一个或更多个操作。在一些实施方式中，荧光成像过程1200开始于操作1202，其中 将多孔板装载到成像系统中。在一些其它实施方式中，荧光成像过程1200可在FP成 像过程500结束之后立即(或不久)自动执行。在一些其他实施方式中，荧光成像过 程1200可在操作502和506之间开始。
在操作1204中，控制器初始化照明系统和图像传感器系统。在操作1204中初始 化照明系统可包括从非易失性存储器中获取照明信息(诸如激励信号的波长)，并将所 获取的照明信息加载到易失性存储器中，以用于随后在执行成像中使用。在操作1204 中，初始化图像传感器系统可以包括上电或以其它方式准备图像传感器，以接收光并 生成图像数据。
在操作1206中，控制器使照明系统用激发光来照明多孔板。如上所述，在操作1206中，所有光源322可在特定波长或特定波长范围内同时接通。样本中的荧光团由激发 光激活，并发射另一波长范围的光(发射物)(例如，蓝光、绿光或红光)。
光学系统的透镜接收(或“收集”)由相应样本发射的光，并将所接收的光聚焦到图像传感器系统的图像传感器上。光学滤波器对光进行过滤，使得只有由荧光团发射 的光被传播到图像传感器。虽然光的接收、聚焦和过滤通常由无源元件(光学系统的 透镜和滤色镜)执行，但光路径的这一部分仍被称为操作1208和1210。在操作1212 中，每个图像传感器接收由光学系统的相应透镜(或透镜组)聚焦的光，并基于聚焦 的光采集荧光图像数据。在操作1214中，图像数据可被储存在可由控制器的处理器快 速访问的易失性存储器或用于长期储存的非易失性存储器之一或二者中。如上所述， 图像数据表示在曝光时间期间获得的强度分布。
在一些实施方式中，在操作1216中，处理器确定是否实现了期望的强度。如果还未实现期望的强度，则操作1206到1214可重复多次，并且在操作1218中，针对每个 样本孔的所得到的采集的荧光图像数据可被添加或以其他方式组合在一起，以获得每 个样本孔的期望的强度图像。
在一些实施方式中，对于多频带、多通道的实施例，可对光谱的多个区域(被称 为“带”)中的每个重复操作1206到1214多次，并且在一些实施方式中，使用不同的 滤波器来重复操作1206到1214。
在一些实施方式中，控制器通过覆盖由荧光成像过程1200生成的荧光图像和由FP成像过程500生成的高分辨率明场图像来生成样本的组合的荧光和高分辨率的明场图 像。在另一方面中，处理器通过覆盖由荧光成像过程生成的荧光图像和在FP成像过程 的采集过程期间捕获的低分辨率明场图像来生成样本的组合的荧光和低分辨率明场图 像。在另一方面中，处理器基于FP成像过程中的相位数据生成样本的高分辨率相位图 像。
在一些实施方式中，本文中所描述的成像系统还可实现延时成像或其它长期成像。 例如，成像过程500和1200可以按间隔重复，诸如例如，一小时间隔、两小时间隔、 一天间隔等。成像方法可以在设定的一段时间内(例如，一周、两周、一个月、两个 月等)按间隔继续重复每个成像运行，或者可运行直到操作者停止成像方法为止。在 一些实施方式中，当该长期成像继续进行时，成像系统可以位于培养箱内。
在本公开中描述的对实施方式的各种修改对于本领域中的技术人员来说可以是明 显的，并且在不脱离本公开的精神或范围的情况下，本文中所定义的一般原理可以应用于其他实施方式。因此，权利要求不旨在限于本文中所示的实施方式，而是旨在被 给予与本文中所公开的公开内容、原理和新颖特征一致的最宽范围。
另外，在单独实施方式的上下文中本说明书中所描述的特定特征也可在单一实施方式中组合实现。相反，在单一实施方式的上下文中所描述的各种特征也可单独或以 任何合适的子组合在多个实施方式中实现。此外，虽然以上的特征可被描述为在特定 组合中起作用以及甚至最初这样要求保护的，但来自要求保护的组合中的一个或更多 个特征在某些情况下可从组合中删除，并且所要求保护的组合可针对子组合或子组合 的变型。
类似地，虽然各种操作(在本文中也被称为“块”)在附图中按照特定顺序描绘， 但是这不应被理解为要求以所示的特定顺序或以序列顺序执行这样的操作，或者执行 所有图示的操作，以实现期望的结果。另外，附图可以以流程图的形式示意性地描绘 一个或更多个示例过程。然而，未描绘的其他操作可并入示意性图示的示例过程中。 例如，一个或更多个附加操作可在所图示的任何操作之前、之后、同时或其间执行。 此外，以上所描述的实施方式中的各种系统部件的分离不应被理解为在所有实施方式 中需要这样的分离。另外，其他实施方式在下面的权利要求的范围内。在一些情况下， 权利要求中所列举的动作能够以不同的顺序执行，并且仍然实现期望的结果。
本领域中的普通技术人员还将理解，以上所描述的各种功能、操作、过程、模块 或部件可按照模块或集成的方式使用计算机软件以控制逻辑的形式来实现。基于本文 中所提供的公开内容和教导，本领域中的普通技术人员将知道并且认识到用于使用硬 件以及硬件和软件的组合来实现本发明的其它方式和/或方法。
本申请中所描述的任何软件部件或功能可被实现为要由处理器使用任何合适的计 算机语言(诸如例如，使用例如常规的或面向对象的技术的Java、C++或Perl)来执行 的软件代码。软件代码可被储存为一系列指令，或在CRM上的命令，诸如随机存取存 储器(RAM)、只读存储器(ROM)、诸如硬盘驱动器或软盘的磁性介质或者诸如 CD-ROM的光学介质。任何这样的CRM可驻留在单一计算装备之上或之内，并且可 存在于系统或网络内的不同计算装备之上或之内。

Claims (10)

1.一种成像系统，包括：
照明系统，所述照明系统包括光源的阵列；
光学系统，所述光学系统包括一个或更多个透镜阵列，所述透镜阵列中的每个包括透镜的阵列，所述一个或更多个透镜阵列中的每个透镜阵列中的透镜中的每个透镜与所述光源的阵列中的相应的一组光源对准；
成像系统，所述成像系统包括图像传感器的阵列，所述图像传感器中的每个与所述一个或更多个透镜阵列中的相应的透镜或透镜组对准，所述图像传感器中的每个被配置为基于从所述相应的透镜或透镜组接收的光来采集图像数据；
板接收器系统，所述板接收器系统能够接收包括孔的阵列的多孔板，所述板接收器系统被配置为使所述孔中的每个与所述图像传感器中的相应的图像传感器对准；以及
控制器，所述控制器被配置为控制所述光源的照明和通过所述图像传感器的对图像数据的采集，所述控制器还被配置为执行：
包括多次扫描的图像采集过程，每次扫描与唯一的照明图案相关联，所述图像传感器中的每个被配置为在每次扫描期间生成所述孔中的相应孔的图像；以及
图像重建过程，在所述图像重建过程期间，所述控制器执行傅立叶重叠关联操作，以基于在所述扫描中的每个期间针对所述相应孔所捕获的图像数据来生成所述孔中的每个孔的重建图像。
2.如权利要求1所述的成像系统，其中，所述控制器被配置为使所述照明系统用n个连续唯一的照明图案来照明所述多孔板，所述扫描中的每个与所述照明图案中的不同的照明图案相关联。
3.如权利要求2所述的成像系统，其中，每个孔在每次扫描期间由一个并且只有一个光源照明。
4.如权利要求1所述的成像系统，其中，所述孔中的每个被对准以接收来自所述光源中的一组n个光源的光。
5.如权利要求1所述的成像系统，其中，所述控制器执行所述傅立叶重叠关联操作，以并行生成所述孔中的每个孔的重建图像。
6.如权利要求1所述的成像系统，其中，所述控制器还被配置为执行荧光成像。
7.如权利要求6所述的成像系统，还包括用于过滤激发光并用于使发射的光通过的滤波器。
8.一种由成像系统执行的成像方法，所述成像系统包括含有光源的阵列的照明系统；包括一个或更多个透镜阵列的光学系统，所述透镜阵列中的每个包括透镜的阵列，所述一个或更多个透镜阵列中的每个透镜阵列中的透镜中的每个透镜与所述光源的阵列中的相应的一组光源对准；包括图像传感器的阵列的成像系统，所述图像传感器中的每个与所述一个或更多个透镜阵列中的相应的透镜或透镜组对准，所述图像传感器中的每个被配置为基于从所述相应的透镜或透镜组接收的光来采集图像数据；板接收器系统，所述板接收器系统能够接收包括孔的阵列的多孔板，所述板接收器系统被配置为使所述孔中的每个与所述图像传感器中的相应的图像传感器对准；以及控制器，所述控制器被配置为控制所述光源的照明和通过所述图像传感器的对图像数据的采集，所述方法包括：
执行包括多次扫描的图像采集过程，每次扫描与唯一的照明图案相关联，所述图像传感器中的每个被配置为在每次扫描期间生成所述孔中的相应孔的图像；以及
执行图像重建过程，在所述图像重建过程期间，所述控制器执行傅立叶重叠关联操作，以基于在所述扫描中的每个期间针对所述相应孔捕获的图像数据来生成所述孔中的每个的重建图像。
9.如权利要求8所述的方法，其中，所述控制器被配置为使所述照明系统用n个连续唯一的照明图案来照明所述多孔板，所述扫描中的每个与所述照明图案中的不同的照明图案相关联。
10.如权利要求9所述的方法，其中，每个孔在每次扫描期间由一个并且只有一个光源照明。
CN201811184731.0A 2015-01-26 2016-01-26 阵列级傅立叶重叠关联成像 Active CN109507155B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562107631P 2015-01-26 2015-01-26
US201562107628P 2015-01-26 2015-01-26
US62/107,631 2015-01-26
US62/107,628 2015-01-26
CN201680003937.1A CN107003245B (zh) 2015-01-26 2016-01-26 阵列级傅立叶重叠关联成像

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680003937.1A Division CN107003245B (zh) 2015-01-26 2016-01-26 阵列级傅立叶重叠关联成像

Publications (2)

Publication Number Publication Date
CN109507155A true CN109507155A (zh) 2019-03-22
CN109507155B CN109507155B (zh) 2021-08-24

Family

ID=56432550

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201680003937.1A Active CN107003245B (zh) 2015-01-26 2016-01-26 阵列级傅立叶重叠关联成像
CN201811184731.0A Active CN109507155B (zh) 2015-01-26 2016-01-26 阵列级傅立叶重叠关联成像
CN201680006738.6A Active CN107209123B (zh) 2015-01-26 2016-01-26 多孔傅立叶重叠关联和荧光成像

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680003937.1A Active CN107003245B (zh) 2015-01-26 2016-01-26 阵列级傅立叶重叠关联成像

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680006738.6A Active CN107209123B (zh) 2015-01-26 2016-01-26 多孔傅立叶重叠关联和荧光成像

Country Status (7)

Country Link
US (5) US9829695B2 (zh)
EP (2) EP3250908A4 (zh)
JP (2) JP2018504628A (zh)
CN (3) CN107003245B (zh)
AU (2) AU2016211634A1 (zh)
CA (2) CA2970053A1 (zh)
WO (2) WO2016123157A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158130A (zh) * 2019-12-31 2020-05-15 北京理工大学 一种采用激光阵列光源的傅里叶叠层显微成像系统
CN113654479A (zh) * 2020-05-12 2021-11-16 赫克斯冈技术中心 通过有意引入的光学像差使视觉伪影最小化来改进结构光投影

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9497379B2 (en) 2013-08-22 2016-11-15 California Institute Of Technology Variable-illumination fourier ptychographic imaging devices, systems, and methods
SG11201503293VA (en) 2012-10-30 2015-05-28 California Inst Of Techn Fourier ptychographic imaging systems, devices, and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
CN105659143B (zh) 2013-07-31 2019-03-22 加州理工学院 孔径扫描傅立叶重叠关联成像
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
DE102014112242A1 (de) * 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
CN110873957A (zh) 2014-12-22 2020-03-10 加州理工学院 用于厚样本的epi照明傅立叶重叠关联成像
US10665001B2 (en) 2015-01-21 2020-05-26 California Institute Of Technology Fourier ptychographic tomography
US9829695B2 (en) 2015-01-26 2017-11-28 California Institute Of Technology Array level Fourier ptychographic imaging
JP2018509622A (ja) 2015-03-13 2018-04-05 カリフォルニア インスティチュート オブ テクノロジー フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
US10228550B2 (en) 2015-05-21 2019-03-12 California Institute Of Technology Laser-based Fourier ptychographic imaging systems and methods
US10466649B1 (en) * 2015-08-06 2019-11-05 Centauri, Llc Systems and methods for simultaneous multi-channel off-axis holography
US9772282B2 (en) * 2015-11-12 2017-09-26 Massachusetts Institute Of Technology System for wide field-of-view, highly oblique illumination microscopy for scatter-based discrimination of cells
DE102016110407A1 (de) * 2016-06-06 2017-12-07 Carl Zeiss Microscopy Gmbh Digitales Mikroskop mit einem Objektiv und mit einem Bildsensor
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
DE102016008854A1 (de) * 2016-07-25 2018-01-25 Universität Duisburg-Essen System zur gleichzeitigen videografischen oder fotografischen Erfassung von mehreren Bilder
US9730649B1 (en) 2016-09-13 2017-08-15 Open Water Internet Inc. Optical imaging of diffuse medium
WO2018102346A1 (en) 2016-11-29 2018-06-07 The Regents Of The University Of California Antimicrobial susceptibility testing device and method for use with portable electronic devices
EP3330697A1 (de) * 2016-11-30 2018-06-06 Bayer Aktiengesellschaft Vorrichtung zur ermittlung der wirkung von wirkstoffen an nematoden und anderen organismen in wässrigen tests
US10983325B2 (en) 2016-12-12 2021-04-20 Molecular Devices, Llc Trans-illumination imaging with an array of light sources
US10823945B2 (en) * 2017-01-10 2020-11-03 Tsinghua University Method for multi-color fluorescence imaging under single exposure, imaging method and imaging system
CN106842535B (zh) * 2017-01-13 2019-10-29 清华大学 基于光流的相位显微成像系统及其方法
WO2018136474A1 (en) * 2017-01-17 2018-07-26 The Regents Of The University Of California Mobile phone based fluorescent multi-well plate reader
US11016028B2 (en) * 2017-01-19 2021-05-25 Indevr, Inc. Parallel imaging system
CN106842540B (zh) * 2017-03-24 2018-12-25 南京理工大学 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法
DE102017111718A1 (de) * 2017-05-30 2018-12-06 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes
US11353402B2 (en) * 2017-07-11 2022-06-07 Hamamatsu Photonics K.K. Sample observation device and sample observation method
WO2019090149A1 (en) * 2017-11-03 2019-05-09 California Institute Of Technology Parallel digital imaging acquisition and restoration methods and systems
CN109754365B (zh) * 2017-11-07 2023-12-05 印象认知（北京）科技有限公司 一种图像处理方法及装置
CN108169173B (zh) * 2017-12-29 2020-08-11 南京理工大学 一种大视场高分辨三维衍射层析显微成像方法
CN112105968A (zh) * 2018-01-14 2020-12-18 光场实验室公司 全息衍射光学编码系统
US10506181B2 (en) 2018-03-31 2019-12-10 Open Water Internet Inc. Device for optical imaging
US10778911B2 (en) * 2018-03-31 2020-09-15 Open Water Internet Inc. Optical transformation device for imaging
US10778912B2 (en) 2018-03-31 2020-09-15 Open Water Internet Inc. System and device for optical transformation
US20210215687A1 (en) * 2018-05-25 2021-07-15 Five Prime Therapeutics, Inc. Enhanced cytometry for tissue characterization and screening
CN113939728A (zh) 2018-12-18 2022-01-14 帕斯维尔公司 用于病理样本自动化成像和分析的基于计算显微镜的系统和方法
WO2020194025A1 (en) * 2019-03-22 2020-10-01 Universita' Degli Studi Di Bari Aldo Moro Process and apparatus for the capture of plenoptic images between arbitrary planes
US11523046B2 (en) * 2019-06-03 2022-12-06 Molecular Devices, Llc System and method to correct for variation of in-focus plane across a field of view of a microscope objective
US11320370B2 (en) 2019-06-26 2022-05-03 Open Water Internet Inc. Apparatus for directing optical and acoustic signals
CN110360924B (zh) * 2019-07-22 2021-01-26 中国科学院大学 一种双波长叠层显微成像方法及系统
JP2021034875A (ja) * 2019-08-23 2021-03-01 株式会社東海理化電機製作所 撮像制御システム、制御装置、およびコンピュータプログラム
US11408032B2 (en) 2020-01-17 2022-08-09 Element Biosciences, Inc. Tube lens design for improved depth-of-field
US20230105170A1 (en) * 2020-02-28 2023-04-06 Thrive Bioscience, Inc. Pre-scan focus and scan focus methods
EP4105707A4 (en) * 2020-03-19 2023-08-23 Sony Olympus Medical Solutions Inc. MEDICAL OBSERVATION SYSTEM, CONTROL DEVICE AND CONTROL METHOD
WO2021189453A1 (zh) * 2020-03-27 2021-09-30 肯维捷斯（武汉）科技有限公司 一种微型荧光显微成像模块
US11320380B2 (en) * 2020-04-21 2022-05-03 Sartorius Bioanalytical Instruments, Inc. Optical module with three or more color fluorescent light sources and methods for use thereof
US11819318B2 (en) 2020-04-27 2023-11-21 Open Water Internet Inc. Optical imaging from light coherence
KR102432435B1 (ko) * 2020-05-04 2022-08-17 주식회사 스몰머신즈 발광소자 어레이를 이용한 영상 획득 방법 및 장치
US11559208B2 (en) 2020-05-19 2023-01-24 Open Water Internet Inc. Imaging with scattering layer
US11259706B2 (en) 2020-05-19 2022-03-01 Open Water Internet Inc. Dual wavelength imaging and out of sample optical imaging
DE102020132312A1 (de) 2020-12-04 2022-06-09 Ludwig-Maximilians-Universität München (Körperschaft des öffentlichen Rechts) Vorrichtung zur Aufnahme von Mikroskopie-Bildern
WO2023118438A1 (en) * 2021-12-23 2023-06-29 Radiometer Medical Aps Biological fluid analyser with adaptive light source assembly
WO2023196324A1 (en) * 2022-04-08 2023-10-12 University Of Florida Research Foundation, Incorporated Instrument and methods involving high-throughput screening and directed evolution of molecular functions
DE102022112789A1 (de) * 2022-05-20 2023-11-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Ptychographisches Bildgebungsverfahren und -system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004034121A2 (en) * 2002-09-23 2004-04-22 Dmetrix, Inc. Multi-mode scanning imaging system
CN101726366A (zh) * 2009-12-02 2010-06-09 山东师范大学 一种基于多针孔板的波前测量方法和装置
US20100271705A1 (en) * 2009-04-24 2010-10-28 Hon Hai Precision Industry Co., Ltd. Light blocking plate array, and lens module array with same
US20140118529A1 (en) * 2012-10-30 2014-05-01 California Institute Of Technology Fourier Ptychographic Imaging Systems, Devices, and Methods
CN103842799A (zh) * 2011-09-30 2014-06-04 通用电气公司 用于样本阵列的自参考检测与成像的系统和方法

Family Cites Families (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475527A (en) 1994-09-26 1995-12-12 The Regents Of The University Of California Fourier plane image amplifier
KR19980075050A (ko) 1997-03-28 1998-11-05 윤종용 주사 전자 현미경의 가변어퍼쳐
US6144365A (en) 1998-04-15 2000-11-07 S3 Incorporated System and method for performing blending using an over sampling buffer
US6154196A (en) 1998-06-08 2000-11-28 Wacom Co., Ltd. Coordinate input device convertible between right-handed and left-handed modes
US6320648B1 (en) 1998-10-12 2001-11-20 Steven R. J. Brueck Method and apparatus for improving pattern fidelity in diffraction-limited imaging
DE19949029C2 (de) * 1999-10-11 2002-11-21 Innovatis Gmbh Verfahren und Vorrichtung zur Charakterisierung einer Kulturflüssigkeit
US6320174B1 (en) 1999-11-16 2001-11-20 Ikonisys Inc. Composing microscope
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6856457B2 (en) 2001-03-27 2005-02-15 Prairie Technologies, Inc. Single and multi-aperture, translationally-coupled confocal microscope
DE10128476C2 (de) 2001-06-12 2003-06-12 Siemens Dematic Ag Optische Sensorvorrichtung zur visuellen Erfassung von Substraten
GB0115714D0 (en) 2001-06-27 2001-08-22 Imperial College Structure determination of macromolecules
US6747781B2 (en) 2001-06-25 2004-06-08 Silicon Light Machines, Inc. Method, apparatus, and diffuser for reducing laser speckle
US6741730B2 (en) 2001-08-10 2004-05-25 Visiongate, Inc. Method and apparatus for three-dimensional imaging in the fourier domain
US6870165B2 (en) 2001-10-19 2005-03-22 Biocal Technology, Inc. Multi-color multiplexed analysis in a bio-separation system
ATE519092T1 (de) 2002-01-16 2011-08-15 Faro Tech Inc Lasergestützte koordinatenmessapparatur und lasergestütztes koordinatenmessverfahren
US6759949B2 (en) 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
JP4360817B2 (ja) 2002-10-18 2009-11-11 株式会社日立メディコ 放射線断層撮影装置
EP1609112A4 (en) 2003-03-31 2010-03-24 Cdm Optics Inc SYSTEMS AND METHOD FOR MINIMIZING ABERRATION EFFECTS IN PICTURE SYSTEMS
JP4377171B2 (ja) 2003-07-15 2009-12-02 Ｔｄｋ株式会社 空間光変調器
US7738095B2 (en) 2003-07-18 2010-06-15 Chemimage Corporation Method and apparatus for compact spectrometer for detecting hazardous agents
US7823783B2 (en) 2003-10-24 2010-11-02 Cognex Technology And Investment Corporation Light pipe illumination system and method
US8271251B2 (en) 2004-02-09 2012-09-18 Wisconsin Alumni Research Foundation Automated imaging system for single molecules
US7173256B2 (en) * 2004-03-26 2007-02-06 Fox John S Fluorescent image calibration step wedge, and use thereof in illumination for fluorescent imaging and automatic exposure
DE102004017232A1 (de) 2004-04-05 2005-10-20 Bosch Gmbh Robert Interferometrische Messvorrichtung
WO2005122901A1 (ja) 2004-06-16 2005-12-29 Hitachi Medical Corporation 放射線断層像撮像装置
US7436503B1 (en) 2004-08-03 2008-10-14 Kla-Tencor Technologies Corp. Dark field inspection apparatus and methods
CN101432593A (zh) 2004-08-09 2009-05-13 克拉西菲耶有限公司 用于3d指纹识别的非接触式光学装置和方法
US7545571B2 (en) 2004-09-08 2009-06-09 Concurrent Technologies Corporation Wearable display system
US20060173313A1 (en) 2005-01-27 2006-08-03 Siemens Medical Solutions Usa, Inc. Coherence factor adaptive ultrasound imaging
US7653232B2 (en) 2005-01-28 2010-01-26 University Of Massachusetts Phase based digital imaging
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
US7643952B2 (en) 2005-04-05 2010-01-05 The Board Of Trustees Of The Leland Stanford Junior University Optical image processing using minimum phase functions
WO2006128325A1 (en) 2005-06-03 2006-12-07 Capitalbio Corporation Optical systems for microarray scanning
JP2007071803A (ja) * 2005-09-09 2007-03-22 Hitachi High-Technologies Corp 欠陥観察方法及びその装置
JP4696890B2 (ja) 2005-12-12 2011-06-08 富士ゼロックス株式会社 ホログラム記録方法及びホログラム記録装置
JP4727517B2 (ja) 2006-01-11 2011-07-20 富士フイルム株式会社 光源装置および光断層画像化装置
US20070171430A1 (en) 2006-01-20 2007-07-26 The General Hospital Corporation Systems and methods for providing mirror tunnel micropscopy
US8271521B2 (en) 2006-03-20 2012-09-18 Blue Nile, Inc. Computerized search technique, such as an internet-based gemstone search technique
JP4822925B2 (ja) 2006-04-28 2011-11-24 日本電子株式会社 透過型電子顕微鏡
US7460248B2 (en) 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
US8980179B2 (en) 2006-05-17 2015-03-17 University Of Maryland, Baltimore County Angular-dependent metal-enhanced fluorescence
WO2007144193A1 (en) 2006-06-16 2007-12-21 Carl Zeiss Smt Ag Projection objective of a microlithographic projection exposure apparatus
US7838302B2 (en) * 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
CN100385275C (zh) 2006-09-29 2008-04-30 李志扬 主动光学位相共轭方法及装置
JP4690379B2 (ja) 2006-12-05 2011-06-01 韓國電子通信研究院 偏光板と高速フーリエ変換を用いたナノ線感知用光学顕微鏡システム
WO2008116070A2 (en) 2007-03-20 2008-09-25 Chroma Technology Corporation Light source
US8313031B2 (en) 2007-03-30 2012-11-20 Symbol Technologies, Inc. Adaptive aperture for an imaging scanner
WO2008124832A1 (en) 2007-04-10 2008-10-16 University Of Rochester Structured illumination for imaging of stationary and non-stationary, fluorescent and non-flourescent objects
US8624968B1 (en) 2007-04-25 2014-01-07 Stc.Unm Lens-less digital microscope
CN101743519B (zh) 2007-05-16 2013-04-24 视瑞尔技术公司 全息显示装置
CN101680848B (zh) 2007-06-13 2011-11-23 株式会社尼康 检查装置和检查方法
US8848199B2 (en) * 2007-07-10 2014-09-30 Massachusetts Institute Of Technology Tomographic phase microscopy
US7929142B2 (en) 2007-09-25 2011-04-19 Microsoft Corporation Photodiode-based bi-directional reflectance distribution function (BRDF) measurement
CN101868740B (zh) 2007-11-23 2012-10-10 皇家飞利浦电子股份有限公司 多模式光斑发生器和多模式多光斑扫描显微镜
US9239455B2 (en) 2007-12-31 2016-01-19 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
US8115992B2 (en) 2007-12-31 2012-02-14 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
CN101408623B (zh) 2008-01-23 2011-01-19 北京航空航天大学 宽带综合孔径上变频成像系统
JP2010012222A (ja) 2008-06-06 2010-01-21 Olympus Medical Systems Corp 医療装置
US8184279B2 (en) 2008-06-16 2012-05-22 The Regents Of The University Of Colorado, A Body Corporate Fourier domain sensing
US7787588B1 (en) 2008-07-21 2010-08-31 Xradia, Inc. System and method for quantitative reconstruction of Zernike phase-contrast images
EP2333516A4 (en) * 2008-09-26 2017-11-08 Horiba, Ltd. Device for measuring physical property of particle
US8019136B2 (en) 2008-12-03 2011-09-13 Academia Sinica Optical sectioning microscopy
GB0822149D0 (en) 2008-12-04 2009-01-14 Univ Sheffield Provision of image data
EP2374033A4 (en) 2008-12-22 2017-07-26 3M Innovative Properties Company Multilayer optical films having side-by-side polarizer/polarizer zones
US8836948B2 (en) * 2009-01-29 2014-09-16 The Regents Of The University Of California High resolution structured illumination microscopy
US20160156880A1 (en) 2009-06-03 2016-06-02 Flir Systems, Inc. Durable compact multisensor observation devices
US8559014B2 (en) 2009-09-25 2013-10-15 Hwan J. Jeong High-resolution, common-path interferometric imaging systems and methods
EP2491366B1 (en) 2009-10-20 2016-12-28 The Regents of The University of California Incoherent lensfree cell holography and microscopy on a chip
US20140152801A1 (en) 2009-10-28 2014-06-05 Alentic Microscience Inc. Detecting and Using Light Representative of a Sample
US8497934B2 (en) 2009-11-25 2013-07-30 Massachusetts Institute Of Technology Actively addressable aperture light field camera
DE102009047361B4 (de) * 2009-12-01 2013-02-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur optischen Abbildung
EP2530459A4 (en) 2010-01-27 2017-05-10 National University Corporation Hokkaido University Diffraction microscopy
CN103843105A (zh) 2010-02-10 2014-06-04 摩奇有限公司(d/b/aVoxa) 暗视野像差矫正电子显微镜
JP5538936B2 (ja) 2010-02-10 2014-07-02 キヤノン株式会社 解析方法、プログラム、記憶媒体、ｘ線位相イメージング装置
JP5848759B2 (ja) 2010-06-21 2016-01-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 低線量ｃｔイメージングを実行するための方法及びシステム
US9129371B2 (en) 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
GB2481589B (en) * 2010-06-28 2014-06-11 Phase Focus Ltd Calibration of a probe in ptychography
CN103096804B (zh) 2010-07-13 2017-03-15 达卡拉通信系统株式会社 X射线断层像摄影装置
US8599367B2 (en) 2010-08-04 2013-12-03 Alliant Techsystems Inc. Apparatus and methods for obtaining multi-dimensional spatial and spectral data with LIDAR detection
WO2012037182A1 (en) 2010-09-14 2012-03-22 Applied Precision, Inc. Oblique-illumination systems and methods
US9185357B2 (en) 2010-09-17 2015-11-10 Lltech Management Optical tissue sectioning using full field optical coherence tomography
CN101957183B (zh) 2010-09-26 2012-03-21 深圳大学 一种结构光投影的高速三维测量系统
CN103154662A (zh) 2010-10-26 2013-06-12 加州理工学院 扫描投影无透镜显微镜系统
US9569664B2 (en) 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
GB201020516D0 (en) 2010-12-03 2011-01-19 Univ Sheffield Improvements in providing image data
JP2014503822A (ja) 2010-12-21 2014-02-13 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 携帯デバイスにおける小型かつ広視野の蛍光画像化
US9411144B2 (en) 2011-01-12 2016-08-09 Ge Healthcare Bio-Sciences Corp. Systems for fluorescence illumination using superimposed polarization states
US8731272B2 (en) 2011-01-24 2014-05-20 The Board Of Trustees Of The University Of Illinois Computational adaptive optics for interferometric synthetic aperture microscopy and other interferometric imaging
US8866063B2 (en) 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
US8841591B2 (en) 2011-04-04 2014-09-23 The Board Of Trustees Of The Leland Stanford Junior University Grating-enhanced optical imaging
GB201107053D0 (en) 2011-04-27 2011-06-08 Univ Sheffield Improvements in providing image data
US8761533B2 (en) 2011-05-05 2014-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for performing image processing applications using quadratic programming
WO2013018024A1 (en) 2011-07-29 2013-02-07 Ecole Polytechnique Federale De Lausanne (Epfl) Apparatus and method for quantitative phase tomography through linear scanning with coherent and non-coherent detection
US20140160236A1 (en) 2011-07-29 2014-06-12 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
IN2014CN01634A (zh) * 2011-09-06 2015-05-08 Koninkl Philips Nv
US20190097524A1 (en) 2011-09-13 2019-03-28 Fsp Technology Inc. Circuit having snubber circuit in power supply device
US20130093871A1 (en) 2011-10-18 2013-04-18 Andreas G. Nowatzyk Omnidirectional super-resolution microscopy
US9599805B2 (en) 2011-10-19 2017-03-21 National Synchrotron Radiation Research Center Optical imaging system using structured illumination
US9324133B2 (en) 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
GB201201140D0 (en) 2012-01-24 2012-03-07 Phase Focus Ltd Method and apparatus for determining object characteristics
WO2013116316A1 (en) 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
CN102608597B (zh) 2012-03-19 2014-07-23 西安电子科技大学 基于非完全数据解卷积的实孔径前视成像方法
CN103377746B (zh) 2012-04-14 2015-12-02 中国科学技术大学 实现显微镜系统超分辨成像的方法
EP2690648B1 (en) 2012-07-26 2014-10-15 Fei Company Method of preparing and imaging a lamella in a particle-optical apparatus
US9091862B2 (en) 2012-07-24 2015-07-28 Trustees Of Boston University Partitioned aperture wavefront imaging method and system
US9552658B2 (en) 2012-07-26 2017-01-24 William Marsh Rice University Methods and systems for video compressive sensing for dynamic imaging
US20140085629A1 (en) 2012-09-27 2014-03-27 Bodkin Design & Engineering, Llc Active Hyperspectral Imaging Systems
DE102012020240A1 (de) * 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US9497379B2 (en) 2013-08-22 2016-11-15 California Institute Of Technology Variable-illumination fourier ptychographic imaging devices, systems, and methods
AU2012258412A1 (en) * 2012-11-30 2014-06-19 Canon Kabushiki Kaisha Combining differential images by inverse Riesz transformation
US9400169B2 (en) 2012-12-06 2016-07-26 Lehigh University Apparatus and method for space-division multiplexing optical coherence tomography
CN105659143B (zh) 2013-07-31 2019-03-22 加州理工学院 孔径扫描傅立叶重叠关联成像
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
EP3146501B1 (en) 2014-05-19 2020-09-09 The Regents of the University of California Fourier ptychographic microscopy with multiplexed illumination
JP6394367B2 (ja) 2014-05-30 2018-09-26 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム
CN104181686B (zh) 2014-08-25 2016-08-17 清华大学深圳研究生院 基于fpm的光场显微方法
CN104200449B (zh) 2014-08-25 2016-05-25 清华大学深圳研究生院 一种基于压缩感知的fpm方法
EP4023201A1 (en) 2014-10-07 2022-07-06 International Biophysics Corporation Self-contained portable positionable oscillating motor array
AU2015331579A1 (en) 2014-10-17 2017-05-25 Cireca Theranostics, Llc Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
EP3227741B1 (en) 2014-12-04 2020-07-08 California Institute of Technology Multiplexed fourier ptychography imaging systems and methods
CN110873957A (zh) 2014-12-22 2020-03-10 加州理工学院 用于厚样本的epi照明傅立叶重叠关联成像
AU2014280898A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
AU2014280894A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
US20160202460A1 (en) * 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
US10665001B2 (en) 2015-01-21 2020-05-26 California Institute Of Technology Fourier ptychographic tomography
US9829695B2 (en) 2015-01-26 2017-11-28 California Institute Of Technology Array level Fourier ptychographic imaging
WO2016123508A1 (en) * 2015-01-29 2016-08-04 The Regents Of The University Of California Patterned-illumination systems adopting a computational illumination
JP2018509622A (ja) 2015-03-13 2018-04-05 カリフォルニア インスティチュート オブ テクノロジー フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
US10228550B2 (en) 2015-05-21 2019-03-12 California Institute Of Technology Laser-based Fourier ptychographic imaging systems and methods
WO2017066198A1 (en) 2015-10-12 2017-04-20 The Regents Of The University Of California Spectroscopy imaging and analysis of live cells
US10705326B2 (en) 2015-11-11 2020-07-07 Scopio Labs Ltd. Autofocus system for a computational microscope
WO2017081541A1 (en) 2015-11-11 2017-05-18 Scopio Lab Ltd. Microscope having a refractive index matching material
US20180348500A1 (en) 2015-11-11 2018-12-06 Scopio Labs Ltd. Scanning microscope with real time response
US10176567B2 (en) 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US20180078447A1 (en) 2016-07-01 2018-03-22 Victor Viner Heated Rolling Massager
US10228283B2 (en) 2016-08-12 2019-03-12 Spectral Insights Private Limited Spectral imaging system
US10558029B2 (en) 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
CN106896489B (zh) * 2017-02-13 2019-11-22 清华大学 基于波长复用的频域拼贴显微系统及其方法
DE102017120823A1 (de) 2017-09-08 2019-03-14 Vemag Maschinenbau Gmbh Verfahren und Vorrichtung zum gruppierten Anordnen und Ausrichten und Verpacken von individuellen Lebensmittel-Produkten, insbesondere Patty-Stapel
DE102017217132B3 (de) 2017-09-26 2019-01-31 Bender Gmbh & Co. Kg Schaltnetzteil mit elektrischer Schaltungsanordnung zur Eingangsschutzbeschaltung
WO2019090149A1 (en) 2017-11-03 2019-05-09 California Institute Of Technology Parallel digital imaging acquisition and restoration methods and systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004034121A2 (en) * 2002-09-23 2004-04-22 Dmetrix, Inc. Multi-mode scanning imaging system
US20100271705A1 (en) * 2009-04-24 2010-10-28 Hon Hai Precision Industry Co., Ltd. Light blocking plate array, and lens module array with same
CN101726366A (zh) * 2009-12-02 2010-06-09 山东师范大学 一种基于多针孔板的波前测量方法和装置
CN103842799A (zh) * 2011-09-30 2014-06-04 通用电气公司 用于样本阵列的自参考检测与成像的系统和方法
US20140118529A1 (en) * 2012-10-30 2014-05-01 California Institute Of Technology Fourier Ptychographic Imaging Systems, Devices, and Methods

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158130A (zh) * 2019-12-31 2020-05-15 北京理工大学 一种采用激光阵列光源的傅里叶叠层显微成像系统
CN113654479A (zh) * 2020-05-12 2021-11-16 赫克斯冈技术中心 通过有意引入的光学像差使视觉伪影最小化来改进结构光投影

Also Published As

Publication number Publication date
JP2018511815A (ja) 2018-04-26
US20170299854A1 (en) 2017-10-19
US20190317311A1 (en) 2019-10-17
EP3251144A1 (en) 2017-12-06
CA2965999A1 (en) 2016-08-04
CN107209123B (zh) 2020-08-11
WO2016123157A1 (en) 2016-08-04
US20190049712A1 (en) 2019-02-14
US10754138B2 (en) 2020-08-25
AU2016211635A1 (en) 2017-06-29
EP3250908A1 (en) 2017-12-06
US10222605B2 (en) 2019-03-05
WO2016123156A1 (en) 2016-08-04
AU2016211634A1 (en) 2017-05-04
EP3250908A4 (en) 2018-09-12
CN107003245B (zh) 2018-11-06
CN107209123A (zh) 2017-09-26
CA2970053A1 (en) 2016-08-04
US20160216503A1 (en) 2016-07-28
EP3251144A4 (en) 2018-09-05
JP2018504628A (ja) 2018-02-15
CN107003245A (zh) 2017-08-01
US9829695B2 (en) 2017-11-28
US20160216208A1 (en) 2016-07-28
CN109507155B (zh) 2021-08-24
US10168525B2 (en) 2019-01-01
WO2016123157A9 (en) 2016-10-20
US10732396B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
CN107003245B (zh) 阵列级傅立叶重叠关联成像
US10754140B2 (en) Parallel imaging acquisition and restoration methods and systems
US11597612B2 (en) Slide rack gripper apparatus
JP6307770B2 (ja) 撮像素子
EP2917719B1 (en) Receptacle and system for optically analyzing a sample without optical lenses
CN110082900A (zh) 可变照明傅立叶重叠关联成像设备、系统以及方法
CN110140129A (zh) 使用双光学路径和单成像传感器的低分辨率载片成像和载片标签成像以及高分辨率载片成像
JP2020535478A (ja) ２回通過式マクロ画像
CN111149000B (zh) 用于2×3和1×3玻片的转盘
CN116893500A (zh) 一种高通量细胞培养与药物筛选成像装置及图像重构方法
Reinhard Preliminary Amendment dated Nov. 28, 2016 filed in US Appl. No.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant