CN108351506B - 用于计算显微镜的自动聚焦系统 - Google Patents

用于计算显微镜的自动聚焦系统 Download PDF

Info

Publication number
CN108351506B
CN108351506B CN201680064749.XA CN201680064749A CN108351506B CN 108351506 B CN108351506 B CN 108351506B CN 201680064749 A CN201680064749 A CN 201680064749A CN 108351506 B CN108351506 B CN 108351506B
Authority
CN
China
Prior art keywords
image
sample
illumination
microscope
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680064749.XA
Other languages
English (en)
Other versions
CN108351506A (zh
Inventor
艾兰·斯莫尔
伊泰·马达尔
切恩·布雷斯特尔
埃雷兹·纳曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scopio Labs Ltd
Original Assignee
Scopio Labs Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scopio Labs Ltd filed Critical Scopio Labs Ltd
Publication of CN108351506A publication Critical patent/CN108351506A/zh
Application granted granted Critical
Publication of CN108351506B publication Critical patent/CN108351506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/245—Devices for focusing using auxiliary sources, detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)

Abstract

公开了用于使用在多个照射条件下获取的图像来聚焦显微镜的系统和方法。在一个实现方式中，自动聚焦显微镜可以包括图像捕获设备、聚焦致动器、照射组件和控制器。控制器可以使照射组件在第一照射条件和第二照射条件下照射样本。控制器可以获取从第一照射角度照射的样本的第一图像和从第二照射角度照射的样本的第二图像。控制器还可以确定存在于样本的第一图像中的图像特征与存在于样本的第二图像中的对应的图像特征之间的偏移量。如果确定的偏移量非零，则聚焦致动器可以改变在样本与焦平面之间的距离。

Description

用于计算显微镜的自动聚焦系统
相关申请的交叉引用
本申请要求以下申请文件的优先权益：于2015年11月11日提交的美国临时专利申请号为62/253,723；于2015年11月11日提交的美国临时专利申请号为62/253,726；以及于2015年11月11日提交的美国临时专利申请号为62/253,734。所有上述申请均通过引用以其整体并入本文。
背景
I.技术领域
本公开总体上涉及显微镜，并且更具体地，涉及用于自动聚焦显微镜的系统和方法以及计算显微镜系统和方法。
II.背景信息
当今的商用显微镜依赖昂贵而精细的光学镜头，并且通常需要额外的硬件来共享和处理获取的图像。此外，对于扫描光学显微镜，需要额外昂贵的装备，如精确的机械和科学相机。被称为计算显微镜的新一代显微镜技术已经开始出现，并利用先进的图像处理算法(通常进行硬件修改)以克服传统显微镜的局限。在某些情况下，计算显微镜可以在不使用昂贵的光学镜头的情况下产生样本的高分辨率数字图像。另外，计算显微镜可能会为基于计算机视觉、共享数据等的附加功能打开大门。
概述
公开的系统和方法涉及计算显微镜领域。某些公开的实施例针对用于使用在多个照射条件下获取的图像来聚焦显微镜的系统和方法。所公开的实施例还包括用于在多个照射条件下获取图像以生成样本的高分辨率图像的系统和方法。
符合公开的实施例的是，提供了一种自动聚焦显微镜。该显微镜可以包括至少一个图像捕获设备，该至少一个图像捕获设备被配置为捕获位于平台上的样本的图像，其中该至少一个图像捕获设备包括透镜。该显微镜还可以包括聚焦致动器，该聚焦致动器被配置成调整样本与至少一个图像捕获设备的焦平面之间的距离。显微镜还可以包括照射组件和至少一个控制器，该照射组件包括多个光源以从多个照射角度中的任何照射角度照射样本。所述至少一个控制器可以被编程为使所述照射组件从第一照射角度照射所述样本；从所述至少一个图像捕获设备获取从所述第一照射角度照射的所述样本的第一图像；使所述照射组件从不同于所述第一照射角度的第二照射角度照射所述样本；从所述至少一个图像捕获设备获取从所述第二照射角度照射的所述样本的第二图像；确定存在于样本的第一图像中的一个或更多个图像特征与存在于样本的第二图像中的对应的一个或更多个图像特征之间的偏移量，并且当确定的偏移量是非零的情况时，使聚焦致动器改变样本和焦平面之间的距离。
还符合公开的实施例的是，提供了一种自动聚焦显微镜。该显微镜可以包括至少一个图像捕获设备，该至少一个图像捕获设备被配置为捕获位于平台上的样本的图像，其中该至少一个图像捕获设备包括透镜。该显微镜还可以包括聚焦致动器，该聚焦致动器被配置成调整样本与至少一个图像捕获设备的焦平面之间的距离。该显微镜还可以包括照射组件和至少一个控制器，该照射组件包括多个光源以从多个照射角度中的任何照射角度照射样本。所述至少一个控制器可以被编程为使照射组件从第一照射角度以及从不同于第一照射角度的第二照射角度同时照射样本；从所述至少一个图像捕获设备获取从所述第一照射角度和所述第二照射角度照射的样本的单个图像；确定所述样本的图像中的在与所述第一照射角度相关联的一个或更多个图像特征和与所述第二照射角度相关联的对应的一个或更多个图像特征之间的偏移量；并且在确定的偏移量非零的情况下时，使聚焦致动器改变样本与焦平面之间的距离。
符合公开的实施例的是，提供了一种用于使用在多个不同照射条件下获取的图像信息来聚焦图像的方法。该方法可以包括在第一照射条件下照射样本；从至少一个图像捕获设备获取从第一照射条件照射的样本的第一图像；在第二照射条件下照射样本；从所述至少一个图像捕获设备获取从所述第二照射条件照射的样本的第二图像；以及确定存在于样本的第一图像中的一个或更多个图像特征与存在于样本的第二图像中的对应的一个或更多个图像特征之间的偏移量。
另外，非暂时性计算机可读存储介质可以存储程序指令，该程序指令由至少一个控制器执行，并实现本文描述的任何方法。
前面的总体描述和下面的详细描述仅是示例性和解释性的，并不限制权利要求。
附图说明
并入并构成本公开的一部分的附图示出了各种公开的实施例。在附图中：
图1是符合所公开的实施例的示例性显微镜的图形表示；
图2A是符合所公开的实施例的在图1中的显微镜失焦时两个光束对的光路的图形表示；
图2B是符合所公开的实施例的在图1中的显微镜聚焦时的两个光束对的光路图形表示；
图3A是符合所公开的实施例的在图1中的显微镜失焦时显示在显示器上的示例性图像的图形表示；
图3B是符合所公开的实施例的在图1中的显微镜聚焦时显示在显示器上的示例性图像的图形表示；
图4是符合所公开的实施例示出使用在多个照射条件下获取的图像来聚焦样本的图像的示例性过程的流程图；
图5是符合所公开的实施例的使用在多个照射条件下获取的图像来构建样本的图像的示例性过程的表示；
图6A是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的配置的图形表示；
图6B是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的另一配置的图形表示；
图6C是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的另一配置的图形表示；
图6D是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的另一配置的图形表示；
图6E是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的另一配置的图形表示；
图6F是符合所公开的实施例的用于在多个照射条件下确定样本的相位信息的另一配置的图形表示；
图7是符合所公开的实施例示出使用图6A中的配置的图5的过程的实现的流程图；
图8是符合所公开的实施例的图1中的显微镜的数值孔径的图形表示；
图9A是符合所公开的实施例的在单个照射条件下获取的图像数据的傅里叶平面中的图示；
图9B是符合所公开的实施例的在多个不同照射条件下获取的图像数据的傅里叶平面中的图示；和
图10是符合所公开的实施例的使用在多个照射条件下获取的图像来重建样本的图像的示例性过程的流程图。
详细描述
下面的详细描述参照附图。在任何可能的情况下，在附图和以下描述中使用相同的附图标记来指代相同或相似的部分。尽管本文描述了若干说明性实施例，但是修改、更改和其他实现方式是可能的。例如，可以对附图中示出的组件进行替换、添加或修改，并且可以通过替代、重新排序、移除或向所公开的方法添加步骤来修改本文描述的说明性方法。因此，以下详细描述不限于所公开的实施例和示例。相反，适用范围由所附的权利要求限定。
所公开的实施例提供了使用一个或更多个相机来提供可位于平台上的样本的高分辨率图像的显微镜和方法。在各种实施例中，显微镜可以使用在多个照射条件下捕获的样本的图像。例如，多个照射条件可以包括不同的照射角度。在本公开的一个方面中，显微镜可以在捕获的图像中识别样本的与多个照射条件相对应的多次出现。显微镜可估计多次出现之间的偏移并确定显微镜失焦的程度。本公开的该方面参考图2-4进行了详细描述。在本公开的另一方面，显微镜可以在每个照射条件下捕获样本的多个图像，聚合来自这些图像的图像数据，并且从该图像数据构建高分辨率图像。在一个示例中，显微镜可以聚合傅里叶平面中的图像数据，并且然后使用傅里叶逆变换来重建高分辨率图像。本公开的该方面参考图5-10进行了详细描述。
图1是符合示例性公开的实施例的显微镜100的图形表示。术语“显微镜”是指用于放大比肉眼可易观察到的物体小的物体的任何设备或仪器，即，为用户创建物体的图像，其中图像比物体大。显微镜的一种类型可以是“光学显微镜”，其使用光与光学系统的组合以放大物体。光学显微镜可以是具有一个或更多个放大镜的简单显微镜。显微镜的另一种类型可以是“计算显微镜”，其包括图像传感器和图像处理算法以增强或放大物体的尺寸或其他特性。计算显微镜可以是专用设备，或者可以是通过将软件和/或硬件与现有光学显微镜结合以产生高分辨率数字图像而创建的。如图1所示，显微镜100包括图像捕获设备102、聚焦致动器104、连接到存储器108的控制器106、照射组件110和用户接口112。显微镜100的示例性用途可以是：捕获安装在位于图像捕获设备102的视场(FOV)内的平台116上的样本114的图像，处理捕获的图像并且在用户接口112上呈现样本114的放大的图像。
图像捕获设备102可用于捕获样本114的图像。在本说明书中，术语“图像捕获设备”包括将进入透镜的光信号记录为图像或图像序列的设备。光信号可以在近红外、红外、可见光和紫外光谱中。图像捕获设备的示例包括CCD相机、CMOS相机、光传感器阵列、摄像机、配备有相机的移动电话等。一些实施例可以仅包括单个图像捕获设备102，而其他实施例可以包括两个、三个或甚至四个或更多个图像捕获设备102。在一些实施例中，图像捕获设备102可以被配置成捕获在限定的视场(FOV)中的图像。而且，当显微镜100包括若干图像捕获设备102时，图像捕获设备102可以在它们相应的FOV中具有重叠区域。图像捕获设备102可具有用于捕获样本114的图像数据的一个或更多个图像传感器(图1中未展示)。在其他实施例中，图像捕获设备102可以被配置成以高于1000万像素、高于1200万像素、高于1500万像素或高于2000万像素的图像分辨率捕获图像。另外，图像捕获设备102还可以被配置为具有小于5微米、小于3微米或小于1.6微米的像素尺寸。
在一些实施例中，显微镜100包括聚焦致动器104。术语“聚焦致动器”是指能够将输入信号转换成物理运动以调整样本114与图像捕获设备102之间的相对距离的任何设备。可以使用各种聚焦致动器，包括例如线性马达、电致伸缩致动器、静电马达、电容马达、音圈致动器、磁致伸缩致动器等。在一些实施例中，聚焦致动器104可以包括模拟位置反馈传感器和/或数字位置反馈元件。聚焦致动器104被配置为接收来自控制器106的指令，以便使光束会聚以形成样本114的清晰且边界限定明确的图像。在图1所示的示例中，聚焦致动器104可以被配置为通过移动图像捕获设备102来调整距离。然而，在其他实施例中，聚焦致动器104可以被配置为通过移动平台116或通过移动图像捕获设备102和平台116两者来调整距离。
根据所公开的实施例，显微镜100还可以包括用于控制显微镜100的操作的控制器106。控制器106可以包括各种类型的设备，以用于根据提供期望的功能的所存储的或可访问的软件指令对图像数据和其他数据的一个或更多个输入执行逻辑操作。例如，控制器106可以包括中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、高速缓冲存储器或用于图像处理和分析的任何其他类型的设备，诸如图形处理单元(GPU)。CPU可以包括被配置为处理来自图像传感器的图像的任何数量的微控制器或微处理器。例如，CPU可以包括任何类型的单核处理器或多核处理器、移动设备微控制器等。可以使用各种处理器，包括例如可从诸如
Figure GDA0002679910670000071
Figure GDA0002679910670000072
等制造商处获得的处理器，以及可以包括各种体系结构(例如，x86处理器、
Figure GDA0002679910670000073
等)。支持电路可以是本领域中通常公知的任何数量的电路，包括高速缓存、电源、时钟和输入-输出电路。
在一些实施例中，控制器106可以与存储器108相关联，存储器108用于存储当被控制器106执行时控制显微镜100的操作的软件。另外，存储器108还可以存储与显微镜100的操作相关联的电子数据，诸如例如捕获或生成的样本114的图像。在一个实施例中，存储器108可以被集成在控制器106内。在另一个例子中，存储器108可以与控制器106分开。具体而言，存储器108可以指位于控制器106处或远程位置(诸如云服务器)处的多个结构或计算机可读存储介质。存储器108可以包括任意数量的随机存取存储器、只读存储器、闪存、磁盘驱动器、光存储装置、磁带存储装置、可移动存储装置和其他类型的存储装置。
显微镜100可以包括照射组件110。术语“照射组件”是指能够投射光以照射样本114的任何设备或系统。照射组件110可以包括任何数量的光源，诸如发光二极管(LED)、激光器和被配置为发光的灯。在一个实施例中，照射组件110可以仅包括单个光源。或者，照射组件110可以包括以阵列或矩阵组织的四个、十六个或甚至多于一百个的光源。在一些实施例中，照射组件110可以使用位于平行于照射样本114的表面处的一个或更多个光源。在其他实施例中，照射组件110可以使用位于与样本114垂直或成一定角度的表面处的一个或更多个光源。
另外，照射组件110可以被配置为在一系列不同的照射条件下照射样本114。在一个示例中，照射组件110可以包括以不同照射角度布置的多个光源，诸如二维光源布置。在这种情况下，不同的照射条件可以包括不同的照射角度。例如，图1描绘了从第一照射角度α1投射的光束118和从第二照射角度α2投射的光束120。在一些实施例中，第一照射角度α1和第二照射角度α2可以具有相同的值但符号相反。在其他实施例中，第一照射角度α1可以独立于第二照射角度α2。但是，这两个角度源自于光学器件的接收角内的点。在另一个示例中，照射组件110可以包括被配置为发射不同波长的光的多个光源。在这种情况下，不同的照射条件可以包括不同的波长。在又一个示例中，照射组件110可以被配置为在预定时间使用多个光源。在这种情况下，不同的照射条件可以包括不同的照射图案。因此并且符合本公开，可以从包括以下项的组中选择不同的照射条件：不同持续时间、不同强度、不同位置、不同照射角度、不同照射图案、不同波长或其任何组合。
符合所公开的实施例，显微镜100可以包括用户接口112，与之(例如，通过网络或无线地，例如通过蓝牙)连接或通信。术语“用户接口”是指适于呈现样本114的放大图像的任何设备或适合于从显微镜100的一个或更多个用户接收输入的任何设备。图1示出了用户接口112的两个示例。第一个示例是直接或通过远程服务器、通过蓝牙、蜂窝连接或Wi-Fi连接与控制器106无线通信的智能电话或平板电脑。第二个示例是物理连接到控制器106的PC显示器。在一些实施例中，用户接口112可以包括用户输出设备，包括例如显示器、触觉设备、扬声器等。在其他实施例中，用户接口112可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指向设备、相机、旋钮、按钮等。利用这样的输入设备，用户可以能够通过输入指令或信息向显微镜100提供信息输入或命令，提供语音命令，使用按钮、指向设备或眼球追踪功能在屏幕上选择菜单选项，或者通过任何其他合适的技术来将信息传送到显微镜100。用户接口112可以与一个或更多个处理设备(诸如控制器106)(物理地或无线地)连接以向用户提供信息并从用户接收信息并处理该信息。在一些实施例中，这样的处理设备可以执行用于响应键盘输入或菜单选择的指令，识别和解释在触摸屏上作出的触摸和/或手势，识别和追踪眼球运动，接收和解释语音命令等
显微镜100还可以包括平台116或连接到平台116。平台116包括其中可以安装样本114以用于检查的任何水平的刚性表面。平台116可以包括用于将包含样本114的载玻片保持在固定位置的机械连接器。机械连接器可以使用以下中的一个或更多个：安装件、附接构件、保持臂、夹具、夹子、可调整框架、锁定机构、弹簧或其任何组合。在一些实施例中，平台116可以包括用于允许光照射样本114的半透明(translucent)部分或开口。例如，从照射组件110发射的光可以穿过样本114并且朝向图像捕获设备102。在一些实施例中，可以使用XY平面中的马达或手动控件来移动平台116和/或样本114以使样本的多个区域成像。
图2A和图2B描绘了两种情况下的显微镜100的更近的视图。具体而言，图2A示出了当显微镜100失焦时两个光束对的光路，而图2B示出了当显微镜100聚焦时两个光束对的光路。
如图2A和2B所示，图像捕获设备102包括图像传感器200和透镜202。在显微镜中，透镜202可以被称为显微镜100的物镜。术语“图像传感器”是指能够检测光信号并将其转换为电信号的设备。电信号可以用于基于检测到的信号形成图像或视频流。图像传感器200的示例可以包括半导体电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)中的有源像素传感器或者N型金属氧化物半导体(NMOS，Live MOS)。术语“透镜”可以指玻璃、塑料或其他透明材料的基础或模制件(a ground or molded piece)，其相对的表面中的一者或两者是弯曲的，借助于该相对的表面，光线被折射，以使得它们会聚或发散以形成图像。术语“透镜”还指包含如上定义的一个或更多个透镜的元件，诸如在显微镜物镜中。透镜至少大致横向于图像传感器200的光轴定位。透镜202可用于聚集来自样本114的光束并将它们引导朝向图像传感器200。在一些实施例中，图像捕获设备102可以包括固定透镜或变焦透镜。
当样本114位于焦平面204处时，从透镜202投射的图像被完全聚焦。术语“焦平面”在本文中用于描述垂直于透镜202的光轴并穿过透镜的焦点的平面。焦平面204和透镜202的中心之间的距离称为焦距并且由D1表示。在一些情况下，样本114可能不完全平坦，并且在焦平面204和样本114的各个区域之间可能存在小的差异。因此，焦平面204与样本114之间的距离或样本114的感兴趣区域(ROI)被标记为D2。距离D2对应于样本114的图像或样本114的ROI的图像失焦的程度。例如，距离D2可以在0和约3mm之间。在一些实施例中，D2可以大于3mm。当距离D2等于零时，样本114的图像(或样本114的ROI的图像)完全聚焦。相反，当D2具有非零值时，样本114的图像(或样本114的ROI的图像)失焦。
图2A描绘了样本114的图像失焦的情况。例如，当从样本114接收的光束不汇聚在图像传感器200上时，样本114的图像可能会失焦。图2A描绘了波束对206和波束对208。两个对都不汇聚在图像传感器200上。为了简单起见，未示出样本114下方的光路。符合本公开的是，光束对206可以与在照射角度α2下从照射组件110投射的光束120对应，以及光束对208可以与在照射角度α1下从照射组件110投射的光束118对应。另外，光束对206可以与光束对208同时击中图像传感器200。在此背景下，术语“同时”意味着图像传感器200在一致的或重叠时间段期间、或者在一个开始和结束时是在另一个的开始和结束期间的情况下、或者是在另一个完成之前后者开始的情况下记录与两个或更多个光束对相关联的信息。在其他实施例中，光束对206和光束对208可以顺序地接触图像传感器200。术语“顺序地”意味着图像传感器200在完成记录与例如光束对208相关联的信息之后开始记录与例如光束对206相关联的信息。
如上所述，D2是焦平面204和样本114之间的距离，并且其对应于样本114失焦的程度。在一个示例中，D2可以具有50微米的值。聚焦致动器104被配置为通过将来自控制器106的输入信号转换成物理运动来改变距离D2。在一些实施例中，为了聚焦样本114的图像，聚焦致动器104可以移动图像捕获设备102。在该示例中，为了聚焦样本114的图像，聚焦致动器104可以将图像捕获设备102向上移动50微米。在其他实施例中，为了聚焦样本114的图像，聚焦致动器104可以将平台116向下移动。因此，在该示例中，取代将图像捕获设备102向上移动50微米，聚焦致动器104可以将平台116向下移动50微米。
图2B示出了样本114的图像聚焦的情况。在这种情况下，光束对206和208都汇聚在图像传感器200上，并且距离D2等于零。换句话说，聚焦样本114的图像(或样本114的ROI的图像)可能需要调整图像捕获设备102和样本114之间的相对距离。相对距离可以由D1-D2表示，并且当距离D2等于零时，图像捕获设备102和样本114之间的相对距离等于距离D1，这意味着样本114的图像被聚焦。在图2A和2B所示的实施例中，透镜202具有固定焦距，即距离D1恒定。因此，聚焦样本114的图像所需的缺失参数是距离D2。本公开提供了一种用于确定距离D2的值的显微镜和方法。
图3A和图3B示出了显微镜100如何使用在多个不同照射条件下获取的图像来确定距离D2的值。具体地，图3A示出了当样本114的图像失焦时在用户接口112上示出的示例性图像(或者彼此重叠的两个图像)，并且图3B示出了当样本114的图像聚焦时用户接口112上示出的示例图像。
图3A示出了显示从与图2A所示的情况对应的图像传感器200获得的信息的用户接口112。如所示，用户接口112显示样本114的第一表示300和样本114的第二表示302。每种表示都对应不同的照射条件。例如，第一表示300可以对应于第一照射角度α1，并且第二表示302可以对应于第二照射角度α2。在一个实施例中，由于来自第一照射角度α1的光可以与以第二照射角度α2投射的光同时击中图像传感器200，所以第一表示300和第二表示302两者一起显示为捕获图像的一部分。在另一个实施例中，第一表示300被捕获为第一图像而第二表示302被捕获为第二图像。两个图像可以重叠在一起并显示为单个图像或一起用于计算。
在一些实施例中，控制器106可以被配置成使用样本114的至少一个共同图像特征来识别两个(或更多)表示的相对位置。如本文所使用的，术语“图像特征”是指数字图像中的可识别元素，诸如线条、点、斑点、边缘、具有相似亮度的区域、相似的形状、图像的区域等或包括样本114的图像的像素的其他区别特征。两个(或更多)表示之间的变化可以用肉眼和/或借助于包括特征检测的图像分析算法来区分，或者使用感兴趣的区域(其可以是图像的一部分或全部)作为输入特征，如Marr-Hildreth算法、尺度不变特征变换(SIFT)算法、加速鲁棒特征(SURF)算法、数字图像相关(DIC)算法、互相关等。如图3A所示，第一表示300和第二表示302都包括表示的上侧上的尖锐突起。因此，控制器106可以识别尖锐突起的第一次出现304和尖锐突起的第二次出现306作为样本114的共同图像特征。符合本公开的是，第一次出现304可以与第一照射角度α1相关联并且第二次出现306可以与第二照射角度α2相关联。
在识别样本114的与多个照射条件相关联的至少一个图像特征的多个出现之后，控制器106可以估计出现之间的偏移量。在图3A中，第一次出现304与第二次出现306之间的偏移由D3表示。可以通过对相同的一个或更多个图像特征的两次出现之间的像素的数量进行计数来测量第一次出现304和第二次出现306之间的偏移。理论上，偏移D3的测量值源自于比较第一表示和第二表示中的多个图像特征，并且应当基本相同。然而，正如在实际应用中经常发生的那样，当估计多个图像特征的偏移时，偏移D3的测量值可能存在显着变化。这些变化可能是由显微镜100的倾斜、非平坦样本、透镜202的场曲率等引起的。因此，为了估计第一表示300和第二表示302之间的偏移D3，控制器106可以对测量值应用统计计算。统计计算可能包括以下一项或更多项操作：中值、中位数、平均值、最频值、百分位数或标准偏差。当使用多于两个照射条件(例如多于两个照射角度)时，控制器106可以在确定多个偏移值或矢量偏移时额外地应用这些统计计算。
在一个实施例中，在估计第一表示300与第二表示302之间的移位D3之后，控制器106可以使用照射源之间的距离L、照射源平面与当前焦平面之间的距离Z以及D3来计算距离D2，以便确定距离D2。在一个示例中，距离D2可以使用以下线性方程来计算：
Figure GDA0002679910670000121
为了使控制器106减小样本114与焦平面204之间的距离，控制器106也可以确定所需调整的方向。例如，在一些情况下，焦平面204可以在样本114下方(如图2A所示)，并且控制器106将需要增加图像捕获设备102和样本114之间的相对距离以聚焦图像。但是在其他情况下，焦平面204可以在样本114上方，并且控制器106可能需要减小图像捕获设备102和样本114之间的相对距离以聚焦图像。在一个实施例中，控制器106可以使用两步过程来确定所需调整的方向。例如，假设D2具有1mm的值，则控制器106可以指示聚焦致动器104将图像捕获设备102向上移动0.3mm，并且检查图像的聚焦是否已经改善。如果确实改善了，则控制器106可以指示聚焦致动器104继续将图像捕获设备102向上再移动0.7mm。但是如果没有改善，则控制器106可以指示聚焦致动器104将图像捕获设备102向下移动1.3mm。在另一个实施例中，控制器106可以使用一步过程来确定所需调整的方向，例如通过有目的地在样本114与焦平面204之间引入已知间隔。已知间隔可以对应于已知偏移，并且对已知偏移的改变可以指示实际偏移D3的大小和方向。在另一个实施例中，控制器106可以使用一步过程来确定所需调整的方向，诸如，例如测量物体图像300和302之间的特征的偏移的方向并且使用所使用的照射条件的知识来理解样本是高于还是低于焦平面。
图3B描绘了显示从与图2B所示的情况对应的图像传感器200获得的信息的用户接口112。如所示，用户接口112显示样本114的表示308。在该示例中，用户接口112显示单个表示，因为样本114的图像聚焦。也就是说，在控制器106调整图像捕获设备102和样本114之间的相对距离之后，第一次出现304和第二次出现306被合并到表示308。
在一些实施例中，控制器106可以确定图像的质量不足。例如，与样本114的图像相关联的锐度水平可能低于预定义的阈值。锐度水平可能由于例如显微镜100的无意移动\样本114的ROI的变化等而变化。为了改善图像的质量，控制器106可以重新聚焦显微镜100。另外，控制器106可确定与图像捕获设备102的视场的多个部分对应的多个偏移值以确定三维信息。三维信息可以包括显微镜100与样本114之间的倾斜信息、物体的3D形状和/或透镜202的场曲率。当重建样本114的图像时，控制器106可以使用倾斜信息来改善样本114的图像的锐度。以下参照图5-10提供关于重建样本114的图像的表示的其他示例。
图4是示出用于使用在两个照射条件下照射样本114时捕获的两个图像来聚焦样本114的图像的示例性过程400的流程图。然而，过程400可以适用于使用在两个照射条件下照射样本114时捕获的单个图像或者使用在两个以上的照射条件下照射样本时的一个或更多个图像来聚焦样本114的图像。过程400的步骤可以通过自动聚焦显微镜来执行。术语“自动聚焦显微镜”是指用于以自动或半自动方式聚焦样本114的图像(或样本114的ROI的图像)的能力放大样本114的任何设备。在下面的描述中，为了说明的目的，参考显微镜100的某些部件。然而，应该理解的是，其他实现方式也是可能的，并且可以利用其他组件来实现示例过程。
在步骤402，控制器106可以使照射组件110在第一照射条件下照射样本114。在步骤404，控制器106可以从图像捕获设备102获取在第一照射条件下照射的样本114的第一图像。在一些实施例中，控制器106可使照射组件110使用位于图像捕获设备102的数值孔径内的单个光源照射样本114。可选地，控制器106可使照射组件110使用位于图像捕获设备102的数值孔径内的多个光源照射样本114。
在步骤406，控制器106可以使照射组件110在不同于第一照射条件的第二照射条件下照射样本114。接下来，在步骤408处，控制器106可以从图像捕获设备102获取在第二照射条件下照射的样本114的第二图像。在一些实施例中，照射条件可以包括以下中的至少一个：不同照射角度、不同照射图案、不同波长或其组合。例如，照射条件可以包括相对于图像捕获设备102的光轴对称地定位的第一照射角度和第二照射角度。可选地，照射条件可包括相对于图像捕获设备102的光轴不对称地定位的第一照射角度和第二照射角度。可选地，照射条件可以包括在图像捕获设备102的数值孔径内的第一照射角度和第二照射角度。在图1所描绘的示例中，第一照射角度α1大于第二照射角度α2，因此第一照射角度和第二照射角度相对于图像捕获设备102的光轴不对称地定位。
在步骤410，控制器106可以确定样本114的第一图像中存在的一个或更多个图像特征与样本114的第二图像中存在的对应的一个或更多个图像特征之间的偏移量D3。在一些实施例中，控制器106可以基于多个图像特征来确定多个偏移值并且计算与偏移D3相关联的总体偏移。例如，总体偏移可以是多个偏移值的平均值、中值、最频值。在其他实施例中，控制器106可以基于偏移D3的幅度来确定距离改变的大小。另外，控制器106还可以基于偏移D3的方向确定距离改变的方向，或者通过有意地在样本和焦平面之间引入已知间隔来确定距离改变的方向。如上所述，在一些情况下，焦平面204可以在样本114下方(如图2A所示)，并且在其他情况下，焦平面204可以在样本114上方。这些不同的情况可能需要不同方向的距离改变来聚焦显微镜100。在一些实施例中，控制器106可基于偏移(例如，横向方向上的偏移D3)来计算从焦平面204到样本114的距离。
在步骤412，控制器106可以在确定的偏移D3的量为非零的情况下使聚焦致动器104改变样本114与焦平面204之间的距离D2。如上所述，聚焦致动器104可移动图像捕获设备102以调整样本114与焦平面204之间的距离D2，或移动平台116以调整样本114与焦平面204之间的距离。在一些实施例中，例如，如图2B所示，控制器106可使聚焦致动器104将样本114与焦平面204之间的距离减小到基本为零。在一些实施例中，当聚焦致动器104沿第一方向(例如，向上)改变距离D2时，控制器106可以确定在第一方向上的改变之后，偏移D3的量已经增加，并且使聚焦致动器104在第二方向(例如，向下)改变该距离。
在一些实施例中，控制器106可重复步骤402至410以在调整样本114与焦平面204之间的距离D2之后确定新偏移的量。如果新偏移的数量仍然不为零，或高于预定阈值。控制器106可使聚焦致动器104再次改变样本114与焦平面204之间的距离D2。在一些实施例中，控制器106可以重新调整样本114与焦平面204之间的距离D2，直到偏移D3将基本为零或低于预定阈值。当新偏移的量低于预定阈值时，控制器106可以存储所确定的偏移的量以用于将来的聚焦补偿计算。在完成过程400之后，显微镜100完全聚焦。之后，并且根据本公开的另一方面，显微镜100可以获取多个聚焦图像以生成样本114的高分辨率图像。如图1所示，样本114的高分辨率图像可以被发送到显示器(如，屏幕或电话)，被存储在存储器中，被发送用于进一步处理或者通过网络进行发送。
在一些实施例中，控制器106可使用所确定的距离D2来执行针对伴随物理运动平台116运动或不使平台116运动的情况下计算校正聚焦的计算。此外，在一些实施例中，可以在XY平面中使用马达或手动控件来移动平台116和/或样本114，以使样本114的多个区域能够成像。
在用于从一组低分辨率图像产生样本的高分辨率图像的计算成像处理领域方面存在若干已知的方法。例如，这些方法中的一个方法是重叠关联成像术(Ptychography)。这些方法可以使用迭代过程以便以每次迭代中的重建图像与预迭代高分辨率图像进行比较的方式计算高分辨率图像，并且它们之间的差异用作汇聚条件。本公开描述了用于从在不同照射条件下拍摄的一组低分辨率图像来产生高分辨率图像的显微镜和方法，但不需要如已知方法所使用的迭代。因此，所公开的显微镜和方法能够减少重建高分辨率图像所需的计算时间。
符合本公开的是，控制器106可以获取第一图像分辨率的图像并且生成样本114的具有第二(增强的)图像分辨率的重建图像。术语“图像分辨率”是图像表示样本114的精细细节的程度的量度。例如，数字图像的质量也可能与像素的数量和每个像素可用的亮度值范围有关。在一些实施例中，生成样本114的重建图像是基于具有低于增强的图像分辨率的图像分辨率的图像。增强的图像分辨率可能比较低图像分辨率图像具有至少多2倍、5倍、10倍或100倍的像素。例如，所捕获的图像的第一图像分辨率在下文中可以被称为低分辨率，并且可以具有在200万像素和2500万像素之间、在1000万像素和2000万像素之间或者大约1500万像素的值。而重建图像的第二图像分辨率在下文中可以被称为高分辨率，并且可以具有高于4000万像素、高于1亿像素、高于5亿像素或高于10亿像素的值。
图5是符合所公开的实施例的用于重建样本114的图像的示例性过程500的图示。在步骤502处，控制器106可以从图像捕获设备102获取样本114的多个低分辨率图像。多个图像包括用于每个照射条件的至少一个图像。如上所述，不同的照射条件可以包括以下中的至少一个：不同的照射角度、不同的照射图案、不同的波长或其组合。在一些实施例中，多个不同照射条件的总数(N)在2至10之间、在5至50之间、在10至100之间、在50至1000之间或大于1000。
在步骤504处，控制器106可以确定与每个照射条件相关联的样本114的图像数据。例如，控制器106可对从图像捕获设备102获取的图像应用傅里叶变换以获得经傅里叶变换的图像。傅里叶变换是一种图像处理工具，其用于将图像分解为正弦和余弦分量。变换的输入可以是标准图像空间(normal image space)(也称为实平面)中的图像，而变换的输出可以是频域(也称为傅里叶平面)中图像的表示。符合本公开的是，诸如傅里叶变换的变换的输出也被称为“图像数据”。可选地，控制器106可以使用其他变换，诸如拉普拉斯变换、Z变换、Gelfand变换或小波变换。为了快速有效地将捕获的图像转换成傅里叶平面中的图像，控制器106可以使用快速傅里叶变换(FFT)算法来通过将DFT矩阵分解为稀疏(主要是零)因子的乘积来计算离散傅里叶变换(DFT)。
在步骤506，控制器106可以聚合从在多个照射条件下捕获的图像确定的图像数据以形成组合的复合图像。控制器106聚合图像数据的一种方式是通过定位在图像数据中的傅里叶平面重叠区域中。控制器106聚合图像数据的另一种方式是通过确定每个照射条件下获取的低分辨率图像的强度和相位。以这种方式，对应于不同照射条件的图像数据不一定包括重叠区域。通过消除或减少所需的重叠量，该方法在减少为了以特定分辨率重建图像所需的照射条件的数量方面具有很大的优势，并且因此增加了图像信息的获取速度。图6A-6F示出了用于在各个照射条件下确定相位信息的显微镜100的不同配置。
在步骤508处，控制器106可以生成样本114的重建的高分辨率图像。例如，控制器106可以应用傅里叶逆变换来获得重建图像。在一个实施例中，如图5所示，样本114的重建的高分辨率图像可以显示在显示器(例如，用户接口112)上。在另一个实施例中，样本114的重建的高分辨率图像可以用于识别重建图像中的样本114的至少一个元素。样本114的至少一个要素可以包括使用显微镜可识别的任何有机或无机材料。至少一种要素的示例包括但不限于生物分子、全细胞、细胞部分(如各种细胞组分(例如细胞质、线粒体、细胞核、染色体、核仁、核膜、细胞膜、高尔基体、溶酶体))、细胞分泌成分(例如分泌到细胞间隙的蛋白质、分泌到体液中的蛋白质，如血清、脑脊液、尿液)、微生物等。在一些实施方式中，重建图像可用于以下程序中：血细胞识别、染色体和核型的鉴定、寄生虫感染的检测、怀疑为恶性的组织的鉴定等等。
本公开提供了若干种确定每个照射条件下的相位信息的方式。根据可以在图6A的配置中实现的一个实施例，显微镜100可以包括照射组件110、聚焦致动器104、透镜202和图像传感器200。在该实施例中，控制器106可以针对每个照射条件从不同焦平面获取一组图像。因此，控制器106可以使用来自不同焦平面的信息来确定在每个照射条件下的相位信息。图7描述了控制器106如何使用图6A的配置来生成样本114的重建的高分辨率图像的详细示例过程。
根据可以在图6B的配置中实现的另一个实施例，显微镜100可以包括照射组件110、透镜202、分束器600、第一图像传感器200A和第二图像传感器200B。在该实施例中，第一图像传感器200A和第二图像传感器200B可以捕获不同类型的图像，并且控制器106可以组合来自第一图像传感器200A和第二图像传感器200B的信息以确定在每个照射条件下的相位信息。在一个示例中，图像传感器200A可以捕获傅里叶平面图像并且第二图像传感器200B可以捕获实平面图像。相应地，控制器106可以从第一图像传感器200A获取针对每个照射条件的傅里叶平面图像和从第二图像传感器200B获取实平面图像。因此，控制器106可以组合来自傅里叶平面图像和实平面图像的信息以确定在每个照射条件下的相位信息。在另一个示例中，图像传感器200A可以被配置为捕获聚焦图像，而第二图像传感器200B被配置为捕获未聚焦图像。也可能增加额外的传感器。例如，可以配置3个不同的传感器以捕获3个不同焦平面中的图像。
根据可以在图6C和图6D的配置中实现的另一个实施例，显微镜100可以包括光源602、分束器600、透镜202和图像传感器200。在该实施例中，光源602可向分束器600投射光束(相干或至少部分相干)，分束器生成两个光束，这两个光束穿行通过两个不同的光路并创建干涉图案。在图6C的配置中，在样本114上创建干涉图案，而在图6D中，在图像传感器200上创建干涉图案。在图6D所示的情况下，控制器106可以针对每个照射条件识别穿行通过不同光路的两个光束之间的干涉图案，并且根据干涉图案确定与每个照射条件相关联的相位。
根据可以在图6E和图6F的配置中实现的又一个实施例，显微镜100可以包括照射组件110、透镜202、光学元件604和至少一个图像传感器200。在该实施例中，光学元件604被配置为对从样本114接收的光施加某种形式的调制。调制可以施加在光束的相位、频率、振幅或偏振上。在图6E所示的配置中，显微镜100可以包括动态光学元件，例如空间光调制器(SLM)，其可以动态地改变调制。控制器106可以使用由动态光学元件引起的不同信息来确定每个照射条件下的相位信息。可选地，在图6F所示的配置中，显微镜100可以包括固定光学元件，诸如相移掩模、分束器600、第一图像传感器200A和第二图像传感器200B。控制器106可组合来自第一图像传感器200A和第二图像传感器200B的信息以确定每个照射条件下的相位信息。
在一个实施例中，控制器106可以独立地确定每个照射条件下的相位信息。图7是示出使用图6A的配置的图5的过程的流程图。该过程在控制器106使照射组件110在第一照射条件下照射样本114时开始(方框700)。接下来，当样本114处于焦平面204中时，控制器106可以获取图像(方框702)。然后，控制器106可以使得聚焦致动器104改变图像捕获设备102和样本114之间的距离(方框704)，并且当样本114不在焦平面204中时获取附加图像(方框706)。在一些实施例中，图像捕获设备102和样本114之间的距离可以构成从透镜202到样本114的距离、从图像传感器200到样本144的距离或者从透镜202到样本114的距离与从图像传感器200到样本114的距离的和。之后，控制器106可以确定是否有足够的数据来确定相位信息(判定方框708)。如果没有足够的数据来确定相位信息，则控制器106可以重复方框704-708中的步骤，直到有足够的数据来确定在当前照射条件下的样本114的相位信息。可以使用诸如强度传输(TIE)、误差减少算法、混合输入输出(HIO)、诸如梯度下降等的优化算法等方法来计算相位。
当控制器106将从焦平面204中的真实空间捕获的图像变换为傅里叶空间时(方框710)时，图7的示例性过程可以继续。之后，控制器106可以将与当前照射条件相关联的图像数据添加到组合的复合图像(方框712)。如果控制器106收集了与所有照射条件相关联的所有图像数据并将它们添加到组合复合图像(判定方框714)，则控制器106可将组合复合图像变换到图像平面中以生成样本114的重建图像。但是，如果不是与所有照射条件相关联的全部图像数据都被收集，则控制器106可以使照射组件110在另一照射条件下照射样本114(方框716)，并且然后可以重复步骤702-714。
图8是识别显微镜100的数值孔径(NA)的示意图。符合本公开的是，显微镜100可以包括具有第一数值孔径的透镜(例如透镜202)。术语“数值孔径”是指中等折射率(例如，n1)乘以在透镜的光轴和透镜可以接受光的光束锥之间形成的最大角度(例如，θ1)的正弦值，即NA1＝n1*Sinθ1。例如，第一数值孔径可以小于1，小于0.8，小于0.6，小于0.4，小于0.2或小于0.1，或者可以大于1。另外，照射组件110可以照射的入射角照射样本114。术语“照射的入射角”是指在透镜的光轴与从照射组件110投射的光束之间形成的角度(例如，θ2)。在一些实施例中，照射的最大入射角表示第二数值孔径，即NA2＝n2*SinMaxθ2，其是第一数值孔径的至少1.5倍。例如，第二数值孔径可以大于2×NA1，大于2.5×NA1，大于3.5×NA1，或大于5×NA1。
图9A和图9B描绘了傅里叶平面中的两个示意图。具体地，图9A是在单个照射条件下获取的图像数据的傅里叶平面中的图示，而图9B是在多个不同照射条件下获取的图像数据的傅里叶平面中的图示。图9A的图示包括傅里叶平面中的图像，其具有在傅里叶平面中的半径等于NA1的第一圆形区域900和半径等于NA2的第二理论圆形区域902。如图所示，第二圆形区域902的半径至少是第一圆形区域900的半径的1.5倍。第一圆形区域900与当照射角度等于0度时的样本114的图像数据相关联。在一个实施例中，生成重建图像的非迭代过程包括使用关于组合复合图像中的每个点的与单个照射条件相关联的图像数据。图9B示出了该实施例。具体地说，图9B描绘了傅里叶平面中的多个圆。每个圆表示组合复合图像中的一个点，并与在单个照射条件下获取的图像数据相关联。例如，图9B中的每个圆与不同的照射角度相关联。由于圆形区域902的半径至少是第一圆形区域900的半径的1.5倍，所以在一些实施例中，系统不限于围绕区域900的第一“级”附加区域，而是可以具有远离第一圆形区域900的“多级”附加的圆形区域。这对于实现最终图像的更高分辨率而言非常重要。该方法不限于将数值孔径仅增大2倍。如以上参考图1所述，样本114的照射可以是由位于与样本114平行的表面处的光源和/或由位于与样本114垂直的表面处的光源引起的。例如，如图1所示，照射组件110上可以包括光源。此外，在一些实施例中，光源可以位于显微镜100的任何适当位置处并且以任何适当的角度照射样本114。此外，光源可以位于其他表面上，例如位于平台116下方的半球或立方体的表面上。
图10是示出用于使用在多个不同照射条件下获取的图像信息来构建样本114的高分辨率图像的示例性过程1000的流程图。在步骤1002，控制器106可以使照射组件在一系列不同的照射条件下照射样本114。如上所述，照射条件可以包括以下中的至少一个：不同的照射角度、不同的照射图案、不同的波长或其组合。在步骤1004，控制器106可以从图像捕获设备102获取样本114的多个图像，并且该多个图像可以包括针对每个照射条件的至少一个图像。在一些实施例中，所获取的图像是在水平和垂直维度上以高于1200万像素的图像分辨率以及小于200万像素的像素尺寸捕获的。具有小像素尺寸的高分辨率传感器成本低并且导致大视场，但由于高存储器带宽和大视场，因此需要花费大量精力来处理低信噪比(小像素尺寸的结果)和速度优化。然而，我们的方法能够使用这种传感器进行操作，而其他方法则不能。
在步骤1006，控制器106可以从至少一个图像中确定关于每个照射条件的样本114的图像数据。在一些实施例中，为了确定关于每个照射条件的样本114的图像数据，控制器106可以将至少一个图像从真实空间变换到傅里叶空间，将傅里叶空间中的样本的图像数据聚合以形成组合的复图像，并将组合的复图像数据变换回图像空间以生成样本114的重建图像。符合一些实施例的是，确定关于每个照射条件的样本114的图像数据可以包括独立地确定在每个照射条件下的样本114的相位信息。如以上参考图6A-6F所讨论的，确定在每个照射条件下的相位信息可以使用显微镜100的不同配置来实现。
在第一实施例中，控制器106可以从图像捕获设备102获取关于每个照射条件的来自不同焦平面的一组第一图像，并且从该组第一图像中独立地确定每个照射条件下的相位信息。在第二实施例中，控制器106可以从第一图像传感器200A获取关于每个照射条件的第一图像；从第二图像传感器200B获取关于每个照射条件的不同于第一图像的第二图像；并组合来自第一图像和第二图像的信息以独立地确定每个照射条件下的相位信息。在第三实施例中，控制器106可以针对每个照射条件识别第一光束和第二光束之间的干涉图案，并且根据干涉图案独立地确定与每个照射条件相关联的相位信息。在第四实施例中，控制器106可以获取关于每个照射条件的来自第一图像传感器200A的第一图像和来自第二图像传感器200B的第二图像，其中第二图像相对于第一图像被不同地进行调制；并且组合来自第一图像和第二图像的信息以确定每个照射条件下的相位信息。
在步骤1008处，控制器106可以根据关于每个照射条件所确定的图像数据来生成样本114的重建图像。重建图像具有比第一图像分辨率更高的第二图像分辨率。在一些实施例中，控制器106可以在非迭代过程中生成重建图像。术语“在非迭代过程中生成重建图像”是指其中重建图像不与所获取图像进行比较的过程，也不是所获取图像与其自身进行比较的过程。非迭代过程可以包括使用与组合复合图像中的每个点相关联的单个照射条件的图像数据，如图9A和图9B所示。为了在非迭代过程中重建图像，控制器106可以确定关于每个照射条件的样本114的强度和相位信息。之后，控制器106可以使用强度和相位信息来在其位置中组织拼图中的所有块(即，在每个照射条件下确定的图像数据)。如本领域技术人员将认识到的，使用这种非迭代过程能够减少重建高分辨率图像所需的计算时间。有可能的是，但不强制性的是，独立地确定每个照射条件的相位信息或其他信息将使用迭代过程完成。然而，根据从多个照射条件确定的信息生成最终的高分辨率图像将在非迭代过程中完成。在这种情况下，傅里叶空间中的区域之间的重叠仍然可以被减少或消除。
在控制器106生成样本114的重建图像之后，其可以使重建图像显示在显示器上(步骤1010)或识别重建图像中样本114的至少一个要素(步骤1012)。在一些实施例中，控制器106可以在使用其之前确认重建图像的质量。例如，控制器106可以使用第一组构建参数来生成重建图像，并且确定重建图像不具有期望的质量。在一个示例中，确定重建图像不具有期望的质量是基于重建图像或其部分的锐度水平，或者是基于现有知识与预期或已知结果的比较。之后，控制器106可以使用第二组构建参数来生成第二重建图像。另外，控制器106可以在改变显微镜100的聚焦之后获取样本114的另一组图像，如以上参照图4所述。
上述描述已经被呈现用于说明和描述的目的。这不是穷尽的，并且不限于所公开的确切形式或实施例。从对所公开的系统和实施例的说明和实践的考量中，修改和调整对于本领域技术人员将是明显的。另外，虽然所公开的实施例的各方面被描述为存储在存储器中，但本领域技术人员将会理解，这些方面也可以存储在其他类型的计算机可读介质上，例如辅助存储设备；例如硬盘、软盘、CD ROM、其他形式的RAM或ROM、USB介质、DVD或其他光驱介质。
基于书面描述和公开方法的计算机程序是在有经验的开发人员的技能范畴内的。可以使用本领域技术人员已知的任何技术来创建各种程序或程序模块，或者可以结合现有软件来设计各种程序或程序模块。例如，程序段或程序模块可以用或通过.NetFramework、.Net Compact Framework(以及相关语言，如Visual Basic、C等)、Java、C++、Objective-C、Python、Matlab、Cuda、HTML、HTML/AJAX组合、XML或包含Java小程序的HTML来进行设计。一个或更多个这样的软件段或模块可以被集成到计算机系统或现有的电子邮件或浏览器软件中。
此外，虽然本文已经描述了说明性实施例，但是任何和所有实施例的范围具有等同元素、修改、省略、(例如，对跨越各种实施例的各方面的)组合、调整和/或更改都将是本领域技术人员基于本公开将理解的。权利要求中的限制要基于权利要求中使用的语言来广义地解释，并且不限于本说明书中或在本申请的审查期间中描述的示例。这些示例将被解释为非排他性的。此外，所公开的例程的步骤可以以任何方式进行修改，包括通过重新排序步骤和/或插入或删除步骤。因此，其主旨在于，说明书和示例仅被认为是示例性的，其中真实的范围和精神由所附权利要求及其等同物的全部范围进行指示。

Claims (20)

1.一种自动聚焦显微镜，包括：
至少一个图像捕获设备，所述至少一个图像捕获设备被配置为捕获位于平台上的样本的图像，其中，所述至少一个图像捕获设备包括透镜；
聚焦致动器，所述聚焦致动器被配置为调整所述样本与所述至少一个图像捕获设备的焦平面之间的距离；
照射组件，所述照射组件包括多个光源以从多个照射角度中的任何照射角度照射所述样本；和
至少一个控制器，所述至少一个控制器被编程为：
使所述照射组件从第一照射角度照射所述样本；
从所述至少一个图像捕获设备获取被从所述第一照射角度照射的所述样本的第一图像；
使所述照射组件从不同于所述第一照射角度的第二照射角度照射所述样本；
从所述至少一个图像捕获设备获取被从所述第二照射角度照射的所述样本的第二图像；
确定所述样本的所述第一图像中存在的一个或更多个图像特征与所述样本的所述第二图像中存在的对应的一个或更多个图像特征之间的偏移量；和
在确定的偏移量非零的情况下，使所述聚焦致动器改变所述样本与所述焦平面之间的距离。
2.根据权利要求1所述的显微镜，其中，所述至少一个控制器还被编程为使所述聚焦致动器将所述样本与所述焦平面之间的距离减小到基本上为零。
3.根据权利要求1所述的显微镜，其中，所述至少一个控制器还被编程为：
使所述照射组件从不同于所述第一照射角度和所述第二照射角度的至少另一个照射角度照射所述样本；
从所述至少一个图像捕获设备获取被从所述至少另一个照射角度照射的所述样本的至少另一个图像；
确定存在于所述样本的第一图像、所述样本的第二图像和所述样本的至少另一个图像中的一个或更多个图像特征之间的多个偏移值。
4.根据权利要求1所述的显微镜，其中，所述至少一个控制器还被编程为基于多个图像特征确定多个偏移值并计算总体偏移。
5.根据权利要求1所述的显微镜，其中，所述聚焦致动器被配置为移动所述至少一个图像捕获设备以调整所述样本与所述焦平面之间的距离。
6.根据权利要求1所述的显微镜，其中，所述聚焦致动器被配置为移动所述平台以调整所述样本与所述焦平面之间的距离。
7.根据权利要求1所述的显微镜，其中，所述平台包括能够使光通过的至少一部分。
8.根据权利要求1所述的显微镜，其中，所述第一照射角度和所述第二照射角度相对于所述至少一个图像捕获设备的光轴对称地定位。
9.根据权利要求1所述的显微镜，其中，所述第一照射角度和所述第二照射角度相对于所述至少一个图像捕获设备的光轴不对称地定位。
10.根据权利要求1所述的显微镜，其中，所述至少一个控制器还被编程为使得所述照射组件使用位于所述至少一个图像捕获设备的数值孔径内的单个光源从所述第一照射角度和所述第二照射角度照射所述样本。
11.根据权利要求1所述的显微镜，其中，所述至少一个控制器还被编程为使得所述照射组件使用位于所述至少一个图像捕获设备的数值孔径内的多个光源从所述第一照射角度和所述第二照射角度照射所述样本。
12.根据权利要求1所述的显微镜，其中，所述至少一个控制器还被编程为基于所述偏移的幅度来确定所述距离的改变的大小。
13.根据权利要求1所述的显微镜，其中，所述至少一个控制器还被编程为基于所述偏移的方向来确定所述距离的改变的方向。
14.根据权利要求1所述的显微镜，其中，所述至少一个控制器还被编程为通过有意地在所述样本与所述焦平面之间引入已知间隔来确定所述距离的改变的方向。
15.根据权利要求1所述的显微镜，其中，所述聚焦致动器在第一方向上改变在所述样本和所述焦平面之间的距离，并且所述至少一个控制器还被编程为确定在所述第一方向上的改变之后所述偏移量已经增加，并使得所述聚焦致动器在第二方向上改变所述距离。
16.一种自动聚焦显微镜，包括：
至少一个图像捕获设备，所述至少一个图像捕获设备被配置为捕获位于平台上的样本的图像，其中，所述至少一个图像捕获设备包括透镜；
聚焦致动器，所述聚焦致动器被配置为调整所述样本与所述至少一个图像捕获设备的焦平面之间的距离；
照射组件，所述照射组件包括多个光源以从多个照射角度中的任何照射角度照射所述样本；和
至少一个控制器，所述至少一个控制器被编程为：
使所述照射组件从第一照射角度和不同于所述第一照射角度的第二照射角度同时照射所述样本；
从所述至少一个图像捕获设备获取被从所述第一照射角度和所述第二照射角度照射的所述样本的单个图像；
确定在所述样本的图像中的在与所述第一照射角度相关联的一个或更多个图像特征和与所述第二照射角度相关联的对应的一个或更多个图像特征之间的偏移量；和
在确定的偏移量非零的情况下，使所述聚焦致动器改变在所述样本与所述焦平面之间的距离。
17.一种使用在多个不同照射条件下获取的图像信息来聚焦图像的方法，所述方法包括：
在第一照射条件下照射样本；
从至少一个图像捕获设备获取被从所述第一照射条件照射的所述样本的第一图像；
在第二照射条件下照射样本；
从所述至少一个图像捕获设备获取被从所述第二照射条件照射的所述样本的第二图像；和
确定存在于所述样本的第一图像中的一个或更多个图像特征与存在于所述样本的第二图像中的对应的一个或更多个图像特征之间的偏移量。
18.根据权利要求17所述的方法，还包括：
在所确定的偏移量高于预定阈值时，改变所述样本与所述至少一个图像捕获设备的焦平面之间的距离；和
在所确定的偏移量低于所述预定阈值时，存储所确定的偏移量以用于将来的聚焦补偿计算。
19.根据权利要求17所述的方法，其中，在所述第一照射条件下以及在所述第二照射条件下照射所述样本包括使来自照射组件的光通过所述样本并朝向所述至少一个图像捕获设备传输。
20.根据权利要求17所述的方法，还包括：
确定与所述至少一个图像捕获设备的视场的多个部分相对应的多个偏移值；和
使用所述多个偏移值来确定三维信息。
CN201680064749.XA 2015-11-11 2016-11-10 用于计算显微镜的自动聚焦系统 Active CN108351506B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562253723P 2015-11-11 2015-11-11
US201562253734P 2015-11-11 2015-11-11
US201562253726P 2015-11-11 2015-11-11
US62/253,723 2015-11-11
US62/253,734 2015-11-11
US62/253,726 2015-11-11
PCT/IB2016/001703 WO2017081539A1 (en) 2015-11-11 2016-11-10 Autofocus system for a computational microscope

Publications (2)

Publication Number Publication Date
CN108351506A CN108351506A (zh) 2018-07-31
CN108351506B true CN108351506B (zh) 2020-12-04

Family

ID=57543083

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680065388.0A Pending CN108351504A (zh) 2015-11-11 2016-11-10 用于在不同照射条件下生成图像的计算显微镜及方法
CN201680064749.XA Active CN108351506B (zh) 2015-11-11 2016-11-10 用于计算显微镜的自动聚焦系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680065388.0A Pending CN108351504A (zh) 2015-11-11 2016-11-10 用于在不同照射条件下生成图像的计算显微镜及方法

Country Status (5)

Country Link
US (2) US20190235224A1 (zh)
EP (2) EP3374816A2 (zh)
JP (1) JP2018537709A (zh)
CN (2) CN108351504A (zh)
WO (2) WO2017081539A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
CA2889495A1 (en) 2012-10-30 2014-05-08 California Institute Of Technology Fourier ptychographic imaging systems, devices, and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
AU2014296034A1 (en) 2013-07-31 2016-02-18 California Institute Of Technology Aperture scanning Fourier ptychographic imaging
CA2921372A1 (en) 2013-08-22 2015-02-26 California Institute Of Technology Variable-illumination fourier ptychographic imaging devices, systems, and methods
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
CA2966926A1 (en) 2014-12-22 2016-06-30 California Institute Of Technology Epi-illumination fourier ptychographic imaging for thick samples
JP2018508741A (ja) 2015-01-21 2018-03-29 カリフォルニア インスティチュート オブ テクノロジー フーリエ・タイコグラフィー・トモグラフィー
CA2965999A1 (en) 2015-01-26 2016-08-04 Jinho Kim Array level fourier ptychographic imaging
WO2016149120A1 (en) 2015-03-13 2016-09-22 California Institute Of Technology Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
WO2016187591A1 (en) 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US10558029B2 (en) 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
DE102016123154A1 (de) * 2016-11-30 2018-05-30 Carl Zeiss Microscopy Gmbh Bestimmung der Anordnung eines Probenobjekts mittels winkelselektiver Beleuchtung
US10477097B2 (en) 2017-01-03 2019-11-12 University Of Connecticut Single-frame autofocusing using multi-LED illumination
US10670842B2 (en) * 2017-01-26 2020-06-02 Navitar, Inc. High Etendue zoom lens having five lens groups
DE102017111718A1 (de) * 2017-05-30 2018-12-06 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes
DE102017115658A1 (de) * 2017-07-12 2019-01-17 Carl Zeiss Microscopy Gmbh Flackern bei Winkel-variabler Beleuchtung
WO2019077610A1 (en) 2017-10-19 2019-04-25 Scopio Labs Ltd. DEPTH DETECTION BASED ON DEPTH
US10754140B2 (en) 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems
WO2019097523A1 (en) 2017-11-20 2019-05-23 Scopio Labs Ltd. Multi/parallel scanner
WO2019097524A1 (en) 2017-11-20 2019-05-23 Scopio Labs Ltd. Accelerating digital microscopy scans using empty/dirty area detection
FR3076912A1 (fr) * 2018-01-16 2019-07-19 Francois Perraut Dispositif d’eclairage de microscope permettant d’effectuer la mise au point de l’image d’un objet
FR3076911A1 (fr) * 2018-01-16 2019-07-19 Francois Perraut Dispositif d’eclairage de microscope permettant de mesurer un defaut de mise au point
DE102018107356A1 (de) * 2018-03-28 2019-10-02 Carl Zeiss Microscopy Gmbh Autofokus mit winkelvariabler Beleuchtung
DE202018006284U1 (de) 2018-03-29 2019-11-26 Leica Microsystems Cms Gmbh Vorrichtung, insbesondere für Mikroskope und Endoskope, unter Anwendung einer Grundlinienschätzung und halbquadratischen Minimierung für die Unschärfereduzierung von Bildern
CN108398775B (zh) * 2018-04-24 2019-11-22 清华大学 荧光显微镜系统的对焦方法及装置
DE102018128083A1 (de) * 2018-11-09 2020-05-14 Leica Microsystems Cms Gmbh Mikroskopisches Durchlichtkontrastierverfahren
CN113454511B (zh) * 2018-12-21 2023-11-14 斯科皮奥实验室有限公司 显微图像的压缩获取
US11356593B2 (en) * 2019-05-08 2022-06-07 University Of Connecticut Methods and systems for single frame autofocusing based on color- multiplexed illumination
US11523046B2 (en) * 2019-06-03 2022-12-06 Molecular Devices, Llc System and method to correct for variation of in-focus plane across a field of view of a microscope objective
US11650405B2 (en) 2019-11-15 2023-05-16 Scopio Labs Ltd. Microscope and method for computational microscopic layer separation
KR102484708B1 (ko) * 2019-11-18 2023-01-05 단국대학교 산학협력단 다파장 광원 기반 3차원 영상의 보정방법
JP2023537892A (ja) * 2020-08-07 2023-09-06 ナノトロニクス イメージング インコーポレイテッド 自動焦点合わせ顕微鏡システムのための深層学習モデル
CN112799225A (zh) * 2020-12-31 2021-05-14 安徽大学 一种基于强度传输方程的智能手机显微系统
DE102021102990A1 (de) 2021-02-09 2022-08-11 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur Bestimmung der optimalen Position der Fokalebene zum Mikroskopieren einer Probe
WO2022183078A1 (en) 2021-02-25 2022-09-01 California Institute Of Technology Computational refocusing-assisted deep learning
EP4092462A1 (en) * 2021-05-18 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Laser assisted autofocus
CN114967100B (zh) * 2022-08-02 2022-11-18 杭州德适生物科技有限公司 一种染色体核型分析显微拍摄装置及其参数矫正方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2423136C3 (de) 1974-05-13 1982-07-29 Fa. Carl Zeiss, 7920 Heidenheim Vorrichtung zur automatischen Fokussierung von Stereomikroskopen
JPS58153327A (ja) 1982-03-08 1983-09-12 Toshiba Corp パタ−ン検査装置
DE3328821C2 (de) 1983-08-10 1986-10-02 Fa. Carl Zeiss, 7920 Heidenheim Autofokus für Mikroskope
JPH0769162B2 (ja) 1990-04-23 1995-07-26 大日本スクリーン製造株式会社 光学的検査システムのための自動焦点合わせ装置
IL111229A (en) 1994-10-10 1998-06-15 Nova Measuring Instr Ltd Autofocusing microscope
AU703068B2 (en) * 1994-11-29 1999-03-11 Minnesota Mining And Manufacturing Company Transparent decorative article having an etched appearing/prismatic image thereon
US6677565B1 (en) 1998-08-18 2004-01-13 Veeco Tucson Inc. High speed autofocus and tilt for an optical imaging system
US7034317B2 (en) * 2002-12-17 2006-04-25 Dmetrix, Inc. Method and apparatus for limiting scanning imaging array data to characteristics of interest
JP2005045164A (ja) 2003-07-25 2005-02-17 Toshiba Corp 自動焦点合わせ装置
US20050213037A1 (en) * 2004-03-29 2005-09-29 Erkin Abdullayev Method and apparatus of cornea examination
US7075046B2 (en) * 2004-07-28 2006-07-11 University Of Vermont And State Agricultural College Objective lens reference system and method
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
JP4790420B2 (ja) * 2006-01-12 2011-10-12 オリンパス株式会社 自動焦点機構を備えた顕微鏡およびその調整方法
JP4822925B2 (ja) 2006-04-28 2011-11-24 日本電子株式会社 透過型電子顕微鏡
KR20090018711A (ko) * 2006-06-09 2009-02-20 위구-디바이스 아이엔씨. 무한 보정 현미경의 자동 포커싱을 위한 방법 및 장치
DE102006027836B4 (de) 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
KR101629044B1 (ko) * 2008-07-25 2016-06-09 코넬 유니버시티 광 필드 이미지 센서, 방법 및 적용
EP2530459A4 (en) 2010-01-27 2017-05-10 National University Corporation Hokkaido University Diffraction microscopy
EP2373043A1 (en) * 2010-03-29 2011-10-05 Swiss Medical Technology GmbH Optical stereo device and autofocus method therefor
JP5938401B2 (ja) * 2010-06-24 2016-06-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 差分測定に基づき顕微鏡検査をスキャンするためのオートフォーカス
DE102011077236A1 (de) 2011-06-08 2012-12-13 Carl Zeiss Microlmaging Gmbh Autofokusverfahren für Mikroskop und Mikroskop mit Autofokuseinrichtung
DE102011082756A1 (de) * 2011-09-15 2013-03-21 Leica Microsystems (Schweiz) Ag Autofokussierverfahren und -einrichtung für ein Mikroskop
JP2013088513A (ja) * 2011-10-14 2013-05-13 Panasonic Corp 撮像レンズ及びそれを用いた撮像装置
GB201201140D0 (en) 2012-01-24 2012-03-07 Phase Focus Ltd Method and apparatus for determining object characteristics
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
CA2889495A1 (en) * 2012-10-30 2014-05-08 California Institute Of Technology Fourier ptychographic imaging systems, devices, and methods
CA2921372A1 (en) * 2013-08-22 2015-02-26 California Institute Of Technology Variable-illumination fourier ptychographic imaging devices, systems, and methods
JP2015052663A (ja) * 2013-09-06 2015-03-19 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置およびプログラム
WO2015134924A1 (en) * 2014-03-07 2015-09-11 The Regents Of The University Of California Partially coherent phase recovery
US10162161B2 (en) * 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
CN104200449B (zh) * 2014-08-25 2016-05-25 清华大学深圳研究生院 一种基于压缩感知的fpm方法
CN104796609B (zh) * 2015-04-17 2018-01-05 南京理工大学 基于最优哈达玛编码的大视场高分辨率显微成像方法
CN104932092B (zh) * 2015-06-15 2017-09-08 上海交通大学 基于偏心光束法的自动对焦显微镜及其对焦方法
US10754140B2 (en) * 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems

Also Published As

Publication number Publication date
US10705326B2 (en) 2020-07-07
US20180329194A1 (en) 2018-11-15
EP3374817B1 (en) 2020-01-08
WO2017081542A2 (en) 2017-05-18
JP2018537709A (ja) 2018-12-20
WO2017081539A1 (en) 2017-05-18
US20190235224A1 (en) 2019-08-01
EP3374817A1 (en) 2018-09-19
CN108351504A (zh) 2018-07-31
WO2017081542A3 (en) 2017-07-06
CN108351506A (zh) 2018-07-31
EP3374816A2 (en) 2018-09-19

Similar Documents

Publication Publication Date Title
CN108351506B (zh) 用于计算显微镜的自动聚焦系统
US10558029B2 (en) System for image reconstruction using a known pattern
US20180348500A1 (en) Scanning microscope with real time response
US20190384962A1 (en) Methods and systems for diagnostic platform
US10935779B2 (en) Digital microscope which operates as a server
US20230005281A1 (en) Adaptive sensing based on depth
US11650405B2 (en) Microscope and method for computational microscopic layer separation
US20180373016A1 (en) Microscope having a refractive index matching material
US11828927B2 (en) Accelerating digital microscopy scans using empty/dirty area detection
JP2018084820A (ja) マルチレベル拡大被写界深度画像処理機能を備えた可変焦点距離レンズ
CN113454511B (zh) 显微图像的压缩获取
CN111164646A (zh) 用于大型偏移裸片对裸片检验的多步骤图像对准方法
US20210149170A1 (en) Method and apparatus for z-stack acquisition for microscopic slide scanner
JP2015102694A (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP2018128657A (ja) レンズアレイ顕微鏡
Sha et al. A fast autofocus sharpness function of microvision system based on the Robert function and Gauss fitting
US9658444B2 (en) Autofocus system and autofocus method for focusing on a surface
Cao et al. Method based on bioinspired sample improves autofocusing performances
US20230186483A1 (en) Method for determining boundaries of a z-stack of images of an object, corresponding optical instrument and computer program therefor
Langguth et al. Optical performance analysis of plenoptic camera systems
Esteban García Proof-of-concept demonstration of smart optical imaging systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant