CN108377658A - 数字全息术中的自动聚焦系统和方法 - Google Patents

数字全息术中的自动聚焦系统和方法 Download PDF

Info

Publication number
CN108377658A
CN108377658A CN201580065121.7A CN201580065121A CN108377658A CN 108377658 A CN108377658 A CN 108377658A CN 201580065121 A CN201580065121 A CN 201580065121A CN 108377658 A CN108377658 A CN 108377658A
Authority
CN
China
Prior art keywords
depth
image
focal plane
edge
edge detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580065121.7A
Other languages
English (en)
Other versions
CN108377658B (zh
Inventor
萧晴骏
张婷婷
廖超康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interuniversitair Microelektronica Centrum vzw IMEC
Original Assignee
Interuniversitair Microelektronica Centrum vzw IMEC
Taiwan Amy Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interuniversitair Microelektronica Centrum vzw IMEC, Taiwan Amy Ltd By Share Ltd filed Critical Interuniversitair Microelektronica Centrum vzw IMEC
Publication of CN108377658A publication Critical patent/CN108377658A/zh
Application granted granted Critical
Publication of CN108377658B publication Critical patent/CN108377658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447—In-line recording arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G03H2001/0883—Reconstruction aspect, e.g. numerical focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Holo Graphy (AREA)
  • Focusing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种用于确定最优焦平面的自动聚焦方法。该方法包括：重构(201)全息图像，以及基于经重构图像的实部来执行(203)至少两个经重构深度处的第一边缘检测，以及基于经重构图像的虚部来执行在这些经重构深度处的第二边缘检测。该方法进一步包括：基于分别相对于第一和第二边缘检测的统计离差，来获得(204)每个深度的第一和第二清晰度测量。该方法还包括：基于该至少两个深度的清晰度标量测量的比较来确定(205)该至少一个对象的焦平面，其中，该标量测量基于第一和第二清晰度测量。

Description

数字全息术中的自动聚焦系统和方法
发明领域
本发明涉及数字全息图像处理的领域。更具体地，本发明涉及一种用于数字全息术中的图像处理的自动聚焦系统和方法。
发明背景
无透镜全息成像可提供针对对小对象进行成像的低成本解决方案，因为其通常不需要昂贵和/或复杂的光学组件。当与使用透镜的紧凑型常规显微镜相比时，无透镜全息成像还可提供相对大的视场。此外，全息成像允许良好的景深成像，以使得大体积可通过单次图像采集被成像。
然而，在许多情形中，诸如在对象的自动检查中，感兴趣对象与图像检测器之间的距离不是提前已知的，例如，该距离可以是可变的并且可具有显著的随机分量。如本领域已知的数字全息重构算法(例如，使用光场的前向和后向传播)通常可能需要提供此类焦距作为参数以获得高质量重构。由于不正确的聚焦会引起模糊的图像并且会造成特定应用(诸如细胞行为分析)的困难，因此可能期望使用一种自动地找到最优焦平面的方法并提供对应的自动聚焦系统。
本领域中已知的是，使用包括因变于图像坐标的梯度幅值的标量图像，来确定无透镜全息成像中感兴趣对象的合适焦平面。此类办法可基于由经重构的波幅度值或相关量(例如，标量图像强度)构成的全息重构图像的空间梯度分析。此类方法由此可以被表征为基于幅度的办法。
例如，在Onur Mudanyali等人的题为“Detection of Waterborne ParasitesUsing Field-Portable and Cost-Effective Lensfree Microscopy”的论文中，幅度图像是基于因变于二维图像坐标的图像梯度幅值来确定的，其中图像梯度通过经重构图像的水平和垂直Sobel算子卷积来近似。该幅度图像的方差被用作焦点测量，其中在获得良好锐度和对比度情况下该焦点测量在重构焦距处达到最大值。
在Mario A.Bueno-Ibarra等人的题为“Fast Autofocus AlgorithmforAutomated Microscopes”的论文中，针对在不同焦距处通过常规显微成像获得的图像来确定焦点测量。该论文公开了一种基于Sobel-Tenengrad梯度幅值的方差(SOB VAR)的焦点测量。该论文还公开了一种基于图像与离散拉普拉斯算子的卷积的绝对值的方差(LAPVAR)的焦点测量。
虽然此类基于幅度的办法被广泛使用，但是从通过操纵图像导数获得的标量图像中确定标量焦点测量的缺点在于：在整个感兴趣的深度范围中的全局搜索被实施，以通过标量焦点测量的最大化来确定最优焦平面。因此，缩小搜索范围以使得能够改善搜索速度将是有利的。
发明概述
本发明的各实施例的目的是提供良好且高效的自动聚焦方法和对应的自动聚焦系统。
以上目的通过根据本发明的方法和设备来实现。
本发明的各实施例的优点在于不需要机械聚焦装置。
本发明的各实施例的优点在于可实现离线计算图像聚焦。
本发明的各实施例的优点在于，例如因为可能不需要机械聚焦而可获得短的图像采集时间。
本发明的各实施例的优点在于在自动光学检查过程中可容易且快速地缩小焦距的搜索范围。
本发明的各实施例的优点在于仅需要全息图像重构的很少迭代来获得感兴趣对象的良好的经重构图像，例如，清晰、清楚和良好聚焦的图像。
在第一方面，本发明涉及一种用于确定(例如经重构全息图像中的)至少一个对象的焦平面(例如，最优焦平面)的自动聚焦方法(例如，计算机实现的自动聚焦方法)。所述方法包括：重构所述至少一个对象的全息图像，以便提供在多个不同焦点深度处的经重构图像。例如，所述经重构图像可包括多个二维经重构全息图像，每个二维经重构全息图像对应于其中所述二维全息图像被重构的不同焦点深度。所述经重构图像包括用于联合地编码相位和幅度信息的实分量和虚分量，例如，所述经重构图像是表示焦平面中波前的相位和幅度信息两者的复值图像。例如，该波前可对应于通过与参考光波相互作用而形成了干涉图案的对象光波，其中这些干涉图案被记录在原始全息图像中，该原始全息图像被重构以形成经重构的全息图像。
所述方法进一步包括：针对至少两个深度来对所述实分量执行第一边缘检测，例如，分开地在所述多个不同焦点深度中的所述至少两个深度中的每一者上执行该第一边缘检测，以及针对所述至少两个深度来对所述虚分量执行第二边缘检测，例如，分开地在所述至少两个深度中的每一者上执行该第一边缘检测。
所述方法进一步包括：基于相对于所述第一边缘检测的第一统计离差测量来获得所述至少两个深度中的每一者的第一清晰度测量，并基于相对于所述第二边缘检测的第二统计离差测量来获得所述至少两个深度中的每一者的第二清晰度测量。所述第一统计离差测量和所述第二统计离差测量可与分别应用于所述第一边缘检测结果和所述第二边缘检测结果的相同数学运算相对应。
所述方法进一步包括：基于所述至少两个深度的清晰度标量测量的比较(例如，比较所述至少两个深度之间的清晰度标量测量的值)，来确定所述至少一个对象的焦平面(例如，最优焦平面)。该标量测量基于所述第一清晰度测量和所述第二清晰度测量。
一种根据本发明的各实施例的方法可进一步包括：标识所述经重构图像中的至少一个对象。执行所述第一边缘检测和所述第二边缘检测、获得所述第一清晰度测量和所述第二清晰度测量以及确定所述焦平面的各步骤，可以另外应用于所述经重构图像中对应于所述或每个至少一个所标识对象的局部区域。
在根据本发明的各实施例的方法中，该标识步骤可包括：数字化所述经重构图像，标识具有相同数字化值的各连通区域；以及分割所述各连通区域中的每一者，例如，以形成所述经重构图像中用于每个所标识对象的所述局部区域。
在根据本发明的各实施例的方法中，多个对象可被标识，例如，所述至少一个对象可以是多个对象。所述方法可进一步包括：确定对应于所述多个对象的多个焦平面。所述方法可进一步包括：将对应于所述多个对象中的每一者的图像区域在对应焦平面中拼接在一起以形成合成图像，所述合成图像包含焦点对准的所述多个对象中的每一者。
在根据本发明的各实施例的方法中，所述第一统计离差测量和/或所述第二统计离差测量可以是标准偏差。
由此，本发明的各实施例可提供一种确定最优焦平面的自动聚焦方法。所述方法可包括：重构全息图像，标识所述经重构图像中的对象，基于所述经重构图像的实部在一深度处针对对象执行第一边缘检测，基于所述经重构图案的虚部在所述深度处针对所述对象执行第二边缘检测，基于相对于所述第一边缘检测的第一标准偏差来获得在所述深度处所述对象的第一清晰程度，以及基于相对于所述第二边缘检测的第二标准偏差来获得在所述深度处所述对象的第二清晰程度。所述方法可进一步包括：基于所述第一标准偏差值和所述第二标准偏差值来确定在所述深度处所述对象的清晰程度。
在根据本发明的各实施例的方法中，获得第一清晰度测量和/或获得第二清晰度测量可包括：获得所述第一边缘检测和/或所述第二边缘检测的结果的梯度幅值，以及获得该梯度幅值的标准偏差值。由此，获得第一清晰度测量(例如，第一清晰程度)可包括：获得所述第一边缘检测的结果的第一梯度幅值，以及获得所述第一梯度幅值的第一标准偏差值。获得第二清晰程度可包括：获得所述第二边缘检测的结果的第二梯度幅值，以及获得所述第一梯度幅值的第二标准偏差值。
在根据本发明的各实施例的方法中，所述多个不同焦点深度中的所述至少两个深度可包括均匀分布在预定范围中的深度。
在根据本发明的各实施例的方法中，所述均匀分布在所述预定范围中的深度可包括所述预定范围的第一四分位数、第二四分位数以及第三四分位数。
一种根据本发明的各实施例的方法可进一步包括：基于所确定的焦平面来确定所述多个不同焦点深度中的至少一个进一步深度，以及重复以下步骤：针对该至少一个进一步深度执行所述第一边缘检测和所述第二边缘检测，以及获得该至少一个进一步深度的第一清晰度测量和第二清晰度测量。所述方法可进一步包括：基于针对所述至少一个进一步深度所确定的所述清晰度标量测量来调整所述焦平面。
一种根据本发明的各实施例的方法可进一步包括：基于所确定的焦平面来确定所述多个不同焦点深度中的至少一个进一步深度，基于所述经重构图像的幅度来针对所述至少一个进一步深度执行第二阶段边缘检测，以及基于所述第二阶段边缘检测的结果来评估所述对象的第二阶段清晰度测量。
在根据本发明的各实施例的方法中，所述至少两个深度可均匀分布在第一预定深度范围中，并且所述至少一个进一步深度可包括均匀分布在第二深度范围中的深度，其中，所述第二深度范围窄于所述第一预定深度范围。所述第二深度范围可通过考虑所述至少两个深度的清晰度标量测量的比较来确定。
本发明的各实施例由此可提供一种确定最优焦平面的自动聚焦方法，所述方法包括：重构全息图像，标识所述经重构图像中的对象，基于所述经重构图像的实部在第一范围中的预定深度集合处针对对象执行第一阶段边缘检测，基于所述经重构图像的虚部在第一范围中的所述预定深度集合处针对所述对象执行第一阶段边缘检测，基于由所述第一阶段边缘检测所检测的所述对象的边缘的实部和虚部的梯度幅值中的每一者的标准偏差来评估在所述预定深度集合处所述对象的第一阶段清晰程度，以及基于所述第一阶段清晰程度在所述第一范围内标识与所述最优焦平面相关联的第二范围。
在根据本发明的各实施例中，所述预定深度集合可包括均匀分布在所述第一范围中的若干深度。在根据本发明的各实施例中，所述预定深度集合可包括所述第一范围的第一四分位数、第二四分位数以及第三四分位数。
在根据本发明的各实施例中，所述方法可进一步包括：基于所述经重构图像的幅度在所述第二范围中针对所述对象执行第二阶段边缘检测，以及基于所述第二阶段边缘检测的结果来评估所述对象的第二阶段清晰程度。
在根据本发明的各实施例的方法中，评估所述第一阶段清晰程度可包括：获得在所述预定深度中的每一者处与所述实部相关联的第一阶段边缘检测的结果的第一梯度幅值，以及获得所述第一梯度幅值的第一标准偏差值。
在根据各实施例的方法中，评估所述第一阶段清晰程度可包括：获得在所述预定深度中的每一者处与所述虚部相关联的第一阶段边缘检测的结果的第二梯度幅值，以及获得所述第二梯度幅值的第二标准偏差值。
在根据各实施例的方法中，所述方法可进一步包括：基于所述第一标准偏差值和所述第二标准偏差值来确定在所述预定深度中的每一者处所述对象的清晰程度。
在根据各实施例的方法中，执行所述第一边缘检测可包括：将所述实分量或者其部分(诸如对应于所标识对象的一部分)与拉普拉斯掩模进行卷积(例如，卷积或应用离散数学卷积运算)。
在根据各实施例的方法中，执行所述第二边缘检测可包括：将所述虚分量或者其部分与拉普拉斯掩模进行卷积(例如，卷积或应用离散数学卷积运算)。
在第二方面，本发明涉及一种用于自动聚焦系统中用于确定焦平面的计算设备，所述计算设备被编程用于执行根据本发明的第一方面的各实施例的方法。所述计算设备可包括存储器、一个或多个处理器、以及存储在所述存储器中并被配置用于由所述一个或多个处理器执行的一个或多个程序。
本公开的各实施例可提供一种例如自动聚焦系统中用于确定最优焦平面的计算设备。所述计算设备可包括存储器、一个或多个处理器、以及存储在所述存储器中并被配置用于由所述一个或多个处理器执行的一个或多个程序。所述一个或多个程序可包括用于进行以下操作的指令：重构全息图像，标识所述经重构图像中的对象，基于所述经重构图像的实部在一深度处针对对象执行第一边缘检测，基于所述经重构图像的虚部在所述深度处针对所述对象执行第二边缘检测，基于相对于所述第一边缘检测的第一标准偏差来获得在所述深度处所述对象的第一清晰程度，以及基于相对于所述第二边缘检测的第二标准偏差来获得在所述深度处所述对象的第二清晰程度。
本公开的各实施例可提供一种例如自动聚焦系统中用于确定最优焦平面的计算设备。所述计算设备可包括存储器、一个或多个处理器、以及存储在所述存储器中并被配置用于由所述一个或多个处理器执行的一个或多个程序。所述一个或多个程序可包括用于进行以下操作的指令：重构全息图像，标识所述经重构图像中的对象，基于所述经重构图像的实部在第一范围中的预定深度集合处针对对象执行第一阶段边缘检测，基于所述经重构图像的虚部在所述第一范围中的所述预定深度集合处针对所述对象执行第一阶段边缘检测，基于由所述第一阶段边缘检测所检测的对象边缘的实部和虚部中的每一者的标准偏差来评估在所述预定深度集合处所述对象的第一阶段清晰程度，以及基于所述第一阶段清晰程度来标识所述第一范围内与所述最优焦平面相关联的第二范围。
本发明的各实施例还可涉及一种自动聚焦系统，所述自动聚焦系统包括用于朝向测试中的样本辐射光的光源以及用于采集该样本的全息图的成像器。该自动聚焦系统可进一步包括一种根据本发明的各实施例的用于确定焦平面的计算设备。
在第三方面，本发明还涉及一种计算机程序产品，所述计算机程序产品用于当在根据本发明的第二方面的各实施例的计算设备上执行时执行根据本发明的第一方面的各实施例的方法。
本发明的特别和优选方面在所附独立和从属权利要求中阐述。从属权利要求中的特征可以与独立权利要求的特征以及其他从属权利要求的技术特征适当地结合，而不仅仅是其在权利要求中明确阐明的那样。
本发明的这些以及其他方面从下文所描述的(诸)实施例中将变得显而易见并且将参考这些实施例来进行阐明。
附图简述
图1示出了根据本发明的各实施例的自动聚焦系统的示意图。
图2示出了解说根据本发明的各实施例的用于确定最优焦平面的方法的流程图。
图3示出了解说根据本发明的各实施例的用于确定对象的最优焦平面的方法的流程图。
图4示出了解说根据本发明各实施例的对象分割方法的流程图。
图5解说了根据本发明的各实施例的边缘检测和边缘清晰度评估的方法。
图6解说了根据本发明的各实施例的确定对象的清晰程度的方法。
图7解说了根据本发明的各实施例的确定一个或多个对象的最优焦平面的方法。
图8解说了根据本发明的各实施例的确定一个或多个对象的最优焦平面的方法。
图9至图19示意性地解说了根据本发明的各实施例的用于确定最优焦平面的方法的各个阶段。
图20解说了根据本领域中可能已知的方法的因变于不同焦点深度的清晰程度。
图21示出了如可通过本发明的各实施例获得的因变于不同焦点深度的清晰程度以用于解说本发明的各实施例的方面。
这些附图只是示意性而非限制性的。在附图中，出于解说性目的，可将一些元素的尺寸放大且未按比例绘制。
权利要求中的任何附图标记不应被解释为限制范围。
在不同的附图中，相同的附图标记指代相同或相似的元件。
说明性实施例的详细描述
虽然将关于具体实施例并参考特定附图描述本发明，但是本发明不限于此而仅由权利要求来限定。所描述的附图只是示意性而非限制性的。在附图中，出于解说性目的，将一些元素的尺寸放大且未按比例绘制。尺寸和相对尺寸并不对应于为实践本发明的实际缩减。
此外，在说明书中且在权利要求中的术语“第一”、“第二”等等用于在类似的元素之间进行区分，并且不一定用于临时地、空间地、以排序或以任何其他方式描述顺序。应该理解，如此使用的这些术语在合适环境下可以互换，并且在此描述的本发明的实施例能够以除了本文描述或解说的之外的其他顺序来操作。
此外，在说明书中且在权利要求中的术语“顶部”、“底部”等等用于描述性的目的并且不一定用于描述相对位置。应该理解，如此使用的这些术语在合适环境下可以互换，并且在此描述的本发明的实施例能够以除了本文描述或示出的之外的其他顺序来操作。
应当注意，权利要求中所使用的术语“包括”不应被解释为限于此后列出的装置；它不排除其他元件或步骤。它由此应当被解释为指定存在所陈述的特征、整数、如所称谓的步骤或组件，但是不排除存在或添加一个或多个其他特征、整数、步骤或组件、或者其群组。因此，措词“一种包括装置A和B的设备”的范围不应当被限定于仅由组件A和B构成的设备。这意味着该设备的唯一与本发明有关的组件是A和B。
本说明书中对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。由此，短语“在一个实施例中”或“在实施例中”在贯穿本说明书的各个地方的出现不一定都引用相同的实施例，但是可以如此。此外，在一个或多个实施例中，具体特征、结构、或者特性可以任何合适的方式组合，如根据本公开对本领域普通技术人员将是显而易见的。
类似地，应当领会在本发明的示例性实施例的描述中，出于流线型化本公开和辅助对各个发明性方面中的一个或多个发明性方面的理解的目的，本发明的各个特征有时被一起归组在单个实施例、附图、或者其描述中。然而，该公开方法不应被解释成反映所要求保护的发明需要比每项权利要求中明确记载的更多特征的意图。相反，如所附权利要求书所反映，发明性方面存在于比单个先前已公开实施例的所有特征少的特征中。因此，详细描述之后的权利要求由此被明确地结合到该详细描述中，其中每一项权利要求本身代表本发明的单独实施例。
此外，尽管本文描述的一些实施例包括其他实施例中所包括的一些特征但没有其他实施例中包括的其他特征，但是不同实施例的特征的组合意图落在本发明的范围内，并且形成如本领域技术人员所理解的不同实施例。例如，在所附的权利要求书中，所要求保护的实施例中的任何实施例均可以任何组合来使用。
在本文中所提供的描述中，大量具体细节得到阐述。然而，应当理解可在没有这些具体细节的情况下实践本发明的实施例。在其他实例中，未详细示出众所周知的方法、结构和技术，以免混淆对本描述的理解。
在第一方面，本发明涉及一种用于确定例如经重构全息图像中的至少一个对象的焦平面(例如，最优焦平面)的自动聚焦方法(例如，计算机实现的自动聚焦方法)。该方法包括：重构至少一个对象的全息图像，以便提供在多个不同焦点深度处的经重构图像。
该方法进一步包括：针对所述多个不同焦点深度中的至少两个深度来对实分量执行第一边缘检测，例如，分开地在该至少两个深度中的每一者上执行该第一边缘检测，以及针对至少两个深度来对虚分量执行第二边缘检测，例如，分开地在该至少两个深度中的每一者上执行该第一边缘检测。
该方法进一步包括：基于相对于第一边缘检测的第一统计离差测量来获得至少两个深度中的每一者的第一清晰度测量，并且基于相对于第二边缘检测的第二统计离差测量来获得至少两个深度中的每一者的第二清晰度测量。第一统计离差测量和第二统计离差测量可与分别应用于第一边缘检测结果和第二边缘检测结果的相同数学运算相对应。在根据本发明的各实施例的方法中，第一统计离差测量和/或第二统计离差测量可以是标准偏差。
该方法进一步包括：基于所述至少两个深度的清晰度标量测量的比较(例如，比较所述至少两个深度之间的清晰度标量测量的值)，来确定至少一个对象的焦平面(例如，最优焦平面)。该标量测量基于第一清晰度测量和第二清晰度测量。
该方法可进一步包括：标识经重构图像中的对象，例如，标识经重构图像中的各对象。该标识步骤可包括：数字化经重构图像，标识具有相同数字化值的各连通区域；以及分割各连通区域中的每一者，例如，以形成经重构图像中用于每个所标识对象的所述局部区域。
在根据本发明的各实施例的方法中，获得第一清晰度测量和/或获得第二清晰度测量可包括：获得第一边缘检测和/或第二边缘检测的结果的梯度幅值，以及获得该梯度幅值的标准偏差值。
一种根据本发明的各实施例的方法可进一步包括：基于所确定的焦平面来确定多个不同焦点深度中的至少一个进一步深度，以及重复以下步骤：针对该至少一个进一步深度执行第一边缘检测和第二边缘检测，以及获得该至少一个进一步深度的第一清晰度测量和第二清晰度测量。该方法可进一步包括：基于针对至少一个进一步深度的所述清晰度标量测量来调整焦平面。
一种根据本发明的各实施例的方法可进一步包括：基于所确定的焦平面来确定多个不同焦点深度中的至少一个进一步深度，基于经重构图像的幅度来针对至少一个进一步深度执行第二阶段边缘检测，以及基于第二阶段边缘检测的结果来评估对象的第二阶段清晰度测量。
在根据本发明的各实施例的方法中，至少两个深度可均匀分布在第一预定深度范围中，并且至少一个进一步深度可包括均匀分布在第二深度范围中的深度，其中，第二深度范围窄于第一预定深度范围。第二深度范围可通过考虑至少两个深度的清晰度标量测量的比较来确定。
在根据本发明的各实施例中，预定深度集合可包括均匀分布在第一范围中的若干深度。在根据本发明的各实施例中，预定深度集合可包括第一范围的第一四分位数、第二四分位数以及第三四分位数。
在根据本发明的各实施例中，该方法可进一步包括：基于经重构图像的幅度，在第二范围中针对对象执行第二阶段边缘检测，以及基于第二阶段边缘检测的结果来评估对象的第二阶段清晰程度。
在根据本发明的各实施例的方法中，评估第一阶段清晰程度可包括：获得在预定深度中的每一者处与实部相关联的第一阶段边缘检测的结果的第一梯度幅值，以及获得第一梯度幅值的第一标准偏差值。
在根据各实施例的方法中，评估第一阶段清晰程度可包括：获得在预定深度中的每一者处与虚部相关联的第一阶段边缘检测的结果的第二梯度幅值，以及获得第二梯度幅值的第二标准偏差值。在根据各实施例的方法中，该方法可进一步包括：基于第一标准偏差值和第二标准偏差值来确定在预定深度中的每一者处对象的清晰程度。
图2示出了解说根据本发明的各实施例的用于确定焦平面(例如，用于确定限定焦平面的焦点深度参数)的自动聚焦方法的流程图。根据各实施例的方法可以是计算机实现的方法，例如，用于在处理设备(例如，诸如下文结合图1所描述的处理设备20)上执行的方法。该焦平面可以是经重构全息图像中对象的最优焦平面，例如，在考虑该焦平面的情况下可应用数字全息图像重构算法来重构全息图像，以使得高质量的经重构图像被生成。‘最优’可指代与感兴趣对象至成像平面的距离基本上相对应的焦平面。‘最优’可指代通过成本测量或品质因素(例如，下文提及的清晰度标量测量)的算法优化获得的值，其表征经重构图像的指示图像质量的至少一个属性，诸如锐度和/或清晰度。除了清晰度和/或锐度之外，该成本测量或品质因素还可以考虑其他图像质量测量，诸如对比度、信噪比和/或熵和/或信息理论测量。‘最优’可以仅指代通过算法优化过程获得的结果，并不一定暗示对所获得结果的主观理解。技术人员进一步意识到，由于例如对迭代次数、处理时间或预定容限范围的限制，此类算法优化可在充分接近理论最优值的值处暂停。此外，此类算法优化可优选地提供全局最优，但在根据本发明的各实施例中，算法优化也可以提供局部最优，例如，目标函数的局部最大值或局部最小值。
根据本发明的各实施例的方法可包括：接收包括样本(例如，包含至少一个对象的样本)的光学信息的全息图像。例如，此类全息图像可以是作为输入被接收的、例如由成像器直接采集的原始全息图像。
根据本发明的各实施例的方法包括以下步骤：重构201至少一个对象的全息图像201，以便提供在多个不同焦点深度处的经重构图像。例如，经重构图像可包括多个二维经重构全息图像，每个二维经重构全息图像对应于该二维全息图像被重构的不同焦点深度。在多个不同焦点深度处的经重构图像由此可形成三维图像或不同焦点深度的二维图像的堆叠。当下文参考深度或焦点深度时，参考全息图像采集平面与重构平面(也被称为焦平面)之间的距离。然而，技术人员应当清楚，这仅是焦平面的方便参数化，并且因此，‘深度’或‘焦点深度’不应当被解释为限制于此类参数化，并且可包括用于限定空间中在其上重构全息图像的表面的一个或多个参数。例如，深度或焦点深度可指代限定空间中在其中执行全息重构的平面或者甚至非平面表面的参数的任何组合。因此，在本描述中参考深度或焦点深度的情况下，应当理解，这可以指代限定空间中在其中执行与该深度或焦点深度相关联的全息重构的表面(例如，平面)的至少一个参数。
经重构图像包括用于联合地编码相位和幅度信息的实分量和虚分量。例如，经重构图像包括相位信息和幅度信息，例如，包括实部和虚部。例如，对于每个经重构图像网格位置(k,l)，经重构图像可包括复值ckl＝akl+bkl.i(其中i表示虚数单位)，其可以组合地编码波前的相位信息和幅度信息两者。由此，经重构图像可以是表示焦平面中波前的相位和幅度信息两者的复值图像。例如，该波前可对应于通过与参考光波相互作用而形成了干涉图案的对象光波，其中这些干涉图案被记录在原始全息图像中，该原始全息图像被重构以形成经重构的全息图像。例如，经重构图像可包括相位信息和幅度信息，例如，实部和虚部。
经重构图像由此包括相位信息和幅度信息。如技术人员已知的，该幅度和相位信息可被表示为具有实分量和虚分量的复数域(例如，表示复数域的数组)的形式。该域可例如通过图像重构平面中的笛卡尔坐标来限定。然而，本发明的各实施例不限于此，因为本领域技术人员将理解使用复数可以仅是在数学上方便表示。然而，此类复数表示可以例如在以下意义上有利地用于本发明的各实施例中：虚分量图像和实分量图像(例如，在同时包含至少部分互补的信息时)可以有利地包含幅度相关的信息和相位相关的信息两者而没有冗余。
重构全息图像可包括重构对应于多个焦平面的多个经重构图像，或者重构全息图像可包括迭代算法，其中在每一步骤处针对至少一个对应焦距确定至少一个经重构图像，该至少一个对应焦距通过缩小搜索范围(例如，在深度分辨率办法中从粗糙深度级前进到精细深度级)来确定。
参照图2，在操作201中，可重构包括样本的光学信息的全息图像，由此提供经重构图像。可由成像系统(诸如下文描述并参照图1解说的成像系统10)来提供全息图像。此外，样本可包括在不同深度处(例如，在不同的焦平面中)的一个或多个对象。这些不同的深度和/或不同的焦平面可能事先未知，例如，可能仅事先知道被包括在(诸如由容器或流动通道的边界所限定的)预定宽范围中，并且可根据本发明的各实施例来确定。
数字全息术的优点在于可捕获参考光束与对象光束之间的干涉图案，其中该干涉图案包含关于成像体积的三维结构的信息。可例如通过角谱方法或卷积方法来实现重构201全息图像。此类方法或类似方法在本领域众所周知并且不再详细讨论。
数字全息术使用本领域中已知的重构技术，有利地实现对波前的幅度和相位信息两者的重构。本领域中已知的是，在作为参数提供给重构算法的焦距处重构全息图像(例如，二维经重构图像)。由于原始全息图像可包含详细的对象波前信息(例如，包括相位信息)，因此可通过恰适地改变焦距参数来在任何焦平面中确定对象的经重构图像。在常规显微术的情况下，可通过机械地改变焦距直到获得聚焦的图像来实现自动聚焦，可从单个原始全息图像计算多个图像平面。
不同于原始全息图像(其可包括通过视觉检查不容易解释的干涉图案)，经重构图像可以是可用于直接视觉检查的图像，例如，可直接表示感兴趣对象的物理空间几何。然而，经重构图像中对象的最优深度或最优焦平面可能仍待确定。例如通过使用相同或不同的重构算法(例如使用计算上要求更高但能够提供更高的重构质量的另一种重构算法)对重构进行迭代，一个或多个感兴趣对象的此类焦平面可用于改善经重构图像的质量。一个或多个感兴趣对象的焦平面还可以用于索引针对不同图像区域(例如，针对不同对象)的不同焦点深度，以使得对应于不同深度的全息重构图像的堆叠可以被折叠成单个二维图像，以用于例如通过图案识别、机器学习、测量和/或其他表征算法来进行容易的视觉检查和/或进一步处理。
该方法进一步可包括：标识202经重构图像中的对象，例如，标识经重构图像中的各对象。例如，可基于经重构图像的实部，在一深度处针对对象(例如，针对所标识对象中的每一者)执行第一边缘检测的进一步步骤。例如，可基于经重构图像的虚部，在该深度处针对对象(例如，针对所标识对象中的每一者)执行第二边缘检测。由此，执行第一和第二边缘检测、获得第一和第二清晰度测量以及确定焦平面的步骤可以应用于经重构图像中对应于该至少一个所标识对象或每个至少一个所标识对象的局部区域。在此类标识操作202中，经重构图像中的一个或多个对象可被识别并彼此分割。对象分割可有利地便于检测一个或多个感兴趣对象中的每一者的最优焦平面，例如，针对每个对应对象的最优焦平面的分开检测。下文将参照图4进一步讨论标识202经重构图像中的对象的示例性细节(例如，对象分割的示例性细节)。
由此，可获得单个原始全息图像，从该原始全息图像检测多个对象。对于每个检测到的对象，可根据本发明的各实施例确定焦平面。该信息可例如用于将对应于多个对象的图像区域拼接在一起，每个图像区域在对应的焦平面处被重构。以此方式，可创建合成图像，该合成图像包含焦点对准的多个对象中的每一者。
该方法进一步包括：针对所述多个不同焦点深度中的至少两个深度来对实分量执行203第一边缘检测，例如，分开地在至少两个深度中的每一者上执行该第一边缘检测，并且针对至少两个深度来对虚分量执行第二边缘检测，例如，分开地在至少两个深度中的每一者上执行该第一边缘检测。边缘检测可指用于标识数字图像中图像亮度尖锐地变化和/或具有不连续的点的图像处理方法。除了使此类边缘信息以边缘图像的形式可用之外，边缘检测不需要暗示确定形成此类边缘的图像位置。由此，该方法可包括：检测对象的边缘或边界。该检测边缘或边界包括：对经重构图像的实部执行第一边缘检测，例如，用于检测在一深度处对象的边缘，并且对经重构图像的虚部执行第二边缘检测，例如，用于检测在该深度处对象的边缘。
对象(例如，所标识对象中的任何对象)的边缘或边界的检测203可包括：在预定范围中(例如，在第一深度Za与第二深度Zb之间)中的不同深度处对焦平面的全局搜索。由此，至少两个深度可包括该预定范围中的多个深度，例如，在该范围中均匀地间隔开。多个深度可被认为用于限定对应对象的焦平面(例如，最优焦平面)的可能候选深度。
在根据本发明的各实施例中，对边缘或边界的检测203可开始于预定范围中的深度Zj，例如，在Za与Zb之间的深度Zj。开始深度Zj可例如由用户例如通过对经重构图像的视觉检查来确定。随后，在完成在深度Zj处的边缘检测之后，可在距开始深度Zj规则区间的下一深度处逐步实施全局搜索以用于边缘检测。例如，开始深度可以是10000微米(μm)，例如，离成像器10000μm的距离，而下一深度是10100μm或9900μm，距开始深度100μm的区间。
在根据本发明的各实施例中，可以在卷积运算中使用拉普拉斯掩模以便于边缘检测，例如，edgeimage＝conv(image,edgeoperator))，或者替代地表示为edgeimage＝image*edgeoperator，其中*指代卷积运算符，例如，离散图像卷积运算。在这些公式中，‘image’表示在给定深度处经重构图像的矩阵，并且‘edgeoperator’充当卷积运算的掩模或运算符。
然而，本发明的各实施例不限于该拉普拉斯掩模，并且该卷积运算可同样涉及本领域中已知的不同边缘检测滤波器，例如，用于计算Sobel梯度、Sobel-Tenengrad梯度的幅值的滤波器，或者用于生成标量边缘图像或标量边缘增强型图像的高阶导数滤波器。在卷积之后，可获得表示对象边缘的所得的矩阵‘edgeimage’。
在根据本发明的各实施例中，相对于经重构图像的实部和虚部的对象边缘可分别被标示为‘edgeimage,real’和‘edgeimage,imaginary’，并且可如下确定：
edgeimage,real＝conv(real_image,edgeoperator)，以及
edgeimage,imaginary＝conv(imaginary_image,edgeoperator)，
其中，edgeoperator表示边缘检测滤波器，诸如梯度幅值滤波器或者拉普拉斯滤波器，或者本领域中已知的另一合适的边缘检测卷积滤波器。
在根据本发明的各实施例的方法中，对实分量执行第一边缘检测由此可包括：应用用于检测边缘的第一边缘检测滤波器，而对虚分量执行第二边缘检测可包括：应用用于检测边缘的第二边缘检测滤波器。
该方法进一步包括：基于相对于第一边缘检测的第一统计离差测量来获得204至少两个深度中的每一者的第一清晰度测量，并且基于相对于第二边缘检测的第二统计离差测量来获得至少两个深度中的每一者的第二清晰度测量。第一统计离差测量和第二统计离差测量可与分别应用于第一边缘检测结果和第二边缘检测结果的相同数学运算相对应。
根据本发明的各实施例的方法进一步包括以下的下一步骤：确定204在所确定的不同深度中的每一者处对象边缘或边界的清晰程度。该确定204包括：基于相对于第一边缘检测的第一标准偏差，获得在该深度处对象的第一清晰度测量(例如，清晰程度)，并且基于相对于第二边缘检测的第二标准偏差，获得在该深度处对象的第二清晰度测量(例如，清晰程度)。
在一些实施例中，被标示为edgeclearness的清晰度测量(例如，清晰程度)可基于操作203中边缘检测的统计结果来确定，例如：
edgeclearness＝std(gradientmagnitude(edgeimage))，或者替换地表示，
edgeclearness＝std(|gradient(edgeimage)|)，或者在另一替换公式中，
其中，edgeimage是在操作203中获得的所得矩阵，gradient(M)表示M的梯度(在本发明的实施例中，M是所得矩阵edgeimage)，gradientmagnitude(M)表示M的梯度的幅值，诸如欧式范数，并且std(N)表示N的标准偏差(在本发明的实施例中，N是edgeimage的梯度)。
如上文的等式所限定的，可获得在不同深度中的每一者处对象的边缘edgeclearness(其是标量实数值)。此外，根据本发明的各实施例，相对于经重构图像中对象边缘的实部和虚部的清晰程度可分开地被确定，并且分别被标示为edgeclearness,real和edgeclearness,imaginary。这些值可通过上文的等式如下确定：
edgeclearness,real＝std(|conv(edgeimage,real,gradientoperation)|)，以及
edgeclearness,imaginary＝std(|conv(edgeimage,imaginary,gradientoperation)|)。
该方法进一步包括：基于所述至少两个深度的清晰度标量测量的比较(例如，比较所述至少两个深度之间的清晰度标量测量的值)，来确定至少一个对象的焦平面(例如，最优焦平面)。该标量测量基于第一清晰度测量和第二清晰度测量。
该确定焦平面可包括：输出至少一个表示焦平面的值。例如，确定焦平面可包括：生成205包括关于该或每个对象的最优焦平面上的信息的图像。
根据本发明的各实施例获得的焦平面(例如，焦距)可提供图像的良好聚焦，并且因此可提供图像中对象的清晰和/或尖锐边缘。此类清晰和/或尖锐边缘可由大的梯度值(例如，大于类似的焦点失调(out-of-focus)重构中的梯度值)以及大的清晰程度来表征。
根据本发明的各实施例，为了确定对象的最优焦平面，可如下评估清晰度标量测量(例如，度量EC)：
然而，此类标量测量还可包括应用于第一清晰度测量和第二清晰度测量的另一标量汇总运算，诸如绝对值的和、平方和、绝对值的最大值，或者一般而言，适合作为数学意义上的度量范数或者甚至是半范数的任何函数。
由此，可例如基于在每个深度处对象的边缘图像实部的标准偏差和边缘图像虚部的标准偏差，来计算在不同深度中的每一者处对象的清晰度标量测量，如上文所述。
通过比较在不同深度处清晰度标量测量(例如，度量EC)的值，具有最大EC值的深度可被标识为Za与Zb之间的预定范围中对象的最优深度或最优焦平面。随后，可生成205包括关于对象的最优焦平面上的信息的图像。
图20和图21示出了解说在不同深度处的清晰程度的图。参照图20，解说了本领域中可能已知的清晰度测量。y轴表示通过取得幅度图像的标准偏差(std)来确定的清晰程度，其可被简要地表达为应用统计汇总运算，例如，对在将全息图像的复数值减小到对应的复数模值之后获得的边缘检测图像计算标准偏差，例如，如可通过用于指示所执行运算的顺序的运算模板所概括的。
参照图21，y轴表示根据本发明的各实施例所确定的清晰度测量(例如，如上文定义的测量EC)，其可被简要地表达为将复值清晰度测量减小到其复数模，复值清晰度测量的实分量和虚分量通过从复值边缘图像中推导出的统计汇总运算(例如，标准偏差)来计算，例如，如可通过用于指示所执行运算的顺序的运算模板所概括的。
令人惊讶的是，可观察到图21中的曲线比图20中所示的曲线更规则，例如，示出较不明显的局部极值。此类规则曲线(例如，较平滑的曲线)便于确定可能存在最优焦平面的“热点区域”，如将参照图9至图19详细讨论的。作为结果，可简化搜索过程并且因此减少搜索时间。例如，降低了优化过程陷入局部最大值(例如，对应于次优焦平面)的风险。此外，较平滑的优化标准函数可以使得能够使用更高效的搜索算法，诸如例如，至少部分地基于优化函数相对于优化参数的梯度(例如，相对于焦点深度或限定要确定的焦平面的至少一个参数的导数)的优化方法。
图3示出了解说根据本发明的各实施例的确定对象的最优焦平面的另一示例性方法的流程图。图2中所解说的示例性方法可提供全局搜索，而图3中的方法可通过评估预定深度集合(少于全局搜索所需要的那些深度集合)来加速搜索过程。此外，根据诸如图3中所解说的方法，根据本发明的各实施例，可进行粗略搜索和精细搜索来确定焦平面(例如，最优焦平面)。
参照图3，在重构201全息图像以及可任选地标识202经重构图像中的对象(例如，分割全息图像中的对象)之后，在操作303中，可在预定深度集合处(例如，在Za与Zb之间的第一预定范围中)针对对象执行第一阶段边缘检测，其中该边缘检测基于经重构图像的实部和虚部。该第一阶段边缘检测可包括相对于实部的第一边缘检测和相对于虚部的第二边缘检测，从而例如根据上文提供的等式分别得到edgeimage,real和edgeimage,imaginary。
在根据本发明的各实施例中，第一范围中的预定深度集合可包括均匀分布在Za与Zb之间的三个深度，其将参照图9至图19进一步讨论。然而，经采样的深度(例如，预定深度)的数目不需要限制于三个点。
根据本发明的各实施例的方法可进一步包括：评估304在预定深度中的每一者处对象的第一阶段清晰度测量。第一阶段清晰程度评估可包括：通过例如应用上文提供的对应等式中的edgeimage,real和edgeimage,imaginary来确定edgeclearness,real和edgeclearness,imaginary，并且随后通过计算分量edgeclearness,real和edgeclearness,imaginary的标量范数来确定第一度量EC1。作为结果，在预定深度中的每一者处对象的清晰程度是基于在每个预定深度处对象的边缘的实部的标准偏差和虚部的标准偏差来计算的。
基于在预定深度处(例如，在第一范围中的三个均匀分布的深度)第一度量EC1的值，可通过连接这些EC1位置来构建EC1曲线。此类EC1曲线包括关于如图21中所解说的规则曲线的信息。此外，EC1曲线在第一范围上的倾斜度可以揭示关于规则曲线的全局峰值(例如，对应于最优焦平面)的信息。例如，如果EC1曲线趋向于上升，则可预计最优焦平面落在第一范围的较高部分中。此外，如果EC1曲线趋向于下降，则可预计最优焦平面落在第一范围的较低部分中。通过利用倾斜度，可以确定小于并落在第一范围内的、在Za'与Zb'之间的第二范围。
随后，可以在第二范围中的不同深度处针对对象执行第二阶段边缘检测305。在根据本发明的各实施例中，经重构图像的幅度可用于第二阶段边缘检测中，如由edgeimage,amplitude＝conv(amplitude_image,edgeoperator)所表达的，其中amplitude_image表示在给定深度处经重构图像的幅度图像的矩阵。该幅度图像可对应于经重构图像的复分量real_image和imaginary_image的复数模。
在本发明的一些实施例中，可以在第二范围中全局地在不同深度处执行第二阶段边缘检测。在根据本发明的各实施例中，可在比第二范围中的全局搜索所需要的更少的深度集合处有利地执行第二阶段边缘检测。
根据各实施例的方法可进一步包括：基于执行第二阶段边缘检测的结果来确定306对象的第二阶段清晰程度。第二阶段清晰程度评估可包括：通过将edgeimage,amplitude应用于下式来确定第二度量EC2：
通过比较与第二范围中的不同深度相关联的EC2的值，具有最大EC2值的深度可被标识为Za'与Zb'之间的第二范围中对象的最优深度或最优焦平面。随后，在操作205中，生成包括关于对象的最优焦平面上的信息的图像。
本领域技术人员应当清楚，此类规程可在三阶段过程、四阶段过程或一般而言任何数目的阶段中实现，其中前一阶段所获得的最优焦平面用于至少部分地限定下一阶段中的深度搜索范围。本领域技术人员还应当清楚，重构全息图像的步骤可在线执行，例如，当在一个阶段中需要对应深度时，仅重构特定的焦平面。
在诸如由图3所解说的各实施例中，在较宽范围中(例如，Za与Zb之间的第一范围)执行的操作303和304可构成该方法的粗略搜索，而在较窄范围中(例如，Za'与Zb'之间的第二范围)执行的操作305和306可构成该方法的对对象的最优焦平面的精细搜索。尽管在各实施例中讨论了一个粗略搜索阶段和一个精细搜索阶段，但一个以上粗滤搜索阶段和一个以上精细搜索阶段也落在本发明的范围内。各实施例的一个优点是可高效地且以低计算成本(例如，可实现低的处理时间)执行搜索过程。
然而，根据本发明的各实施例，应当清楚，构造视觉上可解释的曲线不是必要的，如上文所述。此外，可以应用本领域中已知的其他数值优化方法来恰适地减小搜索范围。
例如，预定深度范围(例如，在第一阶段中)可包括两个边界点(例如，Za和Zb)以及(例如，被包括在范围[Za,Zb]中的)至少两个内部点。随后可以拒绝最靠近具有最低EC1值的内部点的边界点，并且该方法可以行进到下一步骤，该下一步骤具有由未拒绝的边界点和所述具有最低EC1值的内部点形成的减小的深度搜索范围。如本领域中已知的，此类直接搜索算法的优点在于在后续步骤中仅需要计算一个附加的内部点。此外，如本领域中已知的，可应用划分搜索区间的替换方式，例如通过应用黄金区段搜索。
此外，可应用本领域中已知的其他搜索方法，诸如梯度下降、牛顿法、拟牛顿法。其他线性搜索方法在本领域中也是已知的，也可以应用这些方法而无需创造性努力。替换地，可应用信任区域搜索办法。本发明的各实施例也不限于线性搜索，而是可以例如包括网格搜索或者其他向量参数优化，因为在本公开的上下文中‘深度’可涵盖向量值参数，例如，不仅限定至成像平面的距离，而且限定相对于该成像平面的倾斜度。
在根据本发明的各实施例的方法中，可迭代地应用搜索方法，直到达到充分接近目标函数(例如，EC1和/或EC2)的最大值的深度或限定焦平面的一个或多个其他相关优化参数。‘充分接近’可例如对应于深度的预定容限范围、目标函数值的预定容限范围、预定的迭代次数、品质因数、本领域中已知的用于数值优化的另一停止标准、或者上述的任何组合。然而，如上文讨论的，此类搜索方法可应用于第一阶段(例如，处于粗略级)以迭代地缩小搜索范围，该搜索范围在第二阶段(例如，处于如上文讨论的精细级)中可进一步缩小。例如，第二阶段可在如由第一阶段缩小的范围中执行全局搜索。此外，第二阶段可使用如由具有实分量和虚分量的复数的复数模所确定的目标函数，该实分量和虚分量对应于分别应用于从实数和虚数全息重构图像获得的边缘图像的汇总统计，例如，如上文所述的EC1。然而，第二阶段还可使用如由应用于从复数模全息重构图像获得的边缘图像(例如，幅度图像)的汇总统计所确定的目标函数，诸如上文所述的示例性标量测量EC2。
图4示出了解说根据本发明的各实施例的用于标识经重构图像中的对象的方法(例如，对象分割方法)的流程图。用于标识对象的此类对象，或者本领域中已知的用于标识对象的另一方法在本发明的各实施例中可独立地应用于与每个经重构深度相对应的每个经重构2D图像上，例如，对象可在由多个重构深度形成的经重构图像的堆叠中的每个二维图像中被标识。
用于标识经重构图像中的对象的该方法可包括：预处理401经重构图像以改善其质量。例如，可执行滤波以减小所得到图像中的噪声，例如，在根据本发明的各实施例中，可以仅应用滤波，或者可以结合其他噪声减小技术来应用滤波操作。可执行自适应形态滤波以改善所得到图像的图像锐度和/或对比度。此外，最小滤波和自适应形态滤波两者都可应用于一实施例中。然而，图像预处理401可被认为可任选的。
在下一操作中，经重构图像402可通过例如向每个像素指派自适应值被数字化，从而得到数字化的经重构图像。此处，“数字化”可特别指代对经重构图像像素值的二进制量化。例如，如果像素的灰度大于或者大于或等于阈值，则可向该像素指派二进制值“1”，并且如果像素的灰度降到低于阈值，则可向该像素指派另一二进制值“0”。作为结果，可获得经重构图像的二进制图像。例如可以在考虑图像强度的情况下(例如，通过应用图像强度归一化)确定阈值。
该方法进一步可包括识别403连通或连续区域，例如，数字化的经重构图像中被标记为二进制“1”的区域。每个连通区域可以被编组并编号。例如，每个连通区域中的像素可以被编组以形成由唯一标识号标识的群组。每个群组可被认为是潜在对象。例如，可基于邻近度测量或形态标准将多个连通区域编组在一起，例如，以便如果多个连通区域紧邻或者仅分开低于步骤402中提及的二进制量化阈值的小体积(例如，数字化的经重构图像中被标记为“0”的小体积)，则将他们归于相同的对象。替换地，如果需要，例如如果图像对比度足以允许重构图像的高保真数字化，则每个连通区域可被标识为对应的群组，例如，无需将多个区域收集到单个群组中。
该方法可进一步包括：如果连通区域的群组(例如，群组#1)具有大于或等于阈值的大小，则将该群组标识405为对象。然而，如果连通区域的群组(例如，群组#2)具有小于阈值的大小，则该群组可被认为杂质或者噪声伪像并且可以被丢弃406。
该方法可进一步包括：确定407是否存在用于对象检测(例如，要被标识405或被丢弃406)的剩余群组。如果是肯定，则重复操作404至406。如果不是(其意味着所有的潜在对象被标识或丢弃)，则可生成408对象图。
图5中示出了示例性对象图50。参照图5，对象图50中存在被编号为1至4的四个对象。对象1至4中的每个对象可由矩形框(例如，最小边界框或者围绕最小边界框具有预定余量的边界框)框住。此类矩形框可以紧贴地配合对应的对象，如在对象1至3的情形中，或者以一余量框住对应的对象，如在对象4的情形中。此外，一个框可与另一框交叠，如在对象3和4的情形中，或者完全围绕另一框，如在对象4和2的情形中。此外，一个框可与另一框间隔开，如在对象1和3的情形中。这些框可以便于对他们相应对象的后续处理。如在图5中解说的，可通过例如沿着经重构全息图像的对其框剪裁，从对象图50中提取对象1。接着，可通过执行根据本发明的各实施例的边缘或边界检测来检测对象1的边缘或边界52。随后，边缘52可经历清晰程度评估，例如从而得到度量EC，如上文所述。
例如针对多个焦点深度收集的足够数目的度量EC可形成在搜索范围上的详细EC曲线55，如图5中所解说的。在EC曲线55中，度量EC可具有相对于焦点深度的钟形分布。因此，可标识良好的焦平面，例如，最优或者甚至最佳焦平面。在一些现有办法中，基于全局搜索中经重构图像的幅度，也可以形成曲线。然而，此类曲线可具有明显的峰和谷(例如，如由图20所解说的)，并且其由此可证明难以标识最优焦平面，例如难以确定全局最大值。
图6示出了解说根据本发明的各实施例的用于确定对象的清晰度测量(例如，对象的清晰程度)的方法的流程图。参照图6，可基于经重构图像的实部，在Za与Zb之间的范围中的深度Zj处针对对象执行第一边缘检测601。由此，可确定在深度Zj处对象的边缘或边界edgeimage,real，例如，edgeimage,real＝conv(real_image,edgeoperator)。
类似地，该方法可进一步包括：基于经重构图像的虚部，在深度Zj处针对对象执行第二边缘检测602，从而得到edgeimage,imaginary。然而，操作602和601可互换顺序执行。
该方法可进一步包括：基于第一边缘检测的标准偏差来获得对象的第一清晰程度603，edgeclearness,real。edgeclearness,real的值可通过下式来确定：
在操作604中，例如，以与操作603中类似的方式，可基于第二边缘检测的标准偏差来获得对象的第二清晰程度edgeclearness,imaginary。类似地，操作603和604可互换顺序执行。此外，操作601、603、602、604可连续地执行，或者操作602、604、601、603可连续地执行。
接着，基于第一和第二清晰程度值(edgeclearness,real和edgeclearness,imaginary)的度量EC可例如由下式确定605：
其中
edgeclearness,real＝std(|conv(edgeimage,real,gradientoperation)|)，以及，
edgeclearness,imaginary＝std(|conv(edgeimage,imaginary,gradientoperation)|)。
图7示出了解说根据本发明的各实施例的确定一个或多个对象的最优焦平面的方法的流程图。图2中的方法可适用于测试中的一个对象，而图7中的方法可适用于包括一个或多个感兴趣对象的样本。
参照图7，可接收701并重构201全息图像。随后，可识别并分割202经重构图像中的对象，从而得到对象图。随后，可以从对象图提取704感兴趣对象。
此外，可分别基于经重构图像的实部和虚部，在一范围中的深度处针对所提取的对象执行边缘检测203。边缘检测过程可包括相对于实部的第一边缘检测和相对于虚部的第二边缘检测。此外，如先前讨论的，可并行或串行地执行第一边缘检测和第二边缘检测。在串行中，第一边缘检测可在第二边缘检测之前或之后执行。
可基于第一和第二边缘检测中的每一者的标准偏差来评估204在该深度处对象的清晰程度。
随后，可确定707是否将在另一深度处评估对象的清晰程度。如果是肯定，则可重复操作203、204和707。如果不是，则在范围中的不同深度处对对象的清晰程度的评估全部完成。得到最大清晰程度的深度可被标识206为操作中对象的最优焦平面。
接着，确定709经重构图像中是否存在另一对象仍待评估。如果是肯定，则可重复操作704、203、204、707、206和709。如果不是(其意味着所有的感兴趣对象已被评估)，则可生成205包括关于对象的最优焦平面上的信息的图像。
图8示出了解说根据本发明的各实施例的用于确定一个或多个对象的最优焦平面的方法的另一流程图。诸如图3中所示的方法可适用于测试中的一个对象，而图8中的方法可适用于包括一个或多个感兴趣对象的样本。
参照图8，可从对象图提取704对象。随后，可基于经重构图像的实部和虚部，在Za与Zb之间的第一范围中的一个预定深度处针对对象执行第一阶段边缘检测303。第一阶段边缘检测可包括与实部相关联的第一边缘检测和与虚部相关联的第二边缘检测。
此外，可分别基于在一个预定深度处对象的边缘的实部和虚部的标准偏差，来评估304在该一个预定深度处对象的第一阶段清晰程度。
接着，可确定707是否将在另一深度处评估经重构图像中的对象。如果是肯定，则可重复操作303、304和707。如果不是，则可基于与预定深度相关联的第一阶段清晰程度的位置，来确定805落在第一范围内的、Za'与Zb'之间的第二范围。
随后，可以在第二范围中的不同深度处针对对象执行305第二阶段边缘检测(例如，基于经重构图像的幅度)。随后，可基于第二阶段边缘检测来执行306对象的第二阶段清晰程度。
随后可确定808是否将在第二范围中的另一深度处确定该对象。如果是肯定，则可重复操作305、306和808。如果不是，则第二范围中得到最大第二阶段清晰程度的深度可被标识809为最优焦平面。
接着，可确定709经重构图像中是否存在用于评估的另一对象。如果是肯定，则可重复上文结合图8描述的所有操作。如果不是，则可生成205包括关于对象的最优焦平面上的信息的图像。
图9至图19是解说了根据本发明的各实施例的确定最优焦平面的方法的示意图。不同于使用全局搜索的方法，诸如由图9至图19所解说的方法可以使用较少的深度来进行对最优焦平面的搜索。因此，该方法加速了确定最优焦平面的过程。所使用的深度数目可能不足以形成EC曲线，但是通过在搜索范围上恰适部署这些深度，可揭示EC曲线的倾斜度，并且因此可预计最优深度会落入的较窄范围。根据各实施例，可使用N个深度将搜索范围划分成N+1个区域，例如，每个区域具有基本上相同的区间，其中N是自然严格正数。在诸如由图9至图19所解说的实施例中，可使用第一范围Za至Zb中的三个预定检查点或深度Z1、Z2和Z3。
如上文讨论的，通过分别取得对象边缘的实部和虚部的标准偏差并将这些标准偏差组合成单个标量值，例如，根据可获得如参照图21描述并解说的规则曲线。曲线的规则性便于缩小搜索范围。
参照图9，检查点Z1、Z2和Z3可分开规则的区间，并且可被包括在范围Za至Zb中。因此，检查点Z1、Z2和Z3可分别对应于Za与Zb之间的深度的第一四分位数、第二四分位数(或中值)以及第三四分位数。如上文限定的与检查点Z1、Z2和Z3相关联的第一度量可分别被标示为ECZ1、ECZ2和ECZ3。可以假定，在最佳焦平面(例如，对应于最大第一度量)一侧的第一度量严格递增，而在另一侧的第一度量严格递减，由此通过评估第一范围内的第一度量ECZ1、ECZ2和ECZ3的值，可确定最优焦平面可能位于的第二范围。作为结果，搜索区域可从较大的第一范围缩小到较小的第二范围，这便于对最优焦平面的搜索。
为了解说示出，第一度量ECZ1、ECZ2和ECZ3之中的最大第一度量值通过黑圆圈来示出，而其他第一度量通过白圆圈来示出。参照图9，ECZ1在本示例中是最大第一度量，而ECZ2小于ECZ3。由于Z1与Z2之间的线的斜率大于Z2与Z3之间的线的斜率，因此由Z1、Z2和Z3形成的曲线趋向于下降而非上升。给定上述假定，Z1与Z2之间的严格递减(以实箭头示出)区域可暗示Za与Z1之间的严格递增(以虚箭头示出)区域。由此可确定最优焦平面(例如，位于邻近最佳焦平面)落在Za与Z2之间的第二范围内。
参照图10，ECZ1是最大第一度量，而ECZ2大于ECZ3。类似地，Z1与Z2之间的严格递减区域暗示Za与Z1之间的严格递增区域。因此，可确定最优焦平面落在Za与Z2之间的第二范围内。
此外，参照图11，ECZ1最大，而ECZ2等于ECZ3。类似地，可确定最优焦平面落在Za与Z2之间的第二范围内。
从上面基于图9至图11中解说的各实施例的示例性分析，要注意，最大第一度量确定较小的第二范围，或者第二范围可以与最大第一度量相关联。
参照图12，ECZ2是最大第一度量，而ECZ1小于ECZ3。严格递增(以实箭头示出)区域位于Z1与Z2之间，而严格递减(以另一虚箭头示出)区域位于Z2与Z3之间。确定最优焦平面落在Z1与Z3之间的第二范围内。
参照图13，ECZ2是最大第一度量，而ECZ1大于ECZ3。类似地，严格递增区域位于Z1与Z2之间，而严格递减区域位于Z2与Z3之间。确定最优焦平面落在Z1与Z3之间的第二范围内。
参照图14，ECZ2是最大第一度量，而ECZ1等于ECZ3。类似地，严格递增区域位于Z1与Z2之间，而严格递减区域位于Z2与Z3之间。确定最优焦平面落在Z1与Z3之间的第二范围内。
参照图15，ECZ3是最大第一度量，而ECZ1小于ECZ2。Z2与Z3之间的严格递增(以实箭头示出)区域可暗示Z3与Zb之间的严格递减(以虚箭头示出)区域。确定最优焦平面落在Z2与Zb之间的第二范围内。
参照图16，ECZ3是最大第一度量，而ECZ1大于ECZ2。由于Z2与Z3之间的线的斜率大于Z1与Z2之间的线的斜率，因此由Z1、Z2和Z3形成的曲线倾向于上升而非下降。类似地，Z2与Z3之间的严格递增区域暗示Z3与Zb之间的严格递减区域。确定最优焦平面落在Z2与Zb之间的第二范围内。
参照图17，ECZ3是最大第一度量，而ECZ1等于ECZ2。类似地，Z2与Z3之间的严格递增区域暗示Z3与Zb之间的严格递减区域。确定最优焦平面落在Z2与Zb之间的第二范围内。
参照图18，彼此相等的ECZ1和ECZ2大于ECZ3。Z2与Z3之间的严格递减(以实箭头示出)区域暗示严格递增(以虚箭头示出)区域以及还有严格递减(以另一虚箭头示出)区域位于Z1与Z2之间。确定最优焦平面落在Z1与Z2之间的第二范围内。
参照图19，彼此相等的ECZ2和ECZ3大于ECZ1。Z1与Z2之间的严格递增(以实箭头示出)区域暗示严格递增(以虚箭头示出)区域以及还有严格递减(以另一虚箭头示出)区域位于Z2与Z3之间。确定最优焦平面落在Z2与Z3之间的第二范围内。
在第二方面，本发明涉及一种自动聚焦系统中用于确定焦平面的计算设备，该计算设备被编程用于执行根据本发明的第一方面的各实施例的方法。计算设备可包括存储器、一个或多个处理器、以及存储在存储器中并被配置用于由一个或多个处理器执行的一个或多个程序。
本发明的各实施例还可涉及一种自动聚焦系统，该自动聚焦系统包括用于朝向测试中的样本辐射光的光源以及用于采集该样本的全息图的成像器。该自动聚焦系统可进一步包括一种根据本发明的各实施例的用于确定焦平面的计算设备。
图1示出了根据本发明的各实施例的自动聚焦系统100的示意图。自动聚焦系统100可用于辅助自动观测功能，诸如细胞跟踪。具体而言，自动聚焦系统100可确定用于数字全息重构方法中的焦平面(例如，焦距参数)，以使得可使用此类重构方法结合所确定的焦平面来生成清晰的经重构图像。
参照图1，根据各实施例的自动聚焦系统100可包括根据各实施例的成像系统10和计算设备20。在一些实施例中，成像系统10可包括提供样本的一个或多个全息图的全息系统，并且计算设备20可包括但不限于被配置成处理来自成像系统10的全息图的计算机。
成像系统10可包括光源11和成像器14。光源11可朝向测试中的样本12辐射光，例如，至少部分相干光。当光传播通过样本12时由光的透射、散射和衍射特性可揭示样本12的光学属性。由此，本发明的各实施例可涉及一种被配置成采集样本12的透射全息图的成像系统10。然而，本发明的各实施例还可涉及一种被配置成采集样本12的反射全息图的成像系统。
成像器14可记录样本12中对象的复数形式的光学信息(诸如波前)。成像系统10可生成图像15，例如，包括光学信息的全息图或全息图像。图像15可包括直到被重构之前不可用于视觉检查(例如，用于由人类观察者直接和简单的视觉解释)的一组原始数据。此外，成像系统10可将图像15提供给计算设备20以用于后续处理，如将进一步讨论的。
在一些实施例中，光源11可包括激光光源或发光二极管(LED)光源。此外，样本12可包括一个或多个微生物细胞或者一个或多个半导体组件特征。这些细胞或特征(其贯穿本公开可被称为对象)可被聚焦在不同的深度处或不同的焦平面中。
计算设备20可包括处理器21和存储器22。在一些实施例中，处理器21是中央处理单元(CPU)或计算模块的一部分。处理器21可被配置成执行存储在存储器22中的一个或多个程序，以便执行特定的操作来确定样本12中对象的最优焦平面。因此，响应于来自成像系统10的图像15，计算设备20可生成图像16，该图像16包括关于样本12中的一个或多个对象的最优深度或最优焦平面上的信息。上文结合本发明的第一方面的各实施例详细讨论了计算设备20的操作或功能。
尽管在一些实施例中在计算设备20中采用软件，但在其他实施例中替换地可使用硬件。硬件实现与软件实现相比可以实现较高的性能，但是具有较高的设计成本。对于实时应用，由于速度要求，通常选择硬件实现。要注意，本文所描述的操作、功能和技术可以至少部分地在硬件、软件、固件或者其任何组合中实现。例如，根据本公开的各实施例的各种方面可以实现在一个或多个处理单元内，包括一个或多个微处理单元、数字信号处理单元(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或任何其他等效的集成或分立逻辑电路系统、以及此类组件的任何组合。术语“处理器”、“处理单元”或“处理电路系统”一般可以指代单独或结合其他逻辑电路系统的任一前述逻辑电路系统、或者任何其他等效电路系统。包括硬件的控制单元也可执行本公开的一种或多种技术。
在根据本公开的一些实施例中，存储器22可包括任何计算机可读介质，包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、闪存、硬盘、固态驱动器(SSD)、压缩盘ROM(CD-ROM)、软盘、磁带、磁性介质、光学介质、或者其他计算机可读介质。在某些实施例中，存储器22被纳入处理器21中。
在一些实施例中，计算设备20可包括一个或多个处理器21、和/或存储在存储器22中并被配置用于由一个或多个处理器21执行的一个或多个程序。一个或多个程序可包括用于进行以下操作的指令：重构全息图像，标识经重构图像中的对象，基于经重构图像的实部在一深度处针对对象执行第一边缘检测，基于经重构图案的虚部在该深度处针对对象执行第二边缘检测，基于第一边缘检测的结果来评估在该深度处对象的第一清晰程度，和/或基于第二边缘检测的结果来评估在该深度处对象的第二清晰程度。
此外，在根据本发明的各实施例中，一个或多个程序可包括用于进行以下操作的指令：重构全息图像，标识经重构图像中的对象，基于经重构图像的实部在第一范围中的预定深度集合处针对对象执行第一阶段边缘检测，基于经重构图像的虚部在第一范围中的预定深度集合处针对对象执行第一阶段边缘检测，基于与实部和虚部相关联的第一阶段边缘检测中的每一者的结果来评估在预定深度集合处对象的第一阶段清晰程度，和/或基于第一阶段清晰程度在第一范围内标识与最优焦平面相关联的第二范围。
在第三方面，本发明还涉及一种计算机程序产品，该计算机程序产品用于当在根据本发明的第二方面的各实施例的计算设备上执行时执行根据本发明的第一方面的各实施例的方法。

Claims (15)

1.-一种用于确定至少一个对象的焦平面的自动聚焦方法，所述方法包括：
-重构(201)所述至少一个对象的全息图像以便提供在多个不同焦点深度处的经重构图像，所述经重构图像包括用于联合地编码相位和幅度信息的实分量和虚分量；
-针对所述多个不同焦点深度中的至少两个深度来对所述实分量执行(203)第一边缘检测，并且针对所述至少两个深度来对所述虚分量执行第二边缘检测；
-基于相对于所述第一边缘检测的第一统计离差测量来获得(204)所述至少两个深度中的每一者的第一清晰度测量，并且基于相对于所述第二边缘检测的第二统计离差测量来获得所述至少两个深度中的每一者的第二清晰度测量；以及
-基于所述至少两个深度的清晰度标量测量的比较来确定(205)所述至少一个对象的所述焦平面，其中所述标量测量基于所述第一清晰度测量和所述第二清晰度测量。
2.-如权利要求1所述的方法，其特征在于，进一步包括标识(202)所述经重构图像中的至少一个对象，以下步骤：执行(203)所述第一边缘检测和所述第二边缘检测，获得(204)所述第一和第二清晰度测量，以及确定(205)所述焦平面被应用于所述经重构图像中对应于所述至少一个所标识对象或每个至少一个所标识对象的局部区域。
3.-如权利要求2所述的方法，其特征在于，所述标识(202)包括：
数字化(402)所述经重构图像；
标识具有相同数字化值的连通区域(403)；以及
分割所述连通区域中的每一者。
4.-如权利要求2或权利要求3所述的方法，其特征在于，多个对象被标识(202)，对应于所述多个对象的多个焦平面被确定(205)，并且其中，所述方法进一步包括：将对应于所述多个对象中的每一者的图像区域在对应焦平面中拼接在一起以形成合成图像，所述合成图像包含焦点对准的所述多个对象中的每一者。
5.-如前述权利要求中任一项所述的方法，其特征在于，所述第一统计离差测量和/或所述第二统计离差测量包括标准偏差。
6.-如权利要求4所述的方法，其特征在于，获得第一清晰度测量和/或获得第二清晰度测量包括：
获得所述第一和/或所述第二边缘检测的结果的梯度幅值；以及
获得所述梯度幅值的标准偏差值。
7.-如前述权利要求中任一项所述的方法，其特征在于，所述多个不同焦点深度中的所述至少两个深度包括均匀分布在预定范围中的各深度。
8.-如权利要求6所述的方法，其特征在于，均匀分布在所述预定范围中的所述各深度包括所述预定范围的第一四分位数、第二四分位数以及第三四分位数。
9.-如前述权利要求中任一项所述的方法，其特征在于，进一步包括：
基于所确定的(205)焦平面来确定所述多个不同焦点深度中的至少一个进一步深度；重复以下步骤：针对所述至少一个进一步深度执行(203)所述第一和第二边缘检测，并获得(204)所述至少一个进一步深度的第一和第二清晰度测量；以及基于所述至少一个进一步深度的所述清晰度标量测量来调整所述焦平面。
10.-如权利要求1至8中任一项所述的方法，其特征在于，进一步包括：
基于所确定的(205)焦平面来确定所述多个不同焦点深度中的至少一个进一步深度；基于所述经重构图像的幅度来针对所述至少一个进一步深度执行第二阶段边缘检测；以及基于所述第二阶段边缘检测的结果来评估所述对象的第二阶段清晰度测量。
11.-如权利要求9或权利要求10所述的方法，其特征在于，所述至少两个深度均匀分布在第一预定深度范围中，并且所述至少一个进一步深度包括均匀分布在第二深度范围中的各深度，所述第二深度范围窄于所述第一预定深度范围，所述第二深度范围是通过考虑所述至少两个深度的所述清晰度标量测量的所述比较来确定的。
12.-如前述权利要求中任一项所述的方法，其特征在于，执行(203)所述第一边缘检测和/或所述第二边缘检测包括：将所述实分量和/或所述虚分量分别与拉普拉斯掩模进行卷积。
13.-一种用于自动聚焦系统(10)中用于确定焦平面的计算设备(20)，所述计算设备被编程用于执行根据前述权利要求中任一项所述的方法。
14.-一种自动聚焦系统(10)，所述自动聚焦系统(10)包括用于朝向测试中的样本(12)辐射光的光源(11)以及用于采集所述样本(12)的全息图的成像器(14)，所述自动聚焦系统(10)进一步包括根据权利要求13所述的用于确定焦平面的计算设备(20)。
15.-一种计算机程序产品，所述计算机程序产品用于当在根据权利要求13所述的计算设备(20)上执行时，执行根据权利要求1至12中任一项所述的方法。
CN201580065121.7A 2014-11-28 2015-11-30 数字全息术中的自动聚焦系统和方法 Active CN108377658B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103141335A TWI557462B (zh) 2014-11-28 2014-11-28 自動聚焦系統與方法
PCT/EP2015/078089 WO2016083620A1 (en) 2014-11-28 2015-11-30 Autofocus system and method in digital holography

Publications (2)

Publication Number Publication Date
CN108377658A true CN108377658A (zh) 2018-08-07
CN108377658B CN108377658B (zh) 2019-10-18

Family

ID=54771100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580065121.7A Active CN108377658B (zh) 2014-11-28 2015-11-30 数字全息术中的自动聚焦系统和方法

Country Status (7)

Country Link
US (1) US10241471B2 (zh)
EP (1) EP3224678B1 (zh)
JP (1) JP6490219B2 (zh)
CN (1) CN108377658B (zh)
CA (1) CA2968024C (zh)
TW (1) TWI557462B (zh)
WO (1) WO2016083620A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112098997A (zh) * 2020-09-18 2020-12-18 欧必翼太赫兹科技(北京)有限公司 三维全息成像安检雷达图像异物检测方法
CN113359403A (zh) * 2021-05-21 2021-09-07 大连海事大学 一种用于无透镜数字全息成像的自动聚焦方法
CN113794839A (zh) * 2021-03-18 2021-12-14 德州尧鼎光电科技有限公司 一种成像椭圆偏振仪的焦平面自动聚焦方法
CN116642895A (zh) * 2023-07-27 2023-08-25 宏椿智能科技(苏州)有限公司 一种焦平面扫掠的五面成像3d重构方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3260841B1 (en) * 2016-06-22 2024-03-13 Uponor Oyj Detecting microscopic objects in fluids
WO2018064660A1 (en) * 2016-09-30 2018-04-05 University Of Utah Research Foundation Lensless imaging device
EP3339963B1 (en) * 2016-12-21 2020-08-12 IMEC vzw An apparatus and a method for in-line holographic imaging
JP6969164B2 (ja) * 2017-05-31 2021-11-24 株式会社リコー 評価装置、評価プログラム及び評価方法
WO2019102272A1 (en) * 2017-11-24 2019-05-31 Sigtuple Technologies Private Limited Method and system for reconstructing a field of view
CN108364296B (zh) * 2018-02-09 2020-12-01 重庆东渝中能实业有限公司 基于多层全息重建与聚焦策略的细胞群空间分布构建方法
US10699875B2 (en) * 2018-11-13 2020-06-30 Fei Company Confocal imaging technique in a charged particle microscope
EP3839636B1 (en) * 2019-12-20 2024-03-13 Imec VZW A device for detecting particles in air
CN112529791B (zh) * 2020-11-16 2023-05-26 中国海洋大学 基于浮游生物数字全息图像的自适应性多焦点复原方法
CN113286079B (zh) * 2021-05-10 2023-04-28 迈克医疗电子有限公司 图像对焦方法、装置、电子设备及可读存储介质
CN114548884B (zh) * 2022-04-27 2022-07-12 中国科学院微电子研究所 一种基于剪枝轻量化模型的包裹识别方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467087A (zh) * 2006-06-09 2009-06-24 维谷设备有限公司 对无限远校正显微镜进行自动聚焦的方法和装置
CN103383513A (zh) * 2012-05-04 2013-11-06 三星电子株式会社 聚焦检测设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514271B2 (en) * 2010-06-17 2016-12-06 Purdue Research Foundation Digital holographic method of measuring cellular activity and measuring apparatus with improved stability
US9036900B2 (en) * 2011-01-21 2015-05-19 University Of Hyogo Three-dimensional shape measurement method and three-dimensional shape measurement device
KR102248266B1 (ko) * 2013-06-06 2021-05-04 시리얼 테크놀로지즈 에스.에이. 홀로그램 데이터를 계산하기 위한 장치 및 방법
KR101820563B1 (ko) * 2014-12-31 2018-01-19 한국전자통신연구원 홀로그램 데이터 포맷과 홀로그래픽 비디오 시스템 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467087A (zh) * 2006-06-09 2009-06-24 维谷设备有限公司 对无限远校正显微镜进行自动聚焦的方法和装置
CN103383513A (zh) * 2012-05-04 2013-11-06 三星电子株式会社 聚焦检测设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112098997A (zh) * 2020-09-18 2020-12-18 欧必翼太赫兹科技(北京)有限公司 三维全息成像安检雷达图像异物检测方法
CN113794839A (zh) * 2021-03-18 2021-12-14 德州尧鼎光电科技有限公司 一种成像椭圆偏振仪的焦平面自动聚焦方法
CN113359403A (zh) * 2021-05-21 2021-09-07 大连海事大学 一种用于无透镜数字全息成像的自动聚焦方法
CN116642895A (zh) * 2023-07-27 2023-08-25 宏椿智能科技(苏州)有限公司 一种焦平面扫掠的五面成像3d重构方法
CN116642895B (zh) * 2023-07-27 2023-09-29 宏椿智能科技(苏州)有限公司 一种焦平面扫掠的五面成像3d重构方法

Also Published As

Publication number Publication date
WO2016083620A1 (en) 2016-06-02
TWI557462B (zh) 2016-11-11
CN108377658B (zh) 2019-10-18
CA2968024C (en) 2019-11-12
EP3224678B1 (en) 2019-02-27
US20170322516A1 (en) 2017-11-09
CA2968024A1 (en) 2016-06-02
EP3224678A1 (en) 2017-10-04
TW201619652A (zh) 2016-06-01
JP6490219B2 (ja) 2019-03-27
JP2017538160A (ja) 2017-12-21
US10241471B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
CN108377658B (zh) 数字全息术中的自动聚焦系统和方法
US11721018B2 (en) System and method for calculating focus variation for a digital microscope
JP6752212B2 (ja) 画像システムとその使用方法
CN110274877B (zh) 一种基于散射介质的3d光谱成像系统及方法
JP5001286B2 (ja) 対象物再構成方法およびシステム
CN107003229B (zh) 包括全息确定生物粒子的位置的分析方法及相应的设备
JP6594294B2 (ja) 顕微鏡画像の画像品質評価
KR102021945B1 (ko) 볼륨 이미지 레코드로부터의 국부적 품질 측정들의 결정
Aldea et al. Robust crack detection for unmanned aerial vehicles inspection in an a-contrario decision framework
CN104006765A (zh) 单幅载频干涉条纹相位提取方法及检测装置
US20130147919A1 (en) Multi-View Difraction Grating Imaging With Two-Dimensional Displacement Measurement For Three-Dimensional Deformation Or Profile Output
CN104024793A (zh) 形状检查方法及其装置
Ghazal et al. Automated framework for accurate segmentation of leaf images for plant health assessment
JP6058902B2 (ja) 肌状態解析方法、肌状態解析装置、及び、肌状態解析システム、並びに、該肌状態解析方法を実行させるためのプログラム、及び、該プログラムを記録した記録媒体
Lee et al. Robust focus measure operator using adaptive log-polar mapping for three-dimensional shape recovery
Yu et al. 3-D surface reconstruction and evaluation of wrinkled fabrics by stereo vision
EP3992609A1 (en) Image processing device, evaluation system, image processing program, and image processing method
Varjo et al. All-in-focus image reconstruction from in-line holograms of snowflakes
Henrot et al. Fast deconvolution of large fluorescence hyperspectral images
JP5993587B2 (ja) 肌状態解析方法、肌状態解析装置、及び、肌状態解析システム、並びに、該肌状態解析方法を実行させるためのプログラム、及び、該プログラムを記録した記録媒体
JP7147982B2 (ja) 細胞立体形状評価方法及び細胞観察装置
US20230274441A1 (en) Analysis method and analysis apparatus
Zhan et al. Objective evaluation of fabric flatness grade based on convolutional neural network
Sierra et al. 3D reconstruction for multimodality phase microscopy using boundary detection constraints
Tjirkallis Continuous Structural Health Monitoring under varying environmental and operational conditions using wavelet transform modulus maxima decay lines similarity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211231

Address after: Leuven

Patentee after: IMEC VZW

Address before: Taiwan, Hsinchu, China, Hsinchu Science Industrial Park, 6, 2, 4

Patentee before: IMEC TAIWAN Co.

Patentee before: IMEC VZW

TR01 Transfer of patent right