CN115812138A - 用于数字全息图的重建的系统及方法 - Google Patents

Abstract

本发明涉及一种用于重建其上具有至少一个三维特征的表面的数字全息图的方法，其包含：撷取所述表面的数字全息图；基于所述数字全息图重建波前；基于所述波前产生所述表面的至少一部分的相位图，所述相位图包含相位模糊度；获得所述表面的至少一个额外图像；从所述表面的所述至少一个额外图像获得与所述三维特征相关的高度数据，所述高度数据以第一精确度获得；基于所述高度数据解析所述相位模糊度；及在所述相位图中的所述相位模糊度的所述解析之后基于所述相位图导出所述至少一个三维特征的高度，所述高度以比所述第一精确度更精确的第二精确度导出。

Description

用于数字全息图的重建的系统及方法

相关申请案的交叉参考

本申请案主张2020年7月12日申请且转让给第63/050,806号美国申请案的临时专利申请案的优先权，所述临时专利申请案的公开内容特此以引用方式并入。

技术领域

本发明大体上涉及数字全息图且更特定来说，涉及数字全息图的重建。

背景技术

在本技术中已知用于数字全息图的重建的各种系统及方法。

发明内容

本发明试图提供用于解析数字全息图的重建中的相位模糊度的新颖系统及方法。

因此，根据本发明的实施例，提供一种用于重建其上具有至少一个三维特征的表面的数字全息图的方法，其包含：撷取所述表面的数字全息图；基于所述数字全息图重建波前；基于所述波前产生所述表面的至少部分的相位图，所述相位图包含相位模糊度；获得所述表面的至少一个额外图像；从所述表面的所述至少一个额外图像获得与所述三维特征相关的高度数据，所述高度数据以第一精确度获得；基于所述高度数据解析所述相位模糊度；及在所述相位图中的所述相位模糊度的所述解析之后基于所述相位图导出所述至少一个三维特征的高度，所述高度以比所述第一精确度更精确的第二精确度导出。

根据本发明的一项实施例，所述获得所述表面的至少一个额外图像包含使所述波前数字地传播通过所述表面内的一系列深度及获得对应于所述系列深度的一系列数字波前。

所述获得高度数据包含采用DFF算法以基于所述系列数字波前获得高度数据。

根据本发明的另一实施例，所述获得所述表面的至少一个额外图像包含采用AI网络以产生对应于所述表面的一系列数字波前的一系列非相干光图像，所述系列数字波前通过使所述波前数字地传播通过所述表面内的一系列深度且获得对应于所述系列深度的所述系列数字波前而获得。

所述获得高度数据包含采用DFF算法以基于所述系列非相干光图像获得高度数据。

根据本发明的又一实施例，所述获得所述表面的至少一个额外图像包含撷取所述表面的至少一个经非相干照明图像。

所述获得高度数据包含采用AI网络以基于所述至少一个三维特征的分段及分类自动获得高度数据。

所述第一精确度在1到5μm的范围内。

另外，所述第二精确度在1到100nm或50到1000nm的范围内。

所述撷取所述数字全息图包含撷取数字显微全息图。

根据本发明的另一实施例进一步提供一种用于重建其上具有至少一个三维特征的表面的数字全息图的系统，其包含：数字全息图像撷取子系统，其可操作以撷取所述表面的数字全息图；波前重建器，其可操作以基于所述数字全息图重建波前；相位图产生器，其可操作以接收所述波前且基于所述波前产生所述表面的至少一部分的相位图，所述相位图包含相位模糊度；额外图像撷取子系统或图像处理子系统，其可操作以获得所述表面的至少一个额外图像；图像分析器，其可操作以从所述表面的所述至少一个额外图像获得与所述三维特征相关的高度数据，所述高度数据以第一精确度获得；相位模糊度解析器，其可操作以基于所述高度数据解析所述相位图中的所述相位模糊度；及高度计算器，其可操作以在所述相位图中的所述相位模糊度的所述解析之后基于所述相位图导出所述至少一个三维特征的高度，所述三维特征的所述高度以比所述第一精确度更精确的第二精确度导出。

根据本发明的实施例，所述成像处理子系统可操作以使所述波前数字地传播通过所述表面内的一系列深度且获得对应于所述系列深度的一系列数字波前。

所述图像分析器可操作以采用DFF算法以基于所述系列数字波前获得所述高度数据。

根据本发明的另一实施例，所述图像处理子系统包含AI网络，所述AI网络可操作以产生对应于所述表面的一系列数字波前的一系列非相干光图像，所述系列数字波前通过所述图像处理子系统使所述波前数字地传播通过所述表面内的一系列深度且获得对应于所述系列深度的所述系列数字波前而获得。

所述图像分析器可操作以采用DFF算法以基于所述系列非相干光图像获得所述高度数据。

根据本发明的又一实施例，所述额外图像撷取子系统包含可操作以使用非相干光照明所述表面的非相干照明器及可操作以撷取所述表面的所述至少一个额外图像的相机。

所述图像分析器包含可操作以基于所述至少一个三维特征的分段及分类自动获得高度数据的AI网络。

所述第一精确度在0.5到5μm的范围内。

另外，所述第二精确度在1到100nm或50到1000nm的范围内。

所述数字全息图像撷取子系统是数字全息显微图像撷取子系统。

附图说明

从结合附图进行的以下详细描述将更完全理解及了解本发明，其中：

图1是说明根据本发明的实施例的在数字全息图的重建中的步骤的简化高阶流程图；

图2是说明根据本发明的另一实施例的在数字全息图的重建中的步骤的简化高阶流程图；

图3是说明根据本发明的又一实施例的在数字全息图的重建中的步骤的简化高阶流程图；

图4是说明用于根据图2及3中的任一者的实施例的数字全息图的重建的AI网络的训练的简化流程图；

图5是说明根据本发明的进一步实施例的在数字全息图的重建中的步骤的简化高阶流程图；

图6是说明根据本发明的仍进一步实施例的在数字全息图的重建中的步骤的简化高阶流程图；

图7及8分别是说明用于根据图5及6的实施例的重建数字全息图的AI网络的训练的简化各自流程图；

图9展示在根据图7及8的AI网络的训练中获得的简化图像；

图10是根据本发明的实施例建构且操作的用于执行包含于图1到8中的任何者中的步骤的用于数字全息图的撷取及重建的系统的简化部分图标、部分框图说明；及

图11是说明根据本发明的实施例的图10的系统的可能实施方案的简化流程图。

具体实施方式

现参考图1，其是说明根据本发明的实施例的在数字全息图的重建中的步骤的简化高阶流程图。

如图1中所见，用于数字全息图的重建的过程100可在第一图像撷取步骤102处开始，其中数字全息(DH)图像撷取系统记录数字全息图。数字全息图(还称为干涉图)是通过由经成像三维对象反射的相干光与参考光的干涉产生的干涉型样的数字记录。干涉图由电子传感器记录且包括大量像素。通过实例，记录数字全息图的DH系统可为数字全息显微术系统(DHM)，如下文参考图10更详细展示且描述。干涉图可使用相干光的一个、两个或更多个波长撷取。可使用两个或更多个波长以便减小(虽然未消除)在干涉图中记录的相位信息中的相位模糊度。

如在第二波前重建步骤104处所见，接着基于干涉图重建波前。波前非物理实体而是数值实体(通常称为复振幅)，其中编码干涉图中的每一像素处的相位及振幅信息。通常(例如)通过运算包含于图像处理模块中的功能性而运算上重建波前，如下文参考图10更详细展示且描述。数字全息显微术中的重建算法可包含菲涅尔(Fresnel)变换算法、角频谱算法及卷积算法(全部基于快速傅立叶(Fourier)变换(FFT))。

如在第三波前处理步骤106处所见，处理在步骤104处获得的波前以便产生经成像对象的相位图。相位图对应于以每像素的复振幅编码的相位信息，可基于所述相位信息数值上重建经成像对象。可通过计算以每像素的复振幅编码的相量的角度而从波前获得每像素的相位信息。

在步骤106处产生的相位图通常包含不代表三维经成像对象的真实形状的相位不连续性假影。达2π的倍数的这些不连续性由于经运算相位在间隔(-π,π)内的缠绕而产生。换言之，相位图是模糊模数(2π)。因此，相位图可被称为模糊相位图。使用双或多个波长进行全息图记录可大大降低不连续性的数目，此是因为在所述情况中，2π模糊度仅适用于多个波长之间的相位差。尽管使用单个或多个波长进行全息记录，但相位图中的此模糊度导致待基于相位图导出的经成像对象的尺寸的对应模糊度，此是因为相位图中的相移可对应于波长的任何数目个整数倍数的位移。因此，必须解析此等模糊度，且在无模糊度的情况下确定真实相移，以便基于相位图准确地数值上重建经成像对象的结构。

本发明的特定特征是根据本发明的实施例，解析相位图中的相位模糊度，从而容许明确相位图的产生及因此经成像对象的高度尺寸的高度准确高精确度数值重建。根据本发明的实施例产生的明确相位图可为用于整个经成像物件的数值重建的全相位图或部分相位图，所述部分相位图用于经成像对象的一或多个特征的数值重建以便容许一或多个特征的高度的导出。此可在本发明中通过使用从经成像对象的至少一个额外图像导出的高度信息以便解析相位模糊度而达成。所述额外图像可为实际经实体上撷取图像或虚拟经运算上导出图像表示。从经成像对象的至少一个额外图像导出的高度信息通常具有较低精确度且具有沿着成像光轴(例如图10的光轴A)的比与待基于DH图像最终导出的经成像对象相关的高度信息更差的轴向分辨率。然而，从至少一个额外图像导出的高度信息具有足够高精确度以用于通过辅助识别相位图的每像素的相移所对应的波长倍数或在多波长全息图的情况中合成波长倍数的数目而解析相位图中的相位模糊度。

本发明可尤其用于各种类型的电子衬底(例如硅晶片、PCB及FPD)的DH检测。此类电子衬底通常在其上(在一些情况中在若干层中)形成有三维(3D)特征，必须在制造衬底期间或之后检测所述特征以便确保特征经适当地形成。根据本发明的实施例，可使用DH检测系统快速且高度准确地测量这些3D特征而无模糊度。

根据本发明的一项实施例，除在步骤104处重建的波前之外的至少一个额外图像可为通过数字地传播在步骤104处获得的波前通过经成像对象中的一系列深度而获得的图像的堆栈。因此，在步骤104处获得的单个波前(在双波长情况中的两个经重建波前中的任一者)可经数字地传播以获得与经成像对象内的不同深度相关的图像信息。经成像对象的深度可被定义为对象在z方向上的尺寸，其中z方向是垂直于界定对象或表面平面的x轴及y轴的所述方向。在图10中指示z方向。可接着每像素识别通过z的图像堆栈中具有最佳焦点的图像。每像素的最佳焦距可接着用于导出在每一像素附近的对象高度。如此导出的对象高度可用于解析相位图中的模糊度。在图1中展示本发明的此实施例。

根据本发明的另一实施例，除在步骤104处重建的波前之外的至少一个额外图像可为对应于通过数字地传播在步骤104处获得的波前通过经成像对象内的一系列深度而获得的图像的堆栈的经运算上导出非相干光图像等效物的堆栈。在步骤104处获得的单个波前可经数字地传播以获得与经成像对象内的不同深度相关的图像信息。经成像对象的深度可被定义为对象在z方向上的尺寸，其中z方向是垂直于界定对象或表面平面的x轴及y轴的所述方向。在图10中指示z方向。可接着训练人工智能(AI)网络以执行等效于光学跨模态图像变换的运算。因此，AI网络作用于通过数字地传播波前通过各种对象深度以便产生类似于使用非相干(还称为“白色”)光获得的图像的对应图像的堆栈而获得的相干光图像的堆栈上。可接着每像素识别通过z的经AI产生非相干光图像的堆栈中具有最佳焦点的图像。每像素的最佳焦距可接着用于导出在每一像素附近的对象高度。如此导出的对象高度可用于解析相位图中的模糊度。在图2中展示本发明的此实施例。

根据本发明的又一实施例，除等效非相干光图像的经AI产生堆栈之外，图2中展示的本发明的实施例还可通过经成像对象的非相干光图像的实际物理记录扩增。非相干光图像可用于辅助每像素附近导出的高度值的空间滤波及平滑化以便改良相位图中的模糊度的解析。在图3中展示本发明的此实施例。

根据本发明的另一实施例，除在步骤104处重建的波前之外的至少一个额外图像可为经成像对象的非相干光图像。例如，经成像对象可为其上具有至少一个三维特征的表面。可将经成像对象的非相干光图像分段以便识别表面中的不连续性的存在且划定表面中的不连续性的边界。这些不连续性可对应于表面上的所要且故意形成的三维特征，或对应于由于表面中的缺陷的表面中的不连续性。由于表面是大体上平坦的，故表面上从大体上平坦表面形貌偏离达多于预定阈值的特征可被视为表面不连续性。这些不连续性可被称为凸块，但应理解，不连续性可为相对于表面的具有任何类型的形状(例如弯曲或修圆或具有笔直边缘)的隆凸或内凹。

根据本发明的此实施例，经分段额外非相干光图像可通过AI网络处理以便对凸块的高度进行分类。如此导出的凸块高度可用于解析相位图中的模糊度。在图5及6中展示本发明的此实施例。本发明的此实施例可尤其用于其上可存在多个不连续性的表面的成像。

应理解，如本文中使用的术语高度可指的是正或负高度，意味着出现在给定像素中的给定特征可为相对于相邻特征具有正高度的突出特征或具有负高度的内凹特征。应注意，在用于电子衬底检测的实际应用中，根据本发明的教示导出的绝对高度最终与所述衬底的某一其它特征相关。因此，在晶片凸块的情况中，可相对于其它相邻凸块或相对于在凸块的横向附近中的参考特征(例如金属层，其可被称为凸块下金属化(UBM))测量晶片凸块高度。

本发明的方法避免使用用于解析相位模糊度的常规相位展开技术，所述常规技术通常非常缓慢，运算要求高且对系统条件高度敏感，从而通常导致差的结果。可在D.C.吉利亚(D.C.Ghiglia)及M.D.普里特(M.D.Pritt)的“二维相位展开：理论、算法及软件(Two-Dimensional Phase Unwrapping:Theory,Algorithms,and Software)”，威利(Wiley)，纽约(1998年)中发现此类常规相位展开技术的实例，所述案的内容借此以引用方式并入本文中。

此外，此类常规算法相位展开技术依赖于表面连续性以便执行相位展开。在其中经成像对象或表面高度不连续且相邻经成像点之间的高度差超过明确相移范围(即，2π)的情况中，此类常规技术未能正确地解析相位模糊度。相比之下，根据本发明的实施例，甚至在涉及大于2π的相位跳跃(phase jump)的严重表面不连续性的情况中仍可解析相位图中的模糊度，此是因为本发明不依赖于表面连续性以便解析相位模糊度。

根据本发明的实施例，可使用较低精确度或较粗糙额外数据快速地解析相位模糊度，只要额外高度数据自身拥有在整个所关注对象深度内延伸的有效范围，且其精确度足够高以可用于解析相位模糊度。额外数据可具有在明确DH范围的若干倍数内延伸的有效范围，使得额外数据用于延伸本发明的系统的有效整体测量范围而不损失经导出高度数据的精确度。因此，最终通过本发明提供的高度信息保持DH图像数据的高精确度及分辨率而不损失准确度，尽管此高度信息在可能更差精确度高度信息的辅助下获得。

应注意，本文中描述的本发明的各项实施例具有有限有效范围，超出所述有限有效范围，额外高度数据的质量降级。再者，参考图5及6描述的实施例还可具有其等自身的模糊度，例如，在高于或低于清晰聚焦平面之间。

应了解，虽然多波长DH的明确相移范围理论上可无限延伸，但在多个波长之间的波长差接近零时，此是以损失DH数据的准确度为代价。有利地，根据本发明，不发生此损失。

此外，在本发明的一些实施例中，由于DH图像通过经成像对象的深度维度的传播，DH成像具有长测量范围。

另外，本发明在其一些实施例中使用可从DH图像导出的相位信息与可从经AI处理图像导出的高度信息的组合。因此，本发明可部分但非完全在AI的领域中且结果非仅仅基于经AI产生图像。此减轻错误输出的风险，如果仅基于经AI产生图像导出高度信息，那么情况将是如此。

返回到图1，在步骤104处重建波前之后，可在步骤108处数字地传播波前，借此产生对应于在z方向上通过经成像对象的多个焦深的多个2D图像。多个图像中的每一图像可包括大量像素。多个图像在经成像对象中的一系列深度处形成相干光图像的堆栈。应注意，本文中在一般化意义上使用术语“图像”，此是因为与由经编码实阵列成的常规数字图像表示相反，经运算波前实际上是复数阵列。针对后续处理阶段(例如DFF算法)，可(例如)通过在每一像素处取得模数值而将复波前转换为真实图像。因此，在步骤104处重建的单个波前可经数字地传播以获得与经成像对象内的不同深度相关的图像信息。经成像对象的深度可被定义为对象在z方向上的尺寸，其中z方向是垂直于界定对象平面的x轴及y轴的所述方向。

例如，在经成像对象是在其上具有三维特征的表面的情况中，经成像对象的整个z维度可为10到100μm且可在z方向上按0.5到5μm的间隔重建包括一系列近似20个图像的堆栈。更一般来说，在步骤108处输出的图像堆栈可包括分离达任何适合深度范围间隔的任何数目个图像，只要可基于图像堆栈导出的高度测量具有高于相位非模糊度范围的精确度，使得高度测量可用于解析在步骤106处输出的相位图中的相位模糊度。如在图像处理步骤110处所见，可处理通过z方向的图像堆栈以便在逐像素基础上发现最佳聚焦图像，所述最佳聚焦图像选自所述图像堆栈。通过实例，可通过聚焦深度(DFF)(还称为被动自动聚焦算法)处理在步骤108处输出的图像堆栈以便识别每像素的最佳聚焦图像。在DHM中采用的自动聚焦算法相对于清晰度度量及用于加速收敛到每一像素附近的最佳图像图框的加速技术变动。这些算法可与在非相干成像中采用的适于相干图像的特定高空间频率行为的DFF算法稍微不同。

基于每像素的最佳焦深，可发现出现在每一像素中的经成像特征的高度。例如，在经成像对象是其上具有至少一个三维特征一表面的情况中，可发现在表面上且出现在每一像素中的三维特征的高度。三维特征的高度可被定义为在垂直于通过其上形成三维特征的表面界定的平面的方向上延伸的三维特征的尺寸。可根据此方法以第一精确度发现对象的高度(例如经成像表面上的三维特征的高度)。通过实例，基于采用DFF算法发现每像素的高度所依的精确度可为1到5μm。此精确度是相对低精确度，其对于实际高度测量可为不可接受地差。然而，此精确度足够高以用于辅助解析相位图中的相位模糊度，如在下文进一步详述。

如在进一步步骤111处所见，步骤110处的经DFF处理3D数据的输出之后接着可为空间滤波及平滑化。如所属领域的技术人员了解，在步骤110处导出的直接DFF对象高度通常是冗余且有噪声的且因此，获益于空间滤波及平滑化。例如，可针对此步骤使用经PSF调适滤波器。应了解，平滑化及滤波步骤111改良结果但非至关重要，且如果在步骤110处达成的空间分辨率的质量被视为足够良好那么可被省略。

如在相位模糊度解析步骤112处所见，如通过步骤111平滑化且滤波的经低精确度处理DFF数据可接着用于解析在步骤106处产生的相位图中的相位模糊度。

用于解析相位模糊度的每像素决策基于范围经延伸但精确度较低的DFF或以其它方式处理的数据，所述范围经延伸数据用于通过识别经测量相移所对应的模糊范围波长的倍数而展开相位数据。换言之，确定2π的哪一整数倍数是正确倍数。因此，可获得不再包含模糊度的高精确度高度图像。最终高精确度图通常具有大于用于辅助解析相位模糊度的额外图像的第一、通常更低精确度的第二精确度。

例如，给定相移可对应于π/2、π/2±2π、π/2±4π等(全部相差达2π的整数倍数)的相位差。因此，此相移可被称为模糊相移，使得在其处测量相移的像素处的物件的高度(所述高度基于相移导出)也是模糊的。

此可关于依0.520μm及0.532μm的波长发射的用于DH的双波长激光器示范。这些波长导致模糊度范围，还称为23μm的合成波长，其通过(0.52×0.532)/(0.532-0.52)给出，在所述光学路径长度内在这两个邻近波长之间产生2π相移。使用法向入射干涉仪，在给定像素处的模糊π/2波前相位差可因此转化为通过2.9、2.9±11.5、2.9±23μm等(全部相差对应于入射光的一个合成波长路径差的11.5μm的整数倍数)近似给出的一系列模糊对应可能对象高度。取决于系统噪声位准，每一候选高度可在单波长干涉测量的情况中精确到低至约1到100nm且在双波长干涉测量的情况中精确到低至约50到1000nm，但系统在步骤106处无法确定正确高度是来自各种可能候选高度当中的何者。然而，在步骤112处，与给定像素处的对象的高度相关的范围经延伸、低精确度数据可用于解析模糊度，此是因为范围经延伸、低精确度高度数据可用于确定若干模糊范围高度可能性中的哪一高度对应于低精确度高度。

为了进一步说明此最后点，假设在具有π/2相移的给定像素处，在步骤111处的平滑化之后的步骤110的DFF算法以±5μm不确定性报告例如28.7μm的高度。与如通过步骤106输出的所述系列候选可能高度的比较产生2.9+23＝25.9μm作为最接近值，其中全部其它可能候选高度在DFF不确定性范围之外。由于DH数据是更精确数据，故系统接着报告25.9μm作为给定像素的最准确高度估计。

现参考图2，其是说明根据本发明的实施例的在数字全息图的重建中的步骤的简化高阶流程图。

如图2中所见，用于数字全息图的重建的过程200可在第一图像撷取步骤202处开始，其中数字全息图像撷取系统(DH)系统记录数字全息图。数字全息图(还称为干涉图)通过由经成像三维对象反射的相干光与参考光的干涉产生的干涉型样的数字记录。干涉图由电子传感器记录且包括大量像素。通过实例，记录数字全息图的DH系统可为数字全息显微术系统(DHM)，如下文参考图10更详细展示且描述。干涉图可使用相干光的一个、两个或更多个波长撷取。可使用两个或更多个波长以便减小(虽然未消除)包含于干涉图中的相位信息中的相位模糊度。

如在第二波前重建步骤204处所见，接着基于干涉图重建波前。波前非物理实体而是数值实体(通常称为复振幅)，其中编码干涉图中的每一像素处的相位及振幅信息。通常(例如)通过运算包含于图像处理模块中的功能性而运算上重建波前，如下文参考图10更详细展示且描述。数字全息显微术中的重建算法可包含菲涅尔变换算法、角频谱算法及卷积算法(全部基于快速傅立叶变换(FFT))。

如在第三波前处理步骤206处所见，可处理在步骤204处获得的波前以便产生经成像对象的相位图。相位图对应于以每像素的复振幅编码的相位信息，可基于所述相位信息数值上重建经成像对象。可通过计算以每像素的复振幅编码的相量的角度而从波前获得每像素的相位信息。

通过步骤206产生的相位图通常包含不代表三维经成像对象的真实形状的相位不连续性假影。达2π的倍数的这些不连续性由于经运算相位在间隔(-π,π)内的缠绕而产生。换言之，相位图是模糊模数(2π)。因此，相位图可被称为模糊相位图。

使用双或多个波长进行全息图记录可大大降低不连续性的数目，此是因为在所述情况中，2π模糊度仅适用于多个波长之间的相位差。相位图中的此模糊度导致待基于相位图导出的经成像对象的尺寸的对应模糊度，此是因为相位图中的相移可对应于波长的任何数目个整数倍数的位移。因此，必须解析此类模糊度，且在无模糊度的情况下确定真实相移，以便基于相位图准确地数值上重建经成像对象的结构。

为了解析相位模糊度，可在步骤208处数字地传播波前，借此产生对应于在z方向上通过经成像对象的多个焦深的多个图像。多个图像中的每一图像可包括大量像素。多个图像在经成像对象中的一系列深度处形成相干光图像的堆栈。因此，在步骤204处获得的单个波前可经数字地传播以获得与经成像对象内的各种不同深度相关的图像信息。经成像对象的深度可被定义为对象在z方向上的尺寸，其中z方向是垂直于界定对象或表面平面的x轴及y轴的所述方向。

例如，在经成像对象是在其上具有三维特征的表面的情况中，经成像对象的整个z维度可为10到100μm且可在z方向上按0.5到5μm的间隔重建包括一系列近似20个图像的堆栈。更一般来说，在步骤208处输出的图像堆栈可包括分离达任何适合深度范围间隔的任何数目个图像，只要可基于图像堆栈导出的高度测量具有高于相位非模糊度范围的精确度，使得高度测量可用于解析在步骤206处输出的相位图中的相位模糊度。

如在AI网络处理步骤209处所见，接着将在步骤208处输出的图像堆栈变换为在相同系列的深度处的等效非相干光2D图像的堆栈。此变换可通过经训练AI网络(例如CNN)实行。下文参考图4提供与此网络的训练及结构相关的进一步细节。

如在图像处理步骤210处所见，可进一步处理通过z方向的非相干光图像堆栈以便在逐像素基础上发现最佳聚焦图像，最佳聚焦图像选自所述图像堆栈。通过实例，可通过DFF算法处理在步骤209处输出的图像堆栈以便识别每像素的最佳聚焦图像。在DHM中采用的自动聚焦算法相对于清晰度度量及用于加速收敛到每一像素附近的最佳图像图框的加速技术变动。可通过容许采用在非相干成像中采用的更标准DFF算法而在本发明中有效利用等效非相干图像堆栈在步骤209处的可用性。替代地，可采用除DFF之外的用于发现每像素的最佳聚焦图像的其它算法方法，例如失焦深度(DFD)。已发现在步骤210处基于非相干光图像而非如图1的步骤110处描述般基于相干光图像发现每像素的最佳聚焦产生更佳结果。此似乎是由于相较于DH相干光图像，非相干光图像透过聚焦的更一致对比度变动行为。

基于每像素的最佳焦深，可发现出现在每一像素中的经成像对象的高度。例如，在经成像对象是其上具有至少一个三维特征的表面的情况中，可发现在表面上且出现在每一像素中的三维特征的高度。可根据此方法以第一精确度发现对象的高度(例如经成像表面上的三维特征的高度)。通过实例，基于采用DFF算法发现每像素的高度所依的精确度可为1到5μm。此精确度是相对低精确度，其对于实际高度测量可为不可接受地差。然而，此精确度足够高以用于辅助解析相位图中的相位模糊度，如在下文进一步详述。

如在进一步步骤211处所见，步骤210处的经DFF处理3D数据的输出之后接着可为空间滤波及平滑化。如所属领域的技术人员了解，在步骤210中导出的直接DFF对象高度通常是冗余且有噪声的且因此，获益于空间滤波及平滑化。例如，可针对此步骤使用经PSF调适滤波器。在步骤209处获得的2D白光等效图像可用于辅助步骤211。所述图像可有利地用于在平滑化之前识别所要3D特征且将其等分段。此实现运算资源的更有效使用，从而导致更快速处理。使用2D白光等效图像的另一益处通过步骤211处的平滑化算法防止实际清晰特征不连续性被人为地模糊化。应了解，平滑化及滤波步骤211改良结果但非至关重要，且如果在步骤210处达成的空间分辨率的质量被视为足够良好那么可被省略。

如在相位模糊度解析步骤212处所见，如通过步骤211平滑化且滤波的经低精确度处理DFF数据可接着用于解析在步骤206处产生的相位图中的相位模糊度。

用于解析相位模糊度的每像素决策基于低精确度DFF或以其它方式处理的数据，所述低精确度数据用于通过识别经测量相移所对应的模糊范围波长的倍数而解析相位数据中的模糊度。换言之，确定2π的哪一整数倍数是正确倍数。因此，可获得不再包含模糊度的高精确度高度图像。最终高精确度图通常具有高于用于辅助解析相位模糊度的额外图像的第一、更低精确度的第二精确度。

例如，给定相移可对应于π/2、π/2±2π、π/2±4π等(全部相差达2π的整数倍数)的相位差。因此，此相移可被称为模糊相移，使得在其处测量相移的像素处的物件的高度(所述高度基于相移导出)也是模糊的。然而，在步骤212处，与给定像素处的对象的高度相关的低精确度数据可用于解析模糊度，此是因为低精确度高度数据可用于确定若干模糊范围高度可能性中的哪一高度对应于低精确度高度。因此，可获得不再包含模糊度的高精确度高度图像。最终高精确度图像通常具有高于用于辅助解析相位模糊度的额外图像的第一更低精确度的第二精确度。

在图3中展示的本发明的一项可能实施例中，过程300可在其相关方面中大体上类似于图2的过程200实施，其中差异为过程300包含额外图像记录步骤302，所述步骤302未在过程200内执行。除记录经成像物品的干涉图之外，图像记录步骤302还涉及记录经成像物品的经非相干照明图像或视频图框。可(例如)通过使用具有广频谱范围的光(在本文中通常称为白光，虽然其可涵盖在视觉范围之外的波长)照明经成像对象且使用能够记录非相干光图像(下文参考图10描述其的实例)的相机或视频摄影机撷取经照明对象的图像而实行图像记录步骤302。图像可为明场(BF)或暗场(DF)图像。应了解，与在步骤210处提供的AI网络产生的图像(所述图像是虚拟、运算上产生的图像)相比，通过图像记录步骤302产生的非相干光图像是实际经撷取图像。

如图3中所见，在步骤302处撷取的非相干光图像可在步骤211处使用以辅助空间滤波及平滑化。相较于仅使用DH数据用于此步骤，由于相较于DH图像数据，通过非相干光图像提供的经改良对比度及更低噪声，使用非相干光图像用于空间滤波及平滑化步骤211可为有利的。如通过步骤211平滑化且滤波的经更低精确度处理DFF数据可接着用于解析相位图中的相位模糊度，如在步骤212处所见。

现参考图4，其是说明用于根据图2及3的实施例的数字全息图的重建的AI网络的训练的简化流程图。

如上文参考图2描述，可在步骤210处通过AI网络基于对应相干光图像的堆栈产生等效非相干光图像的堆栈。必须在于过程200或300内利用此网络之前训练此网络，以便使网络能够实行相干光图像与非相干光图像的间的图像变换。现参考图4描述此网络的训练。

如图4中所见，训练过程400可在第一训练步骤402处开始，其中DH系统记录3D对象的干涉图。干涉图由电子传感器记录且包括大量像素。通过实例，记录数字全息图的DH系统可为数字全息显微术系统(DHM)，如下文参考图10更详细展示且描述。干涉图可使用一个、两个或更多个波长撷取。可使用两个或更多个波长以便减小(虽然未消除)包含于干涉图中的相位信息中的相位模糊度。

如在第二训练步骤404处所见，接着基于干涉图重建波前。波前非物理实体而是数值实体，其中重建在干涉图中的每一像素处的相位及振幅。通常(例如)通过运算包含于图像处理模块中的功能性而运算上重建波前，如下文参考图10更详细展示且描述。

如在第三训练步骤406处所见，可数字地传播在步骤404处获得的波前，借此产生对应于在z方向上通过经成像对象的多个焦深的多个图像。多个图像中的每一图像可包括大量像素。多个图像在经成像对象中的一系列深度处形成相干光图像的堆栈。经成像对象的深度可被定义为对象在z方向上的尺寸，其中z方向是垂直于界定对象或表面平面的x轴及y轴的所述方向。

如在第四训练步骤408处所见，非相干光成像系统记录相同视场(FOV)的经非相干照明图像作为在步骤406处输出的相干图像堆栈中的FOV。例如，非相干光成像系统可为白光显微术成像系统，如下文参考图10进一步详细展示且描述。步骤408的输出是经成像对象中沿着z方向通过经成像对象的FOV的非相干光图像的堆栈。

如在第五训练步骤410处所见，AI网络可操作以接收分别通过步骤406及408输出的经成像对象中的相同FOV的相干及非相干光图像的堆栈，且经训练以实行成像模态之间的变换，使得AI网络变得能够将相干光图像变换为等效非相干光图像。

通过实例，可对被划分为训练组及验证组的约10,000个样本训练AI网络。验证组包含在训练期间网络不可见的样本。训练组可构成样本的近似80％且验证组构成近似20％。可基于以下准则中的至少一者停止网络训练：在进一步训练之后未达成误差(MSE)减小的进一步改良；发生过度拟合；及达成最大训练时期。多种网络类型可适合使用，包含自动编码器、Unet、残差网络等。一般来说，适合使用的网络包含卷积区块、数据简化层及启动/正规化方法。

现参考图5，其是说明根据本发明的进一步实施例的在数字全息图的重建中的步骤的简化高阶流程图。

如图5中所见，用于数字全息图的重建的过程500可在第一图像撷取步骤502处开始，其中数字全息(DH)图像撷取系统记录数字全息图。数字全息图(还称为干涉图)通过由经成像三维对象反射的相干光与参考光的干涉产生的干涉型样的数字记录。干涉图由电子传感器记录且包括大量像素。通过实例，记录数字全息图的DH系统可为数字全息显微术系统(DHM)，如下文参考图10更详细展示且描述。干涉图可使用相干光的一个、两个或更多个波长撷取。可使用两个或更多个波长以便减小(虽然未消除)包含于干涉图中的相位信息中的相位模糊度。

如在第二波前重建步骤504处所见，接着基于干涉图重建波前。波前非物理实体而是数值实体(通常称为复振幅)，其中编码干涉图中的每一像素处的相位及振幅信息。通常(例如)通过运算包含于图像处理模块中的功能性而运算上重建波前，如下文参考图10更详细展示且描述。数字全息显微术中的重建算法可包含菲涅尔变换算法、角频谱算法及卷积算法(全部基于快速傅立叶变换(FFT))。

如在第三波前处理步骤506处所见，可处理在步骤504处获得的波前以便产生经成像对象的相位图。相位图对应于以每像素的复振幅编码的相位信息，可基于所述相位信息数值上重建经成像对象。可通过计算以每像素的复振幅编码的相量的角度而从波前获得每像素的相位信息。

通过步骤506产生的相位图通常包含不代表三维经成像对象的真实形状的相位不连续性假影。达2π的倍数的这些不连续性由于经运算相位在间隔(-π,π)内的缠绕而产生。换言之，相位图是模糊模数(2π)。因此，相位图可被称为模糊相位图。

使用双或多个波长进行全息图记录可大大降低不连续性的数目，此是因为在所述情况中，2π模糊度仅适用于多个波长之间的相位差。相位图中的此模糊度导致待基于相位图导出的经成像对象的尺寸的对应模糊度，此是因为相位图中的相移可对应于波长的任何数目个整数倍数的位移。因此，必须解析此类模糊度，且在无模糊度的情况下确定真实相移，以便基于相位图准确地数值上重建经成像对象的结构。

为了解析通过步骤506产生的相位图中的相位模糊度，过程500可包含从经成像对象的至少一个额外图像获得与经成像对象相关的高度数据的步骤，所述高度数据以第一精确度获得。如在步骤508处所见，至少一个额外图像可通过非相干光图像撷取系统记录的视频图框。通过步骤508输出的额外图像可为在非相干照明条件下获得的BF及/或DF图像。

如在步骤510处所见，可将在步骤508处输出的非相干光图像分段。例如，经成像对象可为其上具有至少一个三维特征的表面。在此情况中，可将图像对象的非相干光图像分段以便识别表面中的不连续性的存在且划定表面中的不连续性的边界。这些不连续性可对应于表面上的所要且故意形成的三维特征，或对应于由于表面中的缺陷的表面中的不连续性。这些不连续性可被称为凸块，但应理解，不连续性可为相对于表面的具有任何类型的形状(例如弯曲或修圆或具有笔直边缘)的隆凸或内凹。

可使用适当图像分段技术将非相干光图像分段。步骤510的输出可为识别图像中的凸块的存在及位置的清单。此清单可被称为经分段凸块清单。应理解，此清单未识别凸块的高度而是仅识别凸块的存在及位置。

如在步骤511处所见，接着例如通过AI网络对在通过步骤510输出的经分段凸块清单中识别的凸块的各自高度进行分类。下文参考图7及8进一步详细描述AI网络的训练，使得AI网络能够接收经分段凸块清单且自动对其中的凸块的高度进行分类。AI网络可用于对凸块高度进行分类，此是因为此分类方法是快速、自动化且高度有效的。然而，使用AI网络对凸块高度进行分类非至关重要且在特定应用中，可使用其它方法(例如失焦深度)对凸块高度进行分类。例如，在其中可用于训练AI网络的训练数据的量不足的情况中，此可为相关的。

步骤511的输出是凸块高度的经分类凸块清单。AI网络可为可操作以依第一相对低精确度对凸块高度进行分类。例如，可将凸块高度分类低到近似7μm的精确度、近似5μm的精确度或近似3μm的精确度。此精确度对于对经成像表面中的不连续性进行分类可为不可接受地差。然而，此精确度足够精确以用于解析基于DH数据产生的相位图中的模糊度，如下文进一步解释。

在展示为图6中的过程600的本发明的一项可能实施例中，在步骤510处执行的分段及在步骤511处执行的凸块高度分类可通过使用在步骤506处产生的DH数据而扩增。在此实施例中，可通过使用DH数据辅助分段及分类而非凸块的分段及分类仅基于在步骤508处撷取的非相干光图像。此可为有利的，此是因为DH数据尤其良好适合于表面轮廓化及分段。

如在相位模糊度解析步骤512处所见，低精确度凸块高度分类数据可接着用于解析在步骤506处产生的相位图中的相位模糊度。

到相位模糊度解析步骤512的输入是如通过图5或图6的处理步骤506产生的包含相位模糊度的DH相位图及如通过图5或图6的处理步骤511产生的经分段且高度分类凸块清单。在步骤512处，基于经分段且分类凸块清单将模糊度解析决策应用到DH相位图。

例如，由于凸块而产生的给定相移可对应于相位差π/2、π/2+2π、π/2+4π等。因此，此相移可被称为模糊相移，使得在其处测量相移的像素处的凸块的高度(所述高度基于相移导出)也是模糊的。然而，在步骤512处，与凸块高度相关的低精确度数据可用于解析模糊度，此是因为低精确度高度数据可用于根据经分类凸块清单确定相位图中的若干模糊范围高度可能性中的哪一高度对应于低精确度高度。因此，可基于相位图以第二精确度导出凸块高度，所述第二精确度比低精确度分类的精确度更精确且无模糊度。

现参考图7及8，其是说明用于分别根据图5及6的实施例重建数字全息图的AI网络的训练的简化各自流程图。

如上文参考图5及6描述，可在步骤511处通过AI网络产生经分段凸块清单中的凸块的高度。必须在过程500或600内利用此网络之前训练此网络，以便使所述网络能够自动实行凸块高度分类。现参考图7及8描述此网络的训练。

现参考图7及8，如在步骤702处所见，非相干光图像撷取系统可操作以记录包含至少一个三维特征(下文被称为凸块，但应了解，特征可具有任何拓朴)的表面的图像堆栈。可例如通过使用用于调整图像捕获设备与经成像表面的距离的自动化载物台而在距经成像表面的焦距的范围处记录堆栈。

如在步骤704处所见，接着针对凸块对图像进行分段。此图像分段可通过任何适当图像分段技术实行。训练步骤704的输出是指示在步骤702处撷取的图像堆栈的每一图像中的凸块的存在及位置的清单。

具体转向图8，如在其中的步骤705处所见，DH系统可任选地另外记录如在步骤702处撷取的非相干图像中撷取的经成像表面的相同FOV的干涉图。此步骤705仅在AI网络经训练以便用于图6中展示的实施例(其中DH数据用于辅助图像分段及分类)中的情况下与AI网络的训练相关。可通过大体上撷取如在于步骤702处撷取的非相干图像中撷取的经成像表面的相同FOV的干涉图而实行步骤705。可替代地通过撷取待成像物件的单个干涉图，重建波前且数字地传播波前，借此产生对应于在z方向上通过经成像对象的多个焦深的多个图像而实行步骤705。多个图像中的每一图像可包括大量像素。多个图像在经成像对象中的一系列深度处形成对应于在步骤702处获得的非相干光图像的相干光图像的堆栈。经成像对象的深度可被定义为对象在z方向上的尺寸，其中z方向是垂直于界定对象平面的x及y轴的所述方向。

再次转向图7及8两者，如在步骤706处所见，AI网络可操作以接收在步骤704处输出的经分段凸块清单且在图8的情况中，接收用于辅助图像分段及分类的DH数据。另外，AI网络还具备来自编码器的离焦高度位置，所述离焦高度位置数据表示关于真实凸块高度的真实数据。来自编码器的真实数据高度位置数据与在z方向上依已知距离的步进获取的图像相关。基于这些图像，可(例如)通过DFF或通过人类操作者发现相对于每一凸块的最佳聚焦图像。接着，在步骤706处训练AI网络以对经分段凸块清单中的凸块的高度进行分类，此可为基于其在非相干光图像中的出现。由于受控且精确的离焦移动，AI网络在多个且精确已知的离焦位置处可用凸块的图像。因此，网络经训练以基于其在如图5及6处展示的单个任意聚焦视频图框内的出现产生凸块高度的估计量。

通过实例，可对被划分为训练组及验证组的约10,000个样本训练AI网络。验证组包含在训练期间网络不可见的样本。训练组可构成样本的近似80％且验证组构成近似20％。可基于以下准则中的至少一者停止网络训练：在进一步训练之后未达成误差(MSE)减小的进一步改良；发生过度拟合；达成最大训练时期。多种网络类型可适合使用。一般来说，适合使用的网络包含卷积区块、数据简化层及启动/正规化方法。

在图9中展示在一系列焦距处的经成像表面上的凸块的图像堆栈的实例。在第一图像组900中展示如通过非相干光成像装置实际上撷取的在z方向上的各种深度处的凸块的一组图像。图像之间在z方向上的距离在此实例中为5μm。可通过图7或8的训练步骤702产生此一组图像。在第二图像组902中展示如通过DH成像系统撷取的与在图像组900中展示的相同FOV的一组对应图像，其中在各种深度处的图像通过z方向上的波前传播产生。可通过图8的步骤705产生例如图像组。

应注意，上文描述的各项实施例当中的主要差异在于其对具有给定量的系统资源的各种应用案例的潜在更佳适应性而非其理论效能参数。在此情况中，适应性指的是产生具有更少噪声及信号下降假影的令人满意的3D轮廓化的能力。为了说明，对于特定应用，预期图2的系统以必须训练AI网络为代价改良优于图1的系统。图3的系统以辅助非相干照明器为代价进一步改良。图5及6的系统可以更复杂AI训练过程及可能较差3D轮廓化效能为代价更快速执行，此是因为未传播波前。

现参考图10，其是根据本发明的实施例建构且操作的用于执行包含于图1到8中的任何者的过程中的步骤的用于数字全息图的撷取及重建的系统的简化部分图标、部分方块图图解。

如图10中所见，提供用于数字全息图的重建的系统1000。系统1000包含可操作用于撷取此处通过实例展示为具有形成于其上的至少一个三维特征1006的表面1004的对象的数字全息图的数字全息(DH)图像撷取子系统1002。表面1004是电子装置(例如晶片、PCB或FPD)且系统1000尤其良好适合其DH的重建。

DH图像撷取子系统1002可包含具有至少一个波长的非相干光源(通过实例，此处经展示以体现为光纤耦合激光器1010)。光纤耦合激光器1010的激光器输出经递送到第一参考臂或光纤1012及第二样本臂或光纤1014。行进通过参考光纤1012的激光器光用作参考光束。行进通过样本光纤1014的激光器光照射于表面1004上且接着干涉参考光束以便产生干涉型样或干涉图。可用于系统1000中的光纤耦合激光器的实例是商业上可购自德国格雷弗尔芬(Graefelfing)的Toptica的依488、520及532nm的波长操作的IBEAM-SMART-488-S-HP。虽然在图10中展示光纤耦合激光器光源，但系统1000还可使用更常规自由空间激光器光源(说明为DHM自由空间输入1016)操作。

从参考光纤1012出射的激光器光行进穿过第一准直器1020、延迟线1022及光束分离器1024。参考激光器光的部分由光束分离器1024反射朝向相机1026。相机1026可能够使DH图像及/或非相干光图像成像。相机1026的功能性可在一个以上相机之间划分，使得相机1026可包含DH相机及单独白光相机。替代地，功能性可组合在单个相机中。可用于系统1000中的相机的实例是商业上可购自德国上苏尔姆(Obersulm)的IDS的UI-3880CP-M-GLRev.2。

从样本光纤1014出射的激光器光行进穿过第二准直器1030、光束分离器1032、聚光器1034及另一光束分离器1036。在光束分离器1036处，激光器光经反射朝向表面1004，穿过显微镜物镜1038。

由表面1004反射的光返回朝向显微镜物镜1038传播，且从此经由光束分离器1036穿过镜筒透镜1040朝向光束分离器1024及相机1026行进。从表面1004反射的光沿着光轴A行进，沿着所述光轴A，表面1004的高度由系统1000测量。因此，由表面1004绕射的光干涉尚未照射于表面1004上的参考激光器光，且借此产生的干涉型样或干涉图由相机1026成像。

在相机1026处撷取的干涉图可经提供到图像处理模块1050。图像处理模块1050可包含波前重建器单元1052、相位图产生器单元1054、图像分析器单元1056、相位模糊度解析器单元1058及特征高度计算器单元1060。

波前重建器单元1052可为可操作以基于通过相机1026撷取的数字全息图重建波前。波前可通过例如傅立叶及卷积重建的技术重建。相位图产生器单元1054可为可操作以接收通过波前重建器单元1052产生的波前且基于波前产生其上包含特征1006的表面1004的相位图。如上文解释，此相位图通常包含由于相位的缠绕而引致相位模糊度，使得相移可归咎于波长倍数的可能范围内的一者的不连续性假影。相位图中的模糊度可通过系统1002依一个以上波长(例如依两个或更多个波长)操作而减小(虽然非消除)。

为了解析此等模糊度且因此容许引致在相位图中编码的相移的表面1004上的三维特征1006的高度的明确偏差，系统1000可包含额外成像模态1070。额外成像模态1070可体现为非相干光照明器1070。来自非相干光照明器1070的光可朝向光束分离器1032传播，其中光经反射朝向聚光器1034且通过光束分离器1036反射朝向表面1004穿过显微镜物镜1038。由表面1004反射的光返回朝向显微镜物镜1038传播，且从此经由光束分离器1036穿过镜筒透镜1040朝向光束分离器1024及相机1026(其记录白光图像)行进。

图像分析器1056可为可操作以从表面1004的至少一个额外图像获得与三维特征1006相关的高度数据。至少一个额外图像可包括根据上文参考图2、3或6概括的过程通过额外成像模态1070获得的至少一个图像。至少一个额外图像可替代地非通过额外成像模态1070获得的图像，而是通过使通过波前重建器单元1052导出的波前传播通过表面1004内的一系列深度而获得的额外DH图像，如参考图1描述。

无关于经采用额外图像的特定类型，从额外图像获得的高度数据经提供到相位模糊度解析器1058。相位模糊度解析器1058可操作以基于通过图像分析器1056提供的高度数据解析通过相位图产生器1054输出的图像图中的相位模糊度。通过图像分析器1056提供的高度数据可具有第一、相对差的精确度，然而，所述精确度足够精确以用于解析相位图中的模糊度。

特征高度计算器1060可为可操作以在解析所述相位图中的相位模糊度之后基于所述相位图导出至少一个三维特征1006的高度。基于相位图导出的三维特征1004的高度以第二精确度导出，所述第二精确度比通过图像分析器1056输出的高度数据的第一精确度更精确。

图像处理模块1050通常包括至少一个可编程处理器，所述至少一个可编程处理器在软件及/或固体中编程以实行本文中描述的功能连同用于连接到系统1000的其它元件的适合数字及/或模拟接口。替代地或另外，图像处理模块1050包括实行图像处理模块1050的至少一些功能的经硬接线及/或可编程硬件逻辑电路。虽然在图10中展示图像处理模块1050，但为了简洁起见，作为单个单片功能区块，实务上，图像处理模块1050可包括具有用于接收且输出在图中说明且在文字中描述的信号的适合接口的多个互连控制单元。供图像处理模块1050实施本文中揭示的各种方法及功能的程序代码或指令可存储于可读存储介质(例如图像处理模块1050中的存储器或其它存储器)中。

图11是说明根据本发明的实施例的图10的系统的可能实施方案的简化流程图。

如图11中所见，图10的系统的实施方案可以过程1100的形式表示。在本发明的系统用作检测及/或自动修复系统的情况中，过程1100对应于本发明的系统的可能实施方案。此检测系统可用于(例如)在制造电子装置期间或之后检测电子装置以便识别缺陷的存在及/或评估装置的特征是否根据预定要求形成。示范性应用是用于光学检测且修复印刷电路板(PCB)的开路或短路缺陷的自动化系统。3D轮廓化系统用于关闭自动化修复回路。然而，应了解，图表1100中展示的方法不限于应用到检测电子装置且可在各种其它背景内容中用于其它类型的物品(例如厚的生物样本)的3D轮廓化。

如在第一步骤1102处所见，撷取包含其上具有至少一个3D特征的表面的装置的DH图像或干涉图。例如，DH图像可为数字全息显微术图像，例如通过图10中展示的DH图像撷取子系统1002撷取的数字全息显微术图像。

如在第二步骤1104处所见，从干涉图获得相位数据。可通过基于干涉图重建波前且随后处理波前以便产生相位图而获得相位数据。例如，可通过图10的波前重建器单元1052运算上重建波前。例如，可通过图10的相位图产生器单元1054基于经重建波前产生相位图。相位图可包含干涉图的每像素的振幅及相位信息。相位图通常包含相位模糊度，所述相位模糊度起因于相位缠绕。为了明确地解译相位图且导出与引起经测量相移的表面上的特征的高度相关的明确数据，必须解析这些相位模糊度。

如在第三步骤1106处所见，可通过使用从表面的对应非相干光图像获得或从通过使波前传播通过相对于表面的各种深度而产生的DHM图像获得的高度数据而解析相位模糊度。高度数据可被称为粗糙高度数据，从而意味着其具有比可从干涉图直接获得的高度数据的精确度更差的精确度。然而，高度数据的精确度足以解析相位模糊度。例如，可通过图10的图像分析器单元1056获得高度数据。例如，可通过图10中的相位模糊度解析器单元1058基于高度数据解析相位模糊度。可根据图1的过程或根据图2的过程或根据图3的过程或根据图5或图6的过程解析相位模糊度，每一过程如上文描述。

如在第四步骤1108处所见，一旦解析相位数据中的模糊度，相位数据便可用于导出经成像表面上的特征的高度。例如，特征高度可由图10的特征高度计算器单元1060发现。

如在第五步骤1110处所见，过程1100可接着确定经导出特征高度是否在可接受预定范围或阈值内。如果是，那么可在第六步骤1112处提供指示经成像表面上的特征的高度可接受的人类可感知输出且装置的处理可以不受约束方式继续进行，如在第七步骤1114处所见。应理解，第六步骤1110处的人类可感知输出的提供是任选的且在一些情况中可不需要。

如果发现特征高度在可接受预定范围或阈值之外，那么可提供指示此的输出，如在第八步骤1116处所见。接着可采取适当校正动作，如在第九步骤1118处所见。适当校正动作可包含发送装置以供重工以校正特征形成。在一些情况中，如果不值得校正，那么可弃置装置。在装置经重工的情况中，可如在第一步骤1102处使重工之后的装置重新成像。应理解，第八步骤1116处的人类可感知输出的提供是任选的且在一些情况中可不需要。

所属领域的技术人员将了解，本发明不限于上文已特定展示且描述的内容。本发明的范围包含上文描述的各种特征的组合及子组合两者以及其等修改，其等全部不在背景技术中。

Claims (20)

1.一种用于重建数字全息图的方法，其包括：

撷取其上具有至少一个三维特征的表面的数字全息图；

基于所述数字全息图重建波前；

基于所述波前产生所述表面的至少一部分的相位图，所述相位图包含相位模糊度；

获得所述表面的至少一个额外图像；

从所述表面的所述至少一个额外图像获得与所述三维特征相关的高度数据，所述高度数据以第一精确度获得；

基于所述高度数据解析所述相位模糊度；及

在所述相位图中的所述相位模糊度的所述解析之后基于所述相位图导出所述至少一个三维特征的高度，所述高度以比所述第一精确度更精确的第二精确度导出。

2.根据权利要求1所述的方法，其中所述获得所述表面的至少一个额外图像包括使所述波前数字地传播通过所述表面内的一系列深度及获得对应于所述系列深度的一系列数字波前。

3.根据权利要求2所述的方法，其中所述获得高度数据包括采用DFF算法以基于所述系列数字波前获得高度数据。

4.根据权利要求1所述的方法，其中所述获得所述表面的至少一个额外图像包括采用AI网络以产生对应于所述表面的一系列数字波前的一系列非相干光图像，所述系列数字波前通过使所述波前数字地传播通过所述表面内的一系列深度且获得对应于所述系列深度的所述系列数字波前而获得。

5.根据权利要求4所述的方法，其中所述获得高度数据包括采用DFF算法以基于所述系列非相干光图像获得高度数据。

6.根据权利要求1所述的方法，其中所述获得所述表面的至少一个额外图像包括撷取所述表面的至少一个经非相干照明图像。

7.根据权利要求6所述的方法，其中所述获得高度数据包括采用AI网络以基于所述至少一个三维特征的分段及分类自动获得高度数据。

8.根据权利要求1所述的方法，其中所述第一精确度在1到5μm的范围内。

9.根据权利要求8所述的方法，其中所述第二精确度在1到100nm或50到1000nm的范围内。

10.根据权利要求1所述的方法，其中所述撷取所述数字全息图包括撷取数字显微全息图。

11.一种用于重建数字全息图的系统，其包括：

数字全息图像撷取子系统，其可操作以撷取其上具有至少一个三维特征的表面的数字全息图；

波前重建器，其可操作以基于所述数字全息图重建波前；

相位图产生器，其可操作以接收所述波前且基于所述波前产生所述表面的至少一部分的相位图，所述相位图包含相位模糊度；

额外图像撷取子系统或图像处理子系统，其可操作以获得所述表面的至少一个额外图像；

图像分析器，其可操作以从所述表面的所述至少一个额外图像获得与所述三维特征相关的高度数据，所述高度数据以第一精确度获得；

相位模糊度解析器，其可操作以基于所述高度数据解析所述相位图中的所述相位模糊度；及

高度计算器，其可操作以在所述相位图中的所述相位模糊度的所述解析之后基于所述相位图导出所述至少一个三维特征的高度，所述三维特征的所述高度以比所述第一精确度更精确的第二精确度导出。

12.根据权利要求11所述的系统，其中所述成像处理子系统可操作以使所述波前数字地传播通过所述表面内的一系列深度且获得对应于所述系列深度的一系列数字波前。

13.根据权利要求12所述的系统，其中所述图像分析器可操作以采用DFF算法以基于所述系列数字波前获得所述高度数据。

14.根据权利要求11所述的系统，其中所述图像处理子系统包括AI网络，所述AI网络可操作以产生对应于所述表面的一系列数字波前的一系列非相干光图像，所述系列数字波前通过所述图像处理子系统使所述波前数字地传播通过所述表面内的一系列深度且获得对应于所述系列深度的所述系列数字波前而获得。

15.根据权利要求14所述的系统，其中所述图像分析器可操作以采用DFF算法以基于所述系列非相干光图像获得所述高度数据。

16.根据权利要求11所述的系统，其中所述额外图像撷取子系统包括可操作以使用非相干光照明所述表面的非相干照明器及可操作以撷取所述表面的所述至少一个额外图像的相机。

17.根据权利要求16所述的系统，其中所述图像分析器包括可操作以基于所述至少一个三维特征的分段及分类自动获得高度数据的AI网络。

18.根据权利要求11所述的系统，其中所述第一精确度在0.5到5μm的范围内。

19.根据权利要求18所述的系统，其中所述第二精确度在1到100nm或50到1000nm的范围内。

20.根据权利要求11所述的系统，其中所述数字全息图像撷取子系统是数字全息显微图像撷取子系统。

Images