CN117170083B - 一种叠加动态像质补偿的自动对焦方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种叠加动态像质补偿的自动对焦方法、系统及存储介质，属于自动对焦技术领域。本发明设计的自动对焦系统采用双传感器工作模式，其中一个传感器专门用于激光信号的采集，成像靶面小但帧率高，用于实时计算离焦量，另外一个传感器为成像传感器。该系统采用基于激光的主动对焦设计方法，实时计算质心位置从而得到离焦量，离焦量一方面用于电机或压电陶瓷位移装置驱动算法来完成主动跟焦功能，另一方面用于模糊核矩阵的实时计算从而对原始放大图像运用图像解模糊实时算法以改善实时跟焦性能不佳导致的图像模糊问题，在较低成本下大幅提升自动对焦系统的整体性能或者大幅提升整个系统的放大倍率和运动速率。

Description

一种叠加动态像质补偿的自动对焦方法、系统及存储介质

技术领域

本发明涉及自动对焦技术领域，特别涉及一种叠加动态像质补偿的自动对焦方法、系统及存储介质。

背景技术

自动对焦显微系统目前广泛应用于半导体晶圆检测，面板检测等具有高精度高速率检测要求的场合。现有的自动对焦系统大多通过电机驱动的方式来移动物镜或者相机（图像采集部件设备）来达到对焦目的，少数对精度要求更高的场景使用压电陶瓷位移装置来移动物镜来实现对焦。为了实现高运动速率下的实时对焦，自动对焦系统在设计上通常分为显微模块和对焦模块两个主体部分，其中显微模块负责对运动或大视场静止被拍摄物体扫描放大成像，而对焦模块负责对运动中被拍摄物体的实时对焦以达到被拍摄物体的清晰放大成像。物体放大倍率越高，景深越小，在物体表面存在较大高度差时极容易导致离焦进而导致成像模糊。

为了解决高倍率下成像问题，一般需要更高响应度的电机驱动或者压电陶瓷模块，大大增加了成本和跟焦算法复杂度，即便如此，考虑到电机的弛豫时间以及压电陶瓷位移装置的迟滞性问题，也无法很好的解决高倍率高速率下的成像模糊问题。

发明内容

本发明提出的一种叠加动态像质补偿的自动对焦方法、系统及存储介质，可至少解决上述技术问题之一。

为实现上述目的，本发明提出了以下技术方案：

一种叠加动态像质补偿的自动对焦方法，包括：

获取半圆形激光光斑投射在待测物体上的激光图像；

计算所述激光图像上激光光斑的实际质心；

根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取离焦量，并进行对焦；其中：

所述实际质心位置为X，所述激光光斑已知的理论质心位置为Y，则离焦量z为：

z=(X-Y)/s；

其中s为根据实际工作场景而预设的归一化系数。

进一步地，还包括：

根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取当前焦距下对应的模糊核矩阵，根据所述模糊核矩阵对当前焦距下获取的待测物体图像进行解模糊操作，以获取清晰的待测物体图像。

进一步地，所述根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取当前焦距下对应的模糊核矩阵，包括：

提前根据所述实际质心和所述理论质心之间的关系，计算不同焦距下对应的模糊矩阵，获取模糊矩阵集合；

所述模糊矩阵集合中的模糊矩阵和所述离焦量一一对应，根据所述离焦量，获取当前焦距下对应的模糊核矩阵。

另一方面，本发明还公开了一种叠加动态像质补偿的自动对焦系统，包括：

成像模块，包括成像传感器和镜头，所述成像传感器通过所述镜头获取待测物体图像；

自动对焦模块，包括激光光源，用于投射半圆形激光光斑；还包括激光采集传感器，用于通过所述镜头获取半圆形激光光斑投射在待测物体上的激光图像；

处理器，所述处理器用于执行以下操作：

计算所述激光图像上激光光斑的实际质心；

根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取离焦量，调节所述镜头的焦距，进行对焦；其中：

所述实际质心位置为X，所述激光光斑已知的理论质心位置为Y，则离焦量z为：

z=(X-Y)/s；

其中s为根据实际工作场景而预设的归一化系数。

进一步地，还包括：

根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取当前焦距下对应的模糊核矩阵，根据所述模糊核矩阵对当前焦距下所述成像传感器获取的待测物体图像进行解模糊操作，以获取清晰的待测物体图像。

进一步地，所述根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取当前焦距下对应的模糊核矩阵，包括：

提前根据所述实际质心和所述理论质心之间的关系，计算不同焦距下对应的模糊矩阵，获取模糊矩阵集合预存于所述处理器内，所述模糊矩阵集合中的模糊矩阵和所述离焦量一一对应；

所述处理器根据所述离焦量，在预存的模糊核矩阵集合内进行寻址，读取对应地址处的模糊核矩阵。

进一步地，所述处理器为FPGA。

进一步地，所述成像模块还包括目镜和平行光管，以实现显微成像。

进一步地，所述激光光源包括激光发生器、准直透镜和滤光片，所述滤光片和所述激光发生器的位置相互配合，以使所述激光光源投射出半圆形激光光斑。

又一方面，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质内保存有计算机程序所述计算机程序被处理器执行时，使得所述处理器执行如上所述的叠加动态像质补偿的自动对焦方法。

本发明提出的一种叠加动态像质补偿的自动对焦方法可以大大改善高倍率高速率下的成像模糊问题。动态像质补偿技术即一种根据离焦量来计算模糊核矩阵进而对原始图像解模糊以改善图像画质的一种图像算法。根据光的衍射定律，离焦量的大小和点扩散函数之间具有固定的数学关系，从而据此得到模糊核矩阵，由此可以将模糊图像通过反向矩阵算法得到清晰的图像，可以将有效景深范围提升1倍以上，结合常规的自动对焦系统，在较低成本下，可以极大增强自动对焦系统性能。

本发明的该系统采用双传感器工作模式，其中一个传感器专门用于激光信号的采集，要求成像靶面小但帧率高，用于实时计算离焦量，另外一个传感器作为显微成像。该系统基于电机或者压电陶瓷位移装置来驱动物镜实现基本的实时对焦功能，采用基于激光的主动对焦设计方法，实时计算质心位置从而得到离焦量，一方面用于电机或压电陶瓷位移装置驱动算法来完成主动跟焦功能，另一方面用于模糊核矩阵的实时计算从而对原始放大图像运用图像解模糊实时算法以改善实时跟焦性能不佳导致的图像模糊问题，在较低成本下大幅提升自动对焦系统的整体性能或者大幅提升整个系统的放大倍率和运动速率，以满足半导体晶圆检测或者面板检测等高精度高速率要求场合的自动对焦需求。

附图说明

图1是本发明实施例中离焦量的计算原理图；

图2是本发明实施例中的叠加动态像质补偿的自动对焦系统示意图；

图3是本发明实施例中的叠加动态像质补偿的自动对焦系统工作流程图。

图中：1-第一分光片；2-第二分光片；3-第三分光片。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本实施例首先提供了一种叠加动态像质补偿的自动对焦系统，以自动对焦显微成像系统为例进行说明，可应用于所有需要对焦的成像系统。

自动对焦显微成像系统广泛应用于被拍摄物体移动且表面存在起伏的高精度高速率缺陷检测场景中，如半导体晶圆检测，新型显示面板检测等。本实施例设计了一种叠加动态像质补偿技术的自动对焦显微系统，采用主动激光对焦路线和双传感器工作模式，其中一个传感器要求帧率高但分辨率低，采集激光信号以用于计算离焦量，另一个传感器作为显微成像。本实施例中设计的自动对焦显微成像系统可基于电机或者压电陶瓷位移装置来驱动整个相机平台或者前端物镜来达到实时对焦功能。

本实施例提出的叠加动态像质补偿的自动对焦系统，主要包括成像模块，具体有成像传感器和镜头，成像传感器通过镜头获取待测物体图像。自动对焦模块，包括激光光源，用于投射半圆形激光光斑；还包括激光采集传感器，用于通过镜头获取半圆形激光光斑投射在待测物体上的激光图像。

本实施例中的离焦量计算在处理器中执行，离焦量的计算原理如图1所示。可以看到，激光对焦清楚时显示近似为一条线，对焦模糊时显示为半圆，也叫做刃边，其中镜头过远和镜头过近时半圆所在位置相反，通过刃边检测算法或质心算法可以计算激光光斑的实际质心位置X，激光光斑的理论质心位置Y已知，可以通过系统标定获得。结合实际质心位置X和理论质心位置Y即可得到离焦量z=(X-Y)/s，其中s为归一化系数，可以提前预设好，归一化系数s根据实际工作场景如工作距离等因素决定。根据离焦量z一方面可计算得到对焦位移量u=pz，其中p为转换系数，由各光学器件的属性确定，可提前标定好。对焦位移量u是用于调节镜头或相机位移量的依据。

离焦量z另一方面可得到瞬时离焦模糊核矩阵。瞬时离焦模糊核矩阵的计算可通过标定结合插值的方法实现。即在出厂标定时通过设定的已知离焦量和计算的质心偏移量来计算模糊核矩阵并进行预存，在实际工作过程中，则根据计算得到的离焦量对预存的模糊核矩阵进行寻址，直接读取对应地址处的模糊核矩阵，若地址非整，则取上下整数读取两个模糊核矩阵并通过加权插值算法实时计算模糊核矩阵，以用于显微图像的模糊矫正。

激光光源还包括激光发生器、准直透镜和滤光片，滤光片和激光发生器的位置相互配合，以使激光光源投射出半圆形激光光斑。

本实施例中的成像模块还包括目镜和平行光管，以实现显微成像。其中，为了避免激光光源和照明光源的相互影响，激光光源波长选择红外波段来避免对显微成像造成影响。显微图像处理模块从对焦图像处理模块获取到瞬时离焦模糊核矩阵，采用实时矩阵算法来完成对显微原始图像解模糊操作以提升输出显微图像的清晰度。

在一种实施例中，如图2所示，对于显微成像系统，包括自动对焦模块，具体有：对焦图像处理模块、对焦成像传感器，对焦图像处理模块用于计算离焦量，并根据离焦量获得物镜的对焦位移量以及模糊核矩阵。自动对焦模块将实时计算出来的对焦位移量发送至电机或压电陶瓷驱动算法模块，从而获取电机或压电陶瓷的位移量，操控电机或压电陶瓷控制物镜移动，实现调焦。对焦成像传感器帧率高，能够实时获取激光光斑的图像，从而位移量和模糊核矩阵的计算也是实时的，自动对焦模块将实时计算出来的瞬时离焦模糊核矩阵实时发送至显微图像处理模块，由于电机的弛豫时间以及压电陶瓷位移装置的迟滞性问题，物镜很难在极短的时间内及时变焦，故本实施例中显微处理模块将根据自动对焦模块实时发送过来的瞬时离焦模糊核矩阵来对显微成像传感器获取到的图像进行解模糊操作，通过动态像质补偿，从而输出清晰的显微图像。

具体地，激光光源发出的激光分别经过一透镜、第一分光片1和第二分光片2，在第二分光片2的分光下穿过物镜到达被拍摄物体；被拍摄物体上的激光图像则经过第二分光片2的分光后到达第一分光片1，第一分光片1将其分光至对焦成像传感器，对焦成像传感器获取激光光斑图像。此处激光光源波长选择红外波段，第二分光片2设计为反射红外波段的光，透射其他波段的光。从而避免了激光光源被显微成像传感器接收，对显微成像带来影响。被拍摄物体上的光经过物镜、第二分光片2、目镜后到达显微成像传感器，显微成像传感器获取被拍摄物体的图像。优选地，还设计照明光源，照明光源的光到达第三分光片3后，通过第二分光片2和物镜为被拍摄物体照明，从而提高图片亮度。

在一种实施例中，显微图像处理模块和对焦模块处理模块可以合并在一片FPGA中，以简化设计和节省成本。

本实施例的一种叠加动态像质补偿的自动对焦系统，具体实施流程如图3所示：自动对焦系统总体上分为对焦模块和显微模块两大部分，首先是模块初始化工作，包括电机/压电陶瓷位移装置初始化，对焦成像传感器初始化，显微成像传感器初始化。初始化工作完成后，各模块开始采集传感器图像，对焦模块采集激光图像计算离焦量进而计算物镜位移量和瞬时离焦模糊核矩阵，分别用于实时跟焦和动态像质补偿算法。

电机驱动模块根据物镜位移量计算电机/压电陶瓷位移装置驱动参数并发送给电机和压电陶瓷位移装置驱动物镜移动以完成实时跟焦。显微图像处理模块根据瞬时离焦模糊核矩阵，进行实时矩阵算法以对原始显微图像进行解模糊运算，最终输出更加清晰的图像。可以看到整体系统以物镜新位置作为新的起点形成一个反馈闭环，最终的目的是能够在高倍率高运动速率下实时的对被拍摄物体进行清晰成像，自动跟焦系统完成宏观的清晰成像目标，动态像质补偿算法作为自动跟焦系统的有力补偿，改善高倍率极小景深下的由于跟焦系统固有的迟滞时间带来的瞬时离焦模糊问题，从而最终完成清晰成像目标。

基于同样的发明构思，本实施例还提出了一种叠加动态像质补偿的自动对焦方法，包括：

获取半圆形激光光斑投射在待测物体上的激光图像；

计算该激光图像上激光光斑的实际质心；

根据实际质心和激光光斑已知的理论质心之间的关系，获取离焦量，并进行对焦；其中，实际质心位置为X，激光光斑已知的理论质心位置为Y，则离焦量z为：z=(X-Y)/s，其中s为根据实际工作场景而预设的归一化系数。

根据实际质心和激光光斑已知的理论质心之间的关系，获取当前焦距下对应的模糊核矩阵，根据模糊核矩阵对当前焦距下获取的待测物体图像进行解模糊操作，以获取清晰的待测物体图像。

在一些实施例中，提前根据实际质心和所述理论质心之间的关系，计算不同焦距下对应的模糊矩阵，获取模糊矩阵集合；

模糊矩阵集合中的模糊矩阵和离焦量一一对应，根据离焦量，获取当前焦距下对应的模糊核矩阵。

基于同样的发明构思，本实施例又提出了一种计算机可读存储介质，计算机可读存储介质中存储有至少一个程序数据，该程序数据用于实现上述的叠加动态像质补偿的自动对焦方法。计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种叠加动态像质补偿的自动对焦方法，其特征在于，包括：

获取半圆形激光光斑投射在待测物体上的激光图像；

计算所述激光图像上激光光斑的实际质心；

根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取离焦量，并进行对焦；其中：

所述实际质心位置为X，所述激光光斑已知的理论质心位置为Y，则离焦量z为：

z=(X-Y)/s；

其中s为根据实际工作场景而预设的归一化系数；

所述自动对焦方法还包括：

根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取当前焦距下对应的模糊核矩阵，根据所述模糊核矩阵对当前焦距下获取的待测物体图像进行解模糊操作，以获取清晰的待测物体图像；

所述根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取当前焦距下对应的模糊核矩阵，包括：

提前根据所述实际质心和所述理论质心之间的关系，计算不同焦距下对应的模糊矩阵，获取模糊矩阵集合；

所述模糊矩阵集合中的模糊矩阵和所述离焦量一一对应，根据所述离焦量，获取当前焦距下对应的模糊核矩阵；

所述自动对焦方法应用于显微镜自动对焦领域，采用双传感器工作模式；其中，激光采集传感器通过镜头采集所述激光图像，用于实时计算离焦量，成像传感器用于通过镜头获取所述待测物体图像。

2.一种叠加动态像质补偿的自动对焦系统，其特征在于，所述自动对焦系统应用于显微镜自动对焦领域，采用双传感器工作模式，所述自动对焦系统包括：

成像模块，包括成像传感器和镜头，所述成像传感器通过所述镜头获取待测物体图像；

自动对焦模块，包括激光光源，用于投射半圆形激光光斑；还包括激光采集传感器，用于通过所述镜头获取半圆形激光光斑投射在待测物体上的激光图像，用于实时计算离焦量；

处理器，所述处理器用于执行以下操作：

计算所述激光图像上激光光斑的实际质心；

根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取离焦量，调节所述镜头的焦距，进行对焦；其中：

所述实际质心位置为X，所述激光光斑已知的理论质心位置为Y，则离焦量z为：

z=(X-Y)/s；

其中s为根据实际工作场景而预设的归一化系数；

所述处理器用于执行的操作还包括：

根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取当前焦距下对应的模糊核矩阵，根据所述模糊核矩阵对当前焦距下所述成像传感器获取的待测物体图像进行解模糊操作，以获取清晰的待测物体图像；

所述根据所述实际质心和所述激光光斑已知的理论质心之间的关系，获取当前焦距下对应的模糊核矩阵，包括：

提前根据所述实际质心和所述理论质心之间的关系，计算不同焦距下对应的模糊矩阵，获取模糊矩阵集合预存于所述处理器内，所述模糊矩阵集合中的模糊矩阵和所述离焦量一一对应；

所述处理器根据所述离焦量，在预存的模糊核矩阵集合内进行寻址，读取对应地址处的模糊核矩阵。

3.根据权利要求2所述的叠加动态像质补偿的自动对焦系统，其特征在于，所述处理器为FPGA。

4.根据权利要求2所述的叠加动态像质补偿的自动对焦系统，其特征在于，所述成像模块还包括目镜和平行光管，以实现显微成像。

5.根据权利要求2所述的叠加动态像质补偿的自动对焦系统，其特征在于，所述激光光源包括激光发生器、准直透镜和滤光片，所述滤光片和所述激光发生器的位置相互配合，以使所述激光光源投射出半圆形激光光斑。

6.一种计算机可读存储介质，所述计算机可读存储介质内保存有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1所述的叠加动态像质补偿的自动对焦方法。